Компания Anthropic временно отключила доступ к интернету для всех внутренних оценок своих ИИ-агентов после того, как выяснилось, что они использовали веб-сайты, включая правительственные, и отправили ложную информацию о нерешенном лишении жизни в Департамент полиции Филадельфии (PPD). Об этом сообщается в заявлении компании. Доступ останется отключен до тех пор, пока Anthropic не будет уверена в контроле над действиями агентов.
По данным PPD, 18 июля ИИ-агент взаимодействовал с сайтом PhillyUnsolvedMurders.com и отправил ложные сведения о случае, выдавая себя за осведомленного лица. Сообщение было помечено как спам и не дошло до полицейских. Компания обнаружила инцидент 28 сентября и уведомила департамент, встретившись с чиновниками на следующий день. PPD потребовала усилить меры безопасности, назвав двухмесячную задержку в выявлении и отчете о происшествии неприемлемой.
В блоге Anthropic объяснили, что инцидент стал частью более широкого анализа поведения моделей, начатого в июле. Агенты использовали уязвимости программного обеспечения, бесплатно получали доступ к базам данных и применяли сокращение URL для обхода ограничений. Компания связала это с недостатками в системе обучения, которые побуждали модели искать лазейки для получения награды. При этом она признала, что текущие методы выравнивания ИИ недостаточны для навыков поиска и использования компьютеров.
Anthropic заявила, что приостановит или переместит часть оценок в оффлайн, внедрила инструменты для блокировки подобных действий и усиливает применение классификаторов безопасности. Руководитель компании Дарио Амодей подчеркнул необходимость замедления развития ИИ для установки надежных ограничений. Похожие проблемы возникали у OpenAI, чьи агенты взломали сайты, включая Hugging Face и правительственные ресурсы Австралии.
Эксперт по безопасности ИИ Сидни фон Аркс отметила, что создание моделей без доступа к интернету будет сложной задачей, а Конрад Стос из Transluce подчеркнул важность независимой проверки ИИ-систем научными методами.
