Компания Anthropic, разработчик ИИ Claude, оказалась в центре двух споров, связанных с безопасностью своих систем. Речь идёт о случаях несанкционированного доступа к платным аккаунтам и о публичных заявлениях сотрудников о серьёзных рисках, которые несут передовые модели искусственного интеллекта.
Независимый консультант по ИИ Грант Де Свардт из Великобритании обнаружил, что в его подписке Claude Max растёт расход токенов, хотя он активно сервисом не пользовался. После обращения в Anthropic компания заблокировала его аккаунт, аннулировала сессии и вернула часть средств. Расследование показало, что скомпрометированный ключ сессии использовался для генерации токенов. По словам Де Свардта, в Anthropic не смогли точно установить причину утечки и отметили, что у пользователей нет инструментов для детального отслеживания расхода токенов. На Reddit и GitHub другие клиенты сообщали о похожих ситуациях, получая от компании предупреждения о вредоносном ПО, которое крадёт данные для входа и расходует лимиты. Anthropic заявила, что вредоносное ПО не связано напрямую с Claude. Разочарованный инцидентом и медленной реакцией поддержки, Де Свардт перешёл на сервис конкурента.
Параллельно с этим сотрудник Anthropic, исследователь безопасности Иван Хьюбингер, публично заявил, что оценивает вероятность того, что ИИ может лишить жизни всех людей в течение следующего десятилетия, как «больше 10%». При этом он назвал риск от текущих моделей низким. Его комментарии прозвучали после публикации другого исследователя, Джейкоба Коксона, недавно ушедшего из Anthropic и ранее работавшего в OpenAI. Коксон утверждал, что ни одна из компаний не действует ответственно по мере приближения ИИ к сверхчеловеческим возможностям. Заявления шокировали профессора компьютерных наук Дэм Венди Холл, консультирующую ООН по вопросам ИИ. Она предположила, что некоторые публичные заявления лабораторий ИИ могут быть связаны с предстоящими размещениями акций. Бывший чиновник казначейства Великобритании Даррен Джонс призвал к заключению международного договора о безопасной разработке ИИ.
Отдельно Financial Times сообщила, что Anthropic не предоставила свою новейшую модель британскому Институту безопасности ИИ. Компания отказалась комментировать этот вопрос, а Кабинет министров Великобритании заявил о продолжении работы с индустриальными партнёрами по безопасности моделей. Хьюбингер признал, что Anthropic ещё не решила задачу согласования высокоразвитых ИИ-систем с человеческими ценностями. Его предупреждения последовали после лета, когда были раскрыты инциденты с кибератаками, проведёнными автономными агентами от Anthropic, OpenAI и Meta*. Это подогрело дебаты среди исследователей и регуляторов о том, не опережает ли развитие ИИ меры безопасности.
- — компания Meta Platforms* Inc., владеющая Facebook* и Instagram*, признана экстремистской организацией, её деятельность запрещена на территории РФ.
