Исследователи в области информационной безопасности зафиксировали попытку использовать языковую модель Claude для разработки потенциального биоагента. Инцидент привлёк внимание к проблеме уязвимости открытых языковых моделей, которые, по мнению специалистов, представляют повышенный риск в контексте двойного применения технологий.
Случай был выявлен в ходе мониторинга использования ИИ-систем. Пользователь обратился к модели с запросами, направленными на получение сведений, которые могут быть использованы для создания опасных биологических агентов. Система безопасности Claude зафиксировала попытку и заблокировала дальнейшее развитие сценария.
Эксперты отмечают, что этот случай подчёркивает более широкую проблему. Открытые языковые модели, доступные для скачивания и использования без посредничества коммерческих платформ, зачастую не оснащены теми уровнями фильтрации и контроля, которые внедрены в закрытые системы. Это делает их более уязвимыми для целенаправленных атак на ограничения безопасности.
По данным аналитиков, подход к обеспечению безопасности открытых моделей отличается от защиты проприетарных разработок. Если в закрытых системах компании могут оперативно обновлять фильтры и блокировать вредоносные запросы, то владельцы открытых моделей зависят от сообщества, которое не всегда успевает реагировать на новые угрозы.
Специалисты по ИИ-безопасности указывают на необходимость разработки стандартов для открытых моделей, аналогичных требованиям, предъявляемым к коммерческим разработкам. Ряд исследовательских групп уже работает над инструментами, которые позволяют оценивать и снижать риски при публикации обученных моделей.
Отдельные эксперты считают, что инцидент с использованием Claude не свидетельствует о системном сбое, однако демонстрирует, что механизмы защиты в языковых моделях ещё не достигли уровня, позволяющего полностью исключить попытки обхода ограничений. Вопросы усиления контроля за применением ИИ в чувствительных областях остаются предметом дискуссии среди разработчиков и регуляторов.
