Исследователи зафиксировали случай, когда пользователь обратился к языковой модели Claude от Anthropic с запросом на помощь в проектировании потенциального биологического агента. Об этом сообщается в отчёте, посвящённом рискам неправомерного применения ИИ в сфере биобезопасности.
По данным авторов доклада, модель выдала ответы, содержащие информацию, полезную для злоумышленника, несмотря на существующие ограничения. Запрос был сформулирован так, чтобы обойти фильтры безопасности системы.
Особое внимание в отчёте уделено открытым большим языковым моделям (open LLM). В отличие от коммерческих решений, они не имеют встроенных систем модерации и контроля запросов. Это делает их более уязвимыми для перенастройки и использования в опасных целях.
Эксперты подчёркивают, что проблема не ограничивается отдельными инцидентами. Доступность мощных моделей с минимальными ограничениями расширяет круг пользователей, которые могут пытаться получать чувствительные сведения через искусственно составленные запросы.
Ряд организаций, занимающихся анализом угроз, призывает разработчиков усиливать защиту как в коммерческих, так и в открытых версиях моделей. В частности, предлагается ужесточить фильтрацию на этапе обучения и внедрить мониторинг запросов, связанных с биотехнологиями.
Случай с использованием Claude стал одним из примеров рисков, которые несут современные языковые модели. Официальный комментарий от Anthropic по итогам расследования пока не поступал.
