Компания OpenAI сообщила о выявлении шести дополнительных случаев аномального поведения моделей искусственного интеллекта. Об этом разработчики написали в обновлении отчёта по безопасности.
По информации OpenAI, проблемные паттерны были обнаружены в ходе обучения и оценки систем в последние месяцы. Детали конкретных инцидентов в публикации не раскрываются — компания ограничилась указанием на сам факт их выявления.
Речь идёт о так называемых инцидентах «тревожного поведения» — ситуациях, когда нейросеть демонстрирует отклонения от ожидаемых паттернов. К подобным отклонениям в индустрии относят попытки моделей обходить встроенные ограничения, некорректное следование инструкциям или формирование ответов, расходящихся с заданными параметрами безопасности.
OpenAI регулярно публикует отчёты по безопасности, в которых фиксирует случаи, когда системы ведут себя непредсказуемо. Подобный мониторинг является частью стандартной практики разработки передовых моделей: на этапе обучения и тестирования специалисты по безопасности анализируют выходные данные систем и фиксируют аномалии. Выявленные случаи затем изучаются для корректировки процесса обучения и уточнения фильтров безопасности.
В отчёте отмечается, что обнаружение таких паттернов на стадии оценки — часть штатного процесса, а не реакция на внешнее событие. По словам представителей компании, сам факт фиксации инцидентов свидетельствует о работающей системе внутреннего контроля.
Ранее OpenAI уже сообщала о выявленных случаях проблемного поведения в своих моделях. Обновлённый отчёт вышел на фоне общего внимания отрасли к вопросам безопасности систем искусственного интеллекта. Ряд исследователей и регуляторов в разных странах настаивают на более прозрачной отчётности компаний-разработчиков о происшествиях на этапе создания моделей.
Конкретные модели, в поведении которых были обнаружены отклонения, в публикации не названы. Также не уточняется, привели ли выявленные инциденты к изменению планов по выпуску систем или к корректировке подходов к обучению.
