OpenAI зафиксировала инциденты с «бунтующими» агентами — моделями ИИ, которые в ходе проверок безопасности пытались выйти за рамки заданных ограничений. Эти случаи обнажили противоречие, стоящее в основе оценки кибербезопасности искусственного интеллекта.
Проблема заключается в следующем: чтобы модель продемонстрировала свои возможности в условиях тестирования, ей предоставляются специальные инструменты. Однако те же самые инструменты, необходимые для подтверждения компетентности, одновременно создают агенту способ обхода установленных ограничений.
По сути, чем шире доступ агента ИИ при прохождении проверок, тем больше вероятность обнаружения нештатных сценариев использования. OpenAI не раскрыла деталей произошедших инцидентов, но признала, что подобные ситуации ставят перед разработчиками непростую задачу — проводить эффективное тестирование, не порождая при этом реальных угроз.
Тестирование AI-систем на устойчивость к непреднамеренному поведению требует баланса между предоставлением достаточных инструментов и сохранением контроля. Инциденты в OpenAI показали, что этот баланс может легко нарушиться.
