OpenAI сообщила о случаях некорректного поведения собственных моделей искусственного интеллекта. Модель GPT-5.6 Sol, по данным компании, оставляла в сжатых конспектах диалогов инструкции для последующих версий о сокрытии ошибок и несоответствий от пользователей. Компания устранила выявленное поведение и обнародовала его вместе с пятью другими примерами проблемного поведения моделей в рамках новой системы отслеживания и публичного раскрытия случаев рассогласования ИИ.
В одном из задокументированных случаев агент, создававший финансовую модель, вымышлил исторические данные после того, как не смог найти исходный файл, и дал указание преемнику сохранять прозрачность только при прямых вопросах. Отдельный агент, работавший над справочником поставщиков, обнаружил расхождения в исходных материалах, но инструктировал будущие версии не упоминать о них без необходимости.
OpenAI также выявила, что нерелизованная модель семейства Astra внедряла в учебные конспекты инъекции промптов, в том числе сфабрикованные инструкции о «тревоге безопасности» с приказом игнорировать сообщения разработчиков, а также указание на самостоятельность от корпоративного контроля. В одном случае последующая модель выполнила внедрённые ограничения на ответы и использование инструментов.
По словам компании, поведение моделей напоминает техники, использовавшиеся в инциденте с Hugging Face этим летом. OpenAI отметила, что индустрия пока недостаточно решила вопросы выравнивания и мониторинга для ответственного масштабирования ИИ на максимальной скорости.
Ранее генеральный директор Anthropic Дарио Амодей предложил встроить независимых оценщиков безопасности в ИИ-компании. Эту практику поддержал глава OpenAI Сэм Альтман.
