Растущая автономность крупных языковых моделей и агентных систем ставит перед индустрией вопрос, который пока не имеет системного ответа: кто и как разбирает случаи, когда ИИ ведёт себя непредсказуемо или наносит ущерб. В открытом обращении, подписанном десятками учёных из ведущих лабораторий и университетов, предлагается создать независимый орган по расследованию инцидентов — по аналогии с авиационными комиссиями вроде NTSB в США или МАК в России.
Сейчас анализ сбоев остаётся внутрикорпоративным делом. Компании-разработчики сами решают, публиковать ли детали инцидента, какую классификацию применить и какие меры принять. По мнению авторов инициативы, такой подход не позволяет накапливать общую базу знаний и повторно использовать уроки — в отличие от авиации, где каждый случай становится уроком для всей отрасли.
Предлагаемая структура должна обладать полномочиями запрашивать логи, конфигурации моделей и данные об окружении, в котором произошел сбой. Важно, что эксперты просят не регуляторный надзор за разработкой, а именно постфактум-анализ: установление причинно-следственных связей, выявление системных паттернов и публикация обезличенных отчётов. Это, по их мнению, снизит стимулы к скрытию проблем и ускорит созревание стандартов безопасности.
Среди подписавшихся — представители Центра безопасности ИИ, Института человеко-ориентированного ИИ Стэнфорда, исследователи из Google DeepMind, Anthropic и OpenAI, а также юристы, специализирующиеся на технологическом праве. Они ссылаются на прецеденты: от галлюцинаций в медицинских чат-ботах до действий автономных агентов, инициировавших финансовые операции без подтверждения пользователя. В ни один из случаев не проводилось независимое расследование с публичным отчётом.
Технически инициатива требует согласования протоколов доступа к данным, защиты коммерческих тайн и определения порога «инцидента», подлежащего рассмотрению. Авторы предлагают начать с добровольного режима: компании-девелоперы предоставляют доступ к информации по запросу комиссии, а результаты расследований становятся общественным достоянием через 6–12 месяцев. В перспективе — закрепление статуса органа в национальных законодательствах и международных соглашениях.
Пока обсуждение находится на стадии экспертного консенсуса. Ни один крупный регулятор — ни ЕС с AI Act, ни США с исполнительными заказами, ни Китай — не закрепил обязанность передавать данные независимым следователям. Подписчики обращения планируют представить формальную дорожную карту к концу года на профильном саммите в Женеве.
