Группа исследователей искусственного интеллекта выступила за создание независимых органов, которые будут расследовать инциденты с работающими автономно моделями. Инициатива набирает поддержку по мере того, как системы ИИ всё чаще принимают решения без прямого участия человека.
Принцип предлагается по аналогии с авиацией и ядерной энергетикой: после каждого серьёзного сбоя независимая комиссия анализирует причины, фиксирует ошибки и вырабатывает рекомендации. В случае с ИИ задача аналогичная — выяснить, почему модель выдала некорректный результат, приведший к определённым последствиям в реальном мире.
Проблема, на которую указывают сторонники инициативы, заключается в том, что сейчас ответственные за разработку и внедрение моделей заинтересованы в том, чтобы не раскрывать детали сбоев. Компании, создающие ИИ, не имеют стимула публично признавать ошибки, если это может повлиять на репутацию или финансовые показатели. Независимые расследователи призваны закрыть этот пробел.
Автономность моделей — главный аргумент в пользу инициативы. Когда система сама выбирает действие, а человек лишь подтверждает решение или вообще не вмешивается, ответственность за исход расплывается. Расследование позволяет определить, на каком этапе цепочки решение пошло не так: на стадии обучения данных, проектирования модели или её развёртывания.
Конкретных законодательных инициатив на расследование пока нет. Движение носит общественный характер, и его участники обсуждают возможные форматы — от негосударственных экспертных комиссий до специальных подразделений при регуляторах. Какие организации войдут в число первых расследователей, пока не определено.
Темы, которые предстоит рассматривать, включают некорректные решения моделей в медицинской, юридической и финансовой сферах, где ошибка может повлечь реальные последствия для людей. Инициатива не предлагает ограничивать автономные системы, а настаивает на прозрачности после инцидентов.
