Группа исследователей в области искусственного интеллекта выступила за создание независимых органов, которые будут расследовать инциденты с работающими моделями. Предложение появилось на фоне усложнения поведения систем, которые всё чаще принимают решения без прямого участия пользователя.
Суть инициативы — привлечь к анализу сбоев экспертов, не связанных с разработкой конкретных моделей и продуктов. По аналогии с расследованиями авиационных происшествий, где независимые комиссии устанавливают причины инцидентов, авторы предложения считают, что для ИИ-систем нужен аналогичный механизм.
Проблема, на которую указывают исследователи, заключается в том, что разработчики сами заинтересованы в минимизации ответственности за ошибки собственных систем. Независимая проверка, по их мнению, позволит выявлять закономерности сбоев и формировать более прозрачную картину того, как модели ведут себя в сложных условиях.
Обсуждение усилилось на фоне распространения так называемых агентных систем — моделей, способных выполнять многошаговые задачи автономно. Когда модель действует не по прямому запросу, а самостоятельно планирует последовательность действий, последствия её ошибок становятся труднее предсказуемыми и сложнее поддающимися анализу силами одной компании-разработчика.
Пока предложение носит рекомендательный характер, и конкретных регуляторных изменений оно пока не повлекло. Однако дискуссия о необходимости внешнего контроля за автономными системами набирает обороты в профессиональном сообществе.
