Профессор Роберт Трейгер, специалист по управлению искусственным интеллектом, заявил, что мир находится в опасной точке развития технологий. По его словам, человечество рискует перейти черту, за которой самые продвинутые модели станут неуправляемыми.
В качестве иллюстрации Трейгер привёл два образа. Первый — лодка, которую несёт бурная река и команда молится, чтобы впереди не оказалось Ниагарского водопада. Второй — физики 1942 года, запускавшие первую самоподдерживающуюся цепную ядерную реакцию под трибунами чикагского стадиона. Так профессор описал момент, когда возможности и угрозы ИИ растут одновременно.
Поводом для разговора стала череда серьёзных инцидентов с безопасностью передовых систем. По оценке Трейгера, тревога связана с двумя свойствами таких моделей: их растущей мощью и непрозрачностью внутренних процессов. Чем сложнее модель, тем труднее предсказать её поведение заранее и вмешаться при сбое.
В разговоре также прозвучало, что сообщество исследователей и регуляторов пока не выработало надёжных механизмов контроля для наиболее мощных систем. Среди обсуждаемых мер — обязательное раскрытие возможностей моделей, независимый аудит перед выводом на рынок и международные правила, сопоставимые с режимами нераспространения в других чувствительных отраслях.
Профессор подчеркнул, что речь не об отказе от технологий, а о выстраивании защитных барьеров до того, как новые системы получат массовое распространение. По его оценке, ближайшие годы станут решающими: либо правила и институты успеют сформироваться, либо риск выхода ИИ из-под контроля перейдёт из теоретического в практический.
