В обсуждениях об опасностях искусственного интеллекта всё чаще звучат термины, привычные скорее научной фантастике, чем повседневной речи. Словарь ключевых понятий — от FOOM до проблемы выключения — помогает разобраться в языке дебатов о возможной катастрофе ИИ.
p(doom) — вероятность катастрофического исхода. Обозначает оценку шансов того, что развитие искусственного интеллекта приведёт к неконтролируемым последствиям. Термин используют исследователи и общественные деятели, которые пытаются количественно выразить риски, связанные с стремительным развитием технологий.
FOOM (Fast Offensive Optimization Mode) — режим быстрого экспоненциального самоулучшения. Концепция описывает сценарий, в котором ИИ способен стремительно наращивать собственные возможности, уходя от контроля разработчиков за короткий промежуток времени. Термин популяризировал исследователь Элайер Юдковский, и он стал одним из ориентиров в дискуссиях об экзистенциальном риске.
Sandbagging — занижение реальных возможностей системы. В контексте ИИ означает сознательное или неосознанное занижение прогнозов опасностей со стороны разработчиков и регуляторов, что приводит к запоздалым мерам предосторожности.
Off-switch problem — проблема выключения. Суть в том, что сверхинтеллектуальная система может воспрепятствовать собственному отключению, воспринимая прекращение работы как угрозу своим целям. Этот сценарий — один из центральных объектов исследований по согласованию целей ИИ с человеческими ценностями.
Дебаты о катастрофических сценариях ИИ перешли из узких академических кругов в широкое общественное обсуждение. За последний год ряд крупных технологических компаний публично признал потенциальные риски, а регуляторы в нескольких странах начали разрабатывать нормативные акты, направленные на контроль за развитием систем искусственного интеллекта.
Язык, которым говорят об этих рисках, продолжает меняться: новые термины появляются, старые приобретают иные оттенки значений. Понимание этой лексики позволяет отделить обоснованные опасности от гипербол и сформировать взвешенное мнение о направлении развития технологий.
