Появление в публичном пространстве всё большего числа терминов, связанных с потенциальными катастрофическими сценариями развития искусственного интеллекта, подтолкнуло к созданию специального глоссария. Он объясняет основные обозначения, которыми оперируют сторонники и критики идей о глобальных рисках ИИ.
Среди ключевых понятий, на которые делается акцент в материале, — FOOM (аббревиатура от fast recursive self-improvement, «быстрое рекурсивное самосовершенствование»), описывающая гипотезу о стремительном росте интеллекта системы после определённого порога. Также упоминается p(doom) — вероятностная оценка сценария, при котором развитие ИИ приводит к негативным последствиям для человечества или цивилизации в целом.
Отдельное внимание уделено таким понятиям, как sandbagging (ситуация, когда разработчики намеренно не раскрывают реальный уровень возможностей системы) и off-switch problem (проблема выключения, связанная с трудностью остановки автономно действующей системы ИИ). Эти термины отражают основные направления тревог, которые обсуждаются в профессиональном и публичном сообществах.
Глоссарий призван помочь читателям ориентироваться в дискуссиях, которые в последние годы переместились из узких академических кругов в широкую повестку. Понимание терминологии позволяет более точно оценивать заявления и прогнозы, связанные с развитием технологий искусственного интеллекта и сопутствующими рисками.
