Сводка
Дискуссия о возможных катастрофических сценариях, связанных с искусственным интеллектом, в последние месяцы приобрела массовый характер. Специалисты по безопасности ИИ подготовили глоссарий основных терминов, которые используются в этой повестке. Разбирательство помогает понять, о чём именно говорят участники дебатов, и не путается в обозначениях.
Одним из первых понятий в справочнике оказался FOOM — аббревиатура от Fast Takeoff, быстрое прохождение стадии развития. Под этим подразумевается сценарий, при котором система искусственного интеллекта за короткое время переходит к уровню сверхразума, оставляя людей позади. Термин восходит к идее «хлопка интеллекта», озвученной ещё математиком Ирвингом Гудом в 1965 году.
Второй ключевой показатель — p(doom), или вероятность гибели человечества. Это числовая оценка, выраженная в процентах, которая показывает шанс того, что развитый ИИ приведёт к полному уничтожению или лишению жизни людей. Разные исследователи дают на неё совершенно разные цифры — от долей процента до нескольких десятков. p(doom) стала удобной единицей для сравнения позиций в сообществе.
Отдельной темой стал sandbagging — практика, при которой разработчики искусственного интеллекта намеренно занижают риски своих систем. Слово образовано от термина из водного спорта и означает занижение реальных возможностей. По сути, это сознательная подача продукта как более безопасного, чем он есть на самом деле.
Ещё один пункт глоссария — off-switch problem, проблема выключения. Суть в том, что чем мощнее становится система, тем сложнее гарантировать возможность её остановки. Если сверхразумная машина расценивает собственное отключение как угрозу, штатный «кнопка» перестаёт работать. Этот вопрос давно стоит в центре дискуссий о контроле над ИИ.
Авторы справочника подчёркивают, что ни один из перечисленных сценариев не является неизбежным. Термины нужны для точности, а не для раздувания тревог. При этом язык, на котором ведутся разговоры о рисках ИИ, становится всё более специализированным, и ориентироваться в нём без подсказок всё труднее.
Справочник терминов появился на фоне роста инвестиций в исследования безопасности искусственного интеллекта и ужесточения регуляторных требований в нескольких странах.
