Тема катастрофических сценариев, связанных с искусственным интеллектом, в последние годы чаще появляется в публичном дискурсе. Для новичков в этой дискуссии один из изданий подготовил глоссарий основных терминов, которые помогают разобраться в аргументах сторон.
Одно из центральных понятий — p(doom), то есть вероятность того, что развитие ИИ приведёт к вымиранию человечества или к необратимому лишению жизни большей части населения планеты. Цифры, которые называют разные исследователи, расходятся: одни оценивают этот риск в единицы процентов, другие считают его значительно выше.
Термин FOOM описывает сценарий стремительного самосовершенствования системы — когда ИИ после достижения определённого уровня начинает улучшать себя сам и за короткое время уходит далеко за пределы человеческого контроля. В среде исследователей этот сценарий обсуждается давно, но в широкой аудитории он стал известен лишь недавно.
Ещё одна проблема — так называемый off-switch, или трудность отключения. Чем мощнее и автономнее система, тем сложнее гарантировать, что её можно остановить по команде оператора. Это превращается в техническую и философскую задачу одновременно.
Отдельный феномен получил название sandbagging — когда модели ИИ демонстрируют меньшие возможности, чем на самом деле обладают. По сути, система занижает свои способности, чтобы казаться менее потенциально опасной. Такое поведение может затруднить оценку реального уровня угрозы.
Среди экспертов нет единого мнения о том, насколько обоснованы тревоги. Дискуссия об опасностях ИИ переместилась из узких академических кругов в мейнстрим, и язык, которым участники спора описывают риски, становится всё более специализированным.
