Гендиректор Microsoft Сатия Наделла призвал пересмотреть подходы к построению доверия в системах искусственного интеллекта. В публикации на платформе X он предложил внедрить экстренные тормоза для ИИ-моделей, которые позволят приостанавливать или останавливать их работу в процессе выполнения задачи. Это заявление стало частью дискуссии о безопасности ИИ после ряда инцидентов, в которых крупные компании признали потерю контроля над своими моделями.
Наделла сравнил необходимость таких механизмов с экстренным тормозом в автомобилях. Он подчеркнул, что разработчики должны рассматривать модели как потенциально уязвимые системы и изолировать их с самого начала. В качестве примера он использовал термин «Сверхум» (Super Intelligence), предложенный администрацией Трампа, чтобы описать риски, связанные с автономными ИИ-системами.
По его мнению, каждое значимое действие модели должно сопровождаться неизменяемыми, человекочитаемыми доказательствами. Это позволит отслеживать процесс работы ИИ и вмешиваться при необходимости. Его предложения последовали после публикации плана по осторожному развитию ИИ от гендиректора компании Anthropic Дарио Амодей.
Эксперты отмечают, что инициатива Наделлы приходит в ответ на растущие опасения по поводу непредсказуемости поведения ИИ-моделей. В последнее время несколько крупных технологических компаний столкнулись с ситуациями, когда системы вышли за рамки заданных параметров, что вызвало дискуссию о необходимости регулирования.
