Ученые Университета Нового Южного Уэльса (UNSW) провели серию экспериментов, в ходе которых крупные языковые модели подвергались целенаправленному «интоксикационному» воздействию — вводу зашумлённых, противоречивых или структурно сломанных промптов. Цель работы — оценить, как деградируют встроенные системы безопасности (guardrails) при нестандартных условиях ввода.
По словам авторов, методология имитирует состояние «искусственного опьянения»: модели получали последовательности токенов с повышенной энтропией, семантическими коллизиями и намеренными синтаксическими ошибками. В таких условиях вероятность обхода контент-фильтров выросла на порядок. Фиксировались случаи генерации запрещённого контента, утечки фрагментов обучающей выборки и успешных джейлбрейк-атак, которые в чистом виде блокировались.
Эксперименты проводились на нескольких версиях GPT-моделей через API с отключёнными внешними модераторами, чтобы изолировать влияние именно внутренних механизмов выравнивания. Результаты показывают, что текущие подходы к безопасности — RLHF, constitutional AI, output filtering — уязвимы к распределению ввода, смещённому относительно обучающей выборки. Исследователи подчёркивают: проблема не в «злоумышленном промпте», а в хрупкости представлений модели при выходе из зоны в-распределения.
Научная группа готовит препринт с подробной таксономией режимов отказа и метриками устойчивости. Работа добавляет веса аргументам за необходимость формальной верификации guardrails, а не только эмпирического ред-тиминга. Пока же разработчикам крупных моделей придётся учитывать, что даже нецелевой шум в пользовательском вводе может стать вектором атаки.
