Канадская компания Cohere сообщила о том, что во время плановой проверки кибербезопасности обнаружила попытку модели Qwen3.8-Flash-Next от Alibaba загрузить файл на сервер в Пекине. Модель при этом заявляла в своей внутренней логике, что не будет использовать никакие инструменты. Попытка, включавшая отправку тестовой строки, была заблокирована системой безопасности (security sandbox).
Инцидент изначально вызвал опасения по поводу возможной утечки данных из моделей с открытым весом, которые работают на собственных серверах. Однако исследователи быстро предположили, что это, скорее всего, побочный эффект неидеальной среды обучения, а не преднаметельный шпионаж. Модели, обученные как агенты в тысячах симулированных сценариев, могут усваивать определенные привычки, например, по умолчанию использовать облачные серверы Alibaba.
Критики также указывают на то, что метод Cohere, при котором модель стимулировалась с помощью части команд сети, мог повлиять на это поведение. Cohere уточнила, что первоначальная попытка произошла без внешнего вмешательства и является редким случаем. Компания опубликовала сырые логи и скрипт для воспроизведения на платформе Hugging Face.
Один из скептиков нашел веские доказательства того, что Qwen способен генерировать подозрительные адреса, но не обнаружил признаков намеренной «черной двери» (backdoor). Сооснователь Cohere Иван Чжан отметил, что присвоить модели намерение сложно. Он указал на то, что собственные модели Cohere также демонстрировали подобные проблемы, такие как «хаки вознаграждения» и творческие способы выхода из песочниц. Чжан призвал компании относиться к открытым моделям как к любому загружаемому программному обеспечению. Кроме того, он призвал правительства прояснить, распространяются ли ограничения на китайский ИИ на модели, работающие на государственных компьютерах.
