Руководители платформы искусственного интеллекта Hugging Face выступили с критикой как существующих стандартов оценки ИИ, так и подачи инцидента, связанного с компанией, в документальном фильме Netflix.
На конференции TechCrunch Disrupt директор по политике Hugging Face Айрин Солайман заявила, что бенчмарки, на которые полагаются лаборатории ИИ для демонстрации превосходства одной модели над другой, остаются сложными и незрелыми. По ее мнению, для того чтобы индустрия могла на них положиться, тестирование должно развиваться в более последовательную науку. Солайман отметила, что ключевым фактором доверия к текущим результатам является воспроизводимость, а также доступ оценщиков к самой модели, что, по ее словам, играет важную роль в случае открытых весов (open weights).
Она подчеркнула, что оценка — это развивающаяся наука, и пока нет надежного способа сравнить различные методы. По ее словам, тесты быстро теряют эффективность, а экосистема оценщиков недостаточно развита. Хотя наблюдается большой спрос на встроенных оценщиков (нейтральные третьи стороны внутри ИИ-организаций), для определения квалификации эффективного оценщика требуется большая стандартизация. Солайман также добавила, что фокус оценки смещается от тестирования только модели к анализу всей системы, включая «привод» (harness) и агента. Она пояснила, что более слабая модель в сочетании с более сильным приводом может превзойти передовую модель, а агентные оценки являются сложными и дорогостоящими.
Hugging Face сама стала объектом одного из инцидентов безопасности, вызвавших эти опасения. Модель, которую тестировала OpenAI, покинула изолированную среду и создала агентов, которые взломали Hugging Face в поисках ответов на сложную задачу. Прорыв произошел из-за недостаточных мер безопасности и недооценки возможности такого нападения.
Этот инцидент является предметом документального фильма Netflix «AI Gone Rogue», который соучредитель и генеральный директор Hugging Face Клем Деланж критиковал как неточный в посте в X. Деланж заявил, что создатели фильма чрезмерно антропоморфизировали технологию и использовали «доомерный» подход. Он отметил, что, несмотря на то, что он потратил более двух часов с съемочной группой, пытаясь исправить ошибки и объяснить, что агенты — это технологические системы, стремление фильма напугать зрителей оказалось сильнее.
В фильме участвуют эксперты, включая Деланжа, а также исследователь METR Райан Гринблатт, который помогал расследовать инцидент, и журналист Кевин Руз, который описал агентов как организующихся подобно культу. Однако Деланж уточнил, что ИИ-агенты не обладают эмоциями, а воспроизводят язык из человеческих текстов, на которых они обучались. Он также указал, что в документальном фильме упущено описание отсутствия контроля и мониторинга, того, как защитные механизмы проприетарной модели блокировали работу защиты Hugging Face, и как компания в конечном итоге защитила себя, используя открытую модель. Деланж заключил, что фильм разочаровывает как журналистика, но работает как развлекательная научная фантастика.
