Компания Multiverse Computing представила Comet 60B — мультимодальную модель искусственного интеллекта с открытым исходным кодом. Разработка вдвое сокращает общее количество параметров по сравнению с моделью Nvidia Nemotron 3.5 Super VL, сохраняя при этом поддержку текста, изображений и видео.
Comet 60B имеет 60 миллиардов параметров, в то время как у модели Nvidia их 120 миллиардов. При этом количество активных параметров у обеих моделей одинаковое — 12 миллиардов. Обе используют архитектуру mixture-of-experts, которая активирует лишь часть модели для каждой задачи. По заявлению Multiverse Computing, меньшее общее количество параметров снижает потребление памяти GPU, позволяя модели работать на менее мощном оборудовании. Поскольку количество активных параметров не изменилось, объем вычислений для каждого сгенерированного токена остается прежним.
Модель предназначена для разработчиков, создающих агентные системы ИИ, работающие с текстом, изображениями и видео. К таким задачам относятся написание кода, анализ документов и другие многоэтапные процессы.
Multiverse Computing утверждает, что Comet 60B сохраняет точность в пределах 5% от оригинальной модели Nvidia на большинстве протестированных бенчмарков и превосходит её по некоторым показателям. Например, в тесте tau2-Bench для телекоммуникаций Comet 60B показала результат 83,11 по сравнению с 81,91 у Nemotron 3.5 Super VL. Модель также продемонстрировала лучшие результаты в тестах BabyVision и AutomationBench-AA.
Разработка Comet 60B велась с использованием фреймворка CompactifAI от Multiverse, предназначенного для сжатия моделей. Процесс включает анализ модели с помощью методов тензорных сетей для выявления избыточной информации, создание сжатых версий путем удаления части модели и последующее дообучение для восстановления утраченных возможностей. На этапе дообучения используются данные из текстовых задач, взаимодействий между агентами, изображений и видео, а финальный этап обучения с подкреплением направлен на улучшение многоэтапных диалогов, логических рассуждений и снижение количества ошибочных выводов.
Comet 60B доступна на платформе Hugging Face в форматах BF16, FP8 и NVFP4. Компания также предоставила техническую документацию, описывающую методологию сжатия и результаты тестирования.
