Google DeepMind выпустила новую модель мира Genie 4, которая доступна в режиме исследовательского превью. Модель способна создавать фотореалистичные и интерактивные симулированные миры, позволяя пользователям вносить изменения в ход симуляции в режиме реального времени. Это включает изменение погодных условий, корректировку ракурсов камеры, а также добавление новых объектов и персонажей.
Genie 4 генерирует соответствующее аудио в реальном времени, включая музыку, фоновые звуки и диалоги. Модель поддерживает согласованность сцен в течение двух минут, что вдвое больше, чем у предшественника Genie 3. Кроме того, в Genie 4 улучшена физика и добавлены более реалистичные персонажи.
В новой версии усилена интеграция с Gemini. Gemini выполняет роль «режиссера», планируя шаги и проверяя кадры. В рамках эксперимента по робототехнике Gemini 4 Argon разделил сложные задачи на этапы, которые Genie 4 симулировала в реальном времени. Это позволяет тестировать сценарии для роботов до их внедрения в реальные условия.
Директор по исследованиям Теджас Кулкарни отметил, что будущие модели мира будут представлять собой гибриды. В этом сценарии Gemini будет заниматься написанием кода и текстом, а Genie — симуляцией реальности в реальном времени. Инженер Диего Ривас сообщил, что тестировщики видят ценность в использовании модели для прототипирования фильмов и создания раскадровок. Тем не менее, он подчеркнул, что на данном этапе сохраняются сложности, связанные с дрейфом объектов и точностью аудио.
Выход Genie 4 происходит на фоне консолидации рынка. В частности, компания AMD приобрела World Labs, основанную Фей-Фэй Ли, а Rivian купила компанию Third Dimension. Модель Genie 4 будет доступна подписчикам Google AI Ultra и определенным партнерам API Gemini в ближайшие недели.
