Стартап World Labs, основанный одним из создателей Stable Diffusion, выпустил Atlas — модель «пространственного интеллекта», ориентированную на генерацию, реконструкцию и симуляцию трёхмерных сред. Основной сценарий применения — робототехника: Atlas превращает реальные съёмки в тренировочные и тестовые окружения.
Модель поддерживает рабочий процесс Real-to-Sim, воссоздающий реальные пространства в симуляции для навигации и манипуляции роботами. По словам разработчиков, Atlas способен восстановить физическое пространство по небольшому числу изображений или видеокадров, а затем смоделировать то, что увидел бы робот при движении по этому пространству.
В части навигации World Labs продемонстрировала построение 3D-представления среды по видео со смартфона и генерацию RGB-изображений с картами глубины для разных траекторий движения робота. В одном из показов компания восстановила крупное окружение по 24 видеокадрам и смоделировала перемещение разных роботов внутри него.
Для задач манипуляции Atlas позволяет по небольшому набору реальных записей воссоздавать взаимодействия с твёрдыми, шарнирными и деформируемыми объектами. После того как задача перенесена в симуляцию, разработчики могут менять сами объекты, их расположение, движения робота, освещение и фоны, получая разные сценарии для обучения и тестов.
Архитектурно Atlas объединяет текст, изображения, видео и 3D-данные в общем пространственном контексте. World Labs описывает модель как мультимодальный авторегрессионный диффузионный трансформер, который привязывает изображения и карты глубин к положениям камеры и рассуждает о пространственных связях внутри сцены. На выходе модель также формирует явные 3D-представления — облака точек и 3D-гауссиановы сплатты (3D Gaussian splats) — пригодные для пайплайнов, где требуется именно 3D-среда, а не только сгенерированные изображения или видео.
Помимо робототехники Atlas поддерживает управляемую камерой генерацию видео, 3D-реконструкцию и генерацию изображений. World Labs сообщила, что модель выходит на этап раннего доступа для отдельных партнёров, а также ляжет в основу будущих версий продукта Marble для генерации миров.
