Обзор World Labs Spark 2.0: доставка ИИ-моделей мира
Обзор World Labs Spark 2.0: как стриминг LoD, файлы .RAD и GPU-пейджинг делают ИИ-модели мира доступными, интерактивными и удобными для обмена в сети.
Генерация 3D-миров больше не является самой сложной задачей. Теперь главная сложность — доставить их реальным пользователям.
Именно поэтому World Labs Spark 2.0 так важен. Это не очередная модель мира и не система, создающая 3D-сцену с нуля. Это уровень, который делает масштабные миры на базе 3D Gaussian Splatting пригодными для использования в открытом вебе, в том числе на смартфонах и VR-устройствах, которые обычно просто не справляются с нагрузкой от полной сцены.
Иными словами, Spark 2.0 — это уровень доставки для ИИ-моделей миров. Системы построения миров могут сгенерировать или скомпоновать сцену, а Spark 2.0 помогает превратить её в то, что люди могут открыть, исследовать и переслать ссылкой, не требуя для этого мощной рабочей станции.
Официальный главный визуал World Labs Spark 2.0 с потоковым 3DGS-миром для веба.
Что такое Spark 2.0 на самом деле
Spark 2.0 — это веб-рендерер на базе 3D Gaussian Splatting с открытым исходным кодом. Компания World Labs разработала его на базе THREE.js и WebGL2, чтобы он мог работать в обычных браузерах на ПК, мобильных устройствах и XR-гарнитурах.
Его задача проста в теории, но сложна на практике: взять огромные 3DGS-сцены и отрендерить их настолько плавно, чтобы ими было комфортно пользоваться за пределами контролируемой демо-среды.
Это важное уточнение, поскольку суть Spark 2.0 легко понять неверно. Это не то же самое, что Marble или генеративная модель мира. Spark 2.0 не создает мир. Он упаковывает, транслирует и рендерит уже существующий мир.
Именно поэтому данный релиз важен не только для специалистов по компьютерной графике. Если ИИ-системы будут генерировать всё более масштабные и открытые для исследования пространства, кому-то всё равно придётся решать проблему «последней мили» — их доставки пользователю.
Почему это важно для ИИ-моделей мира
Самый важный вывод из релиза Spark 2.0 заключается не только в том, что веб-рендеринг стал лучше. Главное — полный стек моделей мира начинает выглядеть более завершенным.
На практике этот стек теперь выглядит примерно так:
- Сгенерировать или захватить 3D-мир.
- Расширить или скомпоновать этот мир во что-то большее.
- Обеспечить стриминг и рендеринг с нужным уровнем детализации для текущего устройства.
- Поделиться результатом в виде нативного браузерного решения.
Именно на этом четвертом шаге многие концепции моделей мира все еще терпят неудачу. Сгенерированный мир может выглядеть впечатляюще на видео из исследований, но если его нельзя доставить на обычное устройство без огромной потери качества или сложностей с настройкой, он остается скорее лабораторным артефактом, чем готовым продуктом.
Spark 2.0 напрямую устраняет этот пробел. Он делает ответ на вопрос «как доставить этот мир пользователю?» гораздо более четким.
Три технических решения, благодаря которым работает Spark 2.0
Технический обзор World Labs и сопутствующая документация Spark указывают на три основные идеи, лежащие в основе Spark 2.0. Сами по себе они не являются чем-то магическим. Новаторство заключается в том, что они объединены в ориентированную на браузер систему доставки очень больших 3DGS-сцен.
1. Непрерывный LoD экономит ресурсы устройства
Spark 2.0 не пытается отрендерить каждый сплат в сцене одновременно. Он строит дерево непрерывного уровня детализации (LoD) и выбирает подмножество сплатов, которое лучше всего соответствует текущей точке обзора.
Это важно, поскольку высококачественные 3DGS-миры могут легко состоять из десятков миллионов сплатов, тогда как пользовательское устройство способно обрабатывать лишь малую их часть при интерактивной частоте кадров. Spark справляется с этим несоответствием, удерживая количество активных сплатов в пределах допустимого для устройства лимита и повышая детализацию там, где это важнее всего.
Для разработчиков ключевая идея проста: сцена может быть огромной, но устройство тратит ресурсы только на ту детализацию, которая нужна в данный момент.
Схема World Labs с непрерывным деревом LoD-сплатов, которое помогает удерживать огромные 3DGS-сцены в пределах бюджета устройства.
2. Формат .RAD превращает 3DGS в потоковую среду
Стандартные файлы 3DGS неудобны для доставки через браузер. Несжатые форматы слишком велики, а сжатые часто требуют загрузки всего файла целиком, прежде чем сцена станет пригодной для использования.
Spark 2.0 представляет формат .RAD для решения этой проблемы. Вместо того чтобы рассматривать мир как один гигантский объект, который должен загрузиться целиком, он разбивает сцену на фрагменты для потоковой передачи. Сначала появляется грубая версия, а затем, по мере перемещения зрителя, подгружаются дополнительные детали.
Это одна из причин, почему данный релиз кажется чем-то большим, чем просто обновление рендерера. Он меняет восприятие 3DGS: из тяжелого файла для скачивания он превращается в пространственную среду, которую можно доставлять постепенно.
3. Пейджинг GPU делает концепцию «Огромные миры на небольших устройствах» осуществимой
Даже при потоковой передаче мобильные графические процессоры и ограничения памяти браузера все еще устанавливают жесткий потолок. Spark 2.0 решает эту проблему с помощью системы управления памятью на GPU по принципу таблиц страниц.
Вместо того чтобы хранить весь мир в памяти, он поддерживает фиксированный пул и выгружает/загружает фрагменты в зависимости от того, что именно сейчас исследует зритель. Результат не дает бесконечной производительности, но это гораздо более реалистичный путь к браузерным мирам, которые кажутся больше, чем устройство обычно способно выдержать.
Именно здесь концепция «уровня доставки» становится наиболее полезной. Spark 2.0 не обещает, что аппаратные ограничения исчезнут. Он обещает, что доставка миров станет достаточно адаптивной, чтобы работать в их пределах.
Что Spark 2.0 меняет для создателей
Для разработчиков практическое изменение заключается не только в качестве графики. Главное — это дистрибуция.
До появления подобных инструментов большая 3DGS-сцена часто вела себя как узкоспециализированный ассет. Вы могли изучать ее на мощном оборудовании, публиковать видео с ней или показывать в ограниченном просмотрщике, но превратить ее в полноценный веб-опыт было гораздо сложнее.
Spark 2.0 делает несколько более амбициозных процессов вполне осуществимыми:
- нативные веб-3D-миры, которые открываются по URL-ссылке, а не через тяжеловесный клиент;
- композитные сцены, созданные из нескольких сплат-объектов в одном пространстве;
- браузерный пространственный сторителлинг, виртуальные туры и интерактивное искусство;
- демоверсии моделей мира, которыми можно делиться с реальными пользователями, а не только внутри команды.
Это также важно для гибкости создателей. Программируемый конвейер шейдеров Spark и связанные с ним инструменты для XR означают, что проект предназначен не только для пассивного просмотра. Он открывает путь к веб-приложениям, где сплат-миры можно переосвещать, стилизовать, анимировать и исследовать в более интерактивных форматах.
Именно поэтому данный релиз так хорошо вписывается в общую концепцию World Labs. Marble берет на себя часть конвейера, отвечающую за «генерацию и компоновку». Spark 2.0 отвечает за «доставку и исследование».
Что Spark 2.0 не решает
С точки зрения хайпа можно было бы сказать, что Spark 2.0 делает доставку миров не требующей никаких усилий. Но это неверная трактовка.
По-прежнему существуют реальные ограничения:
- медленные сети все равно будут приводить к первоначальной загрузке в низком разрешении и видимой постепенной детализации;
- командам по-прежнему нужен конвейер подготовки ассетов, включая конвертацию в формат
.RAD; - работа по-прежнему зависит от поддержки браузерами технологий эпохи WebGL2;
- Spark 2.0 решает проблемы рендеринга и доставки, а не само качество генерации миров.
Последний пункт особенно важен. Spark 2.0 — это прорыв в области доставки, а не замена сильной модели мира, качественным данным захвата или продуманному конвейеру сцены.
Как читателям WMHub стоит к этому относиться
Если вы работаете над процессами ИИ 3D или моделями мира, на Spark 2.0 стоит обратить внимание по одной конкретной причине: он придает конечной части стека более продуктовый вид.
В широких дискуссиях об ИИ часто слишком много внимания уделяется качеству генерации и слишком мало — механизмам доставки. Но в реальных продуктах доставка — это часть функционала. Мир, который работает только в контролируемой демонстрационной среде, менее ценен, чем мир, который обычные пользователи могут открыть, исследовать и переслать другим.
Именно через эту призму мы смотрим на это и в WMHub. Этап создания и этап доставки — это разные задачи. Если вы изучаете генерацию ассетов, построение сцен или процессы text-to-3D и image-to-3D, то следующим логичным шагом будет хаб процессов ИИ 3D. Если же вы оцениваете, куда движется категория моделей мира, Spark 2.0 — это сильный сигнал о том, что нативная браузерная доставка становится частью конкурентного преимущества этой категории.
Итоги
World Labs Spark 2.0 имеет значение, потому что он отвечает на продуктовый вопрос, а не только на вопрос рендеринга.
Вопрос не в том, «может ли ИИ сгенерировать мир?». Вопрос в том, «можно ли доставить этот мир на обычные устройства так, чтобы он оставался интерактивным, высокодетализированным и им можно было легко поделиться?».
Spark 2.0 — один из самых четких недавних ответов на эту проблему. Он не заменяет модели мира. Он упрощает их выпуск.
Изучите процессы ИИ 3D на WMHub