Проект Vibe Coding XR предлагает новый подход к созданию прототипов в области расширенной реальности (XR), который значительно снижает технические барьеры, связанные с использованием сложных движков и интеграцией сенсоров.

Основой решения является XR Blocks — открытый модульный WebXR-фреймворк, предоставляющий высокоуровневые абстракции для пространственных вычислений через удобные примитивы, ориентированные на человека. Это упрощает работу с трехмерным пространством и взаимодействием внутри XR без глубокого погружения в низкоуровневые детали.

На базе XR Blocks разработан полноценный процесс прототипирования — Vibe Coding XR — который использует большие языковые модели (LLM), например Gemini, для перевода естественных языковых запросов в работающие XR-приложения. Через веб-интерфейс создатели могут, например, задать команду "создай одуванчик, который реагирует на движение руки", и получить интерактивный WebXR-прототип менее чем за минуту.

Техническая оценка проводилась на пилотном наборе данных VCXR60, демонстрируя многообразие сценариев применения: от реалистичного смешанного мира и мультимодального взаимодействия до интеграций с генеративным искусственным интеллектом. Таким образом, проект открывает возможности для быстрого воплощения идей в пространственных приложениях без необходимости изучения сложного программного обеспечения.

Код и живые демо доступны на официальном сайте xrblocks.github.io/gem и репозитории на GitHub github.com/google/xrblocks. Это решение представляет интерес для разработчиков XR, желающих ускорить создание прототипов с помощью искусственного интеллекта.

Подробнее о технологии и примерах использования можно посмотреть на YouTube-канале Ruofei Du.