В основе проекта лежит объединение возможностей библиотеки Three.js и технологии отслеживания движений MediaPipe, что обеспечивает реалистичную анимацию 3D-моделей на основе видео.

В качестве демонстрационных объектов используются тщательно подготовленные модели: Young Lara от Bandinopla, 3D-скан головы неизвестного автора, загруженный пользователем kand8998, а также модель тигра Tai Lung от Guilherme Navarro. Для захвата движений использованы видео-референсы женщины от Grok.

Технически проект реализует риггинг персонажей через сопоставление ключевых точек лица и тела, получаемых из видеопотока через MediaPipe, с костями 3D-моделей в Three.js. Это позволяет добиться синхронизации мимики и поз с минимальной задержкой, что особенно актуально для интерактивных приложений и прототипов.

Демонстрация доступна на странице проекта: ThreeJs - MediaPipe - Rig. Изучение такого подхода будет полезно разработчикам, работающим с веб-анимацией и интерактивными 3D-сценами.

Рекомендуется обратить внимание на технические детали реализации и возможности интеграции с собственными 3D-моделями.