Мало кто обратил внимание, но энтузиасты тихо портировали сложную систему трекинга движений в интерфейс привычного генератора. Проект ComfyUI-SAM3DBody_utills интегрирует модель SAM 3D Body прямо в ComfyUI, превращая нодовое пространство в локальную студию нейромокапа.
Под капотом алгоритм работает предельно прагматично. Нейросеть анализирует входное видео, оценивает пространственное положение человека и восстанавливает точный 3D-скелет. Полученную структуру можно сразу же использовать внутри графа — например, применить к референсному изображению, чтобы заставить плоского персонажа повторять сложную кинематику реального актера из исходного ролика.
Если копнуть глубже, главная ценность репозитория заключается в форматах сохранения. Инструмент умеет экспортировать извлеченные данные напрямую в файл FBX. Это выводит процесс за рамки генерации видео: теперь можно снять черновой референс на телефон, прогнать через пайплайн и закинуть готовую анимацию костей напрямую в Blender, Unreal Engine или любую другую 3D-среду.
Поделиться:
Git-репозитории для нейросетей и изолированные песочницы: зачем Cloudflare перестраивает облачную архитектуру →
Проморолик аккумуляторов CATL и Huawei: когда 3D-анимация затмевает сам продукт →
Трансформация образа Долины в медиа: AMC+ анонсировал сериал The Audacity с фокусом на деструктивную стартап-культуру →
Runway представили ShapeUP: фреймворк для редактирования геометрии и текстур 3D-моделей по 2D-референсам →