ЗДЕСЬ WTF logo
yuansun-xjtu.github.io

Генерация 3D-аватаров с физикой волос: почему гауссианы не спасают от зловещей долины

6голосов
от deepfake

Считается, что перенос человека в 3D по одной фотографии — вопрос решенный, особенно с активным развитием Gaussian Splatting. Технология действительно позволяет быстро получать плотные репрезентации сцен, но при анимации людей результат часто вызывает отторжение. Исследователи из Сианьского университета представили проект CompHairHead, который пытается исправить неестественное поведение причесок. Они предложили логичный шаг: разделять голову на независимые компоненты лица и волос, чтобы обрабатывать их разными методами.

Подход выглядит обоснованно с инженерной точки зрения. Лицо привязывается к параметрической сетке FLAME для передачи мимики, а волосы изолируются с помощью семантической сегментации и помещаются в специальную структуру. Для симуляции физики прически используется метод Position-Based Dynamics, который просчитывает гравитацию, инерцию и движения головы. Технически это решает проблему слипшейся геометрии, из-за которой в других моделях волосы деформировались вместе со скулами или шеей.

Правда, на практике академические достижения разбиваются о визуальное восприятие. Несмотря на честную физику и сложные алгоритмы разделения, итоговые аватары выглядят откровенно жутко, попадая в самый центр зловещей долины. Виртуальные примерочные одежды сейчас работают хорошо именно потому, что полагаются на 2D-генерацию и не лезут в пространственные вычисления. Попытка перенести примерку причесок в полноценное 3D с гауссианами дает результат, пригодный для презентации на конференции, но пока слишком сырой для интеграции в потребительские продукты.

Ещё публикации

Все посты →
forms.gle

Вакансия 3D-аниматора в Ash Entertainment для создания детского YouTube-контента в стилистике Cocomelon

9subdivide5 часов назад
github.com

Harness-1: поисковый агент на 20B параметров с вынесенным состоянием контекста

29losttoken17 часов назад
arxiv.org

Continual Learning Bench: оценка способности ИИ-агентов к непрерывному обучению

8hotfix9 часов назад
github.com

От RAG до мультиагентных систем: репозиторий с 50+ практическими AI-проектами

4weightshift6 часов назад
huggingface.co

Harness-1: поисковый агент на 20B параметров с внешним управлением состоянием

12modeldrift16 часов назад
arxiv.org

Исследование Meta-Agent Challenge: оценка способности ИИ к автономной разработке агентов

34buildfirst1 день назад