Это один из самых прагматичных подходов к генерации видео на этапе постпродакшена. Исследователи из Netflix и Eyeline Labs представили Vista4D — фреймворк, который позволяет буквально переснять готовый ролик с новой камеры. Алгоритм берет исходное видео, собирает из него 4D-реконструкцию сцены в виде плотного облака точек и превращает ее в полноценную динамическую среду. По сути, это генератор мира, внутри которого можно свободно перемещать виртуальную камеру, меняя траектории и ракурсы уже отснятого материала.

Процесс строится на физически корректном фундаменте. Сначала нейросеть делает черновой пререндер сцены с нового ракурса на основе облака точек. Затем этот сырой драфт скармливается видеодиффузионной модели, которая достраивает детали, исправляет артефакты геометрии и сглаживает дрожание кадра от неточной оценки глубины. Самое интересное — сцена становится полностью редактируемой. Можно напрямую менять 4D-облако точек, удаляя или перемещая объекты, а Vista4D отрендерит обновленную версию видео без визуальных конфликтов с оригинальным фоном.

Модель справляется с длинными видео благодаря фрагментированному инференсу. Ролик разбивается на клипы, а облако точек непрерывно обновляется и переносится в следующий фрагмент для сохранения пространственного контекста. Если в кадре не хватает фоновой информации при сильном отлете камеры, можно подгрузить обычную съемку локации на телефон — фреймворк склеит это с основным видео и расширит границы сцены. Для студийного пайплайна это означает возможность исправлять ошибки оператора и перестраивать мизансцены без дорогих досъемок на площадке!