ComfyUI представил новую систему оптимизации памяти Dynamic VRAM, которая значительно сокращает использование системной RAM и улучшает производительность при работе с большими моделями на ограниченных ресурсах.

Данное решение особенно актуально на фоне роста цен на оперативную память. Dynamic VRAM меняет подход к загрузке весов моделей: вместо полной загрузки все происходит по требованию с помощью специального API fault(). Это позволяет выделять VRAM точно в момент необходимости, избегая частых ошибок Out-Of-Memory и ускоряя время загрузки.

Ключевые преимущества нового подхода включают снижение нагрузки на системную RAM, предотвращение обращения к медленному файлу подкачки, а также более эффективное использование видеопамяти GPU. При этом в Windows Task Manager может не сразу отразиться уменьшение нагрузки, так как ComfyUI удерживает веса в кэше оперативной памяти до необходимости освободить её.

Технически система использует Virtual Base Address Register (VBAR) — виртуальный адресный регистр без физической нагрузки на VRAM, где веса моделей хранятся в невыделенном состоянии до запроса. При нехватке VRAM веса загружаются временно и освобождаются после выполнения операции, что предотвращает сбои.

Этот механизм сопровождается приоритетной системой водяных знаков (watermark), которая управляет загрузкой и выгрузкой весов, минимизируя потери производительности из-за постоянных попыток загрузить отсутствующую память.

Dynamic VRAM уже доступен в стабильной версии ComfyUI для Nvidia на Windows и Linux, значительно улучшая работу больших моделей на потребительском оборудовании. Подробнее о технических деталях и результатах тестирования можно узнать в оригинальном материале на официальном блоге ComfyUI.

Такое обновление расширяет возможности пользователей с ограниченной памятью и снижает барьер для запуска крупных моделей, делая их более доступными в повседневной работе.