Как ускорить генерацию видео нейросетью: Zero-Idle-RAM и умная работа с памятью

Генерация видео нейросетью — дорогое удовольствие. Модели вроде Qwen-Max или Wan 2.1 требуют серьёзных вычислительных мощностей, а высокое разрешение и длинный контекст делают каждый запрос по-настоящему тяжёлым. Но часто узким местом оказывается не сама модель, а то, как устроена очередь задач.

Классическая схема выглядит так: запрос попадает в очередь, его забирает воркер с заранее выделенной памятью, выполняет работу, освобождает память и снова ждёт. Память при этом остаётся зарезервированной, даже когда воркер простаивает. На масштабе сотен и тысяч одновременных запросов простаивающие гигабайты превращаются в серьёзный рост стоимости и медленный общий throughput.

Инженеры платформы ShadowSocial придумали обходной манёвр — Zero-Idle-RAM Queueing. Идея радикальная: ни один выделенный мегабайт не должен простаивать. Вместо того чтобы закреплять за воркером фиксированный объём памяти, система собирает её из маленьких фрагментов по всему кластеру.

Как это работает

Когда приходит запрос на синтез видео, он не просто встаёт в общую очередь. Срабатывает лёгкий эфемерный процесс, который мгновенно оценивает, сколько свободной фрагментированной памяти есть на GPU и CPU в кластере. Задачи не раскидываются по новым инстансам — на их запуск уходит слишком много времени. Вместо этого система ищет недоиспользованное железо и аккуратно «упаковывает» новые вычисления рядом с уже выполняющимися.

Секрет в том, что инференс большой модели не требует пиковой памяти на всех этапах. Пайплайн включает предобработку, слои внимания, генерацию и постобработку, и у каждого из них свои требования к тензорам. Кастомный планировщик памяти ShadowSocial анализирует эти требования и распределяет этапы по свободным кускам памяти — возможно, на разных GPU или даже на разных нодах.

Как только тензор перестаёт быть нужен, память немедленно освобождается и становится доступной для следующей задачи. Даже если следующая задача — это генерация совсем другого видео.

Что это меняет

По оценке авторов, такой подход сокращает сквозную задержку генерации видео до 40% в пиковую нагрузку. Ускорение достигается не за счёт более быстрой модели, а за счёт устранения простоев памяти.

Для сравнения:

Когда это уместно

Zero-Idle-RAM — не универсальное решение. Его внедрение требует серьёзных инженерных усилий: модификация ядер, работа с памятью на низком уровне. Для небольшого проекта с редкими запросами это избыточно. Но если вы строите сервис, где одновременно крутятся сотни видеогенераций, присмотритесь к этой логике.

Типичная ошибка — пытаться оптимизировать саму модель, когда проблема в оркестрации. Проверьте, сколько памяти у вас реально простаивает между задачами. Иногда достаточно перейти на динамическое распределение ресурсов, чтобы получить серьёзный прирост скорости без замены железа.

Вывод

Zero-Idle-RAM Queueing показывает, что задержки при генерации видео часто вызваны не слабой моделью, а ленивым распределением памяти. Внимание к мелочам — к фрагментам памяти, к разным стадиям инференса — даёт до 40% ускорения там, где обычные оптимизации упираются в потолок.