Почему image-to-video не выполняет правильный промпт: разбор на трёх запусках

Есть класс ошибок, которые выглядят как проблема с промптом, а на самом деле оказываются проблемой входа. В image-to-video это видно особенно чётко: вы пишете аккуратный запрос, модель делает успешный запуск, но результат не содержит того, что вы просили. И вы начинаете переписывать формулировку — хотя она была правильной.

Реальный пример: в нодовом редакторе PixAI Studio одна и та же иллюстрация прогналась три раза с разными инструкциями. Стандартная схема: картинка на входе, текст описывает движение, на выходе короткий видеоролик. Три запуска, три варианта промпта — и результаты расположились совсем не в том порядке, который ожидаешь.

Сначала «плохой» промпт — и он сработал

Первый запуск был намеренно перегруженным. Шесть требований в четырёх предложениях: полный разворот к камере, толчок рукой от корпуса, протянутая к зрителю рука, обломки, проносящиеся рядом, одновременное движение камеры по орбите и наезд, вспышки света. Всё, что обычно должно развалиться.

Она разворачивается лицом к камере, отталкивается правой рукой от корпуса и тянется к зрителю, пока мимо проносятся обломки. Камера облетает её и одновременно наезжает. Яркие вспышки света, искры, быстрая динамика.

Модель выполнила всё. Лицо удержалось, характерные детали — тоже. После такого обычно хочется сделать вывод, что тщательность в промпте не нужна. Но дальше начинается странное.

Потом «аккуратный» промпт — и ничего не произошло

Второй запуск сделали по всем правилам: одно основное действие, явные инварианты, одно движение камеры. Никакой перегрузки. Формулировка точнее и лучше по любому критерию, который применили бы к тексту запроса.

Персонаж медленно дрейфует на месте и поворачивает голову к камере, останавливаясь лицом к зрителю. Волосы и оранжевый трос плавно покачиваются. Камера медленно и равномерно наезжает. Лицо, линза над правым глазом, кольцо на воротнике и бронированная перчатка на правой руке остаются неизменными.

На выходе — пара градусов поворота головы. Второстепенные элементы двигались, наезд камеры отработал, а главное действие, ради которого всё затевалось, фактически не случилось. Тихий, вежливый отказ под видом успешного запуска.

Разбор этой неудачи — ключ ко всей истории. Она была нарисована лицом к зрителю, взгляд направлен прямо в объектив. Формулировка «повернуть голову к камере» описывает переход из состояния A в состояние B. Но исходное изображение уже находилось в состоянии B. Промпт — правильный, семантически корректный и при этом пустой для конкретного входа.

Три запуска: сравнение в таблице

Что делать, чтобы не попасть в эту ловушку

Первое и главное: смотрите на вход до того, как писать инструкцию. Для image-to-video есть конкретные вопросы. В каком состоянии уже находится персонаж? Что перекрыто, что видно целиком? Сколько пустого пространства в направлении движения? Насколько хорошо объект отделяется от фона. Любой запрос, нацеленный на состояние, которое уже присутствует, даст тихий no-op.

Второе: раскладывайте кадр на четыре корзины — основное движение, поддерживающее движение, инварианты и камера. Камера здесь самый дешёвый рычаг. Один проезд камеры держит сцену, даже если персонаж почти статичен. Это же самый безопасный вариант, когда главная ценность — сам арт.

Третье: называйте инварианты явно. Не «лицо выглядит нормально», а конкретные приметы: линза над одним глазом, перчатка только на одной руке, кольцо на воротнике. Асимметричные маркеры проверяются по кадрам гораздо проще, чем общая фраза о сохранности. Это как сравнивать по уникальному ключу, а не на глаз.

Четвёртое: стилевой контракт объявляйте дважды. В одном из запусков черно-белая манга-панель прошла через тот же пайплайн: «чёрно-белое» было указано в начале и в конце инструкции. Тушь, штриховка и скринтон сохранились, потому что движение отдали камере, а не рисунку.

Пятое: считайте каждый запуск с версионированием бесплатным зондом. В редакторе с нодовой структурой каждая попытка остаётся на канвасе, и три прогона лежат рядом без дополнительного учёта. Переписывать инструкцию два-три раза — нормальный путь. Первый запуск лучше изначально использовать как разведку, а не как финальный вариант.

Самый важный вывод из этой истории: первый промпт был небрежным и сработал, второй — тщательным и не сделал ничего. Качество формулировки не было решающей переменной. Переменной было состояние входного изображения. Поэтому в следующий раз начинайте не с промпта, а с осмотра исходника: какие оси уже заняты, какие свободны, и куда движение можно направить, не упираясь в готовое состояние.