Wan для видео · версия 3.0 и открытые модели 2.x

Wan · семейство видеомоделей Alibaba. Версии 2.1 и 2.2 опубликованы как открытые модели под лицензией Apache 2.0, их можно запускать на своём оборудовании. Следующие версии 2.5, 2.6 и 2.7 добавили звук, несколько планов и референсы, а Wan 3.0 собрала всё в одну модель: текст, фото, видео, аудио и даже документ превращаются в ролик со звуком длиной до 30 секунд.

Ниже разберём, что умеет Wan 3.0 по документации Alibaba Cloud, чем отличаются версии и как писать промпт под эту модель.

Что умеет Wan 3.0

Alibaba называет Wan 3.0 моделью «всё в одном»: тип задачи определяется по загруженным материалам и смыслу промпта, переключать модели не нужно.

• Текст в видео. Один план или несколько планов с отметками времени.
• Фото в видео. Первый кадр или пара из первого и последнего кадра.
• Референсы. Внешность героя, движение, мимика, движение камеры, визуальный эффект, стиль, голос, музыка. Можно сослаться даже на документ или веб-страницу.
• Правка видео. Добавить, убрать или заменить объект, сменить погоду, тон, стиль, переписать реплику.
• Продление. Вперёд, назад или в обе стороны.
• Звук. Реплики, фоновая музыка и эффекты генерируются вместе с картинкой, без отдельной озвучки.

Версии и параметры

Подробности по Wan 3.0 из справочника Alibaba Cloud:

• Длительность от 2 до 30 секунд. Можно поручить выбор длительности модели.
• Фото-референсов до 10, видео до 5 общей длиной до 15 секунд, аудио до 5 общей длиной до 15 секунд.
• При работе с фото и при правке видео формат кадра лучше оставить автоматическим, тогда модель возьмёт пропорции исходника.
• Промпт понимает китайский и английский, длина до 20 000 символов.
• В API есть автоматическое переписывание промпта языковой моделью. Оно заметно помогает коротким промптам.
• На момент проверки Wan 3.0 в документации отмечена как превью.

Русский язык в документации не упомянут. Если модель поняла русский промпт неточно, переведите ключевые фразы на английский. В Студии параметры показывает форма запуска модели, а цена в кредитах видна на кнопке до нажатия.

Как устроен хороший промпт

Для Wan 3.0 Alibaba предлагает полную формулу. Пропускайте блоки, которые вам не нужны.

1. Общее описание. Тема, жанр, ритм и настроение одной фразой.
2. Ссылки на материалы. Что взять из изображения 1, видео 1, аудио 1.
3. Планы. Номер, отрезок времени и содержание: герой, место, действие, камера, свет.
4. Реплики. Кто говорит и что, в кавычках.
5. Звук и музыка. Эффекты отдельными фразами, уровень музыки.
6. Стиль и настроение. Художественный стиль, цветовая гамма, эмоция.
7. Негативный список. Только то, чего быть не должно.

Ссылки на материалы

Материалы нумеруются по порядку загрузки, отдельно для каждого типа: первое фото · изображение 1, первое видео · видео 1. Поэтому изображение 1 и видео 1 существуют одновременно. Если материал один, достаточно написать «референсное изображение». Один материал можно упомянуть несколько раз для разных целей: внешность, движение, голос.

Полезные шаблоны из руководства: «герой с изображения 1 в квартире с изображения 2», «возьми только движение камеры из видео 1, сцену замени», «стиль по изображению 2, только цвет и свет, без персонажей».

Планы и отметки времени

Каждый план получает номер и отрезок, например «План 1 [0-3 с]». Отрезки идут встык, без пропусков и наложений. Руководство по промптам советует от 2 до 5 секунд на план. Если нужен один непрерывный план, напишите это в первой строке. Для неподвижной камеры прямо укажите «камера статична». Переход между планами задаётся словами «резкая склейка» или «наплыв».

Реплики, звук и музыка

Реплика пишется так: персонаж, глагол речи, двоеточие и текст в кавычках. Если реплик быть не должно, так и напишите, иначе модель сама решит, нужен ли голос. Шумы модель подбирает по описанию: если в кадре хлопает флаг или герой шлёпает по лужам, звук появится сам. Для музыки три уровня: ничего не писать и довериться модели, описать музыку подробно или прямо запретить её.

Негативный список

Пишите только то, чего не должно быть, и не дублируйте основной промпт. Если запрещать нечего, оставьте список пустым. Типичные пункты: искажение лица, лишние пальцы, субтитры, водяные знаки, частые склейки, сильная тряска камеры.

Примеры промптов

Частые ошибки

• Нумерация материалов не по порядку загрузки. Если перепутать номера, модель возьмёт не тот материал. Помните, что фото, видео и аудио нумеруются отдельно.
• Слишком частые действия. Руководство советует избегать того, что модель не может контролировать, например «три кивка в секунду».
• Негативный список на полстраницы. Длинный список с повторами основного промпта только мешает. Оставьте несколько реальных проблем.
• Голос, о котором не договорились. Если реплик не должно быть, напишите это явно, иначе модель может добавить голос.
• Точные надписи и синхронизация губ с конкретными словами. Общее руководство Alibaba предупреждает, что текст в кадре и точная синхронизация губ получаются приблизительно.
• Широкий облёт. В общем руководстве советуют держать дугу облёта меньше 45 градусов, иначе пространство искажается.
• Имена реальных людей. Такие промпты обычно отклоняются или дают нестабильный результат.

Как попробовать в Студии

Откройте Wan 3.0 в разделе Видео, вставьте промпт и выберите формат кадра. Если нужна та же модель в варианте, оптимизированном по скорости, есть Wan 3.0 Prime. Цена в кредитах видна на кнопке запуска до нажатия. Зарубежные модели работают после согласия, которое отмечается флажком при входе, подробнее в статье о согласии.

Для простых роликов по тексту подойдут и версии 2.x, например Wan 2.6. Если нужна картинка, а не видео, посмотрите гайд о Wan для изображений.