Seedance 2.0 и 2.5 · сюжетное видео по тексту, кадрам и референсам

Seedance · семейство видеомоделей ByteDance Seed. Ещё первая версия умела снимать несколько связанных планов в одном ролике, а линейка 2.0 и новая 2.5 добавили звук, референсы из фото, видео и аудио, правку и продление готового видео. В Студии основная модель статьи · Seedance 2.0, рядом есть 2.5 и облегчённые варианты.

Ниже разберём параметры по документации BytePlus, где ByteDance публикует свои модели для разработчиков, и правила промпта из официального руководства по Seedance 2.5.

Что умеет Seedance

• Несколько планов в одном ролике. Модель держит героя, стиль и атмосферу при смене плана, времени и места.
• Видео со звуком. Речь, эффекты и фоновая музыка генерируются вместе с картинкой. Звук можно отключить.
• Референсы. В одном запросе можно смешивать фото, видео и аудио: внешность героя, движение, голос, место.
• Первый и последний кадр. Ролик начинается и заканчивается заданными изображениями.
• Правка и продление. Серии 2.0 и 2.5 умеют менять готовое видео и продолжать его вперёд или назад.
• Длинный сюжет у 2.5. Разработчик называет 2.5 моделью для историй до 30 секунд.

Версии и параметры

Данные из справочника API BytePlus. Они относятся к запросу через API разработчика. В Студии настройки показывает форма запуска модели, а цена в кредитах видна на кнопке до нажатия.

Что ещё важно из документации:

• Форматы кадра: 16:9, 4:3, 1:1, 3:4, 9:16, 21:9 или автоматический выбор по входным материалам.
• У 2.0 и 1.5 pro можно доверить выбор длительности модели. Она подберёт целое число секунд в допустимом диапазоне.
• Видео-референсы у 2.0 длиной от 2 до 15 секунд, в сумме не больше 15 секунд. У 2.5 общий лимит 30 секунд.
• Серия 2.0 не принимает одно аудио без фото или видео. Seedance 2.5 умеет работать только от звука.
• Звук в готовом ролике моно, даже если на вход подан стерео.
• Если пропорции первого и последнего кадра разные, главным считается первый, а последний обрезается под него.
• Через API BytePlus модели 2.0 и 2.5 не принимают напрямую фото и видео с реальными лицами. Для портретов там есть отдельный порядок работы.

Язык промпта. Все модели понимают английский. Серия 2.0 дополнительно понимает испанский, индонезийский, португальский и японский, а 2.5 ещё малайский, тайский, арабский, вьетнамский и корейский. Русского в этом списке нет: если модель поняла русский промпт неточно, переведите ключевые фразы на английский.

Как устроен хороший промпт

Руководство по Seedance 2.5 предлагает гибкую формулу: объект и действие обязательны, остальное по необходимости.

1. Объект и действие. Кто что делает. Описывайте главный процесс, а детали добавляйте только к ключевым движениям.
2. Место и окружение. Время, погода, пространство, состояние фона.
3. Визуальный стиль. Свет, цвет, материалы, фактура картинки.
4. Камера и монтаж. План, точка съёмки, движение камеры, переходы между планами.
5. Звук. Реплики, тембр, фон, эффекты, музыка.

Параметры генерации вроде длительности и формата в текст писать не нужно, их задают настройки.

Референсы: у каждого материала своя роль

Главное правило руководства: для каждого загруженного материала напишите, что из него взять, и при необходимости что не брать. Например, «изображение 1 задаёт лицо и куртку героини, фон с него не использовать». Не полагайтесь на подписи внутри картинок и не оставляйте модели угадывать, какое фото к какому персонажу относится.

Если героев несколько, дайте каждому имя и привяжите к своему материалу. Если несколько фото показывают один предмет с разных сторон, прямо напишите, что это один и тот же предмет и в кадре он один.

Длинный ролик: этапы и конечное состояние

Для сюжета на 15 или 30 секунд разбейте историю на этапы. У каждого этапа одно главное изменение и видимое состояние в конце: кто где стоит, у кого в руках предмет. Время в секундах используйте только там, где важна точная точка события. Руководство предупреждает, что отметки времени задают бюджет, а не точную склейку.

Звук и эмоции

Для 2.5 руководство предлагает метки, которые отделяют звук от картинки: музыку в круглых скобках, эффекты в угловых, реплики в фигурных, субтитры в квадратных. Можно писать и обычными словами. В API ByteDance советует брать реплики в двойные кавычки. Если музыка не нужна, так и напишите: «без фоновой музыки, только реплики и шумы».

Эмоцию лучше показывать через видимые признаки. Вместо слова «грусть» опишите два или три сигнала: взгляд в сторону, сжатые губы, медленный выдох.

Примеры промптов

Частые ошибки

• Материалы без ролей. «Используй эти фото» оставляет модели гадать. Напишите, что взять из каждого материала и что не брать.
• Один промпт на всё. Если загружено много референсов, не нужно вставлять их все в каждую сцену. Указывайте, какой материал нужен в каком плане.
• Слишком много событий в этапе. Один этап · одно главное изменение. Иначе модель пропускает действия или режет ролик лишними планами.
• Частота в секундах. «Три кивка за секунду» модель не выдержит. Описывайте действие, а не его частоту.
• Абстрактные эмоции и редкие термины. Редкий операторский термин лучше расшифровать: что именно меняется в кадре и в какую сторону.
• Разные пропорции первого и последнего кадра. Последний кадр будет обрезан. Готовьте обе картинки в одном формате.
• Русская речь. Русский не указан среди языков Seedance. Для озвучки используйте поддерживаемые языки или стройте сцену на шумах и музыке.

Как попробовать в Студии

Откройте Seedance 2.0 в разделе Видео, вставьте промпт и выберите формат кадра. Для длинных историй и правки готового видео посмотрите Seedance 2.5. Цена в кредитах видна на кнопке запуска до нажатия. Зарубежные модели работают после согласия, которое отмечается флажком при входе, подробнее в статье о согласии.

Если нужен сюжет с репликами на нескольких языках, сравните с Kling 3.0. Про работу с кадрами есть статья о первом и последнем кадре, про звук · звук в видео.