Звук в видео · речь, шумы и музыка в промпте

Современные видеомодели всё чаще генерируют звук вместе с картинкой: реплики с движением губ, шаги, звон посуды, шум дождя и фоновую музыку. Но модель слышит только то, что вы написали. Если звук не описан, она догадывается сама, а если описан небрежно, путает, кто говорит и что звучит.

Разберём, какие модели умеют звук по официальной документации, что с русской речью и как записывать реплики, эффекты, фон и музыку.

Какие модели генерируют звук

Таблица по документации разработчиков на дату проверки. В Студии наличие звука у модели видно в её карточке и форме запуска.

У Hailuo 2.3 справочник API о звуке не упоминает. У Kling, Seedance и Grok Imagine звук можно отключить, если нужен немой ролик под свою музыку. У Veo 3.1 он включён всегда.

Русская речь

Ни одна из документаций, которые мы проверили, не перечисляет русский среди языков речи. Kling прямо пишет, что реплики на неподдерживаемом языке переводятся на английский. Google отмечает, что языки кроме английского не проверялись и результат может отличаться.

Что делать на практике:

• Если реплика на русском важна, попробуйте коротко и проверьте результат. Готовьтесь к тому, что модель скажет её с акцентом, переведёт или исказит.
• Для надёжности пишите реплику на английском или другом языке из списка модели.
• Стройте ролик на шумах и музыке без речи, а голос записывайте отдельно.

Как писать реплики

Все руководства сходятся в главном: текст реплики в кавычках, рядом понятно, кто говорит и как.

1. Метка говорящего. Одно и то же имя по всему промпту: [Бариста], [Гость]. Без «он» и «она». Руководство Kling 2.6 называет это первым правилом диалога, Alibaba повторяет его для Wan.
2. Сначала действие, потом реплика. «Бариста ставит чашку на стойку. [Бариста, весело]: "...".» Так модель привязывает голос к нужному человеку.
3. Описание голоса. Эмоция, темп, тембр, акцент: «низкий хриплый голос, медленно», «звонко и быстро».
4. Связки между репликами. «Сразу после этого», «в ответ». Иначе две реплики могут слиться в один голос.
5. Время на речь. Kling советует для диалогов и пения ролики по 10 секунд. Короткая сцена вмещает одну-две фразы.

Wan 3.0 по руководству Alibaba ждёт формат «персонаж, глагол речи, двоеточие и текст в кавычках». Если речи быть не должно, напишите «без реплик», иначе модель решит сама. В API Seedance ByteDance тоже советует брать реплики в двойные кавычки.

Как писать шумы и фон

Kling предлагает простые формулы.

• Звуковой эффект: источник, действие и звук. «Деревянная дверь резко захлопывается с глухим ударом.»
• Фон: место, звуковые элементы и пространство. «Дождь по жестяной крыше, далёкий гром, гулкое эхо пустого ангара.»

Google советует описывать звук отдельными предложениями, не смешивая с картинкой. Руководство Wan замечает, что модель сама добавляет шумы, если действие и материал описаны ясно: хлопающий флаг, шаги по лужам, пар изо рта.

Музыка

• Описание. Инструмент, жанр, настроение: «фортепиано, джаз, грусть».
• Три уровня у Wan. Ничего не писать и довериться модели, описать музыку подробно или прямо запретить её.
• Запрет музыки. Kling 4.0 считает «без фоновой музыки» одним из немногих по-настоящему полезных запретов: модель может добавить музыку по умолчанию.
• Метки у Seedance 2.5. Руководство предлагает выделять музыку круглыми скобками, эффекты угловыми, реплики фигурными, а субтитры квадратными. Обычный текст тоже работает.

Примеры промптов

Частые ошибки

• Реплика без кавычек и без метки. Модель не понимает, что это речь и кто её говорит. Кавычки и имя персонажа обязательны.
• Местоимения вместо имён. «Он сказал... а она ответила» в сцене с двумя людьми путает голоса.
• Звук в одной фразе с картинкой. Описывайте звук отдельными предложениями.
• Музыка без спроса. Если нужна тишина или своя музыка, напишите «без фоновой музыки», иначе модель может её добавить.
• Голос, которого не ждали. У Wan модель сама решает, нужна ли речь, если вы не написали «без реплик».
• Длинный монолог в 5 секундах. Фраза не поместится и оборвётся. Сократите реплику или увеличьте длительность.
• Русский текст реплики без проверки. Документация не обещает русскую речь. Проверьте результат или выберите поддерживаемый язык.

Как попробовать в Студии

Откройте Seedance 1.5 Pro в разделе Видео и вставьте промпт со звуком. Для диалогов с несколькими персонажами попробуйте Kling 3.0, для длинных роликов со звуком Wan 3.0. Цена в кредитах видна на кнопке запуска до нажатия.

Подробнее о звуке в конкретных моделях читайте в гайдах о Kling, о Veo, о Seedance и о Wan.