Kling для видео · версия 3.0, Omni, Motion Control и звук

Kling · семейство видеомоделей компании Kuaishou. В Студии основная точка входа · Kling 3.0: ролик по тексту или по фото, со звуком, репликами персонажей и несколькими планами в одной генерации. Рядом живут Kling 3.0 Omni для работы с референсами, Motion Control для переноса движения с видео и более новая Kling 4.0.

Ниже разберём, что умеет каждая версия по официальным руководствам Kling, как построить промпт под видео со звуком и где модель чаще всего ошибается.

Что умеет Kling 3.0

Разработчик описывает 3.0 как объединение двух прежних линеек: Kling VIDEO 2.6 со звуком и Kling VIDEO O1 с референсами. В руководстве выделены пять сильных сторон.

• Мультикадр. Модель сама разбивает сцену на планы, меняет крупность и ракурс, понимает диалог «восьмёркой» и закадровый голос. Можно и вручную задать число планов и длительность каждого.
• Привязка героя. Кроме первого кадра можно привязать элемент · персонажа, предмет или место из нескольких фото или короткого видео. Тогда внешность держится при движении камеры.
• Нативный звук. Речь, шумы и фон генерируются вместе с картинкой. В сцене с несколькими персонажами можно указать, кто именно говорит.
• Надписи. Модель аккуратнее сохраняет вывески, подписи и логотипы с исходного фото и пишет новый текст.
• Длительность до 15 секунд. Длину можно выбрать гибко, от 3 до 15 секунд.

Для чего это удобно: короткие сюжетные сцены с диалогом, рекламные ролики товара с надписью на упаковке, клипы для Shorts и VK Клипов, оживление готового кадра.

Версии и параметры

Данные ниже взяты из официальных руководств Kling и относятся к работе модели на сайте разработчика. В Студии набор настроек задаёт форма запуска модели, а цена в кредитах видна на кнопке до нажатия.

Что важно из руководства 3.0:

• Речь поддерживается на китайском, английском, японском, корейском и испанском, а также с диалектами и акцентами. Реплики на других языках модель переводит на английский. Русского в списке нет, поэтому русская фраза прозвучит по-английски.
• Можно смешивать языки в одной сцене и указывать акцент персонажа, например британский или индийский английский.
• Режимы со звуком и без звука выбираются отдельно. Если у привязанного персонажа уже задан голос, повторно описывать тембр в промпте не нужно.

Как устроен хороший промпт

Базовая формула из руководства Kling по тексту в видео: объект и его описание, движение объекта, сцена и её описание, а дальше по желанию язык камеры, свет и атмосфера. Для звуковых моделей к этому добавляется блок звука.

1. Объект. Кто или что в кадре: возраст, одежда, материал, характерная деталь. Лучше несколько коротких фраз, чем одно длинное перечисление.
2. Движение. Что происходит за время ролика. Действие должно помещаться в выбранную длительность.
3. Сцена. Место, время суток, передний и задний план.
4. Камера и свет. План, ракурс, движение камеры, источник света.
5. Звук. Реплики в кавычках с меткой говорящего, шумы, фон, музыка или её отсутствие.

Когда вы оживляете фото, сцена уже задана картинкой. Kling советует описывать только объект и его движение, а фон упоминать, если он тоже должен двигаться. Описание, которое сильно расходится с изображением, может вызвать склейку или переход к другому плану.

Мультикадр и раскадровка

Если вы хотите несколько планов, пишите их по порядку: «Кадр 1», «Кадр 2» и так далее, у каждого крупность, ракурс и действие. В примерах Kling длительность плана указывают в скобках, например «Кадр 2 (3 с)». Сумма длительностей должна совпадать с длиной ролика. На сайте Kling мультикадр включается отдельным переключателем, а без него модель по умолчанию снимает один план.

Реплики и голоса

Руководство по звуку 2.6 предлагает четыре правила для диалога. Они работают и в 3.0.

• Уникальные метки. Назовите каждого персонажа одинаково по всему промпту: [Бариста], [Гость]. Без местоимений и синонимов.
• Сначала действие, потом реплика. «Бариста ставит чашку на стойку. [Бариста, спокойно]: "...".» Так модель понимает, кто говорит.
• Свой тембр каждому. Хриплый низкий голос, звонкий быстрый голос.
• Связки времени. «Сразу после этого» между репликами помогает не слить их в одну.

Текст реплики берите в кавычки. Для английских слов разработчик советует строчные буквы, а для песен и диалогов в 2.6 рекомендует длительность 10 секунд.

Описание, сильно отличающееся от изображения, может вызвать смену плана · Kling, гайд Image to Video

Примеры промптов

Omni и Motion Control: когда переключаться

Kling 3.0 Omni подходит, если у вас несколько исходников: фото героя с разных сторон, фото места, видео с нужным темпом. Руководство Omni советует ссылаться на каждый материал в тексте и прямо писать, что из него взять. Элемент можно создать по короткому видео персонажа длиной от 3 до 8 секунд, тогда модель забирает и внешность, и голос.

Motion Control переносит движение с видео на персонажа с фото. Из руководства:

• Совпадение кадрирования. Если в видео движения человек в полный рост, на фото тоже должен быть полный рост, и наоборот.
• Видео движения должно быть одним непрерывным планом без склеек и движения камеры, с умеренной скоростью.
• В видео движения берите одного человека. Если людей несколько, модель возьмёт того, кто занимает больше места в кадре.
• Промпт в Motion Control управляет фоном и деталями сцены, а не самим движением.
• В версии 3.0 можно привязать лицо. Элемент лица хранит только лицо, без одежды, причёски и макияжа.

Kling 4.0 стоит взять, если нужна сцена длиннее 15 секунд, формат 21:9 или несколько ключевых кадров. В её руководстве есть полезный совет и для 3.0: описывайте видимые детали вместо абстрактных слов и избегайте запретов. Из запретов разработчик считает действительно нужными только «без субтитров» и «без фоновой музыки».

Частые ошибки

• Русские реплики. Kling 3.0 не озвучивает русский: такая фраза будет переведена на английский. Пишите реплики на одном из поддерживаемых языков или стройте сцену на шумах и музыке.
• Слишком много действий на короткий ролик. Пять событий за 5 секунд превращаются в суету. Уберите лишнее или увеличьте длительность.
• Точное количество. Руководство прямо говорит, что видеомодели плохо держат числа. «Десять щенков на пляже» почти наверняка выйдет с другим количеством.
• Сложная физика. Отскок мяча и траектория броска с высоты пока даются модели тяжело.
• Безымянные персонажи в диалоге. «Он говорит... потом она отвечает» путает модель. Дайте каждому метку и тембр.
• Абстракции вместо деталей. «Премиальный вид» ничего не говорит модели. Опишите контровой свет по краю предмета, размытый фон и матовую фактуру.
• Разные кадры для первого и последнего кадра. Если картинки сильно отличаются, Kling может вставить склейку вместо плавного перехода. Подробнее в статье о первом и последнем кадре.

Как попробовать в Студии

Откройте Kling 3.0 в разделе Видео, вставьте промпт, выберите длительность и формат кадра. Цена в кредитах видна на кнопке запуска до нажатия. Зарубежные модели работают после согласия, которое отмечается флажком при входе, подробнее в статье о согласии.

Для референсов откройте Kling 3.0 Omni, для переноса движения Kling 3.0 Motion Control. Про движения камеры есть отдельный разбор · движения камеры в видео, про звук и речь · звук в видео.