Что нужно подготовить, прежде чем Kaiber превратит трек в клип?

ПЕРЕД ТЕМ КАК ОТКРЫТЬ KAIBER
[x] финальный аудиофайл, выгружен один раз и больше не трогается
[x] карта песни с таймкодами (вступление, куплет, припев, бридж, кода)
[x] по одной визуальной строке на каждую часть, из слов этой части
[x] одна строка стиля и одна картинка-образец на весь клип
[x] текст песни в файле, у каждой строки время начала
[ ] запас на повторные генерации (каждая попытка стоит кредитов)

Этот список и есть ответ на вопрос из заголовка. Чтобы из трека в Kaiber получилось что-то осмысленное, от вас нужны три вещи: готовый аудиофайл, который вы уже не будете менять, визуальное задание, расписанное по частям песни, и текст с таймингом. Всё остальное (картинка, движение, камера) решается внутри сервиса, но отталкивается от этих трёх вещей. Пропустите любой из них, и расплачиваться придётся перегенерациями.

Причина простая и немного обидная. Kaiber анимирует: берёт загруженный файл и превращает описание, картинку или ваши клипы в видео, смонтированное под звук. О чём ваша песня, сервис не решает. Если прийти с треком и смутной идеей вроде «что-нибудь мечтательное, синее, кинематографичное», кредиты уйдут на минуту мечтательного синего движения, которое никак не связано со вторым куплетом, где в песне на самом деле случается поворот.

Если вы ещё выбираете, каким сервисом делать клип, начните с нашей подборки генераторов музыкальных видео: там сравнение, а здесь разговор для тех, кто уже выбрал Kaiber и хочет, чтобы первая же генерация была близка к цели. А если трек сделан в Suno и нужна общая картина, как вообще превращать аудио в видео (визуализатор, нейросетевые клипы, живые съёмки), это разобрано в статье о клипе на трек из Suno.

Что Kaiber рассказывает о себе в справке

Мы с Kaiber разные компании, а тарифы, стоимость кредитов и интерфейс у сервиса меняются достаточно часто, чтобы любая точная цифра здесь устарела к моменту чтения. Поэтому здесь только то, что на момент написания описано в справочном центре Kaiber.

Kaiber описывает себя как набор инструментов для музыкантов и тех, кто их продвигает. На момент написания справка делит продукт на три части: Canvas, где генерируются видео, картинки и звук; Beat Sync, где ваш трек и ваши картинки или клипы собираются в видео точно в такт; и Editor, монтажный стол для текста, переходов и финальной сборки. Для клипа на всю песню есть ещё сценарий Music Video Montage: на вход идут аудио и короткое описание, по желанию картинка-образец, а видео строится по тому, что слышно в музыке. Устройство сервиса уже как минимум раз перекраивали (в справке целый раздел о том, что поменялось), а генерация расходует кредиты, которые дают вместе с тарифом.

Поддерживаемые форматы файлов, предельная длина, разрешение, водяные знаки и условия коммерческого использования смотрите на актуальных страницах справки и тарифов Kaiber. Это ровно те цифры, которые плавают, и неверная цифра от нас обойдётся вам дороже, чем её отсутствие.

Для читателя из России есть ещё один вопрос, который лучше выяснить заранее: чем платить. Российские карты зарубежные сервисы часто не принимают, а как обстоит дело с оплатой у Kaiber сейчас, мы сказать не можем: проверьте это до того, как планировать проект. Похожие вопросы мы разбирали для Suno в статье о работе с Suno из России, там описана логика, которая пригодится и здесь.

Где тут мы, а где нас нет

sunomarket делает слова. Не картинку и не звук. Генератор текстов песен принимает короткую форму (от чьего лица поём, на каком языке, какая структура, какие эмоции, о чём песня в пределах 300 знаков) и возвращает название и полный текст с разметкой [Verse] и [Chorus]. Одна генерация стоит 20 кредитов, при курсе 100 кредитов за доллар это $0,20. Кредиты даются только вместе с тарифом, бесплатных генераций нет: подписка за $5 в месяц приносит 500 кредитов, то есть 25 текстов, а пожизненный доступ за $19 разовым платежом приносит 1 500 кредитов один раз, то есть 75 текстов без пополнения.

Мы не поём, не делаем аудио, не рендерим видео и никак не связаны ни с Kaiber, ни с Suno, кроме того, что люди пользуются всеми тремя подряд. Зато порядок здесь имеет значение, из-за него эта статья и написана: Kaiber начинается там, где заканчивается песня, а песня начинается со слов. Если трек у вас готов, переходите к следующему разделу. Если есть идея клипа, а песни ещё нет, самый дешёвый шаг во всей цепочке окажется первым, и именно он решит, о чём будет каждый кадр потом.

Сначала доведите трек до финала

Аудиореактивное видео намертво привязано к файлу, из которого сделано. Каждый толчок, каждая смена движения, каждая вспышка света привязана к конкретной секунде записи. Поменяете файл после генерации, и связь рвётся: отрезали две секунды тишины в начале, и все акценты в видео теперь приходят на две секунды раньше музыки. Подложили новую версию с более громким припевом, и движение перестаёт совпадать с пиками.

Отсюда правило: сначала доделываем песню, потом делаем клип. На практике это четыре проверки.

Версия окончательная. Не «окончательная, если я не перепишу бридж». Если есть хоть какой-то шанс, что вокал будете переделывать, переделывайте сейчас. Песня, перегенерированная в Suno или где угодно ещё, получается другим файлом с другим таймингом, даже если на слух почти не отличается.

Трек обрезан так, как выйдет в релиз. Если релиз начинается с сильной доли первого куплета, загружайте файл, который начинается там же. Тишину в начале видео тоже придётся чем-то заполнить.

Выгрузка лучшего качества, какое у вас есть. Чистый файл без потерь даёт аудиореактивному движку чёткие пики. Пережатая копия, снятая с превью на стриминге, даёт кашу.

Вы знаете точную длину. Запишите её с точностью до секунды. Она понадобится для карты песни и ещё раз, когда какой-нибудь фрагмент вернётся короче, чем нужно.

И ещё одно решение до загрузки: клип на всю песню или на кусок. Отрывок на 15-30 секунд для вертикального тизера и полный трёхминутный клип различаются и по деньгам, и по объёму подготовки. Короткое зацикленное видео, которое крутится за треком в стриминге, живёт по своим правилам, о ней отдельная статья про Spotify Canvas.

Разметьте песню раньше, чем опишете хоть одну картинку

Карта песни занимает минут десять, и это самые полезные десять минут во всём проекте. Включаете трек с секундомером и записываете, где начинается каждая часть. Вот как выглядит карта типичной песни в среднем темпе длиной три минуты двенадцать секунд:

0:00  вступление   одно фортепиано, тихо
0:14  куплет 1     входит голос, барабаны едва слышно
0:46  припев 1     вся группа, громко
1:10  куплет 2     снова тише, держится на басу
1:42  припев 2     громко, добавляются струнные
2:06  бридж        барабаны уходят, голос близко
2:30  припев 3     самая громкая точка, играет всё
2:58  кода         снова фортепиано, затухание к 3:12

У карты две задачи. Первая: показать, где меняется энергия, потому что аудиореактивная картинка живёт именно энергией. Переход из бриджа в последний припев на 2:30 заслуживает самой сильной смены изображения, а на провале в 2:06 движение должно почти остановиться. Если задать один непрерывный образ на всю песню, пульсация всё равно будет, но на 2:30 ничего не изменится, и момент, ради которого песня построена, будет выглядеть как любой другой.

Вторая задача: посчитать, сколько отдельных генераций вы на самом деле планируете. Сколько их, зависит от способа. Music Video Montage, по справке Kaiber, работает от одного описания на весь трек (один герой, одно место, один стиль), и тогда карта помогает составить это описание и потом решить, где резать. Если же собирать клип по сценам в Canvas, восемь частей не всегда означают восемь описаний (куплет и следующий за ним припев могут делить одну сцену, которая просто становится громче), но одним описанием дело обходится редко. Зная число заранее, вы прикидываете расход кредитов до того, как их потратить.

Плоский трек здесь тревожный признак. Если вы сами не слышите границ между частями, аудиореактивный движок их тоже не найдёт, и весь клип будет дышать в одном ритме. Проблема тогда в песне, а не в видео, и чинить её дешевле в песне.

Визуальное задание пишется по тексту, а не по жанру

На этом шаге клип чаще всего и становится безликим. Вместо песни описывают жанр: «синтвейв, неон, ретро-город». Любой синтвейв-трек получает тот же неоновый город, и ваш клип перестаёт отличаться от любого другого, сделанного по тому же описанию.

Лечится это так: каждую визуальную строку берём из слов, которые звучат в этой части песни. Вот куплет и припев из песни-примера про женщину, которая каждый вечер встречает последнюю электричку:

[Verse 1]
Последняя электричка в двадцать три ноль пять,
Твой шарф висит на стуле, я не решаюсь убрать.
Перрон пустой, фонарь моргает через раз,
Я подожду ещё, ещё какой-то час.

[Chorus]
Снег на перроне, снег на плечах,
Я не умею тебя не ждать.
Каждый вечер на том же месте,
Снег на перроне и свет в окне.

А вот визуальные строки, которые из него получаются, по одной на часть. Их пишем по-английски: модели генерации изображений, как правило, понимают английские описания лучше русских.

verse 1  : an empty suburban train platform late at night, a street lamp flickering, through a window a scarf hanging on a chair
chorus 1 : snow falling on the empty platform, snow on someone's shoulders, one lit window across the tracks

Каждый предмет в этих строках есть в тексте: электричка и перрон, поздний час, моргающий фонарь, шарф на стуле, снег на перроне и на плечах, свет в окне. От себя добавлены только ракурс и то, где что стоит в кадре. В этом и проверка: если положить визуальную строку рядом с текстом и для каждой детали найти слово, откуда она взялась, клип будет выглядеть как клип на эту песню. Если найти не получается, он будет выглядеть как клип на жанр.

Два практических замечания. В одной строке одна сцена: описание, в котором есть и электричка, и ночной мегаполис, и гроза, и плачущая женщина, вернётся мешаниной из всех четырёх. И описывайте то, что видит камера, а не чувства. Одиночество не снимешь. А единственное освещённое окно в тёмном доме снять можно.

Одна строка стиля на весь клип

Второй способ развалить нейросетевой клип называется дрейфом. Куплет вышел акварелью, припев вернулся фотореализмом, бридж похож на компьютерную игру. Каждый фрагмент по отдельности хорош, а вместе получается пять разных клипов, склеенных скотчем.

Решите, как выглядит видео, один раз и повторяйте это слово в слово в каждом описании:

style anchor: muted film photograph, cold night light, grey-blue palette, soft grain

Эту строку целиком дописываете в конец визуальной строки каждой части. Не пересказывайте её своими словами от описания к описанию (в одном cold light, в другом chilly night tones): для модели это два разных запроса.

На момент написания у Music Video Montage в Kaiber есть режимы Reference и Restyle, которые принимают картинку, а Beat Sync вообще собирает видео из загруженных вами изображений и клипов (варианты уже менялись, так что сверьтесь со справкой). Одна картинка-образец держит стиль надёжнее любых слов. На эту роль первой просится обложка релиза, ведь клип и обложка всё равно должны выглядеть как части одного целого. Если обложки ещё нет, загляните в статью про генераторы обложек: там о том, как обложка должна работать в размере миниатюры, а именно в таком размере большинство впервые увидит и ваш клип.

Текст держите под рукой, даже если на экране не будет ни слова

Легко решить, что текст нужен только для лирик-видео. Он нужен для любого клипа, потому что точнее документа о тайминге у вас нет. Карта говорит, где начинается припев, а текст с таймкодами говорит, где звучит «и свет в окне», то есть в какой момент окно в вашей сцене припева должно вспыхнуть.

Текст с таймингом выглядит так, и на него уходит одно прослушивание с паузами:

0:46  Снег на перроне, снег на плечах,
0:52  Я не умею тебя не ждать.
0:58  Каждый вечер на том же месте,
1:04  Снег на перроне и свет в окне.

Если же слова должны появиться на экране, добавляйте их в видеоредакторе после генерации, а не просите нейросеть нарисовать их прямо в кадре. Модели изображений и видео часто пишут буквы неразборчиво, а с кириллицей дела обычно обстоят ещё хуже. К тому же моментом появления каждой строки вы всё равно захотите управлять сами. На момент написания в Beat Sync у Kaiber есть и переключатель, который добавляет текст песни синхронно с треком, причём каждую строку можно поправить вручную; ваш файл с таймкодами и есть то, с чем эти строки сверять. Как рассчитать это время, чтобы зритель успевал подпевать (строка должна появиться чуть раньше, чем её спели, а не на первом слоге), разобрано в статье про лирик-видео без готового текста.

Посчитайте перегенерации до старта

Каждая генерация стоит кредитов, и вторая, третья и четвёртая попытки стоят столько же, сколько первая. Вся подготовка выше по большому счёту нужна для того, чтобы первая попытка оказалась ближе к цели. Рабочая привычка для планирования:

• считаете отдельные сцены по карте песни;
• закладываете на каждую хотя бы одну повторную попытку;
• до того как браться за всю песню, делаете пробный короткий фрагмент. Лучше всего припев: он самый громкий и повторяется, так что по нему сразу видно, работает ли задумка.

Если пробный припев выглядит не так, значит, промахнулись со строкой стиля или с заданием, и исправление обойдётся в один фрагмент, а не в восемь. По справке Kaiber, цена генерации зависит от её типа, модели и длительности, а сама цифра показана рядом с кнопкой генерации. Посмотрите её на пробном фрагменте, прежде чем планировать весь клип.

Права, до публикации

Нужно право использовать трек, который вы загружаете. Если песня сделана в музыкальном генераторе, что можно делать с аудио, определяют условия этого генератора для вашего тарифа. Что можно делать с видео, созданным в Kaiber, включая коммерческое использование, определяют условия Kaiber для вашего тарифа. И те и другие меняются, поэтому читайте актуальные версии, а не пересказ на форуме.

Про слова: наши условия разрешают коммерческое использование текстов, но права на них не исключительные. Тот же генератор может выдать похожие или совпадающие строки другому человеку, авторства на результат мы не заявляем и не проверяем его на пересечение с чужими правами. Подробно это описано в нашем дисклеймере.

Это общая информация, а не юридическая консультация. Если на релизе завязаны реальные деньги или договор с лейблом, обратитесь к юристу в своей стране.

Песни ещё нет? Начните на два шага раньше

Многие ищут Kaiber, когда есть идея клипа, но нет трека. Меньше всего денег теряется при таком порядке: сначала слова, потом звук, потом видео. Вот задание, которое можно отдать нашей форме для песни про электричку:

POV        first
language   ru
structure  classic
hook       title-line
vocal      female
emotion    longing, loneliness
age        35-44
theme      Женщина из подмосковного посёлка каждый вечер приходит
           к последней электричке. Снег на перроне, дома на стуле
           висит его шарф. Он уехал зимой и не пишет.

В ответ приходят название и готовый текст с разметкой частей, который можно сразу вставить в Suno или в другой сервис, где песню споют. Слово в слово с примером выше он не совпадёт, это будет свой текст, собранный из этой темы. Но раз в теме названы конкретные вещи (электричка, перрон, снег, шарф), в тексте тоже окажутся конкретные вещи, и потом из них получатся сцены для Kaiber. Тема вроде «грустная песня о том, как я скучаю» даёт грустный абстрактный текст, а снимать абстрактный текст нечего.

Что делать прямо сейчас

Если трек готов: выгрузите его один раз, разметьте, напишите по визуальной строке на каждую часть из слов этой части, зафиксируйте строку стиля и сначала сгенерируйте пробный припев, а уже потом всё остальное.

Если трека нет, клип пока не главная проблема. Напишите песню вокруг того, что может увидеть камера. Откройте генератор текстов, впишите в поле темы предметы из будущего клипа и получите черновик: внутри тарифа один текст обходится в $0,20. Самый дешёвый вход в сервис это подписка за $5 в месяц, на 25 текстов. Если удобнее заплатить один раз, пожизненный доступ за $19 оставляет каталог и генератор промптов открытыми насовсем и даёт 75 текстов, один раз и без пополнения.