Может ли нейросеть написать музыку под ваше видео и какой сервис для этого выбрать?

Ролик на 52 секунды: утро на даче. Первые кадры тонут в тумане над рекой, на 0:14 скрипит калитка и во двор выбегает собака, на 0:33 из-за леса выходит солнце, а на 0:44 камера заглядывает на веранду, где уже закипает чайник. Музыка нужна такая, чтобы сначала едва дышала, после калитки пошла вперёд, с солнцем распахнулась, а к чайнику затихла. Добраться до этого можно двумя путями: отдать сам ролик сервису, который посмотрит картинку и сочинит под неё трек, или описать ролик словами генератору музыки и потом подрезать результат под монтаж.

Короткий ответ на вопрос из заголовка: да, нейросеть может написать музыку под видео, и на момент написания есть несколько сервисов, которые принимают на вход именно видеофайл. Но гораздо важнее демо-роликов то, что эти сервисы понимают под «посмотреть видео», а ещё важнее лицензия, с которой вы получаете трек. Ниже по порядку: какие инструменты действительно берут видео, что каждый отдаёт, где у каждого потолок, как собрать музыку самому, когда нужен контроль, и проверка на трёх склейках, которая за десять минут покажет, годится ли сервис для вашего монтажа.

Один запрос, два противоположных желания

Фразу «музыка под видео нейросеть» набирают два разных человека. У одного есть отснятый материал и нет звука. У другого есть песня и нет картинки. Эта статья для первого. Если трек уже готов и под него нужен клип, инструменты совсем другие (видеорежим Freebeat, Neural Frames, Kaiber), и мы сравнивали их отдельно в разборе какой ИИ-генератор клипов стоит своих денег. Сначала картинка, потом музыка: читайте дальше здесь. Сначала музыка, потом картинка: вам туда.

И сразу, чтобы не было недомолвок. sunomarket независимый сайт. Мы не связаны ни с Adobe, ни с ElevenLabs, ни с Freebeat, ни с Suno, ни с кем-то ещё из упомянутых ниже, и за этот текст нам никто не платил. То, что мы продаём (генератор текстов песен, генератор промптов для Suno, каталог стилей), появится только там, где оно честно к месту, а для чисто инструментальной подложки оно почти не нужно.

Сервисы, которые принимают само видео

Четыре продукта, всё сверено по их собственным страницам. Функции и лимиты в этой нише меняются быстро, поэтому каждую строку читайте с пометкой «на момент написания» и перепроверяйте у производителя, прежде чем строить на этом рабочий процесс.

На несколько строк этой таблицы стоит посмотреть внимательнее.

Firefly по умолчанию подгоняет трек ровно под длину ролика. В справке Adobe прямо написано, что длительность музыки совпадает с длительностью загруженного видео, пока вы её не поменяете, а все четыре варианта можно прослушать поверх картинки. Для беззвучного ролика о продукте или объясняющего видео до пяти минут это самая короткая дорога от исходника к рабочей подложке. Подвох там же, в справке: промпты принимаются только на английском. К тому же настроение и стиль задаются отдельными группами тегов, и ничто не мешает поставить спокойное настроение рядом с громким стилем, поэтому прежде чем верить такому сочетанию, прослушайте все четыре варианта.

ElevenLabs смотрит на картинку и не слушает звук. Сервис разбирает движение, цвет, темп монтажа и структуру сцен только по кадрам, так что ролик с закадровым голосом или живым звуком озвучивается так, будто он немой. Когда исходный звук плохой, это даже удобно. Но подстроиться под диктора такой сервис не сможет: диктора он попросту не слышал. А условия использования здесь стоит читать медленно. На бесплатном тарифе созданное нельзя скачать, а на платных кино, телевидение, радио и студийные игры остаются за рамками коммерческого разрешения.

Freebeat в первую очередь видеокомпания. Страница «видео в музыку» живёт внутри целого набора инструментов для клипов. Если картинку вы тоже собираетесь делать там же, удобство одного аккаунта на оба шага вполне реальное. Обещание авторских прав на странице остаётся обещанием Freebeat; суд или профильное ведомство вашей страны могут смотреть на это иначе (подробнее ниже).

Suno Scenes скорее игрушка, причём в хорошем смысле. Функция превращает момент из галереи телефона в короткую песню и не пытается попасть кульминацией в 0:33. Запускали Suno Scenes сначала на iOS, так что убедитесь, что функция есть в вашей версии приложения.

Что на самом деле значит «нейросеть посмотрела ваше видео»

Ни один из этих сервисов не получает ваш монтажный лист. Настроение они угадывают по цвету, энергию по движению в кадре, темп по тому, как часто меняется план. Freebeat обещает музыку, которая озвучивает ваш материал; Adobe и ElevenLabs говорят о попадании в тон, атмосферу и темп. Это совсем не то же самое, что обещание «тарелка ударит ровно на кадре 744».

Мы не слышим, что эти сервисы вернут на ваш материал, и автор любого чужого обзора тоже не слышит. Зато проверить единственное, что важно для монтажа, можете вы сами: меняется ли музыка там, где меняется картинка. Эта проверка описана в самом конце. Сделайте её до того, как платить.

Из того, что сервисы угадывают, а не читают монтаж, следуют две практические вещи:

• Частые склейки сервис принимает за высокую энергию. Нарезка из путешествия, где план меняется каждую секунду, почти наверняка потянет музыку в быструю сторону, даже если вам хотелось чего-то медленного и тёплого. Перепишите предложенный промпт, а не соглашайтесь с ним.
• Длинный план сервис принимает за спокойствие. Сорок секунд одного плана на кухне получат эмбиент, даже если в кадре идёт тяжёлый разговор. Сервис видит неподвижную картинку, а не то, что между строк.

Второй путь: собрать музыку под ролик самому

Когда кульминация должна прийтись ровно на солнце из-за леса или у целой серии роликов должен быть один узнаваемый звук, описание словами часто работает лучше загрузки. Автоматический разбор вы теряете, зато получаете власть над структурой. В Suno эта власть живёт в двух полях. Style отвечает за звучание, а в поле Lyrics теги разделов задают порядок событий. Для инструментала в Lyrics пишут только ремарки в квадратных скобках, тогда петь там нечего (как избежать внезапно прорезавшегося голоса, мы подробно разобрали в статье как сделать инструментал в Suno).

Вот дачное утро, переведённое в промпт. Описания звука для Suno пишем по-английски: так модель понимает их надёжнее.

Style:
cinematic folk, fingerpicked acoustic guitar, soft accordion,
warm upright bass, slow build, nostalgic, gentle, instrumental

Exclude:
vocals, choir, spoken word

Lyrics:
[Intro | solo fingerpicked guitar | hushed, misty]
[Build | accordion enters | upright bass | rising]
[Lift | full band | bright strings | warm and open]
[Outro | guitar alone | fade out]

А так эти разделы ложатся на картинку:

Три честных замечания про этот путь.

Первое. Поля для длительности в секундах в Suno нет, а число темпа, вписанное в промпт, срабатывает ненадёжно. Темпом управляют словами (slow build, driving, laid back), нужный словарь собран в нашем руководстве как управлять темпом в Suno. Длину же подгоняют в монтажке, а не в промпте.

Второе. Сами собой разделы на ваши таймкоды не встанут. Делается так: генерируете трек чуть длиннее ролика, бросаете его на таймлайн, двигаете, пока начало Lift не совпадёт с 0:33, потом подрезаете начало и уводите хвост в затухание. Монтажёры всегда так резали музыку. Теги дают трек, в котором где-то есть ясный подъём, а поставить его на нужное место можете только вы.

Третье. Почти всегда придётся запускать генерацию не один раз. Каждый запуск даёт новый вариант, и резать имеет смысл тот, где переход от Build к Lift самый чистый. Если не хватает слов, чтобы описать звук в голове, в каталоге стилей почти 2 000 стилей уже записаны как промпты для Suno, а десять самых популярных открыты бесплатно целиком.

Когда ролику нужна песня, а не подложка

Всё, что выше, касается фоновой музыки. Но бывают ролики, которым нужен спетый припев: свадебный клип для молодожёнов, нарезка ко дню рождения, видео из поездки, где в припеве звучит название города. Тут список инструментов резко сокращается. Firefly вокал не делает вовсе. На страницах ElevenLabs и Freebeat про вокал ничего не сказано. А в Suno пение заложено с самого начала.

Чтобы песню спели, сначала нужны слова, и вот на этом шаге наш продукт честно к месту. Генератор песен принимает бриф в виде формы и возвращает название и полный текст с тегами [Verse] и [Chorus], который можно сразу вставить в поле Lyrics в Suno. Для дачного ролика в песенном варианте бриф мог бы выглядеть так:

theme:     дачное утро, туман над рекой, собака у калитки,
           все ещё спят, и это лучшее время в году
POV:       first
language:  ru
structure: no-bridge
hook:      title-line
vocal:     male
emotion:   calm, joy
age:       35-44

Чего генератор не делает, сказать так же важно. Он не поёт, не выдаёт никакого звука и не видит ваше видео, так что подгонка по таймкодам из предыдущего раздела остаётся на вас. Один текст на модели SM1 стоит 20 кредитов ($0.20); SM2 и SM3 прогоняют текст через дополнительную редактуру, которая переписывает слабые строки, и стоят 80 кредитов ($0.80). Бесплатной пробы нет: тарифы стоят $5 в месяц за 500 кредитов или $19 разово за 1 500 кредитов, которые не сгорают, всё расписано на странице цен. Платить через СБП можно только за разовые покупки, подписку так не оплатить. И для короткого ролика держите песню короткой: со структурами no-bridge и loop меньше разделов, которые придётся подрезать.

Лицензия: где музыка для видео подводит позже

В день публикации ролик из-за музыки снимают редко. Проблемы приходят через месяц, когда видео получает заявку правообладателя или теряет звук, или когда заказчик спрашивает, какие права он, собственно, покупает. Поэтому читать надо условия своего тарифа, а не рекламный слоган:

• Suno: бесплатный тариф коммерческих прав не даёт; в Pro и Premier коммерческое использование заявлено, с ограничениями в пользовательском соглашении.
• ElevenLabs: музыку с бесплатного тарифа нельзя скачать, и нужна атрибуция; платные тарифы, и даже облегчённый корпоративный, исключают кино, ТВ, радио и студийные игры; снимает это ограничение только полный план Enterprise Music.
• Adobe Firefly: Adobe называет музыку роялти-фри и безопасной для коммерческих проектов и пишет, что не претендует на права на то, что вы сгенерировали.
• Freebeat: сайт обещает полную коммерческую лицензию и авторские права; распространяется ли это на треки с бесплатных кредитов, проверьте в условиях Freebeat. Может ли вообще кому-то принадлежать то, что создала нейросеть, в ряде стран пока открытый вопрос; разницу между лицензией от компании и авторским правом, которое закон может признать, а может и нет, мы разбирали в статье кому принадлежит музыка из нейросети.

Если ролик уходит в TikTok, Shorts или Reels, поверх всего этого ложатся ещё и правила площадки, о них подробно в статье музыка для Shorts, Reels и TikTok. Про слова тоже честно: тексты из нашего генератора неисключительные и у разных пользователей могут совпадать, это записано в нашем дисклеймере. Всё это не юридическая консультация; если речь о заказе для клиента или о телеэфире, спросите юриста в своей стране.

Какой путь под какую задачу

• Беззвучный ролик о продукте, объясняющее видео или нарезка до пяти минут, нужен инструментал, и нужен сегодня: Generate music в Firefly. Длина трека сама совпадёт с роликом, а четыре варианта вы услышите прямо поверх картинки.
• Хочется выбрать из нескольких вариантов, есть платный тариф ElevenLabs, ролик для интернета: Video to Music в ElevenLabs Studio, если проект не для кино, ТВ, радио и не для студийной игры.
• Ролики для соцсетей, картинку к которым вы делаете там же: Freebeat, но сначала прочитайте, что разрешает ваш тариф.
• Момент с телефона, из которого ради удовольствия хочется сделать короткую песню: Suno Scenes, если функция ещё есть в вашей версии приложения.
• Кульминация точно на склейке, один звук на всю серию роликов или песня со словами: собирайте сами в Suno с тегами разделов, а если в треке кто-то поёт, начните с текста.

Проверка на трёх склейках

Прежде чем платить кому-то из них, возьмите тот ролик, который действительно нужно озвучить, и выпишите три самые заметные смены картинки с таймкодами (для дачи это 0:14, 0:33 и 0:44). Прогоните ролик через выбранный сервис на бесплатном тарифе (или на самом дешёвом, если бесплатный не даёт скачать результат), положите трек под картинку и слушайте только по две секунды вокруг каждого из трёх моментов. Если музыка меняется хотя бы в двух местах из трёх, сервис хорошо читает такой материал, и остальной проект можно озвучивать им. Если только в одном, замените предложенный промпт своими словами о настроении и запустите ещё раз. Если ни в одном, хватит загружать: переходите ко второму пути, опишите ролик промптом в поле Style, разложите разделы тегами, а последние полсекунды синхронизации доведите руками на таймлайне.