Как сделать мэшап песен с помощью ИИ и что не даёт ему превратиться в кашу?

Берёте две любимые песни, жмёте одну кнопку, и получается звук, как будто на кухне одновременно включили два радиоприёмника. Вокал из первого трека отстаёт от барабанов второго на полдоли. Обе басовые партии играют разом и сливаются в гул. В припеве мелодии расходятся на полтона и скрежещут друг о друга. Сервис при этом ничего не сломал: эта пара не сошлась бы ни в каком инструменте, просто до нажатия кнопки никто этого не проверил.

Вся беда ИИ-мэшапов умещается в эту картинку. Механику сервисы делают хорошо: разбирают песни на части, растягивают, подгоняют сильные доли. А вот музыкальная часть, то есть выбор двух песен, которые уживутся в одной комнате, их не интересует. Ниже разобрано и то и другое: что на самом деле делают генераторы мэшапов, какой из них под какую задачу, четыре проверки, от которых зависит, прозвучит мэшап задуманно или превратится в кашу, неудобный вопрос с правами и путь, на котором он почти снимается, потому что обе половины вы собираете сами.

Если же нужно взять одну песню и пересобрать её в другом стиле, это ремикс, и вам в разбор ИИ-ремиксеров. Эта статья для того, у кого на руках две песни и желание сделать из них одну.

Как устроен генератор мэшапов внутри

Любой ИИ-мэшап, сделанный хоть на сайте в один клик, хоть за вечер в секвенсоре, проходит пять стадий. Сервисы отличаются только тем, сколько стадий берут на себя и насколько позволяют вмешаться.

Первая стадия и есть то, ради чего здесь нужен ИИ. Именно разделение на стемы вытащило мэшапы из узкой ниши: раньше чистый вокал из готовой записи доставали хитростями и удачей, а теперь модель делает это за минуту. Почему два «удалителя вокала» дают разный результат и какая модель стоит под капотом у конкретного сайта, подробно разобрано в статье про разделение на стемы.

Со второй по четвёртую стадию идёт арифметика плюс немного музыкального чутья. А хорошим мэшап делает пятая стадия, и как раз её сервисы в один клик почти не трогают.

Сервисы и под что каждый годится

Здесь те варианты, к которым люди тянутся на практике. Возможности и цены взяты со страниц самих компаний на момент написания. Перед оплатой проверьте их ещё раз.

RaveDJ работает в один клик. На сайте обещают смешивать песни и плейлисты с YouTube и Spotify бесплатно с помощью ИИ-диджея: вставляете ссылки, дальше сервис справляется сам. Для вечеринки и эксперимента это быстро и весело. Управлять тем, какая часть какой песни где звучит, почти нельзя, поэтому результат скачет от неожиданно удачного до случайного. Пользуйтесь RaveDJ, чтобы прикинуть, сойдутся ли две песни вообще, а доводить работу лучше в другом месте.

Функция Mashup в Suno появилась позже и устроена иначе. На странице продукта у Suno сказано, что мэшап собирается ровно из двух песен: выбираете первую, нажимаете Mashup, добавляете вторую, и Suno генерирует текст мэшапа из обоих источников, а вы до запуска решаете, какие строки поменять местами, оставить или совместить. Две записи при этом не накладываются друг на друга, получается новый трек, который берёт понемногу из обеих. Поэтому функция лучше всего подходит для песен, которые вы сами сделали в Suno. Какой тариф для неё нужен, на странице не указано, смотрите в своём аккаунте.

Fadr служит верстаком для тех, кто хочет руками. На сайте заявлено бесплатное разделение на вокал, мелодию, барабаны и бас и Remix Maker, а базовый тариф назван бесплатным навсегда. В собственном руководстве по мэшапам Fadr пишет, что инструменты ремикса позволяют менять темп, тональность и структуру трека. Платный Plus добавляет более дробные стемы и выгрузку в WAV, на момент написания тариф стоил $10 в месяц или $100 в год. Fadr стоит брать, если все пять стадий хочется держать в своих руках, не покупая секвенсор.

Moises ближе к набору для занятий и студийной работы. На сайте описано разделение на множество типов стемов, Chord Finder для поиска аккордов и Speed Changer для смены скорости, бесплатный тариф ограничен по числу загрузок. Сервис полезен на первой стадии и для того, чтобы понять, что песня делает с гармонией, ещё до того, как вы утвердили пару.

Hook предлагает легальный вариант. В описании в App Store сказано, что ремиксы и мэшапы (Blend two tracks into one) собираются из библиотеки, где каждый трек полностью лицензирован, от артистов, которые сами согласились участвовать, а готовым можно делиться в сообществах Hook и в других соцсетях. Свободу выбора песен вы меняете на разрешение. Если хочется выложить мэшап настоящих коммерческих песен и не ждать блокировки, смотреть надо в эту сторону, в рамках того, что разрешают условия приложения.

Те, кто делает мэшапы всерьёз, по-прежнему работают в секвенсоре (Ableton, FL Studio, Logic, Reaper, неважно) плюс разделитель стемов, потому что пятой стадии нужна временная шкала. ИИ здесь отвечает за разделение, остальное решает ваш слух.

Четыре проверки, после которых каши не будет

Мэшап превращается в кашу редко по вине сервиса. Почти всегда это одно из четырёх несовпадений, и каждое можно поймать до того, как вы потратите час на аранжировку.

1. Тональность: соседи ли эти песни?

Две песни в одной тональности наложатся без драки. Так же спокойно уживаются параллельные тональности (ля минор и до мажор состоят из одних и тех же нот) и тональности, отстоящие на квинту. Дальше одну песню придётся сдвигать, и каждый полутон сдвига добавляет вокалу искусственности. Небольшой сдвиг обычно проходит незамеченным, а большой превращает певца в мультяшного персонажа или робота.

Программы определения тональности спорят друг с другом чаще, чем принято думать, особенно путая мажор с параллельным минором. Прежде чем верить цифре, проверьте на слух: как определить тональность песни за три шага.

2. Темп: точно ли он такой, как кажется?

Трек на 92 BPM и трек на 184 BPM на бумаге несовместимы, а на деле часто ложатся идеально, ведь 184 означает те же 92 в удвоенном счёте. Обратная ловушка встречается не реже: у обеих песен стоит 120, но одна ощущается вдвое медленнее и звучит как 60. Программа выдаёт одно число, а нога отбивает ощущение. Откуда берётся это удвоение, объяснено в статье о том, почему темп песни определяется двумя разными цифрами.

Растягивать стоит ту песню, которая в мэшапе уйдёт на второй план. Барабаны растяжение прощают, голос при сильном растяжении нет.

3. Фразы: совпадает ли длина разделов?

Поп-музыка в основном движется фразами по четыре и восемь тактов. Мэшап складывается, когда куплет вокала начинается там же, где начинается фраза инструментала. Если луп инструментала длится четыре такта, а куплет восемь, луп прокрутится дважды, и всё сходится. Если же в одной из песен есть раздел нечётной длины (часто это предприпев на шесть тактов), вокал в этом месте съедет с сетки, и придётся резать, повторять или переставлять куски.

4. Место: никто ни на кого не наступает?

Эту проверку пропускают чаще всего, а слышно её сильнее всех остальных. Два ведущих голоса одновременно дают шум. Две басовые партии дают муть. Две бочки с небольшим расхождением звучат как случайный двойной удар. Самая живучая схема проста: одна песня даёт вокал, другая даёт инструментал, а второй голос пускается только туда, где первый молчит: как ответ, как зацепка или в финальном припеве, где оба сходятся намеренно.

Вот так выглядит план, когда все четыре проверки пройдены. Его стоит написать до того, как вы откроете любой сервис:

План мэшапа: «Ночная смена» (A) x «Бумажная луна» (B)
A: 92 BPM, ля минор              -> берём вокал
B: 184 BPM (ощущается как 92), до мажор -> берём инструментал
Тональность: ля минор и до мажор параллельные -> без сдвига
Темп: 184 означает 92 в удвоенном счёте -> без растяжения
Фразы: куплет A = 8 тактов, луп B = 4 такта -> луп дважды на куплет
Место: под куплетами A глушим ведущую мелодию B,
       возвращаем её только в финальном припеве A
       бас A убираем целиком, низ держит бас B

В этом плане ИИ не понадобился ни разу. Нейросеть разделяет и растягивает, а не дать мэшапу зазвучать как два радиоприёмника может только план.

Вопрос с правами без обиняков

Мэшап из двух коммерческих записей содержит два набора чужой работы: сами произведения (мелодию и текст) и конкретные записи. Сделать такой для себя одно дело. Выложить его, отправить дистрибьютору или зарабатывать на нём совсем другое, и площадки относятся к этому по-разному в зависимости от страны и сервиса.

Несколько фактов со страниц самих компаний:

• В анонсе загрузки аудио Suno пишет, что защищённые авторским правом произведения блокируются при загрузке, а по справке Suno о загрузке вы соглашаетесь с условиями, где сказано, что материал ваш. Протащить коммерческую запись в Mashup через загрузку не получится.
• В справке Suno сказано, что для монетизации трека нужно быть единственным правообладателем на все сто процентов материала. Мэшап двух коммерческих песен этому условию не соответствует по определению.
• В описании Hook библиотека названа лицензированной у артистов, давших согласие. Эта лицензия покрывает то, что описано в приложении, а не всё, что вы потом сделаете с файлом.

Диджейская культура всегда жила с мэшапами в серой зоне, и многие из них висят в сети годами без претензий. Многие другие глушат, блокируют или удаляют, а довод «все так делают» лицензией не считается. Это не юридическая консультация: как к вашему случаю применяется закон, зависит от страны и от того, что вы делаете с результатом. Общая картина изложена в статье кому принадлежит музыка, созданная ИИ и в нашем дисклеймере.

Путь в обход проблемы с правами: обе половины ваши

Есть способ сделать мэшап, у которого есть реальный шанс на релиз, и им мало кто пользуется, потому что он кажется лишней работой. Обе песни вы пишете и генерируете сами, с самого начала рассчитывая, что они сложатся. Тогда все четыре проверки решаются раньше, чем прозвучит первая нота, и внутри нет ни одной чужой записи.

Одно условие остаётся на стороне Suno. На момент написания в справке Suno сказано, что песни, сделанные на бесплатном тарифе, годятся только для некоммерческого использования и не монетизируются, у песен с платного тарифа есть права на коммерческое использование, а подписка, оформленная позже, на старые песни не распространяется. Перед релизом сверьтесь с актуальными условиями Suno; это не юридическая консультация.

Хитрость в том, чтобы сделать песни разными нарочно. Похожие песни дерутся за одно место, а дополняющие друг друга сцепляются, как шестерёнки. Вот как можно заказать такую пару в нашей форме текстов на /ru/generators, где каждое значение ниже реально есть в форме:

Одна песня говорит, другая отвечает. Зацепка первой построена как речёвка, которую можно повторять поверх чего угодно, а у второй это вопрос, который попадает только в паузы. Генератор возвращает на каждую песню название и полный текст с тегами разделов, готовый для поля Lyrics в Suno. Петь он не умеет и аудио не создаёт: музыка появляется в Suno, а это отдельная компания. Сайт sunomarket независимый и не связан ни с Suno, ни с другими сервисами из этой статьи.

Так могут выглядеть два припева, написанные для чередования:

[Chorus]  (песня A, речёвка)
Фары горят, назад не сверну
Фары горят, назад не сверну

[Chorus]  (песня B, вопрос)
Стоила ли тьма всех этих дорог?
Нашёл ли ты свет за чертой, где кончается город?

Строки речёвки короткие и одинаковые, поэтому их можно класть под строки B или между ними, и они не столкнутся. Строки B длиннее и заканчиваются вопросом, им нужен тот зазор, который оставляет A. В финальном припеве мэшапа их можно пустить одновременно, потому что они изначально писались делить одно пространство.

Дальше работа в Suno. Генерируйте обе песни в одном широком семействе стилей, темп описывайте словами про ощущение, а не цифрой (Suno не слишком послушно следует числу, почему так, разобрано в гайде по темпу), и не пытайтесь закрепить тональность в промпте. Сделайте по нескольку версий каждой песни и оставьте ту пару, чьи замеренные тональность и темп проходят первую и вторую проверки. После этого либо соедините их встроенным Mashup в Suno, либо выгрузите стемы и сведите сами.

Сколько это стоит у нас: один текст на модели SM1 стоит 20 кредитов, пара обойдётся в 40 кредитов, то есть $0,40. Модели SM2 и SM3 делают дополнительный проход, на котором слабые строки находятся и переписываются, и стоят по 80 кредитов. Новый аккаунт начинает с нуля кредитов, бесплатного пробного периода у генератора текстов нет, тарифы собраны на странице цен. Генерацию в Suno оплачиваете уже в Suno.

Какой путь ваш

• Хочется сегодня же услышать две любимые песни вместе, для себя. Сайт в один клик справится, но качество будет лотереей.
• Нужен мэшап настоящих песен, чтобы выложить. Сначала смотрите лицензированные приложения. Всё остальное означает риск, на который вы идёте сознательно.
• Нужен контроль и результат, за который не стыдно. Разделитель стемов плюс Fadr или секвенсор, и все четыре проверки на бумаге до начала работы.
• Нужно то, что можно выпустить. Генерируйте на тарифе Suno с коммерческими правами, соберите обе половины сами и соедините их в Suno или на своей временной шкале.

Что сделать прямо сейчас

Выберите две песни и до того, как открывать любой сервис, заполните план, как в примере выше: откуда берёте вокал, откуда инструментал, как соотносятся тональности, как соотносятся темпы, какой длины фразы и что где замолкает. Если в какой-то строке плана выходит «сдвинуть на шесть полутонов» или «растянуть на 30 процентов», меняйте пару, а не настройки. А если обе половины хочется иметь своими, закажите два текста как вопрос и ответ на /ru/generators, и песни сложатся друг с другом с первой строки.