Может ли Stable Audio сделать целую песню или только звук под ней?

TrackType: Music, VocalType: Instrumental, warm acoustic pop,
nylon-string guitar, soft upright piano, light shaker, gentle kick,
close intimate room, hopeful, 80 BPM

Так выглядит правильный промпт для Stable Audio, и песни, которую можно подпевать, по нему не выйдет никогда. Stability в собственном руководстве по промптам для Stable Audio 3 пишет об этом прямо: модель сделана в первую очередь для инструментальной музыки, иногда выдаёт похожие на голос звуки без слов, но разборчивый вокал генерировать не предназначена. Поля для текста песни там нет. Если вписать куплет в промпт, вы описываете звук, а не отдаёте слова певцу.

Отсюда короткий ответ на вопрос из заголовка: Stable Audio делает звук под песней, и под эту работу инструмент и построен. Готовые инструментальные треки, отдельные партии инструментов, фактуры, нарастания, шумовые эффекты, правка уже записанного аудио. Спетой песне при этом не хватает ещё двух вещей, слов и голоса, и ни то ни другое отсюда не берётся.

Двух частей не хватает, и у каждой свой источник

Песня с вокалом собирается из трёх слоёв: музыка, слова, исполнитель. Stable Audio закрывает первый. Два других придётся брать в другом месте, и лучше сразу знать где, пока вечер не ушёл на бесконечные перезапуски подложки.

Слова. Это то, что продаём мы. Генератор текстов принимает короткий бриф из формы и возвращает название и полный текст песни, уже размеченный тегами [Verse], [Chorus] и другими. Одна генерация стоит 20 кредитов, а при курсе 100 кредитов за доллар это 0,20 доллара за текст внутри тарифа. Кредиты идут вместе с тарифом, отдельно один текст не купить: дешевле всего начать с подписки за 5 долларов в месяц, в ней 500 кредитов, то есть 25 текстов каждый месяц. Пожизненный доступ стоит 19 долларов один раз: каталог и генератор промптов остаются открытыми насовсем, а в придачу идут 1 500 кредитов, то есть 75 текстов, один раз и без пополнения. Петь генератор не умеет и не будет: на sunomarket вообще ничто не производит звук.

Голос. Отдельный инструмент, который поёт по готовому тексту. Чаще всего это Suno, а Suno принадлежит другой компании: мы не перепродаём Suno, не управляем сервисом и не говорим от имени компании. Со Stability AI мы тоже никак не связаны. У каждого из этих продуктов свои условия.

Вся схема укладывается в одну строку: подложка из Stable Audio, текст из генератора, вокал из инструмента, который поёт. Дальше речь о том, как сделать стыки аккуратными, потому что время теряется именно на них.

Если вы ещё выбираете инструмент, а не пытаетесь выжать из Stable Audio больше, полезнее будет наше сравнение генераторов музыки под конкретную песню. Здесь исходим из того, что звук Stable Audio вам уже нравится и хочется, чтобы поверх него кто-то запел.

В чём Stable Audio действительно силён

Стоит прочитать руководство, и характер инструмента становится понятен: Stable Audio мыслит звуком, а не песнями.

• Целые инструментальные треки. Промпт помечают TrackType: Music и описывают жанр, инструменты, настроение и темп. По руководству Stability, старшая модель генерирует куски длиной в несколько минут, младшая короче, и при этом советуют выбирать длительность под то, что описываете, а не всегда просить максимум.
• Отдельные инструменты. TrackType: Instrument просит одну изолированную партию: гитару соло, басовую линию, барабанную петлю. Такую дорожку потом кладут в звуковой редактор рядом с чем-то ещё.
• Эффекты и фактуры. TrackType: SFX подходит для хлопка двери, нарастания перед припевом, шума комнаты, дождя по жестяной крыше. Длительность для эффектов руководство советует ставить короткую.
• Работа с готовым аудио. Можно загрузить фрагмент и увести его в другую сторону, перегенерировать один участок, сохранив остальное, или продолжить трек с конца. Это уже инструменты правки, а не только генерации.

Чего в этом списке нет: места для текста, выбора певца, способа сказать голосу, что петь на девятом такте. Промпт тут ни при чём, так задуман сам инструмент.

Stability выкладывает и открытые веса моделей, которые можно запускать на своём железе. Это отдельная история со своей лицензией, и про локальный путь есть наш разбор открытых генераторов музыки. Здесь же говорим о Stable Audio как о детали в процессе сборки песни, неважно, в облаке или локально.

Почему текст в промпте не превращается в пение

Такие попытки делают часто, так что разберём, что при этом происходит.

TrackType: Music, русская поп-баллада, женский вокал поёт
"Я оставила свет на крыльце, чтобы ты нашёл дорогу"

Модель читает строчку в кавычках так же, как всё остальное в поле: как описание звука. Училась она на аудио с метаданными, то есть на текстах, какими звуковая библиотека описывает файл. Нигде в этом обучении строка текста не привязана к моменту, когда её поют. В лучшем случае, по словам самой Stability, получится похожая на голос фактура без разборчивых слов. Цитата в промпте работает не как партия для певца, а как очень длинное прилагательное.

Здесь есть и вторая проблема, специально для русскоязычных. В карточке открытой модели Stable Audio Open прямо сказано, что модель обучали на английских описаниях и на других языках результат хуже. Поэтому весь промпт пишите по-английски, как в примере в начале статьи, а русский оставьте для текста песни, который пойдёт в поющий инструмент.

Лечится это не хитрым промптом, а другим инструментом для этого слоя.

Как написать промпт для Stable Audio, который держит

В примерах Stability ингредиенты повторяются и идут примерно в одном порядке. Вот этот порядок в виде рабочего списка, с пояснением, за что отвечает каждый пункт.

1. Сначала тег типа трека. TrackType: Music для цельной пьесы, TrackType: Instrument для отдельной партии, TrackType: SFX для эффекта. В заметках к репозиторию Stable Audio 3 рядом с TrackType: Music ещё стоит VocalType: Instrumental, и про эту пару сказано, что она обычно даёт более связный результат. Для подложки, поверх которой будут петь, эта пара вам и так нужна.
2. Жанр. Прямо и узко: warm acoustic pop точнее, чем pop. Заметки допускают отдельные теги Genre:, причём несколько сразу.
3. Инструменты и ритм. Называйте каждый инструмент и то, как на нём играют. nylon-string guitar уже звук, а guitar пока только категория.
4. Настроение и развитие. Одно-два слова про чувство (hopeful, wistful) и, если важно, пара слов о том, как трек движется.
5. Характер записи. Комната, лента, реверберация, насколько близко стоит микрофон. Отсюда в треке появляется воздух.
6. Темп числом. Тут Stable Audio расходится с тем, что мы советуем для Suno. Руководство Stability называет темп среди основных пунктов и пишет его цифрой, 120 BPM. В поле Style у Suno мы, наоборот, советуем описывать темп ощущением, потому что цифры там держатся плохо. Модель другая, и правило другое.

Три промпта по этому списку, по одному на каждый тип трека:

TrackType: Music, VocalType: Instrumental, warm acoustic pop,
nylon-string guitar, soft upright piano, light shaker, gentle kick,
close intimate room, hopeful, 80 BPM

TrackType: Instrument, soft upright piano playing slow broken chords,
felt hammers, close mic, quiet room, 80 BPM

TrackType: SFX, a short airy whoosh rising into a soft hit,
wide stereo, about three seconds

Первый годится как подложка под куплет и припев. Второй можно подложить под уже спетый трек, чтобы уплотнить его. Третий ставят перед последним припевом как переход. Ни один не просит у модели того, для чего её не строили, и в этом половина успеха.

Как переделать промпт для Suno в промпт для Stable Audio

Наш генератор промптов и каталог, где почти 2 000 стилей и больше 1 000 промптов в духе артистов, сделаны под формат Suno. Для Stable Audio их не писали, и мы не обещаем, что они подойдут без правки. Но сырьё полезное, потому что хорошая строка Style для Suno уже называет жанр, инструменты и характер звука. Для Stable Audio в ней нужно поменять три вещи.

Style для Suno (как написано под Suno):
melancholic post-punk, driving bass, chorus-drenched guitar,
drum machine, deep baritone male vocal, cold reverb, urgent

Для Stable Audio:
TrackType: Music, VocalType: Instrumental, melancholic post-punk,
driving bass, chorus-drenched guitar, drum machine, cold reverb,
140 BPM

Три правки, и больше ничего не тронуто:

• Убрать всё про голос. deep baritone male vocal описывает то, чего эта модель не делает, и просто занимает место в промпте. Голос целиком, со всеми словами о нём, переезжает в поющий инструмент.
• Добавить теги типа трека в начало: TrackType: Music, VocalType: Instrumental.
• Перевести ощущение темпа в число. urgent превратился в 140 BPM. Выберите число под жанр и запишите его, потому что оно понадобится позже, когда будете подгонять текст под подложку.

Жанр, инструменты и звук перешли слово в слово. Для этой задачи в промпте Suno ценна именно эта часть: описание группы переживает перенос, а певец остаётся за бортом. Если к версии для Suno прилагался текст с тегами [Verse] и [Chorus], приберегите его для шага с вокалом, в Stable Audio его просто некуда вставить.

Про перенос промптов Suno в другие генераторы вообще есть отдельная статья.

Три дороги от подложки до спетой песни

Честных путей три. Различаются они тем, сколько контроля у вас остаётся и сколько возни на стыках.

Первый: песню целиком делает поющий инструмент, а Stable Audio работает вокруг неё. Пишете текст, генерируете всю песню там, где поют, и берёте из Stable Audio то, что поющему инструменту даётся хуже всего: фактурное вступление, нарастание в последний припев, отдельную партию для плотности, фон под проговорённую концовку. Всё это сводится в звуковом редакторе. Большинству подходит именно этот путь, потому что голос и аранжировка рождаются вместе и не спорят друг с другом.

Второй: сначала подложка, потом голос сверху. У вас есть инструментал из Stable Audio, который нравится, и нужно, чтобы запели именно поверх него. В справке Suno описана функция Add Vocals: она накладывает сгенерированный вокал на загруженный инструментал по вашему тексту. На каких тарифах функция доступна и что разрешено загружать, написано на страницах Suno, и это меняется, так что проверяйте там. Подложка остаётся ровно той, что вы выбрали, зато текст придётся уложить в уже готовую структуру, об этом ниже.

Третий: живой исполнитель. Записываете голос поверх подложки. Текст всё равно откуда-то нужно взять, а задача подгонки та же, что во втором варианте.

Перед вторым и третьим путём проверьте два набора условий: разрешает ли ваш тариф Stable Audio коммерческое использование результата и позволяют ли правила поющего инструмента загружать такое аудио. Это два разных разрешения от двух разных компаний. Юридической консультацией этот абзац не является, это просто два документа, которые стоит прочитать до публикации.

Как уложить текст в готовую подложку

Именно здесь чаще всего разваливаются песни, собранные от подложки. У подложки фиксированные длина и темп, а значит, и число тактов, и текст приходится кроить под них.

Счёт для подложки на 80 BPM в размере 4/4 длиной ровно три минуты:

одна доля  = 60 / 80  = 0,75 с
один такт  = 4 доли   = 3 с
3:00       = 180 с
180 / 3               = 60 тактов

[Intro]        4 такта
[Verse]       16 тактов
[Chorus]       8 тактов
[Verse]       16 тактов
[Chorus]       8 тактов
[Outro]        8 тактов
              ---------
              60 тактов

Шестьдесят тактов, и на бридж места нет. Это сразу подсказывает, что просить у генератора текстов. В форме у поля structure есть вариант no-bridge, то есть ровно та форма, которую эта подложка выдержит. Бриф, например, такой:

theme:     брату, который уехал работать в Новосибирск: его кружка
           так и стоит на полке, мама каждый вечер спрашивает, звонил ли
POV:       second
language:  ru
structure: no-bridge
style:     Pop
hook:      title-line
vocal:     male
emotion:   hope
age:       25-34

Поле vocal подсказывает автору текста, под какого певца писать, мужской или женский голос, или остаётся unspecified. Голос в поющем инструменте оно не выбирает, там вокал описываете отдельно. Поле style в форме выбирается из закрытого списка основных жанров, и Pop в нём есть.

Когда текст вернётся, помогут две привычки:

• Сверяйте строки с тактами. Если в куплете на 16 тактов восемь строк, на каждую приходится около двух тактов, есть где вдохнуть. Те же 16 тактов с шестнадцатью длинными строками поющий инструмент либо скомкает, либо обрежет. Сокращайте до загрузки, а не после.
• Держите припев коротким, чтобы его можно было повторить. В восемь тактов удобно ложатся четыре строки. Если генератор вернул припев из шести, оставьте четыре, на которых держится название.

Для русского текста это особенно важно: в русской строке слогов часто больше, чем кажется на глаз, и строка, которая на бумаге выглядит нормальной, в два такта может не поместиться. Прочитайте каждую строку вслух под метроном на 80 ударов в минуту: если приходится тараторить, режьте.

Это не гарантирует, как именно вокальная модель расставит слова. Зато убирается самая частая причина, по которой песня от подложки звучит скомканно: текста больше, чем вмещают такты. Подробнее о том, как оформить сам текст, в том числе почему поётся всё, что стоит вне квадратных скобок, написано в нашем разборе, как превратить текст в песню.

Сколько стоит Stable Audio и что можно делать с результатом

Цен и лимитов тарифов здесь не будет. Их устанавливает Stability и может поменять когда угодно. Для песни важен вопрос, на который разные тарифы отвечают по-разному: можно ли использовать сгенерированное аудио коммерчески и на каких условиях? Ответ ищите на текущих страницах цен и лицензий Stability для вашего тарифа, а не в блогах, включая этот.

Если вы в России, отдельно проверьте, какие способы оплаты Stability принимает сейчас: с зарубежными сервисами здесь бывают сложности, и выяснять это лучше до того, как подложка понадобится к сроку.

Открытые модели лицензируются отдельно от облачного продукта, поэтому локальный путь и вынесен в отдельную статью.

Наша позиция по словам изложена в дисклеймере: коммерческое использование сгенерированного текста разрешено, авторства на него мы не заявляем, права неисключительные, и у двух пользователей строки могут совпасть. Проверку текста на чужие права мы не проводим. Всё это не юридическая консультация.

Частые вопросы

Умеет ли Stable Audio петь? Не в смысле пения слов. Stability описывает инструмент как прежде всего инструментальный: похожие на голос звуки без слов бывают, разборчивого вокала нет.

Можно ли вставить в Stable Audio текст песни? Вписать в промпт можно. Модель прочтёт его как описание звука, а не как слова для исполнения.

Работает ли ваш генератор промптов в Stable Audio? Он сделан под формат Suno. Результат годится как заготовка после трёх правок из раздела выше: убрать всё про голос, добавить теги типа трека, записать темп числом.

Stable Audio лучше Suno? У них разная работа. Stable Audio сильнее всего в подложках, отдельных партиях и звуковом дизайне, Suno поёт по тексту. В одной песне могут пригодиться оба.

Нужен ли звуковой редактор? Для первого пути да, что-то, где можно выровнять куски из Stable Audio относительно спетого трека. Второй путь может целиком пройти внутри поющего инструмента, насколько позволяют его функции.

Начните со слов

Подложку Stable Audio сделает за вас. Текст решает, запомнят ли песню, и из всех слоёв его дешевле всего сделать как следует. Откройте генератор текстов, выставьте structure под то число тактов, которое реально есть в вашей подложке, и запустите один бриф. Внутри тарифа название и полный размеченный текст обходятся в 0,20 доллара. Дешевле всего начать с подписки за 5 долларов в месяц, это 25 текстов. Если удобнее заплатить один раз, пожизненный доступ за 19 долларов даёт 75 текстов и навсегда открывает каталог и генератор промптов.