Как превратить речь или голосовое сообщение в песню с помощью нейросети?

Голосовое в Telegram, сорок секунд, записано из чужой машины. Подруга Оля сдала на права с пятой попытки, хохочет и между делом выдаёт фразу, которую хочется повесить в рамку: «Водить я, если честно, не умею. Но права у меня есть». В субботу вы собираетесь это отмечать, и вам приходит в голову подарить ей песню, сделанную из этого голосового.

Вы ищете «нейросеть сделать песню из голосового» и получаете десяток сервисов, которые обещают одно и то же разными словами. На деле делают они разное. Одни оставляют саму запись и наращивают вокруг неё музыку. Другие пытаются заставить петь сам голос. Третьи берут только слова. Если перепутать, можно потратить вечер и получить то, что формально считается «вашим голосовым в виде песни», а звучит совсем не так, как задумывалось.

Ниже разобраны все три пути: что на каждом из них умеет каждый инструмент по словам самих разработчиков и какой путь надёжнее всего приводит к песне-подарку. Забегая вперёд: тот, где из голосового остаются слова и превращаются в настоящий текст песни.

За словами «речь в песню» прячутся три разные задачи

Прежде чем выбирать сервис, решите, что именно из голосового должно дожить до песни. От этого ответа зависит весь маршрут.

Если текст у вас уже готов и нужен только тот, кто его споёт, вам в разбор нейросетей-исполнителей: там сравнивается, что вообще умеет петь и как подобрать голос. Эта статья про шаг раньше, когда на руках только запись того, как человек говорит, и ещё не решено, какая её часть попадёт в песню.

Почему речь сама по себе не превращается в пение

В речи есть высота звука: любая фраза где-то поднимается, где-то опускается. Нет в ней устойчивых нот. Произнесённый слог проезжает по целому диапазону высот, вместо того чтобы встать на одну, а ритм подчиняется дыханию и смыслу, а не доле.

Есть одно хорошо изученное исключение, и оно многое объясняет. Психолог Дайана Дойч из Калифорнийского университета в Сан-Диего заметила, что короткая фраза из её собственной записи начинает звучать как пение, если её закольцевать. Вместе с Рейчел Лапидис и Тревором Хенторном она это проверила и в 2008 году представила результаты: фраза, услышанная один раз, воспринималась как речь, а та же фраза после нескольких повторов начинала восприниматься как песня. Эффект требовал точного повтора. Стоило сдвинуть повторы по высоте или перемешать слоги, и слушатели продолжали слышать речь. Явление так и называется: иллюзия перехода речи в песню.

Из этого следуют две вещи для всех, кто хочет сделать песню из голосового:

• Разговорная запись, прослушанная один раз, почти не даёт музыкальной модели мелодии, за которую можно уцепиться. Любой сервис, который её «сохраняет», либо придумывает мотив сам, либо оставляет речь речью поверх бита.
• Превращает слова в то, что ухо принимает за музыку, именно повтор. На этом держатся речёвка и закольцованный припев, и поэтому самый сильный ход на третьем пути состоит в том, чтобы сделать фразу самого человека строкой, которая возвращается в каждом припеве.

Путь 1: загрузить голосовое и нарастить вокруг него музыку

В Suno можно принести своё аудио. На странице Create рядом с кнопкой Create есть кнопка загрузки: можно выбрать файл или записать отрывок прямо там, и загрузка сохраняется в библиотеке. Дальше справочный центр Suno называет Extend (продолжить трек с выбранного места) и Cover (сохранить мелодию и перенести трек в другой стиль). В анонсе функции Cover в Suno упоминают простую голосовую заметку как возможную отправную точку.

Прежде чем пробовать это с речью, держите в голове три вещи:

• Ограничения по длине зависят от тарифа и уже менялись. На момент написания статьи справочные страницы Suno противоречат друг другу: в одной сказано, что на бесплатном плане можно загрузить до 60 секунд, а на Pro и Premier до 8 минут, в более старой указано от 6 до 60 секунд и до 120 на платных тарифах. Проверьте лимит в самом приложении, прежде чем резать файл.
• Вы подтверждаете, что запись принадлежит вам. При загрузке Suno просит согласиться с тем, что материал ваш. Голосовое от подруги записала подруга. Спросите её, тем более что для подарка это только добавит интриги.
• Что Suno делает с отрывком без мелодии, в справке не описано. Про Cover сказано, что функция сохраняет мелодию. В разговорной записи мелодии в музыкальном смысле нет, так что решать за вас будет модель. Закладывайте несколько попыток и слушайте каждую, прежде чем на чём-то остановиться.

Когда этот путь подходит: вы хотите, чтобы в песне звучало само голосовое, со смехом, шумом мотора и «права у меня есть», а музыка вырастала из него. Когда не подходит: вам нужна песня с куплетами и припевом про это голосовое. Это уже третий путь.

Как именно рулить загрузкой (держать поле Style коротким, не дать Suno подсунуть смену тональности, продолжать с нужной секунды), подробно расписано в статье о ремиксах и загрузке своего аудио в Suno. Всё оттуда работает и для голосового, с той оговоркой про мелодию, что выше.

Есть практичный приём на стыке первого и третьего пути: сделать песню третьим путём, а исходное голосовое поставить перед ней как разговорное вступление. Такую склейку сделает любой аудиоредактор без всякой нейросети, и у вас будет и живой голос, и песня с нормальной формой.

Путь 2: заставить петь сам голос

Именно это обычно представляют, когда ищут «нейросеть, которая превращает голос в песню»: тот же голос, только поющий. Инструменты тут двух типов, и ни один не превращает разговорный дубль в спетый сам по себе.

Конверсия голоса меняет тембр записи на другой голос. В Kits свою систему описывают как конверсию певческого голоса студийного качества, которая переносит высоту, динамику и мелочи вроде придыхания из исходной записи. В этом и суть: конверсия следует за тем исполнением, которое ей дали. Если подать разговорную фразу, следовать она будет за разговорной интонацией. Рабочая схема обратная: кто-то поёт или напевает мелодию, а конверсия надевает на неё другой голос.

Вокальные синтезаторы начинают не с записи, а с нот. Dreamtonics описывает Synthesizer V Studio 2 Pro как программу, в которую вводят ноты и слова, выбирают голос и настраивают выразительность. На момент написания Dreamtonics продаёт программу разовой покупкой, а не по подписке. Контроль вы получаете полный, но и мелодию придётся писать самому, нота за нотой.

Так что второй путь отвечает на вопрос «как заставить петь конкретный голос» и предполагает, что мелодия и слова у вас уже есть. На вопрос «как получить песню из этого голосового» он не отвечает.

И отдельно про чужой голос. Поставить голос реального человека в песню прежде всего вопрос его согласия, а в некоторых странах ещё и юридический. Это не юридическая консультация; что мы можем и чего не можем сказать о правах, изложено в нашем дисклеймере и в статье о том, кому принадлежит музыка, созданная нейросетью.

Путь 3: сохранить слова, написать текст, потом отдать его на исполнение

Этот путь надёжнее остальных заканчивается песней с куплетами, припевом и деталями, по которым понятно, что она про одного конкретного человека. Шагов четыре, и на sunomarket выполняется только третий.

Шаг 1: получить расшифровку

Голосовое нужно перевести в текст. Несколько вариантов, проверенных по страницам самих разработчиков:

• Telegram Premium перечисляет среди возможностей расшифровку голосовых сообщений в текст. Если голосовое пришло в Telegram, это самый короткий путь. Как сервис справится именно с вашей записью, проверьте на ней самой: шум машины и смех распознаванию не помогают.
• Whisper, открытая модель распознавания речи от OpenAI, распространяется по лицензии MIT, ставится на свой компьютер и поддерживает русский среди десятков языков. Подойдёт тем, кто не боится командной строки или пользуется программой, построенной на этой модели.
• Диктофон на iPhone умеет показывать расшифровку записи на поддерживаемых устройствах, но в списке языков этой функции у Apple на момент написания русского нет. Для русского голосового этот вариант не годится.

Если на руках не речь, а песня, задача другая (чьи это слова и не набраны ли они уже где-то), и про неё есть отдельная статья: как достать слова из аудио.

Шаг 2: выбрать строки, которые могли быть только у этого человека

Расшифровка ещё не текст песни. В ней в основном паразиты, оборванные фразы и повторы. Вот голосовое Оли в том виде, в каком его вернёт расшифровщик:

так, я в машине, не в своей, своей у меня нет, ха.
короче, сдала. с пятого раза. на третьем я на эстакаде заглохла,
Петрович аж перекрестился. а сегодня всю дорогу молчал.
водить я, если честно, не умею. но права у меня есть.
всё, еду домой. на автобусе, ха.

Возьмите ручку и обведите только то, чего не будет ни в чьём другом голосовом. Здесь это пятая попытка, эстакада, на которой она заглохла в третий раз, перекрестившийся инструктор Петрович, его молчание сегодня, отсутствие своей машины и автобус домой. Шесть деталей. «Так», «короче» и «всё» уходят. Фразу «водить я не умею, но права у меня есть» берегите почти дословно, потому что из неё выйдет припев.

Шаг 3: превратить детали в бриф

Генератор текстов песен sunomarket принимает короткую форму, а не расшифровку. В поле темы помещается до 800 символов, но вставлять туда всю расшифровку незачем: каждая лишняя подробность отнимает место у тех шести, что должны попасть в припев. Для Оли:

Тема:       Песня-подарок подруге Оле: сдала на права с пятой попытки.
            На третьей заглохла на эстакаде, инструктор Петрович
            перекрестился, сегодня молчал всю дорогу. Своей машины нет,
            домой едет на автобусе. Её слова: «водить я не умею,
            но права у меня есть».
POV:        second
Язык:       ru
Структура:  classic
Хук:        title-line
Вокал:      female
Эмоция:     playful
Возраст:    any

В теме 247 символов, меньше трети лимита, и все шесть деталей на месте. Два решения здесь неочевидны. POV second, потому что песня обращается к Оле, как обычно и бывает с песней в подарок, а её собственные слова звучат в припеве цитатой. Хук title-line, потому что её фраза должна стать названием и возвращаться в каждом припеве. Это та самая идея с повтором, перенесённая из звука в текст: строка, которая возвращается без изменений, и начинает ощущаться как музыка.

Как может выглядеть текст по такому брифу

Ниже текст, написанный вручную для этой статьи, чтобы показать форму. Все факты в нём взяты из поля темы выше, остальное составляют образы, которыми песня обрастает вокруг этих фактов. Ничего из вычеркнутых кусков расшифровки сюда не попало:

[Verse 1]
Пятый раз на экзамен, опять эстакада,
Та, где в третий заход заглох твой мотор.
Там Петрович крестился, как будто так надо,
А сегодня молчал, как немой светофор.

[Pre-Chorus]
И пятая попытка стала последней

[Chorus]
Водить я не умею,
Но права у меня есть!
Пусть смеётся вся дорога,
Но права у меня есть.

[Verse 2]
Своей машины нет, ну и что тут такого,
Ты домой на автобусе едешь, смеясь,
И никто из салона не знает, что рядом
Едет девушка, у которой есть права.

[Chorus]
Водить я не умею,
Но права у меня есть!
Пусть смеётся вся дорога,
Но права у меня есть.

[Bridge]
Пять попыток, одна эстакада
И Петрович, который молчал

[Final Chorus]
Водить я не умею,
Но права у меня есть.

Генератор возвращает название и полный текст с такими же метками секций, готовый к вставке в поле Lyrics в Suno. Петь генератор не умеет. Звук получают отдельным шагом в сервисе, который вы выберете сами, и чаще всего это Suno.

Шаг 4: отдать текст на исполнение

Вставьте текст в поле Lyrics выбранного сервиса, опишите звучание в поле Style и запустите генерацию. Метки секций и описания стиля пишите по-английски, например upbeat pop rock, bright female vocal, handclaps: английские описания Suno понимает лучше. Сами строки, которые поются, остаются русскими. Suno делает отдельная компания. sunomarket независимый сайт: мы не связаны ни с Suno, ни с другими компаниями из этой статьи, не перепродаём Suno и никак этим сервисом не управляем. Если голос гуляет от дубля к дублю, в гайде о том, как закрепить вокальную персону, объясняется, как его удержать, а структура песни в Suno показывает, как читаются метки секций. Для русского текста отдельно пригодится гайд про русские тексты для Suno.

Если у вас уже есть инструментал и платный план в Suno, в справке описана функция Add Vocals, бета для тарифов Pro и Premier: открываете загруженный трек или сгенерированный инструментал, вписываете текст, и поверх появляется спетый вокал. Это ещё один способ закончить третий путь.

Какой путь кому подходит

• «Хочу, чтобы в песне звучало само голосовое». Первый путь или третий с голосовым, вклеенным как вступление. Вариант со вступлением даёт больше контроля.
• «Хочу, чтобы спел конкретный голос». Второй путь, но понадобится мелодия: кто-то поёт черновой дубль или вы расставляете ноты в вокальном синтезаторе. Слова всё равно удобнее получить третьим путём.
• «Хочу настоящую песню про человека, и к субботе». Третий путь. Только на нём детали голосового попадают в куплеты и припев, а не остаются фоном.
• «У меня запись, где человек поёт, и мне нужны слова». Тогда вам не сюда: это расшифровка песни, про неё статья по ссылке выше.

Сколько стоит третий путь у нас

Платный у нас только шаг с текстом, и цифры простые. Одна генерация на модели SM1 стоит 20 кредитов, то есть $0.20 при курсе 100 кредитов за доллар. SM2 и SM3 стоят по 80 кредитов ($0.80): у них есть дополнительный проход редактуры, где детектор отмечает слабые строки, а шаг починки их переписывает. Новый аккаунт начинается с нуля кредитов, бесплатной пробы генератора текстов нет.

Кредиты дают тарифы. Подписка за $5 в месяц даёт 500 кредитов (25 текстов на SM1), неизрасходованные кредиты тарифа сгорают при продлении. Разовая покупка за $19 даёт 1 500 кредитов, которые не сгорают никогда (75 текстов на SM1). Это не безлимит. Через СБП можно оплатить только разовые покупки, вроде этой, а месячную подписку нельзя. Подробности на странице тарифов. Сервис, который будет петь, берёт деньги отдельно, по своим правилам.

Перед тем как что-то вставлять, полезно знать два ограничения. Уникальность сгенерированного текста не гарантируется: тексты неисключительные и у разных пользователей могут совпадать. И мы не претендуем на авторство того, что вы создаёте генератором; остальное изложено в дисклеймере.

Сегодня вечером, по порядку

1. Откройте голосовое и получите расшифровку тем способом, что уже есть в вашем телефоне или мессенджере.
2. Обведите детали, которых не будет ни в чьём другом голосовом. Четыре-шесть штук плюс одна фраза, которую жалко потерять.
3. Впишите их в поле темы: лимит 800 символов, но хватит и нескольких предложений. Если песня обращается к человеку, поставьте POV second, а хук title-line, чтобы его фраза возвращалась в каждом припеве.
4. Сгенерируйте текст в /ru/generators, сверьте его с голосовым и убедитесь, что каждую деталь человек узнает.
5. Отнесите текст в сервис, который поёт. А если важен живой голос, вклейте голосовое перед песней как вступление.

Самое трудное в песне-подарке уже есть в этом голосовом: фраза, которую мог сказать только этот человек. Все три пути выше по-разному решают одну задачу: как сохранить эту фразу живой.