Что такое голосовые модели RVC и можно ли спеть ими собственную песню?

Текст песни готов и лежит в одном окне, а в другом два файла: alto_v2.pth и added_IVF512_alto_v2.index. На форуме их назвали «голосом». Вы открываете интерфейс RVC, ищете поле, куда вставить слова, и не находите. Есть место для аудиофайла, число для сдвига высоты, выпадающий список с названиями алгоритмов, и ни одного поля, которое приняло бы текст.

Это пустое место и отвечает на вопрос из заголовка, поэтому с ним лучше разобраться до того, как качать что-то ещё. Модель RVC не поёт. Она работает как костюм: петь песню всё равно кому-то придётся, а модель лишь меняет, как этот певец звучит.

Страница написана для того, кто сочинил свою песню (или вот-вот сочинит) и хочет понять, может ли её исполнить голос RVC. Если же задача в том, чтобы наложить голос известного артиста на уже существующую песню, это другая работа с другими юридическими рисками, и вам нужен разбор генераторов каверов на нейросети. Здесь речь только о вашем тексте, вашей мелодии и голосе, которым вам разрешено пользоваться.

Что такое RVC без лишних слов

RVC расшифровывается как Retrieval-based Voice Conversion, преобразование голоса с поиском по образцам. Исходный проект, Retrieval-based-Voice-Conversion-WebUI на GitHub, открыт под лицензией MIT и называет себя фреймворком для преобразования тембра и смены голоса. На его основе сделано несколько форков (например, Applio), и устроены они по одному принципу.

Принцип такой. На вход подаётся запись вокала. Программа отделяет то, что спето (линию высоты, тайминг, форму слов), от того, кто пел. Потом звук собирается заново, но уже тембром загруженной модели. Самое хитрое здесь в слове retrieval: в README проекта сказано, что признаки исходного голоса подменяются ближайшими признаками из обучающего набора, чтобы тембр исходного певца поменьше просачивался в результат.

На практике раскладка выходит такая:

Правую колонку стоит перечитать. Модель приносит звучание и больше ничего: мелодию не сочиняет, текста не знает и честно воспроизведёт фальшивую ноту своим красивым тембром.

Несколько цифр со страницы проекта помогают не ждать от него лишнего. Для обучения модели README советует от десяти минут речи с низким уровнем шума. По меркам машинного обучения это очень мало, и именно поэтому голосовых моделей в сети так много. Базовую предобученную модель, по словам авторов, обучали почти на 50 часах записей из открытого набора VCTK. Кроме того, в проекте есть смена голоса в реальном времени с заявленной сквозной задержкой 170 мс, а с ASIO-устройствами 90 мс. Этим режимом пользуются стримеры, а для песни почти всегда конвертируют готовый файл, потому что сначала хочется выбрать лучший дубль.

Откуда берутся голосовые модели

Обученный голос RVC обычно распространяется двумя файлами. В .pth лежит сама модель. Файл .index необязательный: по нему идёт поиск на шаге retrieval, и с ним результат обычно ближе к исходному голосу, хотя и без него всё работает.

Добывают эти файлы тремя путями.

Обучают сами. Берут десять с лишним минут чистых сухих записей одного голоса и прогоняют через вкладку обучения в RVC или в форке. Для обучения желательна видеокарта; README обещает, что учится модель быстро даже на слабой, есть и установка только под процессор, но работать она будет медленнее.

Скачивают чужие. На Hugging Face выложено огромное количество моделей от сообщества, есть и отдельные сайты-каталоги. Качество гуляет от отличного до непригодного, и с документами то же самое: в одних карточках написано «только для исследований», во многих не написано ничего.

Берут облачный сервис, где преобразование голоса упаковано в сайт со своими лицензированными голосами и своей кнопкой обучения. О них ниже.

Со вторым путём есть неприятная деталь. Заметная часть популярных моделей обучена на голосах известных певцов, на записях, которые никто не лицензировал, и без согласия людей, чьи это голоса. То, что файл можно скачать бесплатно, ничего не говорит о том, можно ли выпустить песню этим голосом. Лицензия MIT распространяется на код RVC, а не на голос внутри модели, которую обучил кто-то другой.

Можно ли спеть ею свою песню? Можно, но нужен опорный вокал

Вот весь путь от начала до конца. Каждая стрелка означает отдельный шаг и отдельный инструмент.

tekst.txt          ваши слова с тегами [Verse] / [Chorus]
   |
guide_dry.wav      человек (или вокальная дорожка ИИ-песни) поёт этот текст, без реверба
   |
voice.pth + .index голосовая модель, которой вам можно пользоваться
   |
converted.wav      результат RVC: мелодия и тайминг опорного вокала, тембр модели
   |
сведение           преобразованный вокал поверх инструментала

Чаще всего пропускают первый и второй шаги, потому что все торопятся к третьему.

Шаг 1: текст

Программе RVC структура текста безразлична, зато она важна певцу, который будет записывать опорный вокал, и любой нейросети, через которую вы этот вокал соберёте. Текст с понятными частями, короткими строками и повторяющимся припевом легче спеть чисто за один заход.

Этот шаг закрывает наш генератор песен. Вы заполняете форму (от чьего лица, язык, структура, тип хука, пол голоса, эмоция, возраст слушателя и тема до 800 символов) и получаете название и полный текст с тегами частей, который можно сразу вставить в поле Lyrics в Suno. Например, такой бриф:

POV        first
language   ru
structure  classic
hook       title-line
vocal      male
emotion    longing
age        35-44
theme      Он продаёт дачу отца и в последний раз обходит дом: сапоги у двери,
           удочки в сарае, календарь за прошлый год на стене. Ключи уже лежат
           на столе для покупателя.

возвращается примерно таким текстом (отрывок):

Ключи от дачи

[Verse 1]
У двери так и ждут сапоги,
В сарае удочки в пыли,
Висит календарь за прошлый год
И никого уже не ждёт.

[Chorus]
Ключи от дачи на столе,
Я их оставлю и уйду,
Ключи от дачи на столе,
А сам всё медлю на ходу.

Каждая картинка в нём выросла из строки темы: сапоги, удочки, календарь, ключи на столе. Для опорного вокала это важно, ведь текст с конкретными предметами даёт певцу что сыграть, а игру RVC как раз и переносит.

Одна генерация на модели SM1 стоит 20 кредитов, то есть $0.20. Сайт независимый: это не Suno, и он никак не связан ни с проектом RVC, ни с Kits AI, ни с другими компаниями из этой статьи. Генератор пишет слова: он не поёт, не выдаёт аудио и не клонирует голоса.

Шаг 2: опорный вокал

Именно здесь решается, каким получится исполнение, поэтому времени на этот шаг стоит потратить больше всего. Честных вариантов два.

Спеть самому. Даже если свой голос вы терпеть не можете. Тембр RVC заменит, а сохранит фразировку, тайминг и высоту. Если вы попадаете в ноты и поёте примерно в нужном диапазоне, лучшего опорного вокала не найти: каждое решение в нём ваше. Записывайте сухо: без реверба, без дилея, без наложений, один голос и тихая комната.

Сгенерировать опорный вокал. Вставьте текст в Suno, напишите промпт стиля и запускайте генерацию, пока не попадётся исполнение с нужной фразировкой. Потом выгрузите вокальную дорожку отдельно и используйте её как опору. Мелодия в этом случае приходит из ИИ-песни, а RVC переозвучивает её. Прежде чем что-то публиковать, проверьте, что условия Suno на вашем тарифе разрешают делать с результатом; какие вопросы задать, разобрано в статье о том, кому принадлежит музыка, созданная нейросетью.

Для русского текста у сгенерированного опорного вокала есть своя ловушка: ударения. Если нейросеть споёт «ключи́» как «клю́чи», RVC это ударение аккуратно перенесёт в новый тембр. Как расставлять ударения и подавать русский текст, чтобы в Suno он не разваливался, описано в гайде по русским текстам для Suno.

Несколько привычек делают опору из Suno лучше: в промпте стиля назовите один ведущий голос, уберите хоры и многослойные гармонии из тех частей, которые будете конвертировать, и держите аранжировку разреженной, чтобы разделению на дорожки было меньше работы. Как удержать одного и того же певца во всех частях песни, описано в гайде про фиксацию вокального образа; это пригодится, если конвертировать песню целиком.

Шаг 3: конвертация

Загрузите модель, загрузите сухую опору, выставите несколько параметров, запустите. Названия в разных форках отличаются, но почти везде есть примерно такой набор:

Сначала конвертируйте один припев и послушайте, а уже потом всю песню. Проблемы с диапазоном вылезают на самой высокой строке, а живёт она обычно в припеве.

Отдельно для русского: если модель обучали на английской речи, проверьте на припеве шипящие и «ы». Таких звуков в обучающих записях могло почти не быть, и искать похожие признаки модели будет просто не из чего. Если артефакты слышны, иногда помогает убавить index rate.

Шаг 4: сведение

Преобразованный вокал приходит сухой дорожкой. Обращайтесь с ним как с обычным ведущим вокалом: выровняйте громкость, добавьте реверб и компрессию, которые вы не ставили на опору, посадите поверх инструментала. Если опору делали в Suno, логичная подложка уже есть: инструментальная дорожка той же песни.

Что RVC не исправит

Потолок задаёт опорный вокал. Всё перечисленное ниже вытекает из этого.

Высота. Нота мимо в опоре останется нотой мимо на выходе. Некоторые оболочки умеют подтягивать высоту, но сам конвертер этого не делает.

Дикция. Произношение берётся из опоры. Если певец проглатывает концы строк, их проглотит и новый голос.

Диапазон. У модели, обученной на голосе, который никогда не поднимался выше определённой ноты, наверху просто нечего искать. Металлический призвук и дребезжание появляются как раз тогда, когда опору тащат далеко за пределы обучающего диапазона. Лучше транспонировать опору туда, где модели удобно.

Грязь на входе. Реверб, бэк-вокал, гитара, попавшая в микрофон: конвертер пытается озвучить всё это. Грязная опора даёт грязный результат, поэтому слово «сухой» встречается на этой странице так часто.

Чувство, которого не было. Если опора звучит как ровное чтение текста, на выходе будет ровное чтение, только голосом получше. Это самое частое разочарование, и модель тут ни при чём.

Чей это голос: сначала согласие

Три случая, от ясного к мутному.

Ваш собственный голос. Обучите модель на своих записях, и вы будете превращать себя в себя. Звучит бессмысленно, пока не поймёте, что так песню может исполнить певец получше (или вокал из Suno), а тембр останется вашим. Чище варианта нет.

Голос соавтора. Спросите письменно и договоритесь, для чего можно использовать модель и у кого хранятся файлы. Модель чужого голоса легко скопировать и почти невозможно отозвать.

Голос знаменитости. Здесь закон меняется быстрее всего. Закон ELVIS Act, подписанный в Теннесси в 2024 году, прямо защищает голос человека, включая цифровые имитации. На федеральном уровне законопроект NO FAKES Act о цифровых копиях вносили в Конгресс уже несколько раз, последний раз в 2026 году, и на момент написания законом он не стал. Подробно это разобрано в статье про голоса знаменитостей и закон. За пределами США правила зависят от страны, и в ряде стран голос защищают через личные права человека.

Это обзор того, как устроена ситуация, а не юридическая консультация. Что мы утверждаем и чего не утверждаем о текстах из генератора, написано в нашем отказе от ответственности.

Три способа получить вокал лучше сырого домашнего дубля

RVC не единственная дорога, и для части читателей не лучшая.

По каждому пути коротко, по данным со страниц самих компаний на момент написания.

Kits AI заявляет о библиотеке из более чем 100 голосов артистов без роялти, которые, по словам сервиса, лицензированы у самих артистов, а также создание голоса и мгновенное клонирование для собственного певческого голоса. Есть бесплатный тариф, платные начинаются от $10 в месяц на момент написания. Стоит ли за него платить, подробно разобрано в нашем обзоре Kits AI.

Suno Voices позволяет добавить свой голос в песни, которые генерирует Suno. Вы даёте от 15 секунд до 4 минут записи, выбираете лучшие две минуты, а потом читаете вслух короткую фразу, по которой Suno сверяет, что говорит и поёт один и тот же человек. На странице помощи Suno сказано, что эта проверка нужна, чтобы нельзя было без разрешения взять чужой голос (там названы соавторы, творческие партнёры и публичные персоны), что права на голос нужно подтвердить галочкой, что функция доступна только с 18 лет и не во всех странах. На каких тарифах она есть, там не указано, так что проверьте свой. Главное отличие от RVC: Suno генерирует песню и поёт её вашим голосом вместо стандартного, шаг с опорой отпадает, но и мелодию вы уже не контролируете.

Если цель только в том, чтобы услышать свой текст своим голосом, Suno Voices короче. Если у вас есть собственная мелодия или нужен не ваш голос (с разрешением владельца), подойдёт RVC или облачный конвертер, а контроль над песней остаётся у вас через опорный вокал.

Где здесь шаг с текстом, если честно

Все три пути начинаются со слов. Для RVC их должен спеть певец опоры, Kits нужен вокал для конвертации, Suno Voices нужен текст в поле Lyrics. Ни один из этих инструментов не напишет за вас песню, которую захочется исполнять.

Ровно эту узкую задачу решает генератор: название и полный текст с тегами частей по вашему брифу, на одном из девяти языков. SM1 стоит 20 кредитов ($0.20); SM2 и SM3 стоят по 80 кредитов ($0.80) и делают дополнительный проход редактуры: детектор отмечает слабые строки, а шаг починки их переписывает. Кредиты дают тарифы: $5 в месяц за 500 кредитов или $19 один раз за 1500 кредитов, которые не сгорают. Новый аккаунт начинает с нуля, бесплатной пробы генератора нет. Через СБП можно оплатить только разовые покупки, то есть пожизненный тариф и пакет кредитов, а ежемесячную подписку нельзя. Подробности на странице тарифов.

Две оговорки, чтобы ничего не перехвалить. Тексты из генератора неэксклюзивны и могут совпадать у разных пользователей. И ничто из того, что мы продаём, не поёт, не конвертирует и не клонирует голос: эта часть остаётся за инструментом, который вы выберете на третьем шаге.

Первый вечер с RVC, по пунктам

1. Решите, чей это голос, и возьмите письменное разрешение, если не ваш.
2. Сначала доведите текст: части с тегами, короткие строки, припев, который можно спеть дважды и не задохнуться.
3. Запишите или сгенерируйте одну сухую опору, только припев.
4. Конвертируйте припев с RMVPE и загруженным индексом. Двигайте transpose, пока самая высокая строка не перестанет дребезжать.
5. Только когда припев звучит как надо, записывайте или генерируйте всю опору и конвертируйте песню целиком.
6. Сведите преобразованный вокал как настоящий и послушайте в наушниках и через динамик телефона, прежде чем считать работу законченной.

Если застряли на втором пункте, потому что слов ещё нет, начните с текста и возвращайтесь к голосу, когда будет что петь.