Ultimate Vocal Remover v5.6.0 x64 [2023, ENG]

ВНИМАНИЕ!!!
Друзья, чтобы заработала модель разделения барабанов на кик, снейр и т.д., нужно создать txt файл с именем drumsep
вписать туда следующее -
models: ['modelo_final']
segment: 44
сохранить и поменять .txt на .yaml
Получится drumsep.yaml
Этот файл нужно положить в \models\Demucs_Models\v3_v4_repo
Теперь в разделе Demucs у вас появится модель drumsep. нет, убираются не только хвосты, но и микроотражения. Как почистить вокал. Берете запись, эквализируете ее так, как вам бы хотелось (не обращая внимания на шумы). Далее немного компрессии (сильно не пережимать!), далее немного максимайзера, чтобы уровнять. Все, рендерим. Эту дорожку засовываем в UVR и выбираем модель MDX23C InstVoc_HQ в разделе MDX. Заходим в настройки (гаечный ключ) далее - Settings Guide -> в Additional Menus & Information выбираем Advanced MDX-Net Options Здесь Volume Compensation на авто (вы уже максимайзером и компрессором прошлись) Segment Size (можно поиграться если на борту больше 8 гб vram, но чаще всего хватает от 224 до 512. Denoise Output - стандарт. Далее жмем Vocal Splitter Options откроется еще одно меню, выбираем модель VR Arc: HP-KAROKEE-MSB2-3BAND-3090_arch-124m (можете и другие попробовать, но меня эта более чем устраивает), ставите галку на Enable Vocal Split Mode и Deverb Vocals , в меню Select Vocal Type to Deverb лучше оставить все типы (иногда UVR путает и отделяет только бэки или лид с беками оставляет, поэтому лучше оставить). Если вокал писали в стерео то в предыдущем меню нужно поставить галку на Spectral Inversion эта функция замедляет разделение, но при ее включении UVR использует не отпечатки в модели, а спектрограммы.
Готово. Разделяете и получаете чистый вокал.
Зачем нужно эквализировать и компрессировать вокал. Методом тыка я пришел к тому, что чем громче сигнал и более отчетливо слышны шумы, тем лучше UVR справляется и качественнее оставляет нижние частоты в вокале.
Вообще, народ уже лайфхак нашел. Я еще не пробовал (только дипфейки крутил) Берут RVC (на гитхабе есть уже GUI для него), засовывают туда модель голоса кого угодно из русских исполнителей, прогоняют и получают из плохого качества очень приличную дорожку с хорошо отстроенным по всем параметрам голосом (главное референс модель хорошую найти). Далее прогоняют через UVR чтобы убрать оставшиеся шумы и вуа-ля. Почитать и попробовать тут -
https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI
______________________________
PS. Скоро должна появится одна VIP модель, которой нет в сборке. Чтобы ее скачать, нужно зайти в центр скачивания и нажать на ключик. Далее ввести VIP код - 02aeb35c203ed0a9

нет, убираются не только хвосты, но и микроотражения. Как почистить вокал. Берете запись, эквализируете ее так, как вам бы хотелось (не обращая внимания на шумы). Далее немного компрессии (сильно не пережимать!), далее немного максимайзера, чтобы уровнять. Все, рендерим. Эту дорожку засовываем в UVR и выбираем модель MDX23C InstVoc_HQ в разделе MDX. Заходим в настройки (гаечный ключ) далее - Settings Guide -> в Additional Menus & Information выбираем Advanced MDX-Net Options Здесь Volume Compensation на авто (вы уже максимайзером и компрессором прошлись) Segment Size (можно поиграться если на борту больше 8 гб vram, но чаще всего хватает от 224 до 512. Denoise Output - стандарт. Далее жмем Vocal Splitter Options откроется еще одно меню, выбираем модель VR Arc: HP-KAROKEE-MSB2-3BAND-3090_arch-124m (можете и другие попробовать, но меня эта более чем устраивает), ставите галку на Enable Vocal Split Mode и Deverb Vocals , в меню Select Vocal Type to Deverb лучше оставить все типы (иногда UVR путает и отделяет только бэки или лид с беками оставляет, поэтому лучше оставить). Если вокал писали в стерео то в предыдущем меню нужно поставить галку на Spectral Inversion эта функция замедляет разделение, но при ее включении UVR использует не отпечатки в модели, а спектрограммы.
Готово. Разделяете и получаете чистый вокал.
Зачем нужно эквализировать и компрессировать вокал. Методом тыка я пришел к тому, что чем громче сигнал и более отчетливо слышны шумы, тем лучше UVR справляется и качественнее оставляет нижние частоты в вокале.
Вообще, народ уже лайфхак нашел. Я еще не пробовал (только дипфейки крутил) Берут RVC (на гитхабе есть уже GUI для него), засовывают туда модель голоса кого угодно из русских исполнителей, прогоняют и получают из плохого качества очень приличную дорожку с хорошо отстроенным по всем параметрам голосом (главное референс модель хорошую найти). Далее прогоняют через UVR чтобы убрать оставшиеся шумы и вуа-ля. Почитать и попробовать тут -
https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI
______________________________
PS. Скоро должна появится одна VIP модель, которой нет в сборке. Чтобы ее скачать, нужно зайти в центр скачивания и нажать на ключик. Далее ввести VIP код - 02aeb35c203ed0a9

---

Благодарю за развернутый ответ. Если не затруднит, несколько уточнений.
Процесс очистки голоса и акустической гитары (нейлон HT) от отражений комнаты.
1. Подразумевается чистый голос, разве что сопли, скрипы, призвук гитары. Пишу на конденсаторный нойман, через поп фильтр. 44.1\24 через бебик RME. Гитару так же пишу даблом на голос, динамический шур - бета грин. Он так же ловит комнату, да и уши открытые, с них тоже прилетает. Надеюсь на гитару такой же алгоритм, или все же там свои нюансы?
2. Памяти на видеокарте 12Gb GDDR6, надеюсь этого хватит для качественного просчета?
3. Я понял для чего нужна нормализация и компрессия, но можно ли обойтись без эквализации, чтобы голос, да и гитара остались ближе к сырому оригиналу, без вырезанных гармоник и обертонов?
PS: по подмене исполнителя, конечно интересно, но в моем случае это не нужно. Вот если бы она научилась зубы добавлять, цены бы ей не было:)
По VIP моделям. Посмотрел предоставленные вами модели (за что огромное спасибо!), не понял, как отличить по названию где VIP, и вообще есть ли возможность посмотреть свойства конкретной модели - кто автор, дату релиза, версию и т.д. ?
PPS: для наглядности.
в этом случае запись в два канала - голос моно 1 канал, гитара пьезо в линию 2 канал. Обработки нет, сырой звук. Слышна реверберация комнаты сильно. запись идентична первому видео, но тут была обработка с эквализацией, компрессией и объемом, что хорошо слышно в монологе и в исполнении песен.

Так ведь эта модель и так присутствует в этой рааздаче. (Её не было в прошлой, но вы давали ссылку в комментах. А в этой она есть.)
...
Кстати, 6_HP_караоке в режиме сплит я попробовал для опыта, прикольно отделил голос Пугачёвой в студийных "Королях" от бэков, которые я раньше лишь смутно ощущал в припеве, а там, оказывается, ещё и мужик поёт настоящий баритоном)) Спасибо! Какая-то VR Arch Single Model BVE появилась. Это оно?)) - Не факт. Такая модель уже была, UVR-BVE-4B_SN-44100-1, но она сейчас, вероятно, обновилась.

догадываюсь кто, помню на какой то днюхе Аллы Борисовны, Ёся прыгал зайчиком и исполнял королей)

Во-первых, у вас моно запись, это усложняет работу, так как модель не ресинтезирует звук, следовательно у вас неизбежны провалы или в минусе или в плюсе. Это похоже на работу Side-chain компрессии. Хотя новая модель MDX23 вроде как улучшена в работе над этой областью, но все равно, думаю будут артефакты.
Во-вторых, вам нужно (если позволяют финансы) подумать о правильной стереопаре для записи гитары. Акустическая гитара имеет широкий частотный диапазон. Поэтому изменения положения микрофона будет сильно варьировать звук, и какие-то частоты будут подчеркиваться, а какие-то будут исчезать. Так как вы не сидите, как памятник, а все равно двигаетесь, то эти частоты плывут немного, отсюда и непонимании программы где гейт поставить, а где его убрать. Поэтому при разделении моно сигнала, скорее всего, будут артефакты на вокале (поднятые хвосты, которые прога принимает не за гитару, а за спектр вокала).
Вообще, запись акустической гитары это не простой процесс (если мы конечно не ставим задачу, просто для истории иметь запись, как в свое время записывали по началу Владимира Семеновича, Комара, Северного и т.п.). Одним из наиболее распространенных заблуждений является предположение, что лучший звук будет исходить из деки гитары. это не так, потому что в результате мы получаем гулкий и резонирующий звук с сильными басами, а если все это пишется в один источник с вокалом (как у вас на видео), то подрезая резонансы мы подрезаем и нужные частоты для вокала. Поместить микрофон только у рта тоже не вариант, так как в этом случае (если помещение не подготовлено) мы имеем теже самые резонансы но уже от комнаты. Поэтому, чаще всего делается так, отдельная пара для гитары (или один микрофон) и отдельный микрофон для вокала. Тут еще нужно учитывать тембр голоса. К примеру, если пару расположить у бриджа гитары, то это лучше передаст средние частоты (но также будет записывать призвуки струн), это если тембр вокала средне низкий. В вашем случае, учитывая ваш тембр голоса, лучше писать гитару возле 12 лада. Там звук не слишком басовитый, не слишком резкий. Ну и если уж совсем по красоте, я бы второй микрофон поместил бы в районе первого лада, так Александр Яковлевич пишется, у него 12 струнка, такой прием дает призвук хоруса красивый (вальс Бостон, на плантациях любви и т.п.). У вас в принципе и манера подачи схожая, так что вполне круто будет.
По техническим характеристикам у вас все хорошо, я имею ввиду видеокарту. Тут самое главное видеопамять, чем ее больше, тем больше размах расчета CUDA.
Насчет эквализации и компрессии. Да, обойтись можно, но в вашем случае, на вокале останутся хвосты комнаты, потому что моно сигнал и программа не поймет где заканчивается вокал и начинается комната. Можно попробовать Izotope OZONE 10, там есть алгоритм ребаланса, поднять вокал на 3 дицебела и прогнать через UVR. Затем опустить вокал на 3 дицебела и прогнать заново, чтобы получить гитару. Но, еще раз повторяю, моно дорожка это и хорошо и плохо.
по VIP моделям. VIP это такая же модель, просто автор ее решил продавать за донат) по сути, на сегодняшнее время, в усредненных показателях, лидирует MDX23, но, каждый трек это индивидуальный мастеринг и сведение. Какая-то модель имеет больше весов на компрессированные дорожки, какая-то наоборот, тут универсального решения нет. Так что VIP модель, это просто авторская модель, которая натренирована на каком-то датасете.
По вашему треку, смотрите, я прогнал несколько раз вокальную дорожку, но из-за качества записи, все равно слышны артефакты (неприятный песочек и как будто зажат деесер),
https://drive.google.com/file/d/179uRQdyP38WXxnGNaugiA7mPEhrAEE2w/view?usp=sharing
По гитаре тоже есть проблемы, так как из-за моно сигнала модель не может точно распознать атаки голоса и струн, отсюда слышно на гитаре высокие от голоса (то чего как раз не хватает на вокале и кажется, что с деесером перебор)
https://drive.google.com/file/d/1Ltqwvd82-BolLheviUPHtBv_P6qlm09o/view?usp=sharing Ее техническое название - HP2-UVR. В раздаче есть несколько версий, насчет обновленной, не знаю, не видел, не юзал. На самом деле не нужно гнаться за количеством моделей. Это как со Stable Diffusion, люди накачали себе террабайт, а потом начали искать уроки, потому что модель моделью, а вот какие настройки делать, тут уже вопрос. В раздаче в принципе есть все что нужно. Если что-то переплюнет MDX23, я выложу это здесь

---

Сейчас пишу немного иначе. Записываю голос под гитару. Гитару ловит вокальный микрофон, также идет запись гитары в линию через пьезо. У меня в DAW записаны две моно дорожки.
1 вход (L) дорожка вокал - чтобы не чистить от гитары, прописываю дабл, геморно но куда деваться. После этого дорожка уходит в архив, а работаю с дабл треком.
2 вход (R) дорожка гитары - также переписываю начисто гитару - микрофон под розеткой сантиметров 30 (попробую 12 и 1 лад). переписываю микрофонами потому, что хочу получить комнату (но комнату более музыкальную, чем имею) и если нужно подмешиваю пьезо.
Так вот от всего подобного "счастья" хотелось бы избавиться частично, но как видно не судьба. Буду пробовать разные варианты. Еще раз благодарю за помощь и советы.
По тем трекам что вы пробовали почистить, послушайте эти до микса. Эти для меня уже не особо важны, так, как все равно буду переписывать и добавлять инструменты, но тем не менее.
Voice line вот тут можно вырезать гитару, или немного приглушить, не сильно ломая голос?
Gtr AC piezo line Voice double на это можно не обращать внимание, выложил просто как пример процесса. что то записано наложением, обрезаны паузы, дыхание, так, что не очень интересно.

Да, этот вариант получше, вот, режим Ensemble: HP2-UVR+ Kim Vocal 2 + MDX32c (обе версии), на склейке вот такое выходит:
https://drive.google.com/file/d/1T2Mb0x2ahVaj1ToVD0CbsJ7yyWj6OaAn/view?usp=sharing
Ручками почистить дальше, ну или прогнать еще через модельки какие-нить повторно.

Благодарю еще раз за помощь, немного комнаты осталось. но я попробую разные варианты.

Возможно придется прибегнуть к плагинам. По удалению комнаты я рекомендую попробовать:
Accusonus - Reverb Remover Pro
Acon Digital - DeVerberate 3
Эти есть на торренте
win-rnnoise - (этого на рутрекере нету, он бесплатный, скачать тут - https://github.com/werman/noise-suppression-for-voice (раздел - Releases)

Ещё не взломан.

Кстати, синтов с AI на гитхабе полным полно. Да не такой красивый интерфейс, но очень крутые фишки. Я как -то находил разработку одного китайского чувака, там смысл такой, берешь звук, даешь ему скушать, он думает и выдает похожий, но уже на синте. Давно было, года два назад, наверное тем кто новичек в синтезе, очень нужная вещь. Просто, залить на торрент бесплатную прогу, это ж ругаться будут, поэтому такое сюда не тянут, а зря
Так, я на почте обнаружил очень много вопросов касательно программы. некоторые настолько банальные, что я их просто игнорил (простите если кого обидел этим, но у меня ограничено время, когда я могу посидеть за компом, так скажем, для себя, поэтому отвечать на вопросы в духе - а как туда трек закинуть и куда он сохраняет - я просто не буду). Поэтому я решил набросать небольшую инструкцию для новичков.
Итак, у нас есть интерфейс, давайте разбираться:

1 Select Input и Select Output - В первое окошко вы загружаете трек для разделения, во втором выбираете куда сохранять. Нажимать для выбора нужно именно на названия, а не на папки с правой стороны (папки просто откроют вам место, куда прописан путь.) Кстати, Select Input поддерживает Drag-and-drop и да, вы можете туда перетащить хоть 100 файлов, хоть 1000 и UVR поочередно все скушает.
2 Choose Process Method. Здесь мы выбираем метод, которым будем разделять наш трек. По сути это именно разная математика и разный подход (соответственно и разные модели, они сильно отличаются друг от друга). Чтобы понять разницу методов, вам придется прочитать очень большое количество литературы (если оно конечно вам нужно). Если говорить просто, то существует датасет, это огромное количество треков, которые предоставлены исполнителями по дорожкам (отдельно барабаны, голос, басс и т.д). С помощью специальных алгоритмов, нейросеть начинают учить, мол это вот барабаны, это голос и т.д. Нейронка запоминает все это и потом уже слыша сведенный трек может выдернуть оттуда (или по частотно или ресинтезируя звук в некоторых частях) какую-то дорожку. Датасеты отличаются. есть официальный датасет, так называемый multisong, весит он ой ой ой сколько, от него отталкиваются большинство создателей моделей для разделения. Существует так же таблица метрики, где можно посмотреть, какая модель лучше вытянет голос, а какая бас и т.д. Например вот таблица метрики - https://mvsep.com/quality_checker/multisong_leaderboard?sort=vocals
Но, существуют и сторонние датасеты, которые используются, так скажем, для тренировки VIP моделей. К сожалению, разрабы часто халтурят (проверить на каком датасете натренирована модель невозможно) и продают типа VIP модели, а по факту они мало чем отличаются от основных (разве что DrumSep и всякие убиралки ревера, делея, шумов и т.п., тут уникальность я думаю понятна).
В этом разделе у нас есть 4 вида математики для разделения и раздел AudioTools (о нем потом, особенно о функции автоматического мастеринга по референсному треку).
VR Architecture - Вместо отпечатков, которые скармливали нейронке, эта модель использует их спектрограммы. Это вот такая вот ерунда:

Это не сам отпечаток, а именно его спектрограмма. По сути самый первый алгоритм, который был изобретен для разделения музыки. им до сих пор пользуются RX, SPLEETER и т.п. типа мастодонты. Но, несмотря на то, что такой подход достаточно не нов, он все равно может дать хорошие плоды.
MDX-Net - Этот алгоритм гибридный. Он использует и спектрограммы и отпечатки. Причем веса в каждой модели разная, какая-то больше будет опираться на отпечаток, какая-то на спектрограмму (отсюда и такое количество моделей и соответственно результатов). Такой метод придумали ребята из Кореи (вообще, много чего самого интересного идет именно из Кореи, за что им огромное спасибо). Это алгоритм имеет открытый код и более подробно у них на гитхабе - https://github.com/kuielab
Кстати, если захотите создать свою модель, то у них там есть раздел для скачивания очень приличных датасетов (wav).
Demucs - Алгоритм очень схож с MDX, но немного старше. Он так же гибридный, но более гибкий. Интерес тут в том, что в этой математике можно делать модели, которые будут разбивать дорожку аж до шести составляющих. Причем чаще всего достаточно сносно (модель HTDemucs_6s ). Разобьет на бас, вокал, барабаны, гитару, клавишные и так называемый Other (все то, что она не смогла понять).
Demucs разрабатывается компанией Meta Open Source. У них много чего интересного есть, достаточно упомянуть, что эти ребята напрямую сотрудничают с NASA. Более подробнее о них можно узнать тут - https://opensource.fb.com/
Ну и они так же имеют свой раздел на гитхабе, где алгоритм Demucs активно развивается, здесь же можно бесплатно скачать обновления (на момент написания этой заметки, обновы нету) - https://github.com/facebookresearch
Ensemble Mode - Здесь у нас нет моделей, это новый подход для разделения звука. Говоря простым языком, выбрав этот раздел у вас откроется справа окошко

Здесь представлены все модели, которые у вас есть. вы выбираете хоть все (этого делать не нужнО!) и начинаете разделять. Программа по умолчанию создаст кучу папок в папке, которую вы указали в Select Output, там будут названия выбранных моделей, каждая модель разделит трек, а в финале слепит из него усредненный вариант, типа возьмет лучшее из всего, что вы выбрали. Тут конечно непросто придется, ведь алгоритм подбора не прост. Обычно рекомендуется выбирать не более 4х моделей. Метрики различных комбинаций можно посмотреть тут - https://mvsep.com/quality_checker/synth_leaderboard
Спросите - зачем это нужно? Все просто. Если у вас в руках трек с не очень хорошим мастерингом и сведением или в котором креативный подход к реверберации (многослойная реверберация) или различные выктрутасы с фазой и т.п., то простая модель хорошо не справится. Здесь какой-то спектр лучше вытянет DMX, какой-то Demucs, а какой-то VR. Поэтому здесь поле для экспериментов.
Идем дальше.
Segment Size (для раздела MDX) По умолчанию там стоит 224 (в последней версии разраб умолчание сделал на 256). Что это такое. Это размер сегмента, который будет обрабатывать модель за один раз. Чем больше сегмент, тем дольше, но качественнее обрабатывает. Тут уже вопрос к тому, что у вас на борту. если видюха с 12 гб и более, то смело методом тыка крутите по максимуму, все равно, если залезете за пределы возможностей вашего железа, UVR просто выдаст ошибку. Но, здесь есть и загвоздка. Бывает так, что при небольших значениях, какие-то модели работают лучше (например Demucs по моему субъективному мнению хорошо работает до значения 512, но это только мое мнение, у вас же поле для экспериментов).
OVERPAL можно выбрать от значения 2 до 100. Тоже сильно зависит от вашего железа. Overlap - это функция как бы склеивания блоков из раздела Segment. То есть есть некоторые кирпичики, они обрабатываются отдельно за один раз, но чтобы они были одинаковыми, им нужно указать некоторое перекрытие. Это типа фейдера между двумя семплами, только если фейдер отвечает за плавный переход громкости, Overlap отвечает за похожесть между двумя блоками. По умолчанию тут стоит 8, но вы можете поставить и больше, если слышите артефакты. Кстати, новая модель MDX32 работает только до значения 50. Еще раз напоминаю, это сильно кушает ресурсы, но тут или кушать или радоваться результату. В большинстве случаев 8-10 вполне хватает.
CHOOSE - список моделей из разных типов математики. Про каждую модель писать не буду (это блин книгу можно сделать). гуглите, читайте, моделей существует вагон и маленькая тележка. В этой сборке я собрал и передал автору раздачи только те модели, которые по моему мнению лучше и качественнее всего, что сейчас есть (я в этой теме уже не первый год и все проверяю руками, метрики не использую).
Дальше у нас окошко с галками (некоторые функции добавляются или убираются в зависимости от выбранного метода, я рассмотрю все)
GPU Conversion - Если есть видеокарта Nvidia, то смело ставьте, но учтите, скорость зависит от размера видеопамяти, так как используется технология CUDA. Если карты нету, то галку снимайте и все будет считаться на процессоре (это значительно дольше, но результат тот же).
Secondary Stem Only, Primary Stem Only и Vocal Only - Если нужен только вокал или только минус, ставьте галку. По умолчанию сохраняет и то и другое.
Sample Mode (30s) - обрабатывает первые 30 секунд. Очень полезно, если экспериментируете с Ensemble Mode, хотя я никогда не пользуюсь, просто режу 10-15 секунд нужного фрагмента и пробую разные комбинации.
SELECT SAVED SETTINGS - сохранить значения или сбросить все что вы навертели.
Под восьмым пунктом у нас настройки, но о них я напишу попозже, итак слишком большой пост вышел.
9 - стоп. Тут я думаю понятно все.
10 - старт процесса.
Всем успехов в творчестве!!
PS. Для тех, кому лень скачивать и разбираться, вот сайт от разраба UVR - https://mvsep.com/ здесь можно бесплатно попробовать разные модели и послушать, как и что работает. Главное бесплатно (но не все)

motell
От комнаты избавиться хорошо помогает связка deRoomPro2 + dxRevivePro

Ну это смотря какая комната.) Гребенчатый фильтр не оч Accentize dxRevive убирает

Зря раздача обновлена, а не продолжена там, где была. Старая беседа спрятана, там куча пользы.
В описании, «обновлено само приложение» — да нет, не особо оно обновлено.
На гитхабе, конечно, написано, что там обновлено, однако в раздаче ссылка на гитхаб битая. Внутри программы есть расширенный список изменений: Cсылку, если не ошибаюсь, надо давать на конкретную версию релиза v5.6, на гитхабе они номерные и отследить удобно.
При этом у программы вообще есть официальный сайт, помимо гитхаба.
В общем, какая-то полу-недо-некондиция по оформлению, парни.
Однако поддерживаю, тем не менее. Запустить обычно не проблема. Проблема будет с ресурсами, которые в нормальном проекте могут потребляться программой весьма активно, а Win7 с той же активностью их не отпускать. Скорее всего на процессоре запустится, однако на Pentium или Celeron запуск не гарантирован. Скорее всего на видеокарте не запустится, вся кухня обычно требует самых свежих драйверов. Но оба этих предположения в редких случаях могут быть неверными. Совсем не LOOKAHEAD. Программа оперирует двумерными представлениями, а-ля «картинка» с двумя осями X и Y. Эта картинка делается для некоторого «окна» отсчётов (сэмплов). Каждый раз, как программа получила нужное количество отсчётов, равное этому окну, она обрабатывает «картинку» — это окно названо сегментом. Функция OVERLAP это перекрытие между двумя соседними сегментами, выраженное в отсчётах. Можно смотреть на это как «сглаживание» или «замыливание» между двумя окнами. Суть опции в том, что в начале и в конце окна при некоторых типах сигналов на крайних (и близких к крайним) отсчётах в окне могут возникать артефакты из-за ошибочного предсказания для начального отсчёта. OVERLAP их сглаживает. Дробные отсчёты возникают из-за использования во внутренних алгоритмах многократного увеличения частоты дискретизации сигнала для более устойчивой предикции на частоте аудиофайла, то есть отсчитываются по сути сэмплы более высокой дискретизации. Это инструкция для изменённой версии оригинальной программы, которая подразумевается будет работать с поддержкой другого механизма ИИ. В данном случае речь про Microsoft DirectML — это библиотека для DirectX 12. В некоторых системах эту библиотеку нужно ставить специально, в некоторых она уже стоит. Описано: Чтобы этим пользоваться, всего лишь нужно установить питон. Описывал как это сделать в прошлой теме. Но это скорее всего не потребуется, поскольку автор UVR 17 часов назад пишет, что сделал поддержку AMD через стандартную библиотеку OpenCL: Можно зайти в указанную им ветку программы (версию, пока не соединённую с основным релизом) и если уже установлена текущая версия, просто накатить поверх неё указанный патч UVR_Patch_9_29_23_1_39.exe (мотать вниз в Assets) или как говорит автор, скачать его прямо из интерфейса программы. Текущая версия релиза на гитхабе уже включает этот патч, я проверил. Придётся тестировать под твои обычные задачи. В общем и целом, стандартный рейтинг моделей является нормальной отправной точкой.

не могли бы вы распространить модели отдельно? У меня их большинство и я не хочу скачивать 29 гигабайт

Давно искал что-то подобное Hp karaoke uvr. Спасибо создателям и за пост!

Спасибо за ответ.Рад снова видеть Ваши коменты!Давно не было видно. Я посмотрел рейтинг , судя по всему , чем больше значение ,тем лучше модель справляется с задачей? например демук3 Demucs 3(модель B) * ,лучший для вырезания вокала?
еще не понятно что значит "Инструментальная версия SDR(инвертированный вокал)" ее нет в раздаче?

ВНИМАНИЕ!

Так, ребята, подъехало дополнение и небольшое обновление моделей. Залил на гугл диск, тут гиг слишним в архиве.
https://drive.google.com/file/d/1XeLdaugUgX46mZtzWRpMlCW4LAA0pXHB/view?usp=sharing
Для очистки голоса от шумов:
VR_SFX-ISOL_v.1
VR_SFX-ISOL_v.2
VR_SFX-ISOL_v.3
Доработанная модель - TFC_TDF_UNet_MDX21. Пока что разбит на модели bass, drums, other и немного доработанная vocals.onnx , которая уже была (поэтому копировать с заменой). Кстати, эта модель имеет техническое название - MDX-UVR Vocal Model 427. Так что имейте введу, если по метрикам будете работать в режиме Ensemble
Доработана модель modelo_final (drumsep) (скопировать с заменой)
Ее я вытащил из колаба - https://colab.research.google.com/drive/14uxUczAYP9EUZLZmA_uWv5I_mDU7iqJS?usp=sharing
Можете следить за обновлением кода, разраб опять начал работу над моделью
Доработана модель HP2-4BAND-3090_4band, теперь доступна третья версия. Yaml пока нету, так что или в ручную настраивать или ждать Yaml. Но, пусть будет.

В этих рейтингах выше = лучше. В целом они отражают среднюю температуру по больнице для нескольких задач. Если задачи подобны тем, для которых рассчитан рейтинг, то начинать с топовых моделей имеет смысл потому, что они подойдут к большему количеству исходного материала с большей вероятностью. То есть скорее всего логичным будет такие модели всё же скачать и держать. Скорее всего подобное касается и близких к топу моделей — они с большей вероятностью могут подойти. Та же ситуация с ансамблями.
Но если задача специфическая, то можно имеет смысл поискать модели под неё. Обычно под специфической полагается что-то кроме изоляции вокала, например разбив дороги на инструменты, бэки, такой рейтинг тоже есть на странице. Но также это касается ситуаций, когда результат топовой модели по какой-то причине не устраивает.
Результаты любой модели в первую очередь определяются источником. Это означает, что для получения инструментала используется метод вычитания изолированного вокала в противофазе из оригинала. Модель натренирована извлекать вокал с наименьшими артефактами. Следовательно, согласно букварю, наилучшим результатом получения инструментала с наименьшими артефактами будет вычитание наилучшего вокала из оригинального файла. Это чисто математика. В прошлой теме процесс описан.

Коллега, спасибище за труды великие и программу могучую...))
Один вопрос. Как и что мне выставить сразу и навсегда (если такое возможно в принципе), чтобы удалять ТОЛЬКО лидирущий вокал из любой композиции, а бэквокалы оставались нетронутыми? Увы, все нейросети убирают вообще все. По вашему описанию и комментариями я понял, что вы это уже делали и можете посоветовать. Будьте добры - дайте ркеомендации по настройкам, ибо все, что мне нужно вообще - отделение лидирующего вокала при сохранении всего остального.
Заранее спасибо.

Спасибо! И как раз давно хотел спросить, по какой причине может вылезать уведомление при выборе модели, что оная неопознанная? Ибо с этими тремя та же история. Как всё тот же вариант, нет мощной видяхи... Но основной парк моделей работает (да, на ЦП и долго, но работает), в т.ч. все те ранние VR для очистки голоса.
...
Блин, проклюнулись творцы всякие во множестве. Кто-то на Ютюбе запилил нейросетью видео на "Лирику" СГ, где Хой поочерёдно играет на всяких инструментах (смешной момент с синтом: он сначала подставлен так, что Хой на нём играет задом наперёд, но тут же программа перевернула синт). Или ещё замену вокала выложили: "Белые розы" голосом Хоя, ржака)))

ну, пока файла с настройками нету от разраба (файл появляется, когда разраб UVR его вставляет в прогу), то да, ручками уже говорили про это. Если без запара, то юзайте модель MDX23C-8KFFT-InstVoc_HQ с настройками удаления реверберации и т.п

Уведомление должно появляться только при первом запуске этой модели — когда программа не находит настроечный файл для неё. После закрытия уведомления программой генерируется стандартный файл и далее уведомления для этой модели появляться не должны. Если оно появляется при дальнейших запусках программы, скорее всего директория, в которой расположена программа, защищена от записи и программа не может в ней ничего сохранить. Чтобы проверить по-простому, достаточно запустить UVR с повышенными правами «от администратора» и посмотреть, исчезнет ли проблема — открыть «уведомляющую» модель с админскими правами, выйти из программы и после запуска проверить эту модель.
Параметры сохраняются в подпапках внутри директорий с классом модели, например для VR_Models тут:
%PROGRAMFILES%\Ultimate Vocal Remover\models\VR_Models\model_data\
Если вручную сохранить какой-то конфиг для модели, то в этой папке появится новый файл.

98gurkao
Благодарю за участие! Увы, не прокатило, всё так же появляется уведомление: а что там выбирать и есть ли смысл, я не знаю))

Имел в виду, что уведомление будет убрано после выбора конфига, а не после кнопки отмены. Для модели можно посмотреть описание, если оно есть, и из него в принципе дедукцией вывести о чём там речь. Параметры можно выбрать произвольно, их потом легко поменять в настройках. Это никак не меняет саму модель, настроечный файл это просто отдельный текстовый документ json примерно с таким текстом:

Да. но только немного сложнее все. Некоторые модели требуют Yaml, помимо конфига. Простой файл Yaml выглядит так, к примеру Extra_q:
models: ['83fc094f', '464b36d7', '14fc6a69', '7fd6ef75']
segment: 44
А вот посложнее Yaml выглядит вот так:
audio:
chunk_size: 261120
dim_f: 4096
dim_t: 256
hop_length: 1024
min_mean_abs: 0.01
n_fft: 8192
num_channels: 2
sample_rate: 44100
model:
act: gelu
bottleneck_factor: 4
growth: 64
norm: InstanceNorm
num_blocks_per_scale: 2
num_channels: 64
num_scales: 5
num_subbands: 4
scale:
- 2
- 2
training:
batch_size: 6
coarse_loss_clip: true
ema_momentum: 0.999
grad_clip: null
instruments:
- vocals
- drums
- bass
- other
lr: 0.0001
num_steps: 100000
q: 0.4
target_instrument: null
inference:
batch_size: 2
dim_t: 1024
num_overlap: 8
Ошибка после уведомления выходит именно из-за отсутствия правильных настроек помимо конфига

У какой модели возникает уведомление «unrecognized model» (скрин +Paolo+)при созданном json?

Жалко. Очистка вокала - дело как раз очень нужное. Но я без понятия, что там надо и как.
...
Кстати, сегодня опять Ютуб на перерыве подсунул обработку нейросети с заменой вокала. Теперь "Розовые розы" голосом Хоя, но в отличие от других, там не указано, что это нейросеть, созданная пахавшими специалистами, творит чудеса, Напротив, "автор" с удовольствием принимает в комментах восторженные комплименты своему таланту, копит подписоту и собирает на развитие канала. Просто и гениально! Но отвратительно. Пара кликов и пипл хавает, ибо свежо и прикольно, и делать ничего не надо, - ни ноты выверять, ни сочинять, ни петь, ни играть, а донат в карман))