|
Murder302
Стаж: 17 лет 2 месяца Сообщений: 69
|
Murder302 ·
23-Сен-24 00:46
(4 месяца 7 дней назад)
romap1978 писал(а):
86741977
Нейросети Вам наудаляют, ещё и сохранят на выходе в MP3. Удаление не происходит "просто так", а идет по какому-то алгоритму. Вы уверены, что Вам нейтронка вместе с английским голосом ещё половину диапазона из звука не поудаляет? Я уверен, что часть частот она по любому порежет.
Это всего лишь предположения. Вы же не проверяли? Русская озвучка настолько некачественно сделана, что даже битрейт 192 кбит/с для неё слишком высок. Тот сервис в виде результата выдаёт и голос, и то, что удалено. Речь про выделение русского голоса и наложение его на оригинальную дорогу (в стерео). Объективно - голос в русской озвучке - не попытка сделать дубляж.
Цитата:
А заодно поудаляет и то, что удалять была не должна (те же слова из песни, например). И будете Вы за этой нейтронкой потом всё равно всё править ручками. И не факт, что поправите. Посмотрел я Вашу нейтронку - таких программ у звуковиков полно с более точными настройками, чаще всего применяются для создания минусовок из песен. А тут просто усредненный вариант - однокнопочная версия без каких-либо настроек. Результаты будут непредсказуемые.
Вы не в ту сторону воюете - я пишу про выделение русского голоса и очистку его от шумов и других звуков, которые есть в оригинальной. Чтобы сделать более качественный закадровый бубнёж. Оригинальную обрабатывать нет необходимости (разве что в стерео перевести для накладывания русского голоса).
Цитата:
Я вообще не понимаю зачем извлекать английскую речь из оригинальной (английской) дорожки. Она 5+1 и теоретически (не проверял) там английская речь идет в центральном канале. Просто выбросить центральный канал (и, возможно, часть частот заодно, смотря как сводили), а остальные 4+1 каналов свести в стерео, да и всё. И не нужны никакие нейтронки в этом вопросе.
английскую речь из оригинальной не нужно (по крайней мере не мешает). Удалить нужно английский голос из русского дубляжа, т.к. он туда попал ещё и с дичайшим понижением качества, на уровне телефонной линии (инвертировать по фазе, не знаю как звукомонтажники такое делают), т.к. из-за рассинхрона есть металлический эффект.
Цитата:
Вероятно - это не точно.
Точно. Там отдельно можно прослушать голоса, и отдельно - всё что им не является.
Цитата:
Я занимаюсь видеомонтажом 26 лет (не звукорежиссурой). И сразу скажу, что по предложенному Вами алгоритму никто не работал и не работает. Как там происходило с другими сериалами, я не в курсе. У кого там какой был опыт и какие инструменты. Знаю только, что все там точно как Вы хотели нажать 2 кнопки и на выходе получить конфетку и желательно часа через 2.
Ну вот извлечение голоса буквально в две кнопки можно сделать. Уверен, в слепую разницу не ощутите, по крайней мере с таким качеством материала (русская дорога).
Цитата:
От них избавиться только ручками, долго и упорно мудохаясь над каждым куском (эпизодом) в серии. Я же говорил, что синхрон сделан не идеально даже в пределах серии. На отвали сделан.
Ну разве что где явные ошибки. В остальных местах простое накладывание дорожек вызывает лишь металл в англ голосах и искажениях музыки. Но в русской озвучке буквально всё нужно удалять, что не является голосом, чтобы ожидать пристойный результат.
Цитата:
Я не сильно понимаю зачем Вы хотите удалять из дорожки английские голоса. Русская озвучка - это двухголосый закадровый перевод, а не дубляж. Вы же хотите не пойми что: вычесть из русской дорожки (непонятно как) английскую, а потом снова её добавить (только лучшего качества) или вообще не добавлять (я так и не понял).
Я имею в виду такое:
1. Из русской озвучки выделить голоса (англ и ру), не важно каким инструментом
2. Очистить русскую дорогу (рус с англ голосами) от шумов
3. Исправить синхронизацию используя англ речь как привязку, по графикам, например
4. Выделить голоса из английской дороги во временную дорожку
5. Из русской двуязычной дороги вычесть англ голоса (инвертированием фазы временной дорожки с англ голосами из оригинальной), полученные на шаге 4, после чего про них забываем
6. Лишенную англ голосов, шумов и рассинхронизации, русскую дорогу накладываем на оригинальную.
Пункт 3 - самый сложный, остальные должны быть менее трудозатратными.
Цитата:
Только непонятно зачем все эти танцы с бубном и как реализовать всё это технически. Всё равно этот рассинхрон в сериях надо править. Ну так при правке рассинхрона проще сразу вырезать русские отдельные слова и накладывать на английскую чистую (хорошую) дорожку. Всё равно же каждую серию перелопачивать.
Всё можно сделать в Adobe Audition. Но нужен опыт. Для шагов 1, 3, 4 при плохом качестве русской озвучки однокнопочной нейросетки с головой хватит. Там уже нечего портить. Когда будет русский голос без фоновых звуков, "двигать квадратики" в Audition будет на порядок проще, т.к. "конфликтов" с оригинальной дорожкой из-за наложения звуков не будет. "Всего лишь" передвинуть речь, где промазали монтижники перевода.
Цитата:
Кстати, именно так те, кто это накладывал, и делали (какая то группа умельцев лет 15 назад, которые торговали DVD с сериалами), потому что на эпизодах без русской речи (в драках и т.п.) звук взят из оригинальной дорожки и он чище. Только сделали синхрон местами коряво и неумело. Но учитывая количество серий и то, что всё это стояло на потоке - это ещё хорошо.
Они были ограничены технологиями своего времени. Вернее технологии были, но требовалось больше человеко-часов. Не помню, какой перевод был, когда крутили по телеку в 90х. Вряд ли там были такие огрехи.
Цитата:
Зачем я буду что-то сравнивать? Я не собирался и не собираюсь реализовывать Ваш замысел.
Так вы просто отрицаете новые технологии)
Цитата:
попробуйте с помощью lalal.ai или иным способом лишить голоса английскую дорогу, наложить на неё русскую, и послушать
Цитата:
Вы лепите какой-то непонятный кастрированный дубляж.
Так он уже кастрированный - крайне низкое качество, искажение фоновых звуков, отсутствие фоновых звуков во многих сценах. Всё что имеет смысл в ней - только голоса. Это единственное, что нужно сохранить. Всё остальное есть в исходной дорожке, на которую нужно наложить очищенную от мусора речь. Ещё более кастрированный - наложить обе дороги друг на друга. И даже при этом смотреть будет приятнее.
Цитата:
Повторюсь, что вариант с русской озвучкой идет с фоновой английской речью (это не дубляж) и не вижу смысла её удалять.
А металл в голосах как устранять собираетесь? Тратя на серию по десять и более часов? Выше писал - проблема "тупого" сложения дорог - артефакты наложения некогда одинаковых звуков (музыка, англ речь, которая на слышимом уровне) Мой вариант позволит не тратить безумное количество времени на синхронизацию, и отклонения в десятки-сотни мс не будут вызывать металлический звон или эхо (когда дороги сильно сдвинуты друг относительно друга).
Цитата:
То, что у Вас получилось наложить одно на другое на небольшом отрезке, ещё не значит, что получится на всей серии.
Не все серии одинаково убиты. Пример был для сцены из третьего сезона, и всё. Причём без применения нейронки, просто сдвиг фаз был незначительным и постоянным, видимо. Как
Цитата:
Цитата:
Может как-то можно получить дифференциальную дорогу - вычесть из русской английскую, но для этого нужно полностью выровнять и засинхронизировать.
Цитата:
Интересно как?))) Вы думаете, что Вам нейтронка из англо-русской дороги вырежет английские слова, оставив русские?))) Полностью выровнять и засинхронизировать - это работы для одного человека на годы, учитывая занятость и количество серий.
Ну как-то делает:) По языку не разделяет, но выделяет голоса хорошо. Это же только один этап по подготовке к работе. Конкретно у этого сервиса недостаток в его платности. Наверняка есть аналоги без необходимости платить, но с тем который на гитхабе, нейросетевой, не разобрался.
Цитата:
Пока что Ваш алгоритм выглядит как неподъемный, трудоемкий и возможно технически нереализуемый процесс.
С чем проще работать - с полной шумов и искажений дорогой, или с очищенной, в которой кроме голосов ничего нет? Когда исходник не режет слух, можно смириться с невысоким общим качеством звука по сравнению с оригинальной дорожкой, и при необходимости устранять ошибки синхронизации.
Цитата:
А самое главное непонятно зачем это всё затевать. Есть прекрасная по качеству дорожка
Дорожка тут вторична (перевод из этой раздачи мне больше нравится, возможно, потому что его по телеку когда-то смотрел). То что я предлагаю, может позволить использовать оригинальную дорогу как основу для наложения перевода (исключительно голосов), когда перевод испорчен плохим монтажом и вообще качество звука у перевода низкое, и думать о миллисекундах свысока ("лип синк" всё равно не выйдет, а русские голоса и так начинаются с задержкой относительно английских). Возможно, некоторые этапы можно полуавтоматизировать (извлечение дорожек, конвертация формата, выделение голосов - первые два у меня занимают прилично времени).
Сам я пытался, но у меня проблема с выделением голосов (платный сервис с ограничениями) и подавлением английского в русской дороге (наверное из-за конвертаций нарушена скорость, из-за чего начинается рассинхрон английской речи у дорожек). Пока не разобрался, т.к. Audition для редактирования практически не использовал, а спросить не у кого (чат-пгт разве что).
"Для себя" хватает наложения двух дорог конкретно в этом случае, но это не для публики.
|
|
romap1978
Стаж: 13 лет 2 месяца Сообщений: 307
|
romap1978 ·
23-Сен-24 21:30
(спустя 20 часов, ред. 23-Сен-24 21:30)
Цитата:
Это всего лишь предположения. Вы же не проверяли?
У меня нет ни времени, ни желания это проверять. Если бы всё было так просто, то вместо всех звукоинженеров уже бы давно были нейросети. Ваша идея - предлагаю Вам и проверить. Я проверял нейросети в обработке видео (рассматривал как вариант применения новых технологий, ускорения и упрощения процесса). Результат - пластмассовые лица и угробленные исходники. Но куча умельцев до сих пор плодит рипы с помощью нейросетей, считает это за благо и засирает своими творениями сеть, утрачивая исходники. Руки бы поотрывал. Что касается удаления голоса из песен, то все мои знакомые звуковики предпочитают для этого использовать программное обеспечение, а не нейросети. Потому как прога имеет кучу подробных настроек и можно влиять на результат, а нейросети Вам дадут то, что дадут. Будь всё так просто, то все бы, кто занимается этим профессионально, уже давно нажимали бы одну кнопку в нейросети, а не просиживали в студии месяцами и годами.
Цитата:
Русская озвучка настолько некачественно сделана, что даже битрейт 192 кбит/с для неё слишком высок
Ещё раз повторю: её делала группа умельцев бегом на коленке лет 15 назад, чтобы как можно быстрее запилить к сериалу русскую озвучку, выставить сериал на продажу и заработать на этом. Упор был не на качество синхрона, а на скорость и снятие профита. Вариантов не было, т.к. русская озвучка собственно была одна. У меня есть исходники этой русской озвучки, там она такого же качества. Это ВХС ТВ-рипы, какого качества звука от них Вы хотите?
Цитата:
я пишу про выделение русского голоса
Как Вы его хотите выделить, если фоном идет английская речь? Я Вам в сотый раз пишу, что выделить его можно, только вырезав каждое слово русской озвучки и вставив его в нужное место на оригинальную дорогу на английском. Только так. Никакая нейросеть Вам корректно такое выделение, нажав 2 кнопки, не сделает.
Цитата:
очистку его от шумов и других звуков
Это Вы чем его так очистить хотите? Из г...вна конфетку не сделаешь.
Цитата:
Удалить нужно английский голос из русского дубляжа
Ну так удалите, кто мешает-то? Мне другие методы, кроме как вырезание по одному русскому слову (фразе) неизвестны. Именно так удаляли и те, кто эту озвучку делал (вырезали с ВХС рипов по фразам кусками).
Цитата:
1. Из русской озвучки выделить голоса (англ и ру), не важно каким инструментом
2. Очистить русскую дорогу (рус с англ голосами) от шумов
3. Исправить синхронизацию используя англ речь как привязку, по графикам, например
4. Выделить голоса из английской дороги во временную дорожку
5. Из русской двуязычной дороги вычесть англ голоса (инвертированием фазы временной дорожки с англ голосами из оригинальной), полученные на шаге 4, после чего про них забываем
6. Лишенную англ голосов, шумов и рассинхронизации, русскую дорогу накладываем на оригинальную.
1. Как это не важно каким инструментом? Очень важно, потому что автоматических или полуавтоматических таких инструментов нет. Либо результат после них неудовлетворительный. А вручную в одиночку Вы будете мудохаться над этим до прилета зеленых мух.
2. Чем очистить? Аудишену нужен образец шума, а что Вы возьмете за образец, если шум везде разный? Простой шум от лентопротяга видака аудишен удаляет не всегда корректно, а тут разный шум, для которого нет образца.
3. Ну так исправьте, промудохаясь пару лет. Задачи нарезать все мастера, делать никто ничего не хочет. Графики звукового спектра у английской дороги и русской закадровой дороги РАЗНЫЕ. Они одинаковые только там, где как раз русской речи нет. Так что не сильно понятно, что Вы там собрались синхронизировать по графикам. Синхронизировали эту озвучку ПО ВИДЕО. Если же в итоге взяться синхронизировать эти 2 дорожки (что очень трудоемко, муторно и долго) звук в звук, волну в волну, то уже на этом этапе проще просто вырезать отдельные русские слова (фразы) и накладывать на оригинальную дорожку, в которой просто приглушить английскую речь (например снизив громкость центрального канала при переводе 5+1 в стерео). И ВСЁ. Остальные 5 пунктов из Вашего алгоритма уже не нужны. Как не нужна никакая нейросеть и прочие танцы с бубном.
4. Без проблем.
5. Как вы собираетесь их "вычесть"?)))
6. Наложить проблемы нет, проблема в получении того, что надо накладывать.
Цитата:
Не помню, какой перевод был, когда крутили по телеку в 90х. Вряд ли там были такие огрехи.
Не важно какие огрехи были при ТВ трансляции, важно с КАКИМИ ОГРЕХАМИ ОНА БЫЛА ЗАПИСАНА. С того перевода из 90х эта озвучка и прикручивалась. У меня есть те ТВ рипы с 90-х. Сначала озвучка из них прикручивалась к SATRipам с итальянского канала Mediaset, а потому русская озвучка прикручивалась к американским DVD9 (после их выхода), а уж потом к BDRipам. Но озвучка с тех самых ТВ рипов везде одна и та же, и качество у неё такое везде. Если у Вас есть лучшие записи из тех лет без огрехов, то поделитесь.
Цитата:
Так вы просто отрицаете новые технологии)
Это мне говорит тот, кто предлагает использовать давно устаревший Adobe Audition.
Цитата:
Всё остальное есть в исходной дорожке, на которую нужно наложить очищенную от мусора речь.
Ну так наложите, используя Ваш алгоритм, кто мешает-то? Или Вы хотите реализовать придуманный Вами сценарий бесплатно чужими руками? Ну так дураков сейчас нет.
Цитата:
А металл в голосах как устранять собираетесь?
Металл в голосах я устранять не собираюсь. У меня его нет.
Цитата:
просто сдвиг фаз был незначительным и постоянным, видимо.
Он там непостоянный. И это не видимо, а точно. Потому что я уже сделал эту серию. Результат меня устраивает.
Цитата:
По языку не разделяет
Ну так она Вам и вырежет все слова. Как Вы собираетесь английские слова вырезать, а русские оставить через свою нейронку? Сделайте, а мы все посмотрим и послушаем.
Цитата:
С чем проще работать - с полной шумов и искажений дорогой, или с очищенной, в которой кроме голосов ничего нет?
Проще с очищенной, но Вы поседеете, пока её приведете в состояние очищенной с одними голосами.
Цитата:
можно смириться с невысоким общим качеством звука по сравнению с оригинальной дорожкой, и при необходимости устранять ошибки синхронизации.
Не вижу препятствий. Устраняйте.
Цитата:
Возможно, некоторые этапы можно полуавтоматизировать (извлечение дорожек, конвертация формата, выделение голосов - первые два у меня занимают прилично времени).
Извлечение звуковой дорожки из видео у меня занимает пару минут. Конвертация формата вообще нежелательна (иначе Вы убьете переконвертом и без того невысокое качество звука), но это вопрос ещё пары минут. Если Вы занимаетесь ещё в процессе и конвертацией (особенно в формат MP3), то у меня больше вопросов нет. Работать надо только с исходниками без всяких переконвертов. Взял AC3, пошаманил, его и вывел (ещё надо и правильный движок кодека для вывода формата подобрать и настроить не кривыми руками). Потом вот от таких 2-3 перконвертов и имеем то качество звука, что имеем.
Цитата:
Сам я пытался, но у меня проблема с выделением голосов (платный сервис с ограничениями) и подавлением английского в русской дороге (наверное из-за конвертаций нарушена скорость, из-за чего начинается рассинхрон английской речи у дорожек).
А я Вам о чем говорю? Это только по пунктам всё выглядит красиво, но это таким методом НЕРЕАЛИЗУЕМО. Потому что автоматически русскую речь из двуязычной Вы не выделите с хорошим результатом от слова никак.
Платный сервис с ограничениями... Так Вы предлагаете мне Вам за сервис заплатить, чтобы Вы упражнялись себе в удовольствие или как?
Цитата:
наверное из-за конвертаций нарушена скорость, из-за чего начинается рассинхрон английской речи у дорожек
Наверно это, а может и другое. А может и третье. Меньше надо страдать конвертациями, на любом этапе которых может пойти что угодно не так, начиная от рассинхрона, заканчивая неслышным уху в монтажке урезанием частот или задиранием каких-либо частот. Вот берите и сами разбирайтесь что там не так, алгоритм же действий Ваш. У меня есть свой алгоритм, который РАБОТАЕТ (не дает траблов ни на каком этапе монтажа годами).
Цитата:
"Для себя" хватает наложения двух дорог конкретно в этом случае, но это не для публики.
Для какой публики? Публика годами смотрит то, что есть на данный момент.
Цитата:
Конкретно у этого сервиса недостаток в его платности. Наверняка есть аналоги без необходимости платить, но с тем который на гитхабе, нейросетевой, не разобрался.
Ну так все сервисы такие: либо платные, либо кривые. И не факт ещё, что если платные, то хорошие.
Цитата:
Выше писал - проблема "тупого" сложения дорог - артефакты наложения некогда одинаковых звуков (музыка, англ речь, которая на слышимом уровне) Мой вариант позволит не тратить безумное количество времени на синхронизацию
В Вашем варианте та самая синхронизация, без которой вообще ничего не получится, идет пунктом 3. Так что время на неё тратить всё равно придется.
Я Вам больше скажу: для синхронизации вообще Ваш Аудишн даром не нужен, не нужны графики, не нужен аудиоспектр. И не важно совпадает он или нет. Не нужны никакие инверсии, вычитания и нейронки. Если у Вас есть синхронизированная ПОД ВИДЕО русская дорога и синхронизированная под тот же фильм в другой копии английская дорога (с блюра, с другого канала, с другим fps), то достаточно синхронизировать ВИДЕО в любой приличной (которая работает с исходниками и сохраняет в формате исходников, а не требует 2-3 перекодировки форматов) видеомотажке, а аудиодорожки синхронизируются сами. Другое дело что в самих этих 2х копиях может быть разбег в синхронизации в 2-3 кадра, на слух не слышно, а металлический эффект при наложении даст. Как показывает опыт, попытки улучшить что-то в Аудишене (убрать шумы, почистить, расширить диапазон, добавить/урезать частоты) приводят только к ухудшению исходника (я беру вариант работы с исходниками плохого качества). Как я уже говорил: из г.вна конфетку не сделаешь. Это примерно как пытаются через нейронку сделать из ВХС рипа Full HD. Делают апскейл (что и без того делает любой Full HD телек аппаратно) и задирают резкость, увеличивая её на границах изображения. И получается на выходе апскейл с перешарпленной картинкой и пластмассовыми лицами. Вот Вам пример с нейронкой, только с другой. Неоткуда взять там видеоинфу, если её нет в картинке. Так и со звуком. Я видел людей, которые из звука с ВХС пытались слепить 5+1, прогнав его через 2-хнопочную программу и раскидав частоты и без того убитого звука по 6 каналам. Лучше этот звук это не сделало, а лишь привело к тому, что на стерео аппаратуре часть частот при звучании просто пропала (умудрялись часть частот перевода загнать в тыловой динамик), один из фронтальных каналов был вообще пустой, а основной звук шел через сабвуфер. Потом очень сложно из таких псевдо 5+1 собрать назад приличное хотя бы стерео (особенно не зная алгоритма разделения стерео на 5+1). Точно так же Вы не будете знать по каким алгоритмам действует Ваша нейронка и что нужно сделать (а с нейронкой Вы ничего и не сможете сделать), чтобы что-то добавить/убавить/докрутить просто потому что негде.
А простых инструментов для работы со звуком хватает в тех самых приличных видеомонтажках. Аудишн создан в первую очередь для звуковиков, которые решают совсем другие задачи.
Вся Ваша задумка вряд ли реализуема (реализуема, но другим путем на мой взгляд), так как требует кучу свободного времени, знаний, ресурсов и терпения. При негарантированном результате и бесплатной работе. А потому никто этого делать не будет. А уж потому, что лично Вас не устраивает такая дорожка - точно никто не будет, ну если только какой-нибудь пенсионер от нечем заняться. Меня, например, устраивает мой вариант допиливания дорог и вариант перевода Ярославцев + Германова меня тоже больше устраивает. Если у Вас есть спрос (от Вас или кого-либо) на Ваш вариант (а заодно и на Ваш алгоритм), то пожалуйста: исходники есть, реализуйтесь. Я, например, знаю сколько времени займет этот процесс, а потому - это без меня.
В Аудишене у меня тоже опыта занятия тем, что Вы предлагаете, нет (я не звуковик). Я работаю сейчас только с видео, в основном со спортивными трансляциями и таким мазохизмом, как Вы задумали, не занимаюсь. Сериалами занимаюсь только отдельными, только тем, что нравится лично мне. Например, Горец, Гром в раю, Криминальные истории... Если вижу, что что-то где-то меня не устраивает и я могу это допилить (при адекватной трате времени и ресурсов), то делаю. Если что-то не устраивает других - это проблемы других.
|
|
Murder302
Стаж: 17 лет 2 месяца Сообщений: 69
|
Murder302 ·
23-Сен-24 23:18
(спустя 1 час 48 мин.)
romap1978
Цитата:
У меня нет ни времени, ни желания это проверять. Если бы всё было так просто, то вместо всех звукоинженеров уже бы давно были нейросети. Ваша идея - предлагаю Вам и проверить. Я проверял нейросети в обработке видео (рассматривал как вариант применения новых технологий, ускорения и упрощения процесса). Результат - пластмассовые лица и угробленные исходники. Но куча умельцев до сих пор плодит рипы с помощью нейросетей, считает это за благо и засирает своими творениями сеть, утрачивая исходники. Руки бы поотрывал. Что касается удаления голоса из песен, то все мои знакомые звуковики предпочитают для этого использовать программное обеспечение, а не нейросети. Потому как прога имеет кучу подробных настроек и можно влиять на результат, а нейросети Вам дадут то, что дадут. Будь всё так просто, то все бы, кто занимается этим профессионально, уже давно нажимали бы одну кнопку в нейросети, а не просиживали в студии месяцами и годами.
они работают наверное не с убитыми, пережившими многое, материалами. Тут же - качество телефонной линии брежневских времён. Не целесообразно тратить кучу времени - есть качественная оригинальная дорога, и некачественный перевод, их которого интересен лишь голос.
Видео - совсем другая история, психоакустика простит многое, а глаза - нет.
Цитата:
... У меня есть исходники этой русской озвучки, там она такого же качества. Это ВХС ТВ-рипы, какого качества звука от них Вы хотите?
Уровня телефонной линии. Перекладываем голос на оригинальную (даже уровень громкости менять не надо - перевод уже громче англ голоса) и получаем пристойную дорожку (рассинхроны - отдельная история).
Цитата:
Это Вы чем его так очистить хотите? Из г...вна конфетку не сделаешь.
конфета - оригинальная дорога. Наложение русского голоса не сильно её испортит. Всегда при переводах удивляло - как можно в 2000х годах живя, из мегабитной дороги сделать отбраковку - ведь закадровый перевод - всего лишь голоса, которые накладываются
на оригинал, зачем сжимать в 192 kbps или того ниже?
Цитата:
Как Вы его хотите выделить, если фоном идет английская речь? Я Вам в сотый раз пишу, что выделить его можно, только вырезав каждое слово русской озвучки и вставив его в нужное место на оригинальную дорогу на английском. Только так. Никакая нейросеть Вам корректно такое выделение, нажав 2 кнопки, не сделает.
Писал же - есть русский звук с агнл, есть только англ. Оригинальную дорогу можно взять как образец шума.
Что происходит при сложении двух сигналов в противофазе? - Они подавляют друг друга, происходит интерференция. Т.к. англ голоса есть в обоих, а русские - в одной, то должно быть возможным получить русский голос с сильно подавленным английским. Как это сделать - не разобрался. Но сама операция не выглядит невозможной.
Цитата:
1. Как это не важно каким инструментом? Очень важно, потому что автоматических или полуавтоматических таких инструментов нет. Либо результат после них неудовлетворительный. А вручную в одиночку Вы будете мудохаться над этим до прилета зеленых мух.
Нейросетевой сервис обучен килотоннами образцов разных звуков. Для него это - буквально простейшая операция. Как вы на слух выделяете голоса из толпы, так нейронка выделяет их из неголосовых шумов. На музыке не проверял, но с дорожкой сериала справился на "отлично". Предполагаемое ухудшение и без того плохого материала стоит того, чтобы не тратить неделю на ту же задачу, выполненную другими средствами. Пару лет назад в возможности нейросетей сложно было поверить. Уверен, и для ремастеринга видео их тоже как-то применяют, не превращая былую щетину в грязь или неудачный макияж из килограмма шпаклёвки (речь не про AI-апскейлы, хотя видел удачные образцы, которые будучи снова втиснутыми в рамки экрана выглядят лучше убитого оригинала).
Цитата:
2. Чем очистить? Аудишену нужен образец шума, а что Вы возьмете за образец, если шум везде разный? Простой шум от лентопротяга видака аудишен удаляет не всегда корректно, а тут разный шум, для которого нет образца.
нейронка это сделала не напрягаясь. Но она платная. И видимо есть за что платить.
Цитата:
3. Ну так исправьте, промудохаясь пару лет. Задачи нарезать все мастера, делать никто ничего не хочет. Графики звукового спектра у английской дороги и русской закадровой дороги РАЗНЫЕ. Они одинаковые только там, где как раз русской речи нет. Так что не сильно понятно, что Вы там собрались синхронизировать по графикам. Синхронизировали эту озвучку ПО ВИДЕО. Если же в итоге взяться синхронизировать эти 2 дорожки (что очень трудоемко, муторно и долго) звук в звук, волну в волну, то уже на этом этапе проще просто вырезать отдельные русские слова (фразы) и накладывать на оригинальную дорожку, в которой просто приглушить английскую речь (например снизив громкость центрального канала при переводе 5+1 в стерео). И ВСЁ. Остальные 5 пунктов из Вашего алгоритма уже не нужны. Как не нужна никакая нейросеть и прочие танцы с бубном.
Волна в волну не нужно синхронизировать при закадровом переводе. Корпеть два года тоже. Русский голос без примесей - путь к экономии времени - из-за отсутствия остатков звуков из оригинальной дороги будет возможность для манёвра при наложении. То что я пишу, не значит, что сам не пытаюсь проделать описываемое.
Цитата:
5. Как вы собираетесь их "вычесть"?)))
Противофазой) Математика ж ) Но пока в поисках подходящего инструмента.
Цитата:
Это мне говорит тот, кто предлагает использовать давно устаревший Adobe Audition.
я ж впервые попробовал. Да и Adobe продолжает клепать версии, кто-то ж пользуется, и не бесплатно.
Цитата:
Ну так наложите, используя Ваш алгоритм, кто мешает-то? Или Вы хотите реализовать придуманный Вами сценарий бесплатно чужими руками? Ну так дураков сейчас нет.
наличие инструмента. Очевидно, что при первых попытках я не могу знать о существовании чего-то подходящего под мои цели.
Цитата:
Проще с очищенной, но Вы поседеете, пока её приведете в состояние очищенной с одними голосами.
возможно. Ещё вариант - попробовать подавить вокал в оригинальной, и наложить русскую в которой есть англ голоса. На выходных поищу доступные бесплатно инструменты.
Цитата:
Платный сервис с ограничениями... Так Вы предлагаете мне Вам за сервис заплатить, чтобы Вы упражнялись себе в удовольствие или как?
Это рассуждения же, а не руководство к действию. Есть бесплатная прога, аналог того сервиса, но надо разобраться как с ней работать. Я Вам больше скажу: для синхронизации вообще Ваш Аудишн даром не нужен, не нужны графики, не нужен аудиоспектр. И не важно совпадает он или нет. Не нужны никакие инверсии, вычитания и нейронки. Если у Вас есть синхронизированная ПОД ВИДЕО русская дорога и синхронизированная под тот же фильм в другой копии английская дорога (с блюра, с другого канала, с другим fps), то достаточно синхронизировать ВИДЕО в любой приличной (которая работает с исходниками и сохраняет в формате исходников, а не требует 2-3 перекодировки форматов) видеомотажке, а аудиодорожки синхронизируются сами.
каким образом они синхронизируются? Прога же не знает, когда персонажи разевают рты для речей. И что это даст? Я думаю как для закадрового перевода использовать оригинальную дорогу в качестве основы. С рассинхроном хз как бороться. Думаю, есть проги, где можно расставить точки, по которым прога должна подогнать куски. До практики дело не доходило, поэтому тут только мысль озвучиваю. Может есть что-то удобное для этих целей. Без понятия. Знаю только, что этот процесс будет самым трудоёмким.
Цитата:
Неоткуда взять там видеоинфу, если её нет в картинке.
нейронки обучают на существующей информации. Они уже помогают даже в программировании (ревью, советы и даже код генерят). Так что наверняка есть инструмент, может не доступный простому люду, который знает, что там должно быть, и как реально улучшить видео (или будет в скрором времени - непристойности высокого качества уже научились генерировать:) ).
Цитата:
Точно так же Вы не будете знать по каким алгоритмам действует Ваша нейронка и что нужно сделать (а с нейронкой Вы ничего и не сможете сделать), чтобы что-то добавить/убавить/докрутить просто потому что негде.
Пока это неизвестно - бесплатную не освоил.
Цитата:
Вся Ваша задумка вряд ли реализуема (реализуема, но другим путем на мой взгляд), так как требует кучу свободного времени, знаний, ресурсов и терпения.
я хочу сделать ставку на нейронку. Времени на изучение придётся потратить, но по моей задумке она позволит сильно сократить ручной труд и клепать серии на полуавтомате, тратя не больше 4 длин серии на обработку каждой (или быстрее - если все инструменты можно использовать с командной строкой).
|
|
romap1978
Стаж: 13 лет 2 месяца Сообщений: 307
|
romap1978 ·
24-Сен-24 01:43
(спустя 2 часа 24 мин., ред. 24-Сен-24 01:43)
Цитата:
как можно в 2000х годах живя, из мегабитной дороги сделать отбраковку - ведь закадровый перевод - всего лишь голоса, которые накладываются
на оригинал, зачем сжимать в 192 kbps или того ниже?
Возможно, я Вас удивлю, но все зарубежные DVD на спортивную тематику (и сериалы, и фильмы класса Б) выпускались со 192кб/с. И множество блюров выпускаются в стерео с 384кб/с. Всё зависит от исходника. Бывает 192кб/с лучше по звучанию того псевдо 5+1, которое я описывал. И не забывайте, что DVD был всего 4.2гб. Если занять звуком 1-1,5гб (а именно столько занимает мегабитный звук), то на видео останется 2.7-3.2гб. А это в среднем по видео битрейт в районе 4-4.5мб/с на полуторачасовой фильм, а если он 2 часа, то и того меньше. Так что звуком жертвовали в угоду битрейту видео.
Цитата:
Перекладываем голос на оригинальную (даже уровень громкости менять не надо - перевод уже громче англ голоса) и получаем пристойную дорожку
И будет у Вас скакать дорожка с чистой (где оригинал) на убитую (где русская речь) постоянно туда-сюда. Раздражать начнет минут через 10 максимум. Это понимали уже до Вас те, кто делал синхрон, а потому накладывали сразу кусками. Где нет русской речи у них периодически наложена та самая английская родная 5+1, переведенная в стерео. Синхрон местами неидеален, но весьма неплох (косяков минимум).
Цитата:
конфета - оригинальная дорога.
Речь на про эту конфету, Вы же не её собрались чистить. Речь про русскую озвучку.
Цитата:
Оригинальную дорогу можно взять как образец шума.
НЕЛЬЗЯ её взять как образец шума. Потому что она на всем протяжении РАЗНАЯ. Вы, судя по всему понятия не имеете, как Аудишн делает чистку аудио от шума. Берется чистый кусок шума лентопротяга например и это является образцом: идентичное на протяжении всего куска шипение (движение пасеков видака). И потом этот образец вычитается из записи. И повторюсь, даже эту операцию Аудишн делает не совсем корректно, надо менять настройки и порой этот образец переписывать несколько раз, а порой вообще это сделать не получается. А если у Вас в образце разные звуки, что Вы вычитать и как собрались? C помощью какой инверсии?
Цитата:
должно быть возможным получить русский голос с сильно подавленным английским. Как это сделать - не разобрался. Но сама операция не выглядит невозможной.
Должно быть - это ещё не значит возможно. И мало ли что как выглядит. Как сделаете и получите хороший результат, тогда я в эту историю поверю. Не раньше.
Цитата:
хотя видел удачные образцы, которые будучи снова втиснутыми в рамки экрана выглядят лучше убитого оригинала
Например?
Цитата:
Пару лет назад в возможности нейросетей сложно было поверить.
Возможности там безграничны, только технологии сырые пока. Пока их допилят пройдет минимум 3-5 лет.
Цитата:
нейронка это сделала не напрягаясь. Но она платная. И видимо есть за что платить.
Ну так заплатите, да тренируйтесь. У меня такого желания нет.
Цитата:
Русский голос без примесей - путь к экономии времени
Вы его сначала получите хоть как-нибудь этот русский голос без примесей. А потом расскажете про экономию времени.
Цитата:
Противофазой) Математика ж ) Но пока в поисках подходящего инструмента.
Хорошо хоть не с помощью электрики))) Удачи в поисках подходящего инструмента)))
Цитата:
Да и Adobe продолжает клепать версии, кто-то ж пользуется, и не бесплатно.
Аудишена нового не было с 2018 года (не новейшая технология). Не бесплатно им пользуются только в компаниях и в основном за рубежом. В России для этого есть рутрекер, зачем платить конский ценник в баксах?
Цитата:
Ещё вариант - попробовать подавить вокал в оригинальной, и наложить русскую в которой есть англ голоса. На выходных поищу доступные бесплатно инструменты.
Вы их только ищете. У меня есть готовые алгоритмы под определенные задачи и необходимый набор инструментов. И опыт траблов и опыт, чтобы их избежать. Вам желаю удачи в Вашем поиске, пробах, набивании шишек. Если не надоест на полпути, то, возможно, что-то и выйдет. Вокал (какой вокал, это ж не концерт, речь скорее) в оригинальной не надо давить. Она в 5+1 должна идти в центральном канале - просто разложить 5+1 по каналам и удалить центральный. Заодно потом свести оставшиеся каналы в стерео. Дело 15-20 минут.
Цитата:
Есть бесплатная прога, аналог того сервиса, но надо разобраться как с ней работать.
Разбираться можно годами.
Цитата:
Так что наверняка есть инструмент, может не доступный простому люду, который знает, что там должно быть, и как реально улучшить видео
Химера и сказки. Если бы такое было, то на этом бы уже давно снимали сливки и зарабатывали. С нейронками мир только в начале пути, а в России это начало пути ещё даже не наступило и, возможно, не наступит вообще.
Цитата:
Они уже помогают даже в программировании (ревью, советы и даже код генерят)
Ага, Вы ещё напишите, что они и копирайтингом и рерайтингом занимаются. Пишут они говнокод, который потом всё равно надо руками править. А в советах придумывают факты и события, которых не было в помине. И статьи пишут деревянные, которые потом редакторы не принимают. А самое главное, что пока не позволяют править уже готовое. Приведу пример. Задаешь нейронке запрос на написание статьи - она пишет. Ты уточняешь запрос, чтобы исправила ошибки, обороты, мысль немного поменяла - она не улучшает уже имеющуюся статью, а переписывает по новой. Это поправляет, но вылезают уже другие огрехи. И так до бесконечности. Есть на эту тему отличное исследование в рунете насколько нейронка ускоряет процесс написания той же статьи по времени. Да, ускоряет, но результат оставляет желать лучшего и приходится всё равно вручную всё править. Так же будет и с Вашим звуком, так же есть и с видео. Результат конечный НЕПРИЕМЛЕМ.
Цитата:
Пока это неизвестно - бесплатную не освоил.
Так у людей на освоение определенных программ уходят ГОДЫ. Как, что и где подкрутить, чтоб вышло быстро, лучше и желательно даром. А если ковыряться бесплатно, то запала хватит на неделю.
Цитата:
я хочу сделать ставку на нейронку.
Не вижу препятствий. Считайте человеко-часы.
Цитата:
Я думаю как для закадрового перевода использовать оригинальную дорогу в качестве основы. С рассинхроном хз как бороться. Думаю, есть проги, где можно расставить точки, по которым прога должна подогнать куски. До практики дело не доходило, поэтому тут только мысль озвучиваю. Может есть что-то удобное для этих целей. Без понятия. Знаю только, что этот процесс будет самым трудоёмким
Я уже Вам минимум 5 раз написал как её использовать в качестве основы. И как бороться с рассинхроном я Вам уже 5 раз написал. А Вы всё думаете, что есть чудо проги с 2-мя кнопками, которые всё сделают за Вас. А всё потому, что "до практики у Вас дело ещё не доходило". А ведь практика - это самое интересное))). Особенно когда на протяжении всего алгоритма постоянно идёт что-то не так, как должно.
Цитата:
каким образом они синхронизируются? Прога же не знает, когда персонажи разевают рты для речей. И что это даст? Я думаю как для закадрового перевода использовать оригинальную дорогу в качестве основы. С рассинхроном хз как бороться. Думаю, есть проги, где можно расставить точки, по которым прога должна подогнать куски. До практики дело не доходило, поэтому тут только мысль озвучиваю. Может есть что-то удобное для этих целей. Без понятия. Знаю только, что этот процесс будет самым трудоёмким.
Я же написал КАКИМ ОБРАЗОМ. Проги надо использовать правильные, они всё знают. И алгоритмы правильные, наработанные годами методом проб и ошибок.
Приведу пример. Я беру англоязычный матч, фильм, серию, документалку, что угодно. Например в 29.97fps (ну или в 60fps). И нахожу его русскоязычную копию с убитым (худшим по качеству) видео в 25fps (русское ТВ в 29.97fps не транслирует). По продолжительности они само собой не совпадают. Задача: синхронизировать русскую аудиодорожку 25fps с англоязычным видео 29.97 ПОКАДРОВО (не так как сделали умельцы 15 лет назад с Горцем). Решение задачи у меня занимает 60-90 минут на 1,5 часовой фильм при хороших исходниках (без рекламы, без сбоев сигнала, без пропуска кадров, без рассинхрона, с одной трансляции и т.п.). При плохих, конечно, дольше раза в 2-3. Заметьте, мне это не стоит ни рубля (ну кроме покупки исходников иногда). Аудишн я не задействую совсем, он мне для этого не нужен. Если Ваша нейронка сможет быстрее, то я бы сильно хотел посмотреть на такую нейронку. Особенно если ей подсунуть проблемные исходники. У меня только за последний год реализовано по синхронизации более 500 проектов (серий, матчей, поединков бокса, ММА).
В версии с Горцем, конечно, всё сложнее. Потому как нужно работу делать не с нуля, а переделывать чужой не всегда удачный синхрон. Любой, кто этим занимался, Вам скажет, что это на порядок сложнее. Потому что не знаешь, что, куда, где и на сколько в пределах одной серии двигалось. НО... Если посмотреть серии и выделить только те места, где синхрон явно неудачен (не всё же они запороли в итоге), то таких мест не так уж и много. Это для того, что Вы предлагаете надо синхрон спектра звук в звук, а для того, чтобы человек не видел рассинхрона достаточно где-то до 100мс - это примерно допуск в 2-3 кадра туда-сюда. 150-200мс уже заметно. Я для себя постепенно все сезоны выправлю, доведу до ума.
Реализовать Ваш замысел для меня долго, муторно, нет мотивации и хватает других задач. В алгоритм, который Вы придумали, я не верю, я бы пошел в реализации этой задачи иным, своим путем. А Вам желаю удачи!
|
|
|