Устав от иностранных субтитров, я создал для себя инструмент перевода голосa в видео

Однажды вечером в прошлом году я смотрел на своём компьютере познавательное видео о технологиях. Оно было на английском с китайскими субтитрами. Пока я смотрел, меня осенило: как бы я хотел просто слушать китайскую версию. Не нужно всё время смотреть на субтитры. Я мог бы слушать во время поездки на работу, перед сном, где угодно.

В конце концов, я действительно построил это.

Смотрите этот фрагмент фильма с переводом с Китайский на английский 👇

Но с момента, когда у меня возникла идея создать продукт, которым могли бы пользоваться все, это заняло гораздо больше времени, чем я ожидал.

После того как появилась идея, я попробовал несколько инструмент для перевода видео. Перевод на китайский был, но что-то всегда казалось неправильным, когда я слушал.

Человек на видео все еще был там, но это уже не был его голос. Эмоции в том, как он произносил каждое предложение, тоже исчезли.

Представьте лицо, которое вы хорошо знаете, вдруг заговорившее другим тоном, другим голосом. Вы можете понять смысл, но эта связь разрывается. Это похоже на то, как если смотреть на знакомого человека, слыша, как за него говорит незнакомец.

То, чего я действительно хотел, было просто. Перевести язык видео, но сохранить оригинальный голос нетронутым. Сохранить эмоции, нюансы в том, как они произносят каждое слово. Эти мелкие детали в голосе имеют значение. Одна и та же фраза, сказанная мягко или с силой, воспринимается совершенно по-разному.

Я поискал и нашёл образцовое решение. В то время вариантов было немного, но качество сохранения голоса у этого подхода вселяло в меня надежду.

Иметь модель — это одно. Получить готовое видео — это другое. Инференс был ужасно медленным, и я не мог просто кинуть на него целое видео и ждать идеально переведённого результата с аудио, синхронизированным с видео, при этом сохраняя фоновую музыку. Мне пришлось связывать всё самому.

После того как я поделился несколькими образцами, довольно много людей спросили, могу ли я превратить это в инструмент, которым мог бы пользоваться каждый.

Смотрите этот клип, переведённый с китайского на английский 👇

Само по себе довольно интересно слышать, как знакомый персонаж говорит на другом языке. Однако меня больше интересует, смогу ли я по-прежнему распознать оригинальную атмосферу этого персонажа после смены языка.

Смотрите этот клип, переведённый с Японский на китайский 👇

Эмоциональное выражение в аниме относительно отчетливое. Вы можете обратить внимание на интонации персонажей, когда они говорят.

Возвращаясь к первоначальному требованию, переведите английское видео на китайский.

Смотрите этот клип, переведённый с Английский на китайский 👇

Вернемся к тому, о чем мы только что говорили. После того как я поделился несколькими образцами, многие люди спросили, могу ли я превратить это в инструмент, которым могли бы пользоваться все. Я тоже так думал. Честно говоря, с кодированием с помощью ИИ я предполагал, что это будет быстро, правда? Основной процесс перевода работал. Все остальное? Просто создание сайта для загрузки видео.

Оказалось, это заняло год.

Оказалось, что создание чего-то, что можно продемонстрировать, и создание чего-то, чем люди могут надежно пользоваться, — совсем разные вещи. Пользуясь этим сам, мне нужно было только правильная обработка видео. Но для других мне нужна была регистрация, вход в систему, сохранение данных. Данные одного пользователя не должны утекать к другому. Множественные одновременные загрузки не могут вызвать сбой системы.

Что если система выйдет из строя? Что если пользователей станет больше, и мне нужно будет масштабироваться? Будут ли пользователи интуитивно знать, как её использовать? Базы данных, серверы, объектное хранилище, домены, DNS — каждый компонент нужно настроить правильно. Каждый элемент выглядит нормально отдельно, но как соединить их вместе, чтобы люди могли плавно пользоваться вашим сервисом? Всегда есть что-то еще, и потом еще что-то.

ИИ может помочь. Но правильно ли это, что делать, когда что-то ломается, — это всё ещё зависит от вас.

Так почему продолжать? Потому что я обещал. Я обещал людям, которые этого хотели, обещал себе. Эта мысль держала меня на плаву.

Теперь, наконец, я могу доставить.

Это называется СоулДаб, озвучка с душой. Она поддерживает 30 языков и некоторые диалекты.

Использовать это просто:

Веб-способ: Зайдите на souldub.ai, загрузите видео, выберите язык, нажмите «Старт». Вот и все.

Способ агента: Найдите github-souldub-skills в вашем браузере и установите его через предпочитаемого агента (ChatGPT, Claude, Gemini и т.д.) и установите этот навык.

После этого ваш Агент сможет переводить ваши локальные видео. Переведённое видео и субтитры автоматически загружаются в папку с оригинальным видео.

Видео с обоих методов отображаются в вашей учетной записи SoulDub.

Ещё один критически важный элемент: ручная проверка и редактирование.

Если субтитр не совсем точен, если закадровый голос нуждается в корректировке, вы редактируете это прямо на сайте. ИИ делает первый проход, затем вы уточняете те части, которые для вас важны. Качество продолжает расти.

Говоря об этом, я бы хотел обсудить с вами, стоит ли использование SoulDub каких-либо денег.

Честно говоря: вы можете использовать это бесплатно каждый месяц, но не безлимитно.

Вычеслительная мощность арендуется у облачных серверов, так же как и хранение данных. Каждый месяц, когда приходит счет от облачного провайдера, мы должны его оплатить, чтобы серверы продолжали работать.

Многие люди считают, что лучше всего переводить видео, не тратя на это ничего. Я искренне понимаю это чувство. Раньше я тоже так думал, когда сам искал инструменты.

Но когда вы тот, кто поддерживает сервис, вы тот, кто оплачивает счет. Если вы не можете с этим справиться, вещь просто не может продлиться.

Если вы использовали SoulDub, пожалуйста, делитесь своими отзывами со мной в любое время. Давайте сделаем его лучше вместе.

Спасибо читателям, которые дали мне обратную связь год назад, когда у меня только начинала появляться идея.

И спасибо себе за настойчивость в течение прошлого года.

А теперь позвольте мне поделиться некоторыми размышлениями об ИИ, которые я собрал в этом году.

ИИ превратил некоторые вещи, которые раньше можно было только вообразить, в реальность.

Как видео с переводом голоса, оно действительно было создано. Только это уже достаточно, чтобы меня это взволновало.

Но оставив волнение в стороне, есть кое-что, в чем я стал все более уверен в этом году.

ИИ, каким бы мощным он ни был, всего лишь инструмент.

Мы можем держать это рядом все время, но мы не можем держать это перед собой все время, делая всё за нас.

Это как использовать молоток, чтобы забить гвоздь. Твои глаза должны следить за гвоздем и деревом, а руки должны ощущать каждую вибрацию, которую молоток передает обратно.

Если твои глаза сосредоточены только на молотке, а руки больше не касаются дерева, со временем ты забудешь, как выглядит гвоздь, забудешь ощущение дерева, забудешь, что значит вибрация.

Но именно так должна ощущаться жизнь.

Поэтому, создавая SoulDub, я настаивал на включении функций проверки и редактирования людьми прямо в ядро. Как бы сильным ни становился ИИ, без участия человека он не обойдется. Без участия человека нет личности. Без личности нет души.

Мир создаётся постепенно в взаимодействиях между людьми, между людьми и вещами, между людьми и обстоятельствами.

Цветок называется цветком, потому что мы называем его цветком. Дерево называется деревом, потому что мы называем его деревом.

Вот почему у животных нет мира, только у людей он есть. Звучит натянуто, но подумайте об этом. Это правда.

Мой мир не может быть построен мной через взаимодействие с ИИ, а затем позволяя ИИ взаимодействовать с людьми, вещами и обстоятельствами от моего имени. Это был бы мир ИИ, а не мой.

Мой мир должен быть построен мной через прямое взаимодействие с людьми, с вещами, с обстоятельствами. Я должен строить его собственными руками. И только тогда, для определённых вопросов, где у меня всё ещё есть суждение, я должен позволить ИИ вмешаться.

Это мой мир, а не искусственного интеллекта.

Что мне того, если цветок распустился и завял в горах? Это имеет значение только в тот момент, когда я сам иду его увидеть.

Если я позволю ИИ увидеть это за меня, моё сердце и тот цветок остаются одинаково молчаливыми. Тот факт, что я даже не двигаюсь, чтобы увидеть это, означает, что тот цветок никогда на самом деле не был в моём сердце с самого начала.

Если я буду жить так слишком долго, разве моё сердце не опустеет?

Прошел год. Наконец-то я могу написать это эссе.

Спасибо, что дочитали до этого места.