Втомившись від іноземних субтитрів, я створив для себе інструмент перекладу голосу у відео

Одного вечора минулого року я переглядав корисне технічне відео на своєму комп’ютері. Воно було англійською з китайськими субтитрами. Під час перегляду мене осінила думка: хотілося б просто слухати китайську версію. Не потрібно постійно дивитися на субтитри. Я міг би слухати під час поїздки на роботу, перед сном, будь-де.

Зрештою, я справді це побудував.

Дивіться цей фрагмент фільму, перекладений з Китайська на англійську 👇

Але від моменту, коли мені спала на думку ідея створити продукт, який міг би використовувати кожен, до його реалізації пройшло набагато більше часу, ніж я очікував.

Після того, як з’явилася ідея, я спробував кілька інструмент для перекладу відео. Китайський переклад був там, але щось завжди здавалось неправильним, коли я слухав.

Особа у відео все ще була там, але це більше не був їхній голос. Емоції у тому, як вони вимовляли кожне речення, також зникли.

Уявіть собі обличчя, яке ви добре знаєте, раптом говорить іншим тоном, іншим голосом. Ви можете зрозуміти сенс, але цей зв’язок розривається. Це як спостерігати знайому людину, слухаючи, як за неї говорить чужа.

Все, чого я насправді хотів, було просто. Перекладати мову відео, але зберегти оригінальний голос недоторканим. Зберегти емоції, нюанси в тому, як вони вимовляють кожне слово. Ці маленькі деталі в голосі мають значення. Те саме речення, сказане тихо або наполегливо, сприймається зовсім по-різному.

Я обшукав навколо і знайшов модельний підхід. На той час варіантів було обмежено, але якість збереження голосу цього підходу дала мені надію.

Мати модель — це одне. Отримати готове відео — це зовсім інше. Інференс був жахливо повільним, і я не міг просто подати на нього ціле відео і чекати ідеально перекладеного результату з аудіо, синхронізованим з відео, при цьому зберігаючи фонова музика. Мені довелося з'єднувати все самостійно.

Після того як я поділився деякими зразками, чимало людей запитали, чи можу я перетворити це на інструмент, яким могли б користуватися всі.

Подивіться цей кліп, перекладений з китайської на англійську 👇

Саме по собі досить цікаво чути знайомого персонажа, який говорить іншою мовою. Проте мене більше хвилює те, чи зможу я все ще впізнати оригінальну атмосферу цього персонажа після зміни мови.

Перегляньте цей кліп, перекладений з Японська на китайську 👇

Емоційне вираження в аніме відносно відмінне. Ви можете звернути увагу на тон персонажів, коли вони говорять.

Повертаючись до первісної вимоги, перекладіть англійське відео на китайську.

Перегляньте цей кліп, перекладений з Англійська на китайську 👇

Повернемося до того, про що ми щойно говорили. Після того як я поділився кількома зразками, досить багато людей запитали, чи можу я перетворити це на інструмент, яким могли б користуватися всі. Я теж так подумав. Чесно кажучи, з програмуванням за допомогою ШІ, я припускав, що це буде швидко, правда? Основний конвеєр перекладу працював. Все інше? Просто створення вебсайту для завантаження відео.

Виявилося, це зайняло рік.

Виявляється, створити щось, що можна демонструвати, і створити щось, чим люди можуть надійно користуватися, — це дуже різні речі. Використовуючи це сам, все, що мені було потрібно, — це правильна обробка відео. Але для інших мені потрібні були реєстрація, вхід, збереження даних. Дані одного користувача не можуть витікати до іншого. Кілька одночасних завантажень не можуть призвести до збою системи.

Що якщо система зупиниться? Що якщо користувачів стане більше, і мені доведеться масштабуватися? Чи будуть користувачі інстинктивно знати, як її використовувати? Бази даних, сервери, об’єктне сховище, домени, DNS — кожен окремо, треба правильно налаштувати. Кожна частина здається нормальною сама по собі, але як їх поєднати так, щоб люди могли безперешкодно користуватися вашим сервісом? Завжди є щось інше, і ще щось після цього.

ШІ може допомогти. Але чи правильно це, що робити, коли щось ламається, це все ще на вас.

Тож чому продовжувати? Тому що я обіцяв. Я обіцяв людям, які цього хотіли, обіцяв собі. Ця думка тримала мене в русі.

Тепер, нарешті, я можу запропонувати.

Це називається СоулДуб, озвучування з душею. Підтримує 30 мов та деякі діалекти.

Використовувати його просто:

Веб-спосіб: Перейдіть на souldub.ai, завантажте відео, оберіть мову, натисніть старт. Ось і все.

Спосіб агента: Знайдіть github-souldub-skills у вашому браузері та встановіть його через ваш обраний агент (ChatGPT, Claude, Gemini тощо) і дозвольте йому встановити навичку.

Після цього ваш Агент може перекладати ваші локальні відео. Перекладене відео та субтитри автоматично завантажуються у папку оригінального відео.

Відео з обох методів з’являються у вашому обліковому записі SoulDub.

Ще один критично важливий елемент: ручний перегляд та редагування.

Якщо субтитр не зовсім правильний, якщо дубльований голос потребує корекції, ви редагуєте його безпосередньо на сайті. ШІ робить перший прохід, а потім ви уточнюєте ті частини, які для вас важливі. Якість постійно зростає.

Говорячи про це, я б хотів обговорити з вами, чи використання SoulDub насправді щось коштує.

Щиро кажучи: ви можете користуватися ним безкоштовно кожного місяця, але не безмежно безкоштовно.

Обчислювальна потужність орендується на хмарних серверах, так само і зберігання даних. Що місяць, коли приходить рахунок від хмарного провайдера, ми повинні його оплатити, щоб сервери продовжували працювати.

Багато людей вважають, що найкраще було б перекладати відео, не витрачаючи нічого. Я щиро розумію це відчуття. Раніше я думав так само, коли сам шукав інструменти.

Але коли ти той, хто підтримує сервіс, ти той, хто платить рахунок. Якщо ти не справляєшся, річ просто не може тривати.

Якщо ви користувалися SoulDub, будь ласка, діліться своїми відгуками зі мною в будь-який час. Давайте зробимо його кращим разом.

Дякую читачам, які дали мені відгук рік тому, коли я тільки починав мати ідею.

І дякую собі за наполегливість протягом цього минулого року.

Тепер дозвольте мені поділитися деякими міркуваннями про ШІ, які я зібрав цього року.

Штучний інтелект перетворив деякі речі, які раніше можна було лише уявляти, на реальність.

Як і відео з голосовим перекладом, це насправді було реалізовано. Лише цього достатньо, щоб мене захопити.

Але окрім захоплення, є те, у чому я став дедалі більш впевненим цього року.

Штучний інтелект, яким би потужним він не був, — це лише інструмент.

Ми можемо тримати його близько завжди, але ми не можемо тримати його перед собою завжди, роблячи все за нас.

Це як користуватися молотком, щоб забити цвях. Твої очі повинні стежити за цвяхом і деревом, а руки повинні відчувати кожну вібрацію, яку молоток передає назад.

Якщо твої очі лише на молотку, а руки більше не торкаються деревини, зрештою ти забудеш, як виглядає цвях, забудеш відчуття деревини, забудеш, що означає вібрація.

Але саме так має відчуватися життя.

Тож, коли ми створювали SoulDub, я наполягав на тому, щоб функції людської перевірки та редагування були вбудовані прямо в ядро. Наскільки б сильною не ставала штучний інтелект, він не може обійтися без участі людини. Без участі людини немає особистості. Без особистості немає душі.

Світ створюється поступово у взаємодіях між людьми, між людьми та речами, між людьми та обставинами.

Квітку називають квіткою, тому що ми називаємо її квіткою. Дерево називають деревом, тому що ми називаємо його деревом.

Ось чому тварини не мають світу, лише люди його мають. Звучить перебільшено, але подумайте про це. Це правда.

Мій світ не може бути побудований мною шляхом взаємодії зі штучним інтелектом, а потім дозволяти штучному інтелекту взаємодіяти з людьми, речами та обставинами від мого імені. Це був би світ ШІ, а не мій.

Мій світ має бути побудований мною шляхом безпосередньої взаємодії з людьми, з речами, з обставинами. Я маю будувати його власними руками. І тільки тоді, для певних питань, де я ще маю судження, я повинен дозволити штучному інтелекту втрутитися.

Це мій світ, а не штучного інтелекту.

Що мені до того, якщо квітка розквітне і впаде в горах? Мене це хвилює у той момент, коли я йду подивитися на неї сам.

Якщо я дозволю ШІ побачити це за мене, моє серце і та квітка залишаються однаково мовчазними. Те, що я навіть не зрушуся, щоб побачити це сам, означає, що та квітка ніколи насправді не була в моєму серці з самого початку.

Якщо я буду жити так довго, хіба моє серце не стане порожнім?

Пройшов рік. Нарешті я можу написати це есе.

Дякую, що дочитали до цього моменту.