Zmęczony obcymi napisami, zbudowałem dla siebie narzędzie do tłumaczenia głosu w wideo

Pewnego wieczoru w zeszłym roku oglądałem wideo o technologii pełne wnikliwych treści na moim komputerze. Było po angielsku z chińskimi napisami. W trakcie oglądania naszła mnie myśl: chciałbym móc po prostu słuchać chińskiej wersji. Bez potrzeby ciągłego wpatrywania się w napisy. Mógłbym słuchać podczas dojazdu, przed snem, gdziekolwiek.

Ostatecznie, faktycznie to zbudowałem.

Obejrzyj ten klip filmowy przetłumaczony z Chiński na angielski 👇

Ale od momentu, gdy wpadł mi do głowy pomysł, aż do stworzenia produktu, z którego wszyscy mogli korzystać, minęło znacznie więcej czasu, niż się spodziewałem.

Po pojawieniu się pomysłu, wypróbowałem kilka narzędzie do tłumaczenia wideoów. Było tam chińskie tłumaczenie, ale zawsze coś wydawało się nie tak, gdy słuchałem.

Osoba na wideo wciąż tam była, ale to już nie był ich głos. Emocje w sposobie, w jaki wymawiali każde zdanie, również zniknęły.

Wyobraź sobie twarz, którą dobrze znasz, nagle mówiącą innym tonem, innym głosem. Możesz zrozumieć sens, ale ta więź zostaje przerwana. To jak oglądać znaną osobę, słysząc, jak mówi za nią obcy.

To, czego naprawdę chciałem, było proste. Przetłumaczyć język wideo, ale zachować oryginalny głos. Zachować emocje, niuanse w sposobie, w jaki wypowiadają każde słowo. Te małe szczegóły w głosie mają znaczenie. To samo zdanie powiedziane cicho versus stanowczo trafia w ciebie zupełnie inaczej.

Szukając wokoło, znalazłem modelowe podejście. W tamtym czasie opcje były ograniczone, ale jakość zachowania głosu w tym podejściu dała mi nadzieję.

Posiadanie modelu to jedno. Uzyskanie gotowego wideo to co innego. Wnioskowanie było boleśnie powolne i nie mogłem po prostu wrzucić całego wideo i czekać na idealnie przetłumaczony materiał z dźwiękiem zsynchronizowanym z wideo, przy jednoczesnym zachowaniu muzyki w tle. Musiałem wszystko połączyć samodzielnie.

Po tym, jak podzieliłem się kilkoma próbkami, całkiem sporo osób zapytało, czy mógłbym przekształcić to w narzędzie, z którego mogliby korzystać wszyscy.

Obejrzyj ten klip przetłumaczony z chińskiego na angielski 👇

Samo w sobie jest to dość interesujące, aby usłyszeć znaną postać mówiącą w innym języku. Bardziej zależy mi jednak na tym, czy po zmianie języka wciąż mogę rozpoznać pierwotny klimat tej postaci.

Obejrzyj ten klip przetłumaczony z Japoński na chiński 👇

Ekspresja emocji w anime jest stosunkowo wyraźna. Można zwrócić uwagę na ton głosu postaci, gdy mówią.

Wracając do pierwotnego wymogu, przetłumacz angielski film na chiński.

Obejrzyj ten klip przetłumaczony z Angielski na chiński 👇

Wracając do tego, o czym właśnie rozmawialiśmy. Po tym, jak podzieliłem się kilkoma próbkami, całkiem sporo osób zapytało, czy mógłbym to zamienić w narzędzie, którego wszyscy mogliby używać. Też tak pomyślałem. Szczerze mówiąc, przy kodowaniu wspomaganym przez AI, myślałem, że pójdzie szybko, prawda? Podstawowy pipeline tłumaczenia działał. Reszta? To tylko budowanie strony internetowej do przesyłania wideo.

Okazało się, że zajęło to rok.

Okazuje się, że zbudowanie czegoś, co można zademonstrować, i zbudowanie czegoś, z czego ludzie mogą niezawodnie korzystać, to bardzo różne rzeczy. Korzystając z tego samodzielnie, wszystko, czego potrzebowałem, to odpowiednie przetwarzanie wideo. Ale dla innych potrzebowałem rejestracji, logowania, trwałego przechowywania danych. Dane jednego użytkownika nie mogą wyciekać do innego. Wiele równoczesnych przesyłek nie może spowodować awarii systemu.

Co jeśli system przestanie działać? Co jeśli liczba użytkowników wzrośnie i będę musiał skalować? Czy użytkownicy instynktownie będą wiedzieć, jak go używać? Bazy danych, serwery, magazyn obiektów, domeny, DNS, jeden po drugim, musisz je dobrze ustawić. Każdy element wydaje się w porządku sam w sobie, ale jak je połączyć, żeby ludzie mogli płynnie korzystać z twojej usługi? Zawsze jest coś jeszcze, a potem coś jeszcze.

Sztuczna inteligencja może pomóc. Ale czy to jest właściwe, co robić, gdy coś się zepsuje, to nadal zależy od ciebie.

Więc dlaczego dalej iść naprzód? Bo obiecałem. Obiecałem ludziom, którzy tego chcieli, obiecałem sobie. Ta myśl dodawała mi sił.

Teraz, w końcu, mogę dostarczyć.

To nazywa się SoulDub, dubbing z duszą. Obsługuje 30 języków i niektóre dialekty.

Korzystanie z niego jest proste:

Sposób przez Internet: Wejdź na souldub.ai, załaduj wideo, wybierz język, kliknij start. To wszystko.

Sposób agenta: Wyszukaj w przeglądarce github-souldub-skills i zainstaluj go za pomocą wybranego agenta (ChatGPT, Claude, Gemini itp.) i pozwól mu zainstalować tę umiejętność.

Po tym Twój Agent może przetłumaczyć Twoje lokalne filmy. Przetłumaczony film i napisy są automatycznie pobierane do folderu oryginalnego filmu.

Filmy z obu metod pojawiają się na Twoim koncie SoulDub.

Jeszcze jeden kluczowy element: ręczna weryfikacja i edycja.

Jeżeli napis nie jest do końca poprawny, jeśli dubbing wymaga korekty, edytujesz go bezpośrednio na stronie. Sztuczna inteligencja wykonuje pierwszy przebieg, a następnie poprawiasz te części, które są dla ciebie ważne. Jakość cały czas rośnie.

Mówiąc o tym, chciałbym porozmawiać z tobą o tym, czy korzystanie z SoulDub faktycznie kosztuje cokolwiek.

Szczerze mówiąc: możesz z niego korzystać za darmo każdego miesiąca, ale nie bez ograniczeń.

Moc obliczeniowa jest wynajmowana z serwerów w chmurze, podobnie jak pamięć. Co miesiąc, gdy przychodzi rachunek od dostawcy chmury, musimy go zapłacić, aby serwery mogły dalej działać.

Wiele osób uważa, że najlepiej byłoby tłumaczyć filmy, nie wydając na to żadnych pieniędzy. Naprawdę rozumiem to uczucie. Sam kiedyś myślałem w ten sam sposób, szukając narzędzi.

Ale kiedy to ty utrzymujesz usługę, to ty płacisz rachunek. Jeśli nie potrafisz sobie z tym poradzić, rzecz po prostu nie może przetrwać.

Jeśli korzystałeś z SoulDub, proszę podziel się ze mną swoją opinią w dowolnym momencie. Ulepszmy to razem.

Dziękuję czytelnikom, którzy udzielili mi opinii rok temu, kiedy dopiero zaczynałem mieć pomysł.

I dziękuję sobie za wytrwałość w ciągu ostatniego roku.

Teraz pozwólcie, że podzielę się kilkoma refleksjami na temat sztucznej inteligencji, które zebrałem w tym roku.

Sztuczna inteligencja zmieniła niektóre rzeczy, które wcześniej można było tylko wyobrażać sobie, w rzeczywistość.

Podobnie jak tłumaczenie głosowe wideo, faktycznie zostało to zrealizowane. Sama to wystarczy, by mnie podekscytować.

Ale oprócz ekscytacji, jest coś, co w tym roku staję się coraz bardziej pewien.

Sztuczna inteligencja, bez względu na to, jak potężna, jest tylko narzędziem.

Możemy mieć to blisko przez cały czas, ale nie możemy mieć tego przed sobą przez cały czas, robiąc wszystko za nas.

To tak, jak używać młotka do wbijania gwoździa. Twoje oczy muszą obserwować gwóźdź i drewno, a twoje ręce muszą czuć każdą wibrację, którą młotek wysyła z powrotem.

Jeśli twoje oczy skupiają się tylko na młotku, a twoje ręce nie dotykają już drewna, w końcu zapominasz, jak wygląda gwóźdź, zapominasz, jak czuje się drewno, zapominasz, co oznacza wibracja.

Ale tak powinno się czuć życie.

Więc tworząc SoulDub, nalegałem, aby funkcje przeglądu i edycji przez człowieka były wbudowane w sam rdzeń. Niezależnie od tego, jak silna stanie się sztuczna inteligencja, nie poradzi sobie bez udziału człowieka. Bez udziału człowieka nie ma osobowości. Bez osobowości nie ma duszy.

Świat buduje się kawałek po kawałku w interakcjach między ludźmi, między ludźmi a rzeczami, między ludźmi a okolicznościami.

Kwiat nazywa się kwiatem, ponieważ nazywamy go kwiatem. Drzewo nazywa się drzewem, ponieważ nazywamy je drzewem.

Dlatego zwierzęta nie mają świata, tylko ludzie go mają. Brzmi to trochę naciągane, ale pomyśl o tym. To prawda.

Mój świat nie może być budowany przeze mnie w taki sposób, że zajmuję się AI, a następnie pozwalam AI zajmować się ludźmi, rzeczami i okolicznościami w moim imieniu. To byłby świat AI, a nie mój.

Mój świat musi być budowany przeze mnie poprzez bezpośrednie zaangażowanie się w relacje z ludźmi, z rzeczami, z okolicznościami. Muszę go budować własnymi rękami. I dopiero wtedy, w przypadku pewnych pytań, na które wciąż mam osąd, powinienem pozwolić AI wkroczyć.

To mój świat, nie AI.

Co mnie obchodzi, jeśli kwiat zakwita i pada w górach? Ma to znaczenie w chwili, gdy sam go zobaczę.

Jeśli pozwolę AI zobaczyć to za mnie, moje serce i ten kwiat pozostają równie milczące. Fakt, że nawet nie ruszę się, aby to zobaczyć, oznacza, że ten kwiat nigdy naprawdę nie był w moim sercu.

Jeśli będę tak żyć zbyt długo, czy moje serce nie stanie się puste?

Minął rok. Wreszcie mogę napisać tę pracę.

Dziękuję za przeczytanie aż dotąd.