Moe van buitenlandse ondertitels, heb ik een tool voor videospraakvertaling voor mezelf gebouwd

Op een avond vorig jaar keek ik op mijn computer naar een inzichtelijke technologische video. Het was in het Engels met Chinese ondertiteling. Terwijl ik keek, schoot me een gedachte te binnen: ik wou dat ik gewoon naar de Chinese versie kon luisteren. Geen gedoe met steeds naar ondertiteling staren. Ik zou het tijdens het woon-werkverkeer kunnen luisteren, voor het slapengaan, overal.

Uiteindelijk heb ik het daadwerkelijk gebouwd.

Bekijk deze filmclip vertaald van Chinees naar Engels 👇

Maar vanaf het moment dat het idee bij me opkwam om een product te creëren dat iedereen kon gebruiken, heeft het veel langer geduurd dan ik verwachtte.

Nadat het idee kwam, probeerde ik een paar videovertalingstools. De Chinese vertaling was er, maar iets voelde altijd niet goed aan wanneer ik luisterde.

De persoon in de video was er nog steeds, maar het was niet langer hun stem. De emotie in hoe ze elke zin uitspraken, was ook verdwenen.

Stel je een gezicht voor dat je goed kent, dat plotseling in een andere toon, een andere stem spreekt. Je kunt de betekenis volgen, maar die verbinding verbreekt. Het is alsof je naar een vertrouwd persoon kijkt terwijl je een vreemde voor hem hoort spreken.

Wat ik echt wilde was eenvoudig. Vertaal de taal van de video, maar behoud de originele stem intact. Behoud de emotie, de nuance in hoe ze elk woord zeggen. Deze kleine details in een stem doen ertoe. Dezelfde zin zachtjes gezegd versus krachtig gezegd komt volledig anders bij je over.

Ik heb rondgezocht en een modelaanpak gevonden. Destijds waren de opties beperkt, maar de kwaliteit van deze aanpak voor het behoud van de stem gaf me hoop.

Een model hebben is één ding. Een afgewerkte video krijgen is iets anders. De inferentie was pijnlijk traag, en ik kon niet gewoon een hele video erin gooien en wachten op perfect vertaalde output met audio gesynchroniseerd met de video, terwijl de achtergrondmuziek behouden bleef. Ik moest alles zelf aan elkaar koppelen.

Nadat ik enkele voorbeelden had gedeeld, vroegen nogal wat mensen of ik er een tool van kon maken die iedereen kon gebruiken.

Bekijk deze clip vertaald van het Chinees naar het Engels 👇

Het is op zichzelf best interessant om een bekend personage een andere taal te horen spreken. Waar ik echter meer om geef, is of ik nog steeds de oorspronkelijke sfeer van dat personage kan herkennen na de taalwisseling.

Bekijk deze clip vertaald van Japans naar Chinees 👇

Emotionele expressie in anime is relatief duidelijk. Je kunt letten op de toon van de personages wanneer ze spreken.

Terug naar de oorspronkelijke vereiste, vertaal de Engelse video naar het Chinees.

Bekijk deze clip vertaald van Engels naar Chinees 👇

Terug naar waar we het net over hadden. Nadat ik een paar voorbeelden had gedeeld, vroegen best veel mensen of ik er een tool van kon maken die iedereen kon gebruiken. Ik dacht dat ook. Eerlijk gezegd, met AI-ondersteund coderen, dacht ik dat het snel zou gaan, toch? De kern van de vertaalpijplijn werkte. Alles daarbuiten? Alleen een website bouwen voor video-upload.

Blijkt dat het een jaar heeft geduurd.

Het blijkt dat het bouwen van iets dat je kunt demonstreren en het bouwen van iets dat mensen betrouwbaar kunnen gebruiken heel verschillende dingen zijn. Toen ik het zelf gebruikte, had ik alleen goede videobewerking nodig. Maar voor anderen had ik registratie, inloggen en gegevensopslag nodig. De gegevens van de ene gebruiker mogen niet lekken naar de andere. Meerdere gelijktijdige uploads mogen het systeem niet laten crashen.

Wat als het systeem uitvalt? Wat als het aantal gebruikers toeneemt en ik moet opschalen? Zouden gebruikers instinctief weten hoe ze het moeten gebruiken? Databases, servers, objectopslag, domeinen, DNS, stuk voor stuk, je moet ze goed krijgen. Elk onderdeel lijkt op zichzelf prima, maar hoe verbind je ze zodat mensen je dienst soepel kunnen gebruiken? Er is altijd wel iets anders, en daarna nog iets anders.

AI kan helpen. Maar of het juist is, wat te doen als er iets kapot gaat, dat is nog steeds aan jou.

Dus waarom doorgaan? Omdat ik het beloofd had. Ik beloofde de mensen die dit wilden, beloofde mezelf. Die gedachte hield me gaande.

Nu kan ik eindelijk leveren.

Het heet SoulDub, dubbing met ziel. Het ondersteunt 30 talen en enkele dialecten.

Het gebruiken ervan is eenvoudig:

Web manier: Ga naar souldub.ai, upload een video, kies een taal, druk op start. Dat is alles.

Agent manier: Zoek naar github-souldub-skills in je browser en installeer het via je gewenste Agent (ChatGPT, Claude, Gemini, enz.) en laat het de vaardigheid installeren.

Daarna kan uw Agent uw lokale video's vertalen. De vertaalde video en ondertitels worden automatisch gedownload naar de map van de originele video.

Video's van beide methoden verschijnen in je SoulDub-account.

Nog een cruciaal onderdeel: handmatige controle en bewerking.

Als een ondertitel niet helemaal klopt, als een ingesproken stem aanpassing nodig heeft, bewerk je het direct op de site. De AI doet de eerste ronde, daarna verfijn je de delen die voor jou belangrijk zijn. De kwaliteit blijft toenemen.

Daarover gesproken, ik zou met je willen praten over of het gebruik van SoulDub eigenlijk iets kost.

Eerlijk gezegd: je kunt het elke maand gratis gebruiken, maar niet onbeperkt gratis.

De rekenkracht wordt gehuurd van cloudservers, en hetzelfde geldt voor de opslag. Elke maand wanneer de rekening van de cloudprovider binnenkomt, moeten we die betalen zodat de servers blijven draaien.

Veel mensen denken dat het het beste zou zijn om video's te vertalen zonder iets te hoeven uitgeven. Ik begrijp dat gevoel echt. Vroeger dacht ik hetzelfde toen ik zelf naar tools op zoek was.

Maar wanneer jij degene bent die een dienst onderhoudt, ben jij degene die de rekening betaalt. Als je het niet aankunt, kan het ding gewoon niet standhouden.

Als je SoulDub hebt gebruikt, deel dan gerust je feedback met mij op elk moment. Laten we het samen beter maken.

Dank aan de lezers die me een jaar geleden feedback gaven, toen ik nog maar net een idee begon te krijgen.

En bedankt aan mezelf, voor het doorzettingsvermogen het afgelopen jaar.

Laat me nu enkele reflecties over AI delen die ik dit jaar heb verzameld.

AI heeft sommige dingen die voorheen alleen konden worden verbeeld, in werkelijkheid veranderd.

Zoals videostemvertaling, het is eigenlijk gebouwd. Alleen dit al is genoeg om me enthousiast te maken.

Maar opwinding terzijde, er is iets waarvan ik dit jaar steeds zekerder ben geworden.

AI, hoe krachtig ook, is slechts een hulpmiddel.

We kunnen het te allen tijde dichtbij houden, maar we kunnen het niet te allen tijde voor ons houden, alles voor ons doen.

Het is alsof je een hamer gebruikt om een spijker in te slaan. Je ogen moeten de spijker en het hout volgen, en je handen moeten elke trilling voelen die de hamer terugstuurt.

Als je ogen alleen op de hamer gericht zijn en je handen het hout niet meer aanraken, vergeet je uiteindelijk hoe de spijker eruitziet, vergeet je het gevoel van het hout, vergeet je wat trilling betekent.

Maar dit is hoe het leven zou moeten voelen.

Dus toen ik SoulDub aan het bouwen was, stond ik erop om functies voor menselijke beoordeling en menselijke bewerking rechtstreeks in de kern op te nemen. Hoe sterk AI ook wordt, het kan niet zonder menselijke betrokkenheid. Zonder menselijke betrokkenheid is er geen persoonlijkheid. Zonder persoonlijkheid is er geen ziel.

De wereld wordt stukje bij beetje opgebouwd in de interacties tussen mensen, tussen mensen en dingen, tussen mensen en omstandigheden.

Een bloem wordt een bloem genoemd omdat wij het een bloem noemen. Een boom wordt een boom genoemd omdat wij het een boom noemen.

Daarom hebben dieren geen wereld, alleen mensen hebben er een. Het klinkt misschien vergezocht, maar denk er eens over na. Het is waar.

Mijn wereld kan niet worden geconstrueerd doordat ik met AI omga en vervolgens AI laat omgaan met mensen, dingen en omstandigheden namens mij. Dat zou de wereld van AI zijn, niet de mijne.

Mijn wereld moet worden opgebouwd doordat ik direct contact heb met mensen, met dingen, met omstandigheden. Ik moet het zelf opbouwen. En pas dan, voor bepaalde vragen waar ik nog oordeel, moet ik AI laten ingrijpen.

Dat is mijn wereld, niet die van AI.

Wat kan het mij schelen als een bloem bloeit en valt in de bergen? Het doet ertoe op het moment dat ik het zelf ga zien.

Als ik AI laat zien voor mij, blijven mijn hart en die bloem even stil. Het feit dat ik niet eens beweeg om het te zien betekent dat die bloem nooit echt in mijn hart was om mee te beginnen.

Als ik te lang op deze manier leef, zou mijn hart dan niet leeg worden?

Er is een jaar voorbijgegaan. Eindelijk kan ik dit essay schrijven.

Bedankt dat je zo ver hebt gelezen.