Lei av utenlandske undertekster, laget jeg et videostemme-oversettelsesverktøy for meg selv

En kveld i fjor så jeg på en innsiktsfull teknologivideo på datamaskinen min. Den var på engelsk med kinesiske undertekster. Mens jeg så på, slo en tanke meg: Jeg skulle ønske jeg bare kunne lytte til den kinesiske versjonen. Trenger ikke å stirre på undertekster hele tiden. Jeg kunne høre på den under pendlingen, før leggetid, hvor som helst.

Til slutt bygde jeg det faktisk.

Se dette filmklippet oversatt fra Kinesisk til engelsk 👇

Men fra det øyeblikket ideen slo meg om å lage et produkt alle kunne bruke, tok det mye lengre tid enn jeg hadde forventet.

Etter at ideen kom, prøvde jeg noen videoversettingsverktøyer. Den kinesiske oversettelsen var der, men noe føltes alltid feil når jeg lyttet.

Personen i videoen var fortsatt der, men det var ikke lenger deres stemme. Følelsen i hvordan de sa hver setning, var også borte.

Forestill deg et ansikt du kjenner godt, plutselig snakker i en annen tone, en annen stemme. Du kan følge meningen, men den forbindelsen brytes. Det er som å se på en kjent person mens du hører en fremmed snakke for dem.

Det jeg egentlig ønsket var enkelt. Oversett videospråket, men behold den originale stemmen intakt. Behold følelsen, nyansene i hvordan hver ord blir sagt. Disse små detaljene i en stemme betyr mye. Den samme setningen sagt mykt versus kraftfullt treffer deg helt annerledes.

Jeg lette rundt og fant en modelltilnærming. På den tiden var alternativene begrenset, men denne tilnærmingens stemmebevaringskvalitet ga meg håp.

Å ha en modell er én ting. Å få en ferdig video er noe annet. Inferensen var smertefullt treg, og jeg kunne ikke bare kaste en hel video på den og vente på perfekt oversatt output med lyd synkronisert med videoen, samtidig som bakgrunnsmusikken ble bevart. Jeg måtte koble alt sammen selv.

Etter at jeg delte noen prøver, spurte ganske mange om jeg kunne gjøre det om til et verktøy alle kunne bruke.

Se dette klippet oversatt fra kinesisk til engelsk 👇

Det er ganske interessant i seg selv å høre en kjent karakter snakke et annet språk. Det jeg bryr meg mer om, er om jeg fortsatt kan gjenkjenne den opprinnelige stemningen til den karakteren etter språkbyttet.

Se dette klippet oversatt fra Japansk til kinesisk 👇

Følelsesmessig uttrykk i anime er relativt tydelig. Du kan legge merke til karakterenes tone når de snakker.

Tilbake til det opprinnelige kravet, oversett den engelske videoen til kinesisk.

Se dette klippet oversatt fra Engelsk til kinesisk 👇

Tilbake til det vi nettopp snakket om. Etter at jeg delte noen prøver, spurte ganske mange om jeg kunne gjøre det til et verktøy alle kunne bruke. Det tenkte jeg også. Ærlig talt, med AI-assistert koding, antok jeg at det ville gå raskt, ikke sant? Kjernen i oversettelsesprosessen fungerte. Alt annet? Bare å bygge et nettsted for videolasting.

Det viser seg at det tok et år.

Det viser seg at det å bygge noe du kan demonstrere og det å bygge noe folk kan bruke pålitelig, er veldig forskjellige ting. Når jeg brukte det selv, trengte jeg bare skikkelig videobehandling. Men for andre trengte jeg registrering, pålogging, datalagring. Én brukers data kan ikke lekke til en annen. Flere samtidige opplastinger kan ikke krasje systemet.

Hva om systemet går ned? Hva om brukerne blir mange og jeg må skalere? Ville brukerne instinktivt vite hvordan de skulle bruke det? Databaser, servere, objektlagring, domener, DNS, én etter én, må du få dem riktig. Hver del virker bra alene, men hvordan kobler du dem sammen slik at folk kan bruke tjenesten din sømløst? Det er alltid noe annet, og noe annet etter det.

AI kan hjelpe. Men om det er riktig, hva man skal gjøre når noe går i stykker, det er fortsatt opp til deg.

Så hvorfor fortsette? Fordi jeg lovet. Jeg lovet folkene som ønsket dette, lovet meg selv. Den tanken fikk meg til å fortsette.

Nå kan jeg endelig levere.

Det kalles SoulDub, dubbing med sjel. Det støtter 30 språk og noen dialekter.

Å bruke det er enkelt:

Webmetode: Gå til souldub.ai, last opp en video, velg et språk, trykk start. Det er alt.

Agentmåte: Søk etter github-souldub-skills i nettleseren din og installer det via din foretrukne Agent (ChatGPT, Claude, Gemini, osv.) og få det til å installere ferdigheten.

Etter det kan agenten din oversette dine lokale videoer. Den oversatte videoen og undertekstene lastes automatisk ned til mappen til den originale videoen.

Videoer fra begge metodene vises i din SoulDub-konto.

En siste kritisk del: manuell gjennomgang og redigering.

Hvis en undertekst ikke er helt riktig, hvis en dubbet stemme trenger justering, redigerer du den direkte på nettstedet. AI-en gjør første runde, så finjusterer du delene som betyr noe for deg. Kvaliteten fortsetter å øke.

Når vi snakker om dette, vil jeg gjerne snakke med deg om hvorvidt det faktisk koster noe å bruke SoulDub.

For å være ærlig: du kan bruke det gratis hver måned, men ikke helt gratis ubegrenset.

Datakraften leies fra skytjenere, og det samme gjelder lagringen. Hver måned når regningen fra skyleverandøren kommer, må vi betale den slik at serverne fortsetter å kjøre.

Mange mennesker tror det er best å oversette videoer uten å bruke noe som helst. Jeg forstår virkelig den følelsen. Jeg pleide å tenke på samme måte da jeg selv lette etter verktøy.

Men når du er den som opprettholder en tjeneste, er det du som må betale regningen. Hvis du ikke kan håndtere det, kan tingene rett og slett ikke vare.

Hvis du har brukt SoulDub, vennligst del tilbakemeldingen din med meg når som helst. La oss gjøre det bedre sammen.

Takk til leserne som ga meg tilbakemelding for et år siden, da jeg bare begynte å få en idé.

Og takk til meg selv, for utholdenheten gjennom det siste året.

La meg nå dele noen refleksjoner om AI som jeg har samlet i år.

AI har forvandlet noen ting som tidligere bare kunne forestilles til virkelighet.

Som videostemmeoversettelse, ble det faktisk laget. Bare dette alene er nok til å begeistre meg.

Men spenning til side, det er noe jeg har blitt mer og mer sikker på i år.

Kunstig intelligens, uansett hvor kraftig, er bare et verktøy.

Vi kan holde det nært til enhver tid, men vi kan ikke ha det foran oss til enhver tid, og la det gjøre alt for oss.

Det er som å bruke en hammer for å slå inn en spiker. Øynene dine må se på spikeren og treverket, og hendene dine må føle hver vibrasjon hammeren sender tilbake.

Hvis øynene dine kun er på hammeren og hendene dine ikke lenger berører treet, vil du etter hvert glemme hvordan spikeren ser ut, glemme følelsen av treet, glemme hva vibrasjon betyr.

Men dette er slik livet bør føles.

Så når jeg bygde SoulDub, insisterte jeg på å legge inn funksjoner for menneskelig gjennomgang og menneskelig redigering rett inn i kjernen. Uansett hvor sterk AI blir, kan den ikke klare seg uten menneskelig involvering. Uten menneskelig involvering finnes det ingen personlighet. Uten personlighet finnes det ingen sjel.

Verden bygges opp bit for bit i samhandlingene mellom mennesker, mellom mennesker og ting, mellom mennesker og omstendigheter.

En blomst kalles en blomst fordi vi kaller den en blomst. Et tre kalles et tre fordi vi kaller det et tre.

Det er derfor dyr ikke har en verden, bare mennesker har det. Det høres kanskje langt ut, men tenk på det. Det er sant.

Min verden kan ikke bygges ved at jeg håndterer AI, og deretter lar AI håndtere mennesker, ting og omstendigheter på mine vegne. Det ville vært AIs verden, ikke min.

Min verden må bygges av meg ved å engasjere meg direkte med mennesker, med ting, med omstendigheter. Jeg må bygge den med mine egne hender. Og først da, for visse spørsmål hvor jeg fremdeles har vurderingsevne, bør jeg la AI tre inn.

Det er min verden, ikke AI sin.

Hva betyr det for meg om en blomst blomstrer og faller i fjellene? Det betyr noe i det øyeblikket jeg selv går for å se det.

Hvis jeg lar AI se det for meg, forblir både hjertet mitt og den blomsten like stille. Det faktum at jeg ikke engang vil bevege meg for å se det, betyr at den blomsten aldri egentlig var i hjertet mitt til å begynne med.

Hvis jeg lever på denne måten for lenge, ville ikke hjertet mitt bli tomt?

Et år har gått. Endelig kan jeg skrive dette essayet.

Takk for at du har lest så langt.