Træt af udenlandske undertekster, byggede jeg et videostemmeoversættelsesværktøj til mig selv

En aften sidste år så jeg en indsigtsfuld tech-video på min computer. Den var på engelsk med kinesiske undertekster. Mens jeg så den, slog en tanke mig: Jeg ville ønske, jeg bare kunne lytte til den kinesiske version. Ingen grund til at stirre på undertekster hele tiden. Jeg kunne lytte under min pendling, før sengetid, hvor som helst.

Til sidst byggede jeg det faktisk.

Se dette filmklip oversat fra Kinesisk til engelsk 👇

Men fra det øjeblik, ideen ramte mig om at skabe et produkt, som alle kunne bruge, tog det meget længere tid, end jeg forventede.

Efter idéen kom, prøvede jeg et par videoversættelsesværktøjs. Den kinesiske oversættelse var der, men noget føltes altid forkert, når jeg lyttede.

Personen i videoen var stadig der, men det var ikke længere deres stemme. Følelsen i måden, de talte hver sætning på, var også væk.

Forestil dig et ansigt, du kender godt, pludselig taler i en anden tone, en anden stemme. Du kan følge betydningen, men den forbindelse brydes. Det er som at se en velkendt person, mens du hører en fremmed tale for dem.

Hvad jeg virkelig ønskede, var simpelt. Oversæt videosproget, men behold den originale stemme intakt. Bevar følelsen, nuancen i, hvordan de siger hvert ord. Disse små detaljer i en stemme betyder noget. Den samme sætning sagt blødt versus kraftfuldt rammer dig fuldstændigt forskelligt.

Jeg ledte rundt og fandt en modeltilgang. På det tidspunkt var mulighederne begrænsede, men denne tilgangs evne til at bevare stemmen gav mig håb.

At have en model er én ting. At få en færdig video er noget andet. Inferensen var smertefuldt langsom, og jeg kunne ikke bare smide en hel video på den og vente på perfekt oversat output med lyd synkroniseret med videoen, alt imens baggrundsmusikken blev bevaret. Jeg måtte selv koble alting sammen.

Efter jeg delte nogle prøver, spurgte en del mennesker, om jeg kunne gøre det til et værktøj, som alle kunne bruge.

Se dette klip oversat fra kinesisk til engelsk 👇

Det er ret interessant i sig selv at høre en velkendt karakter tale et andet sprog. Hvad jeg dog bekymrer mig mere om, er, om jeg stadig kan genkende den oprindelige stemning af den karakter efter sprogskiftet.

Se dette klip oversat fra Japansk til kinesisk 👇

Følelsesmæssig udtryk i anime er relativt tydeligt. Du kan lægge mærke til karakterernes toner, når de taler.

Tilbage til det oprindelige krav, oversæt den engelske video til kinesisk.

Se dette klip oversat fra Engelsk til kinesisk 👇

Tilbage til det, vi lige talte om. Efter jeg delte nogle prøver, spurgte ret mange, om jeg kunne lave det til et værktøj, som alle kunne bruge. Det tænkte jeg også. Ærligt talt, med AI-assisteret kodning, regnede jeg med, det ville gå hurtigt, ikke? Den grundlæggende oversættelsesproces fungerede. Alt andet? Bare at bygge en hjemmeside til video uploads.

Det viser sig, at det tog et år.

Det viser sig, at det at bygge noget, man kan demonstrere, og det at bygge noget, folk kan bruge pålidelig, er to helt forskellige ting. Når jeg selv brugte det, var alt, hvad jeg havde brug for, ordentlig videobehandling. Men for andre havde jeg brug for registrering, login, datalagring. Én brugers data må ikke lække til en andens. Flere samtidige uploads må ikke få systemet til at gå ned.

Hvad hvis systemet går ned? Hvad hvis brugerne bliver mange og jeg er nødt til at skalere? Ville brugerne instinktivt vide, hvordan man bruger det? Databaser, servere, objektlagring, domæner, DNS, en efter en, du skal få dem rigtige. Hver del virker fin alene, men hvordan forbinder du dem, så folk kan bruge din service uden problemer? Der er altid noget mere, og noget mere efter det.

AI kan hjælpe. Men om det er rigtigt, hvad man skal gøre, når noget går i stykker, det er stadig op til dig.

Så hvorfor fortsætte? Fordi jeg lovede. Jeg lovede de mennesker, der ønskede dette, lovede mig selv. Den tanke holdt mig i gang.

Nu kan jeg endelig levere.

Det hedder SoulDub, dubbing med sjæl. Det understøtter 30 sprog og nogle dialekter.

At bruge det er ligetil:

Webmetode: Gå til souldub.ai, upload en video, vælg et sprog, tryk på start. Det er det.

Agent måde: Søg efter github-souldub-skills i din browser og installer det via din foretrukne Agent (ChatGPT, Claude, Gemini osv.) og få det til at installere færdigheden.

Derefter kan din agent oversætte dine lokale videoer. Den oversatte video og undertekster downloades automatisk til den originale videos mappe.

Videoer fra begge metoder vises på din SoulDub-konto.

Ét stykke mere kritisk: manuel gennemgang og redigering.

Hvis en undertekst ikke er helt rigtig, hvis en dubbet stemme har brug for justering, redigerer du den direkte på siden. AI'en laver det første udkast, og derefter finjusterer du de dele, der betyder noget for dig. Kvaliteten fortsætter med at stige.

Når vi taler om dette, vil jeg gerne snakke med dig om, hvorvidt det faktisk koster noget at bruge SoulDub.

For at være ærlig: du kan bruge det gratis hver måned, men ikke ubegrænset gratis.

Regnekraften lejes fra cloud-servere, og det samme gælder lagerpladsen. Hver måned, når cloud-udbyderens regning ankommer, skal vi betale den, så serverne fortsætter med at køre.

Mange mennesker tror, det ville være bedst at oversætte videoer uden at bruge noget som helst. Jeg forstår virkelig den følelse. Jeg plejede at tænke på samme måde, når jeg selv ledte efter værktøjer.

Men når du er den, der vedligeholder en tjeneste, er det dig, der betaler regningen. Hvis du ikke kan håndtere det, kan tingene simpelthen ikke vare.

Hvis du har brugt SoulDub, så del venligst din feedback med mig når som helst. Lad os gøre det bedre sammen.

Tak til de læsere, der gav mig feedback for et år siden, da jeg kun begyndte at få en idé.

Og tak til mig selv for vedholdenheden over det forgangne år.

Lad mig nu dele nogle refleksioner om AI, som jeg har samlet i år.

AI har forvandlet nogle ting, der tidligere kun kunne forestilles, til virkelighed.

Ligesom video stemmeoversættelse, blev det faktisk bygget. Bare dette alene er nok til at begejstre mig.

Men spenning til side, er der noget, jeg er blevet mere og mere sikker på i år.

AI, uanset hvor kraftfuld den er, er kun et værktøj.

Vi kan holde det tæt på hele tiden, men vi kan ikke holde det foran os hele tiden og gøre alt for os.

Det er som at bruge en hammer til at slå en søm i. Dine øjne skal se på sømmet og træet, og dine hænder skal mærke hver vibration, som hammeren sender tilbage.

Hvis dine øjne kun er på hammeren, og dine hænder ikke længere rører ved træet, glemmer du til sidst, hvordan sømmet ser ud, glemmer følelsen af træet, glemmer hvad vibration betyder.

Men dette er, hvordan livet bør føles.

Så da jeg byggede SoulDub, insisterede jeg på at indarbejde menneskelig gennemgang og redigeringsfunktioner direkte i kernen. Uanset hvor stærk AI bliver, kan den ikke klare sig uden menneskelig involvering. Uden menneskelig involvering er der ingen personlighed. Uden personlighed er der ingen sjæl.

Verden er bygget op bit for bit i interaktionerne mellem mennesker, mellem mennesker og ting, mellem mennesker og omstændigheder.

En blomst kaldes en blomst, fordi vi kalder den en blomst. Et træ kaldes et træ, fordi vi kalder det et træ.

Derfor har dyr ingen verden, kun mennesker har det. Det lyder som en overdrivelse, men tænk over det. Det er sandt.

Min verden kan ikke blive konstrueret af, at jeg håndterer AI, og derefter lader AI håndtere mennesker, ting og omstændigheder på mine vegne. Det ville være AI's verden, ikke min.

Min verden skal bygges af mig ved at engagere mig direkte med mennesker, med ting, med omstændigheder. Jeg er nødt til at bygge den med mine egne hænder. Og først derefter, for visse spørgsmål hvor jeg stadig har dømmekraft, bør jeg lade AI træde ind.

Det er min verden, ikke AI's.

Hvad betyder det for mig, hvis en blomst blomstrer og falder i bjergene? Det betyder noget i det øjeblik, jeg selv går hen for at se det.

Hvis jeg lader AI se det for mig, forbliver mit hjerte og den blomst lige stille. Det faktum, at jeg ikke engang bevæger mig for at se det, betyder, at den blomst aldrig rigtig var i mit hjerte fra starten.

Hvis jeg lever på denne måde i for lang tid, ville mit hjerte så ikke blive tomt?

Et år er gået. Endelig kan jeg skrive dette essay.

Tak fordi du har læst så langt.