Trött på utländska undertexter byggde jag ett verktyg för videoröstöversättning för mig själv

En kväll förra året tittade jag på en insiktsfull teknikvideo på min dator. Den var på engelska med kinesiska undertexter. När jag tittade slog en tanke mig: Jag önskar att jag bara kunde lyssna på den kinesiska versionen. Ingen anledning att stirra på undertexter hela tiden. Jag skulle kunna lyssna under pendlingen, före sänggåendet, var som helst.

Till slut byggde jag det faktiskt.

Titta på detta filmklipp översatt från Kinesiska till engelska 👇

Men från det ögonblick idén slog mig till att skapa en produkt alla kunde använda, tog det mycket längre tid än jag förväntade mig.

Efter att idén kom, provade jag några videöversättningsverktygs. Den kinesiska översättningen fanns där, men något kändes alltid fel när jag lyssnade.

Personen i videon var fortfarande där, men det var inte längre deras röst. Känslan i hur de yttrade varje mening var också borta.

Föreställ dig ett ansikte du känner väl, plötsligt talande med en annan ton, en annan röst. Du kan följa betydelsen, men den kopplingen bryts. Det är som att titta på en bekant person medan du hör en främling tala för dem.

Det jag verkligen ville ha var enkelt. Översätt videospråket, men behåll den ursprungliga rösten intakt. Behåll känslan, nyansen i hur de säger varje ord. Dessa små detaljer i en röst är viktiga. Samma mening som sägs mjukt jämfört med kraftfullt påverkar dig helt olika.

Jag sökte runt och hittade ett modellförfarande. Vid den tiden var alternativen begränsade, men detta tillvägagångssätts röstbevarandekvalitet gav mig hopp.

Att ha en modell är en sak. Att få en färdig video är en annan. Inferensen var smärtsamt långsam, och jag kunde inte bara kasta hela videon på den och vänta på perfekt översatt innehåll med ljud synkat med videon, samtidigt som bakgrundsmusiken bevarades. Jag var tvungen att koppla ihop allt själv.

Efter att jag delade några prover, frågade ganska många om jag kunde göra det till ett verktyg som alla kunde använda.

Titta på detta klipp översatt från kinesiska till engelska 👇

Det är ganska intressant i sig att höra en bekant karaktär tala ett annat språk. Vad jag däremot bryr mig mer om är om jag fortfarande kan känna igen den ursprungliga känslan av den karaktären efter språkbytet.

Titta på detta klipp översatt från Japanska till kinesiska 👇

Känslomässig uttryck i anime är ganska tydlig. Du kan uppmärksamma karaktärernas ton när de talar.

Tillbaka till det ursprungliga kravet, översätt den engelska videon till kinesiska.

Titta på detta klipp översatt från Engelska till kinesiska 👇

Tillbaka till vad vi just pratade om. Efter att jag delat några exempel frågade ganska många om jag kunde göra det till ett verktyg som alla kunde använda. Jag tänkte likadant. Ärligt talat, med AI-assisterad kodning, antog jag att det skulle gå snabbt, eller hur? Den grundläggande översättningspipeline fungerade. Allt annat? Bara bygga en webbplats för videouppladdningar.

Det visade sig att det tog ett år.

Det visar sig att bygga något du kan demonstrera och bygga något som folk faktiskt kan använda pålitligt är väldigt olika saker. När jag använde det själv behövde jag bara korrekt videobearbetning. Men för andra behövde jag registrering, inloggning, datalagring. En användares data får inte läcka till en annan. Flera samtidiga uppladdningar får inte krascha systemet.

Tänk om systemet går ner? Tänk om användarna blir fler och jag behöver skala upp? Skulle användarna instinktivt veta hur man använder det? Databaser, servrar, objektlagring, domäner, DNS, en efter en, du måste få dem rätt. Varje del verkar okej ensam, men hur kopplar du ihop dem så att människor smidigt kan använda din tjänst? Det finns alltid något annat, och något annat efter det.

AI kan hjälpa. Men om det är rätt, vad man ska göra när något går sönder, det är fortfarande upp till dig.

Så varför fortsätta? För att jag lovade. Jag lovade människorna som ville ha detta, lovade mig själv. Den tanken fick mig att fortsätta.

Nu kan jag äntligen leverera.

Det kallas SoulDub, dubbning med själ. Det stöder 30 språk och vissa dialekter.

Att använda det är enkelt:

Webbväg: Gå till souldub.ai, ladda upp en video, välj ett språk, tryck på start. Det är allt.

Agent sätt: Sök efter github-souldub-skills i din webbläsare och installera det via din föredragna agent (ChatGPT, Claude, Gemini, etc.) och låt det installera färdigheten.

Efter det kan din agent översätta dina lokala videor. Den översatta videon och undertexterna laddas automatiskt ner till den ursprungliga videons mapp.

Videor från båda metoderna visas i ditt SoulDub-konto.

En annan viktig del: manuell granskning och redigering.

Om en undertext inte är helt rätt, om en dubbad röst behöver justeras, redigerar du den direkt på webbplatsen. AI:n gör första genomgången, sedan förfinar du de delar som är viktiga för dig. Kvaliteten fortsätter att öka.

På tal om detta skulle jag vilja prata med dig om huruvida det faktiskt kostar något att använda SoulDub.

För att vara ärlig: du kan använda det gratis varje månad, men inte obegränsat gratis.

Datorkraften hyrs från molnservrar, och det gör lagringen också. Varje månad när molntjänstleverantörens faktura kommer måste vi betala den så att servrarna fortsätter att köras.

Många människor tycker att det vore bäst att översätta videor utan att spendera något alls. Jag förstår verkligen den känslan. Jag brukade tänka på samma sätt när jag själv letade efter verktyg.

Men när du är den som underhåller en tjänst, är du den som får betala notan. Om du inte kan hantera det, kan saken helt enkelt inte hålla.

Om du har använt SoulDub, dela gärna din feedback med mig när som helst. Låt oss göra det bättre tillsammans.

Tack till läsarna som gav mig feedback för ett år sedan, när jag bara började få en idé.

Och tack till mig själv, för uthålligheten under det gångna året.

Nu, låt mig dela några reflektioner om AI som jag har samlat i år.

AI har förvandlat vissa saker som tidigare bara kunde föreställas till verklighet.

Precis som videoröstöversättning, det byggdes faktiskt. Bara detta är nog för att göra mig exalterad.

Men spänning åt sidan, finns det något jag har blivit mer och mer säker på i år.

AI, hur kraftfullt det än är, är bara ett verktyg.

Vi kan hålla det nära hela tiden, men vi kan inte ha det framför oss hela tiden och göra allt åt oss.

Det är som att använda en hammare för att slå i en spik. Dina ögon behöver se på spiken och träet, och dina händer behöver känna varje vibration som hammaren skickar tillbaka.

Om dina ögon bara är på hammaren och dina händer inte längre rör vid träet, glömmer du så småningom hur spiken ser ut, glömmer känslan av träet, glömmer vad vibration betyder.

Men detta är hur livet borde kännas.

Så när jag byggde SoulDub insisterade jag på att sätta in funktioner för mänsklig granskning och mänsklig redigering direkt i kärnan. Oavsett hur avancerad AI blir, kan den inte klara sig utan mänskligt engagemang. Utan mänskligt engagemang finns ingen personlighet. Utan personlighet finns ingen själ.

Världen byggs upp bit för bit i samspelet mellan människor, mellan människor och saker, mellan människor och omständigheter.

En blomma kallas en blomma eftersom vi kallar den en blomma. Ett träd kallas ett träd eftersom vi kallar det ett träd.

Det är därför djur inte har någon värld, bara människor har det. Det låter som en överdrift, men tänk på det. Det är sant.

Min värld kan inte byggas av att jag hanterar AI och sedan låter AI hantera människor, saker och omständigheter åt mig. Det skulle vara AI:s värld, inte min.

Min värld måste byggas av mig genom att jag engagerar mig direkt med människor, med saker, med omständigheter. Jag måste bygga den med mina egna händer. Och först då, för vissa frågor där jag fortfarande har omdöme, bör jag låta AI träda in.

Det är min värld, inte AI:s.

Vad spelar det för roll för mig om en blomma blommar och faller i bergen? Det spelar roll i det ögonblick jag själv går och ser den.

Om jag låter AI se det åt mig, förblir mitt hjärta och den blomman lika tysta. Faktumet att jag inte ens kommer att röra mig för att se det betyder att den blomman aldrig riktigt fanns i mitt hjärta från början.

Om jag lever så här för länge, skulle inte mitt hjärta bli tomt?

Ett år har gått. Äntligen kan jag skriva den här uppsatsen.

Tack för att du läst så här långt.