Hur man översätter en persons röst i en video utan att förlora personens ursprungliga uttrycksdrag

När man generellt talar om videöversättning(video voice translation) syftar det på att använda förinställd röst för att ersätta människors röst i videon. Det kan verkligen också översätta det ursprungliga talade innehållet till olika språk, men efter att en video har översatts kan man förstå varje mening, men det låter ändå inte rätt: det saknas den smak som den ursprungliga videons personer hade när de talade, den stilen finns inte längre.

Detta är precis det problem som översättning av original ljudvideo med människostämma behöver lösa: inte bara låta tittarna förstå ett annat språk, utan också försöka bevara de uttryckssätt som redan gör den ursprungliga videon omtyckt.

Så kallad originalröstvideotranslation innebär att man översätter det talade innehållet i en video till målspråket och genererar ljud som matchar bilden. Vissa verktyg erbjuder även översatta undertexter, röstredigering och synkronisering av karaktärers munrörelser.

Särskilt för videor med röstredigeringsfunktioner, om du vill ha högre kvalitetsvideor i översättningen måste du som människa personligen kontrollera och korrekturläsa och göra riktade justeringar av resultaten.

Vad är videoljudöversättning? Hur skiljer det sig från undertextöversättning?

Den typiska processen för videoröstöversättning inkluderar: att känna igen det ursprungliga talet, översätta texten, generera röstpålägg på målspråket och sedan kombinera röstpålägget med videon. Undertexter kan också genereras samtidigt.

Jämfört med vanlig undertextöversättning är dess mest intuitiva skillnad att åskådarna kan höra målspråket med en ton, känsla och rytm som liknar de ursprungliga rösterna hos personerna i videon, utan att ständigt behöva förlita sig på texten på skärmen för att förstå innehållet, eller lyssna på ljud som tydligt inte stämmer överens med den ursprungliga personens talstil när de tittar på videon.

Några lätt förväxlade begrepp kan särskiljas på detta sätt:

Automatisk ljudöversättning (automated audio translation) är likadan. Till skillnad från videoöversättning behöver ljudöversättning inte synkronisera ljud och bild, medan videoöversättning, förutom att kontrollera om översättningen är korrekt, också måste se om ljudet och bilden är koordinerade. Till exempel, även om en instruktion är korrekt översatt, kan åskådare fortfarande inte hänga med om den relevanta knappen redan har försvunnit från bilden.

Hur översätter man videor av högre kvalitet?

Behåll först betydelsen och avsikten med undertextöversättningen

Till exempel behöver handledningsvideor exakta steg, produktdemonstrationer behöver tydliga funktionsbeskrivningar, och personliga berättelser behöver en fullständig känslomässig bakgrund.

Små förändringar kan också ändra betydelsen: du kan stänga av denna inställning och du bör stänga av denna inställning är inte samma sak. Produktnamn, siffror, enheter och negationer är alla värda att kontrollera först.

Även det vackraste ljudet kan inte rätta till problemet med felöversatt information.

Låt översättningen låta som talat språk, inte som en stel bruksanvisning

En översättning som är lämplig att läsa är inte nödvändigtvis lämplig att läsa högt direkt. Bokstavliga motsvarigheter behåller ibland meningsstrukturen, men förlorar det ursprungliga naturliga uttrycket.

Bedömningskriteriet är inte att det ska vara kortast möjligt, utan att det är korrekt, naturligt och passar förhållandet mellan talaren och publiken.

Behåll nödvändiga pauser och tempo

Att uttrycka samma betydelse på olika språk tar inte samma tid. En översättning som ser kort ut kan efter att ha lagts in i en videosekvens verka stressad.

Kontrollera om det finns pauser innan viktig information, om det finns andningsutrymme mellan flera instruktioner, samt om förklaringen hänger med kameraväxlingarna. Vid behov, förenkla formuleringar utan att förlora information, vilket är mer lämpligt än att tvinga in fler ord.

Återskapa så mycket som möjligt personens ursprungliga röst i videon

Förutom att undertextens översättning ska vara naturlig, korrekt och matcha videons rytm, bör videokaraktärernas röst, när de säger den översatta texten, också bevara karaktärernas ursprungliga ton, känsla och rytm så mycket som möjligt när de säger samma mening. Föreställ dig att en karaktär du gillar plötsligt kan tala ditt önskade språk till dig – visst vore det en fantastisk upplevelse! Därför bör produkter som erbjuder röstöversättning i videor också kunna automatiskt återge videokaraktärens röst, samt erbjuda möjligheten att generera samma segment flera gånger, så att vi kan få så tillfredsställande översättningsresultat som möjligt.

Varför behövs fortfarande korrekturläsning efter automatisk översättning?

Den automatiskt genererade versionen som tillhandahålls är en version som kan utvärderas, inte ett löfte om att varje mening är lämplig för omedelbar publicering.

Det rekommenderas att först kontrollera originaltextens igenkänning, sedan kontrollera översättningen, och slutligen kombinera med bild och ljud. Bakgrundsljud, flera personer som talar samtidigt och okända facktermer kan alla orsaka fel innan översättningen ens påbörjas. Om produktnamnet i originaltexten är feligenkänt kan det inte lösas även om dubbningen senare är flytande.

I översättningsstadiet fokuserar man främst på betydelse, terminologi, siffror och muntlig naturlighet. Vid lyssningsprov är uppmärksamheten på uttal, pauser samt hur berättandet matchar bilden. Denna ordning kan hjälpa dig att hitta exakt var problemet uppstår, istället för att upprepade gånger ändra på ställen där det inte finns några problem.

Om du inte förstår målspråket är det bäst att låta någon som är bekant med språket granska viktig information. Att översätta tillbaka kan hjälpa till att kontrollera viss information, men det kan inte bevisa att själva inläsningen låter naturlig.

Hur kontrollerar och förbättrar man översättningsresultat i SoulDub?

SoulDub kombinerar automatisk textning, översättning och AI-röst och erbjuder textgranskning samt möjligheten för människor att justera röstklipp. Därför är det som är värt att uppmärksamma inte bara om det går att generera video, utan också om människor kan ingripa för att fortsätta förbättra efter att problem har upptäckts.

Steg ett: Börja med en representativ kort video

Välj material som du har rätt att använda, översätta och som har relaterad ljudauktorisation, till exempel korta tutorials, produktpresentationer eller personliga presentationer.

Det är bäst att inkludera ett produktnamn, en avsiktligt planerad paus och en mening som du helst vill att publiken ska komma ihåg. På så sätt finns det en tydlig kontrollpunkt efter genereringen.

Ladda upp videon, välj det för närvarande stödda språket och skapa uppgiften.

Steg två: Kontrollera originaltextens undertexter mot den översatta texten

Först lyssna på originalet medan du läser och identifierar texten, rätta namn, siffror och termer, och sedan bedöma om översättningen korrekt uttrycker den ursprungliga innebörden.

SoulDub erbjuder funktioner för att kontrollera och redigera original- och översatta undertexter. När du gör ändringar kan du fråga dig själv: Kan målgruppen förstå meningen första gången de hör den? Stämmer den med tonen i originalvideon? Har nödvändiga villkor utelämnats?

Skriv inte om varje mening bara för att ett annat sätt att säga det också fungerar. Prioritera att lösa problem som påverkar förståelsen eller tittarupplevelsen.

Steg 3: Generera om ljudet efter behov

Ändringar i texten kommer inte automatiskt att uppdatera redan genererad uppläsning eller färdiga videor. Efter att översättningen har justerats bör du generera motsvarande ljud igen med de tillgängliga åtgärderna i uppgiften och säkerställa att slutresultatet använder den nya versionen.

Specifik handling och tillgängliga funktioner beror på uppgiftens status. När man bearbetar svåra meningar är det lättare att göra en tydlig ändring åt gången för att avgöra om förbättringen beror på att uttrycket förkortats, terminologin korrigerats eller meningsstrukturen justerats.

Steg fyra: Kombinera bilden för komplett lyssning och tittande

Det är inget problem att lyssna på varje klipp separat, men tillsammans kan de fortfarande verka abrupta. Därför bör man spela upp hela videon från början till slut innan export för att kontrollera att röst, undertexter och nyckelbilder är konsekventa, och för att säkerställa att de senaste ändringarna har införts i slutversionen av videon.

Du kan först göra ett litet experiment: översätt ett kort videoklipp i SoulDub och fokusera på att kontrollera ett namn, en paus och en viktig information. Jämfört med att bara se om filen har genererats, är det här ett lättare sätt att avgöra om resultatet passar ditt innehåll.

Vanliga frågor

Är videouttalöversättning samma sak som röstkloning?

Nej. Den första ändrar språk, den andra efterliknar vissa egenskaper hos en viss röst. Och Souldub kombinerar de två och går sedan ett steg längre, utan att kräva ljudprov utöver videon för kloning.

Kan AI bevara talarens känslor helt?

Detta kan inte betraktas som en garanti. Resultatet beror på systemets kapacitet, materialet, översättningen och kontexten. Fokus bör ligga på om ton och betoning stödjer den ursprungliga uttrycksavsikten, och inte bara om röstfärgen är lik, även om det sägs så, har souldub arbetat hårt för att bevara detta, och vi ser verkligen fram emot att du provar själv.

Behövs fortfarande undertexter efter att översättning och dubbning har gjorts?

Undertexter är fortfarande värdefulla: de kan hjälpa dem som tittar utan ljud, döva och hörselskadade tittare, och underlätta förståelsen av ovanliga namn och facktermer. Efter att dubben har ändrats, kom ihåg att kontrollera undertexterna synkront.

Kan översättningen av SoulDub ändras?

Du kan kontrollera och redigera originaltexten och översatta undertexter, och du kan också redigera ljudsegmenten. Efter ändringar måste du bekräfta om röstinspelningen och den slutliga utmatningen är uppdaterade i synk, enligt det aktuella uppgiftsgränssnittet.

Låt uttryck korsar språk, inte bara byta ord

Syftet med videöversättning är att låta en annan grupp tittare förstå innehåll som är värt att dela. Korrekt innebörd, naturligt språkbruk, lämplig rytm och klart ljud utgör tillsammans denna upplevelse.

Du behöver inte börja med hela videobiblioteket. Välj först ett stycke välbekant material och ett målspråk, generera, korrekturläs, lyssna och avgör sedan var förbättringar behövs.

Översätt din första video med SoulDub, börja med ett försök som har ett tydligt undersökningsmål och se hur ditt uttryck skulle vara på ett annat språk.