Hoe de stem van de persoon in de video te vertalen zonder de oorspronkelijke expressieve kenmerken van de persoon te verliezen

Over het algemeen, wanneer men het heeft over videoversie (video stemvertaling), verwijst dit naar het vervangen van de menselijke stem in een video door een vooraf ingestelde stem. Het kan inderdaad de oorspronkelijke gesproken inhoud in verschillende talen vertalen, maar nadat een video is vertaald, kan men elke zin begrijpen, maar klinkt het niet helemaal goed: het mist de smaak van de originele spreker in de video, die specifieke stijl.

Dit is precies het probleem dat vertaling van originele audiovideo met menselijke stem (Original audio video human voice translation) moet oplossen: niet alleen ervoor zorgen dat het publiek een andere taal begrijpt, maar ook zoveel mogelijk de oorspronkelijke expressieve kenmerken van de video behouden die mensen van nature leuk vinden.

De zogenaamde voice-oververtaling van video's is het omzetten van mondelinge inhoud in de video naar de doeltaal en het genereren van spraak die bij de beelden past. Sommige tools bieden ook vertaalde ondertitels, spraakbewerking en lip-syncing van personages.

Vooral de functie voor het bewerken van menselijke stemmen in video's, als je video's van hogere kwaliteit wilt vertalen, moet je als mens persoonlijk controleren en proeflezen, en gerichte aanpassingen aan de resultaten doen.

Wat is videospraakvertaling? Hoe verschilt het van ondertitelvertaling?

Het typische proces voor het vertalen van menselijke stemmen in video's omvat: het herkennen van de originele spraak, het vertalen van de tekst, het genereren van een voice-over in de doeltaal, en vervolgens het combineren van de voice-over met de video. Ondertitels kunnen ook tegelijkertijd worden gemaakt.

In vergelijking met eenvoudige ondertitelvertaling is het meest directe verschil dat het publiek de doeltaal direct kan horen met een timbre, emotie en ritme die lijken op de originele stem van de personages in de video, zonder voortdurend afhankelijk te zijn van de woorden op het scherm om de inhoud te begrijpen, of naar een stem te luisteren die duidelijk niet past bij de spreekstijl van de originele personages tijdens het bekijken van de video.

Enkele gemakkelijk te verwarren concepten kunnen op deze manier worden onderscheiden:

Automatische audiotranslatie (automated audio translation) is hetzelfde. In tegenstelling tot videotranslatie hoeft audiotranslatie geen audio- en videosynchronisatie te doen, terwijl bij videotranslatie naast de nauwkeurigheid van de vertaling ook moet worden gekeken of geluid en beeld op elkaar zijn afgestemd. Bijvoorbeeld, zelfs als een handleiding correct is vertaald, kan het publiek nog steeds niet volgen als de bijbehorende knop al uit het beeld is verdwenen.

Hoe kan men video's van hogere kwaliteit vertalen?

Houd eerst de betekenis en intentie van de ondertitelvertaling aan

Bijvoorbeeld, tutorial-video's hebben nauwkeurige stappen nodig, productdemonstratievideo's hebben duidelijke functiebeschrijvingen nodig, en persoonlijke verhaalvideo's hebben volledige emotionele achtergronden nodig.

Kleine veranderingen kunnen ook de betekenis veranderen: je kunt deze instelling uitschakelen en je zou deze instelling moeten uitschakelen zijn niet hetzelfde. Productnamen, cijfers, eenheden en ontkenningswoorden zijn allemaal de moeite waard om eerst te controleren.

Hoe mooi een stem ook klinkt, het kan het probleem van verkeerd vertaalde informatie niet goedmaken.

Laat de vertaling klinken als gesproken taal, niet als een stijve handleiding

Een vertaling die geschikt is om te lezen, is niet noodzakelijk geschikt om direct voor te lezen. Letterlijke overeenkomst behoudt soms de zinsstructuur, maar verliest de oorspronkelijke natuurlijke uitdrukking.

De beoordelingsnorm is niet hoe korter hoe beter, maar nauwkeurig, natuurlijk en passend bij de relatie tussen spreker en publiek.

Behoud de noodzakelijke pauzes en het ritme

Het uitdrukken van dezelfde betekenis in verschillende talen kost niet dezelfde tijd. Een vertaling die er niet lang uitziet, kan in een videofragment gehaast lijken.

Controleer of er pauzes zijn voordat belangrijke informatie wordt gegeven, of er ademruimte is tussen opeenvolgende instructies, en of de uitleg bij de camerawijzigingen kan volgen. Indien nodig, vereenvoudig de formuleringen zonder informatie te verliezen; dit is geschikter dan het geforceerd toevoegen van meer woorden.

Herstel zo veel mogelijk de originele stem van de persoon in de video

Naast dat de ondertitelvertaling natuurlijk, nauwkeurig en afgestemd op het ritme van de beelden moet zijn, moet de stem van de persoon in de video bij het uitspreken van de vertaalde tekst ook zoveel mogelijk de oorspronkelijke klankkleur, emotie en het ritme behouden van wanneer de persoon dezelfde zin oorspronkelijk zei. Stel je voor dat een van je favoriete personages ineens in de taal die je verwacht tegen je kan spreken, hoe geweldig zou die ervaring zijn! Daarom zouden producten die de vertaaldere stem van mensen in video’s aanbieden, ook de mogelijkheid moeten bieden om automatisch de originele stem van de videopersonages te herstellen, en de mogelijkheid om dezelfde spraak meerdere keren te herhalen en opnieuw te genereren, zodat we zo tevreden mogelijk zijn met het vertaalresultaat.

Waarom is het nodig om na automatische vertaling nog steeds te proeflezen?

De automatisch gegenereerde versie is een versie die geëvalueerd kan worden, en geen garantie dat elke zin meteen geschikt is voor publicatie.

Het wordt aanbevolen eerst de originele tekst te controleren, daarna de vertaling, en ten slotte de beelden en audio te combineren voor beluistering. Achtergrondgeluiden, meerdere mensen die tegelijk praten en onbekende eigennaam kunnen ertoe leiden dat fouten al ontstaan voordat de vertaling begint. Als de productnaam in de originele tekst verkeerd wordt herkend, kan een vlotte nasynchronisatie dit probleem niet oplossen.

In de vertaalfase ligt de nadruk op het controleren van de betekenis, terminologie, cijfers en de natuurlijke manier van spreken. In de beluisterfase wordt gelet op uitspraak, pauzes en de afstemming van het verhaal met het beeld. Deze volgorde helpt je te ontdekken waar het probleem precies zit, in plaats van herhaaldelijk onderdelen aan te passen die geen probleem hebben.

Als je de doeltaal niet begrijpt, is het het beste om belangrijke inhoud door iemand die de taal goed kent te laten controleren. Het terugvertalen van de vertaling kan helpen om sommige informatie te controleren, maar het kan niet aantonen dat de daadwerkelijke voice-over natuurlijk klinkt.

Hoe controleer en verbeter je vertaalresultaten in SoulDub?

SoulDub combineert automatische ondertiteling, vertaling en AI-voice-over en biedt mogelijkheden voor tekstcorrectie en handmatige aanpassing van spraakfragmenten. Daarom gaat het niet alleen om de vraag of het video kan genereren, maar ook of mensen kunnen ingrijpen om het verder te verbeteren wanneer problemen worden ontdekt.

Stap één: begin met een representatieve korte video

Kies materiaal waarvan je het recht hebt om het te gebruiken, te vertalen en de bijbehorende geluidsrechten te beheren, zoals korte tutorials, productuitleg of persoonlijke introducties.

Het is het beste om een productnaam op te nemen, een bewust geplande pauze, en een zin die je het liefst wilt dat het publiek onthoudt. Op deze manier heb je na het genereren een duidelijk controlepunt.

Upload een video, kies de momenteel ondersteunde taal en maak een taak aan.

Stap twee: controleer de originele ondertitels en de vertaalde tekst

Luister eerst naar het originele geluid terwijl je de tekst herkent en leest, corrigeer fouten in namen, cijfers en termen, en bepaal vervolgens of de vertaling de oorspronkelijke betekenis nauwkeurig weergeeft.

SoulDub biedt functies voor het controleren en bewerken van ondertitels van de originele tekst en de vertaling. Bij het aanpassen kunt u uzelf afvragen: kan het doelpubliek de zin bij de eerste keer horen begrijpen? Komt het overeen met de toon van de originele video? Zijn er noodzakelijke voorwaarden weggelaten?

Herformuleer niet elke zin alleen omdat een andere uitspraak ook juist is. Los eerst de problemen op die het begrip of de kijkervaring beïnvloeden.

Stap drie: genereer spraak opnieuw indien nodig

Het wijzigen van de tekst zal de reeds gegenereerde voice-over of video niet automatisch bijwerken. Na het aanpassen van de vertaling moet de relevante spraak opnieuw worden gegenereerd volgens de beschikbare bewerkingen in de taak en moet worden bevestigd dat de uiteindelijke output de nieuwe versie gebruikt.

De specifieke handelingen en beschikbare functies zijn afhankelijk van de status van de taak. Bij het verwerken van moeilijk uit te drukken zinnen is het gemakkelijker om één duidelijke wijziging tegelijk aan te brengen, zodat beter kan worden beoordeeld of de verbetering te danken is aan het verkorten van de bewoording, het corrigeren van termen of het aanpassen van de zinsstructuur.

Stap 4: Complete audio- en visuele controle combineren

Elk fragment afzonderlijk luisteren is geen probleem, maar samengevoegd kan het nog steeds abrupt overkomen. Daarom moet je voor het exporteren de hele video van begin tot eind afspelen, controleren of spraak, ondertitels en sleutelbeelden overeenkomen, en bevestigen dat de nieuwste wijzigingen in de definitieve video zijn opgenomen.

Je kunt eerst een klein experiment doen: vertaal een klein gedeelte van de video in SoulDub, met de nadruk op het controleren van een naam, een pauze en één kernboodschap. In plaats van alleen te kijken of het bestand is gegenereerd, is het op deze manier gemakkelijker om te beoordelen of het resultaat geschikt is voor jouw inhoud.

Veelgestelde vragen

Is videovoicevertaling hetzelfde als stemkloning?

Nee. Het eerste verandert de taal, het tweede simuleert bepaalde kenmerken van een specifieke stem. En Souldub combineert deze twee en gaat nog een stap verder, waarbij geen stemmonsters buiten de video's nodig zijn voor klonen.

Kan AI de emoties van de oorspronkelijke spreker volledig behouden?

Dit punt kan niet als garantie worden beschouwd. Het effect hangt af van de systeemcapaciteit, het materiaal, de vertaling en de context. De focus moet liggen op of de toon en klemtoon de oorspronkelijke intentie ondersteunen, en niet alleen of de klank vergelijkbaar is. Desalniettemin heeft Souldub hierop geprobeerd om behoud te waarborgen, en ik kijk er erg naar uit dat je het zelf probeert.

Is ondertiteling nog nodig nadat er een vertaalde stem is toegevoegd?

Ondertitels zijn nog steeds waardevol: ze kunnen kijkers die het geluid hebben uitgezet helpen, evenals dove en slechthorende kijkers, en maken het gemakkelijker om onbekende namen en vaktermen te begrijpen. Controleer de ondertitels ook nadat de nasynchronisatie is aangepast.

Kan de vertaling van SoulDub worden aangepast?

U kunt zowel de originele tekst als de vertaalde ondertiteling controleren en bewerken, en ook audioclips bewerken. Na de wijziging moet u bevestigen of de voice-over en de uiteindelijke uitvoer synchroon zijn bijgewerkt. Raadpleeg het huidige taakvenster voor de specifieke details.

Laat expressie talen overstijgen, niet alleen woorden vervangen

Het doel van videotranslatie is om een andere groep kijkers de inhoud die het waard is om te delen te laten begrijpen. De nauwkeurige betekenis, natuurlijke formuleringen, passend tempo en duidelijke geluid vormen samen deze ervaring.

Je hoeft niet met de hele videobibliotheek te beginnen. Kies eerst een vertrouwd stuk materiaal en een doeltaal, genereer, controleer en luister, en bepaal vervolgens waar nog verbeteringen nodig zijn.

Vertaal je eerste video met SoulDub, begin met een poging met een duidelijke controledoelstelling, en kijk hoe jouw uitdrukking in een andere taal zal zijn.