Come tradurre la voce dei personaggi nei video senza perdere le caratteristiche espressive originali dei personaggi

Generalmente, quando si parla di Traduzione video (traduzione vocale dei video), si intende sostituire la voce originale del video con una voce preimpostata, e sicuramente è possibile tradurre il contenuto delle parole in lingue diverse, ma dopo la traduzione di un video, anche se si può capire ogni frase, suona comunque strano: non c'è più il sapore della voce dei personaggi del video originale, né quello stile.

Questo è esattamente il problema che la traduzione dei video con voce umana dall'audio originale (Original audio video human voice translation) deve risolvere: non solo permettere agli spettatori di capire un'altra lingua, ma anche cercare di preservare le caratteristiche espressive del video originale che le persone già apprezzano.

La cosiddetta traduzione vocale originale dei video consiste nel trasformare il contenuto parlato del video nella lingua di destinazione e nel generare una voce che si adatti alle immagini. Alcuni strumenti offrono anche sottotitoli tradotti, modifica della voce e sincronizzazione del labiale dei personaggi.

Soprattutto la funzione di editing della voce nei video, se desideri tradurre video di qualità superiore devi controllare e correggere personalmente come umano e fare aggiustamenti mirati ai risultati.

Che cos'è la traduzione della voce nei video? In cosa è diversa dalla traduzione dei sottotitoli?

Il tipico processo di traduzione della voce nei video comprende: identificare la voce originale, tradurre il testo, generare il doppiaggio nella lingua di destinazione e quindi combinare il doppiaggio con il video. Anche i sottotitoli possono essere generati contemporaneamente.

Rispetto alla semplice traduzione dei sottotitoli, la differenza più intuitiva è che il pubblico può ascoltare direttamente la lingua di destinazione con un timbro, emozione e ritmo simili a quelli della voce originale dei personaggi nel video, senza dover sempre fare affidamento sul testo sullo schermo per comprendere il contenuto, o guardare il video ascoltando una voce che non corrisponde allo stile di parola dei personaggi originali.

Alcuni concetti facilmente confondibili possono essere distinti in questo modo:

La traduzione automatica dell'audio (automated audio translation) è uguale. A differenza della traduzione video, la traduzione audio non richiede la sincronizzazione tra audio e immagini, mentre nella traduzione video, oltre all'accuratezza della traduzione, bisogna anche considerare se il suono è coordinato con l'immagine. Ad esempio, anche se un'istruzione operativa è tradotta correttamente, se il relativo pulsante è già scomparso dall'immagine, lo spettatore potrebbe comunque non riuscire a seguirla.

Come tradurre video di qualità superiore?

Prima conserva il significato e l'intento della traduzione dei sottotitoli

Ad esempio, i video tutorial richiedono passaggi accurati, le dimostrazioni di prodotti richiedono spiegazioni chiare delle funzionalità, mentre le storie personali richiedono un completo contesto emotivo.

Anche piccole variazioni possono cambiare il senso: 'Puoi chiudere questa impostazione' e 'Dovresti chiudere questa impostazione' non sono la stessa cosa. Nome del prodotto, numeri, unità e parole negative meritano di essere controllati con priorità.

Anche la voce più bella non può compensare il problema delle informazioni tradotte erroneamente.

Fai in modo che la traduzione sembri parlata, non come un manuale rigido

Una traduzione adatta alla lettura potrebbe non essere adatta a essere letta ad alta voce. La corrispondenza parola per parola a volte mantiene la struttura della frase, ma perde l'espressione naturale originale.

Il criterio di giudizio non è che più breve è meglio, ma che sia preciso, naturale e conforme al rapporto tra chi parla e il pubblico.

Conservare le pause e il ritmo necessari

Esprimere lo stesso significato in lingue diverse non richiede lo stesso tempo. Una traduzione che sembra breve potrebbe sembrare affrettata se inserita in un clip video.

Controllare se ci sono pause prima di informazioni importanti, se c'è spazio per respirare tra comandi consecutivi e se la spiegazione segue i cambiamenti della scena. Se necessario, semplificare le espressioni senza perdere informazioni, il che è più appropriato che inserire forzatamente più parole.

Riprodurre il più possibile la voce originale delle persone nel video

Oltre a fare in modo che la traduzione dei sottotitoli sia naturale, accurata e in sintonia con il ritmo delle immagini, la voce dei personaggi del video, quando pronuncia la traduzione, dovrebbe cercare di conservare il più possibile il timbro, l'emozione e il ritmo con cui il personaggio diceva la stessa frase. Immagina di poter sentire un tuo personaggio preferito parlare improvvisamente nella lingua che desideri, non sarebbe un'esperienza fantastica! Pertanto, per i prodotti che forniscono la traduzione vocale nei video, dovrebbe essere offerta anche la capacità di riprodurre automaticamente la voce dei personaggi del video e la possibilità di rigenerare più volte la stessa porzione di voce, in modo da ottenere il risultato di traduzione più soddisfacente possibile.

Dopo la traduzione automatica, perché è ancora necessario la revisione?

La versione generata automaticamente fornita è una versione valutabile, non una garanzia che ogni frase sia adatta per la pubblicazione immediata.

Si consiglia di controllare prima il riconoscimento del testo originale, poi la traduzione, e infine ascoltare insieme alle immagini. Rumori di fondo, conversazioni sovrapposte tra più persone e nomi propri sconosciuti possono far sì che l'errore si presenti prima ancora che inizi la traduzione. Se il nome del prodotto nel testo originale è stato riconosciuto erroneamente, nessuna fluenza della voce successiva potrà risolvere questo problema.

Nella fase di traduzione ci si concentra principalmente sul significato, sulla terminologia, sui numeri e sulla naturalezza della lingua parlata. Nella fase di ascolto si presta invece attenzione alla pronuncia, alle pause e alla corrispondenza tra racconto e immagini. Questo ordine può aiutarti a capire esattamente dove si verifica il problema, invece di modificare ripetutamente parti che non presentano alcun problema.

Se non conosci la lingua di destinazione, è meglio far revisionare i contenuti importanti da qualcuno che la conosca. La traduzione inversa può aiutare a verificare alcune informazioni, ma non può dimostrare che il doppiaggio suoni naturale.

Come controllare e migliorare i risultati delle traduzioni in SoulDub?

SoulDub combina sottotitoli automatici, traduzione e doppiaggio AI, offrendo allo stesso tempo correzione del testo e la possibilità di interventi umani sui segmenti audio. Pertanto, non è interessante solo la possibilità di generare video, ma anche se, dopo aver individuato problemi, gli esseri umani possano intervenire per continuare a migliorarli.

Passo uno: inizia con un breve video rappresentativo

Scegli materiali per i quali possiedi il diritto d'uso, il diritto di traduzione e le autorizzazioni vocali correlate, come brevi tutorial, spiegazioni di prodotti o presentazioni personali.

È meglio includere un nome di prodotto, una pausa intenzionale e una frase che desideri che il pubblico ricordi di più. In questo modo, dopo la generazione ci sarà un oggetto di controllo chiaro.

Carica il video, seleziona la lingua attualmente supportata e crea un'attività.

Passo 2: Verificare i sottotitoli originali con il testo tradotto

Prima ascolta il suono originale mentre leggi il testo riconosciuto, correggi errori nei nomi, numeri e termini, quindi valuta se la traduzione esprime correttamente il significato originale.

SoulDub offre funzioni di controllo e modifica dei sottotitoli originali e tradotti. Durante le modifiche ci si può chiedere: il pubblico destinatario comprenderà questa frase al primo ascolto? È conforme al tono del video originale? Sono stati omessi requisiti necessari?

Non riscrivere ogni frase solo perché un'altra espressione è valida. Dai priorità alla risoluzione dei problemi che influenzano la comprensione o l'esperienza visiva.

Terzo passo: rigenerare la voce secondo necessità

Modificare il testo non aggiornerà automaticamente la voce fuori campo o il video già generati. Dopo aver regolato la traduzione, si dovrebbe rigenerare l'audio relativo secondo le operazioni disponibili nel compito e confermare che l'output finale utilizzi la nuova versione.

Le operazioni specifiche e le funzionalità disponibili dipendono dallo stato del compito. Quando si trattano frasi difficili da esprimere, è più facile valutare il miglioramento facendo una modifica chiara alla volta, determinando se si tratta di accorciare le parole, correggere i termini o modificare la struttura della frase.

Quarto passo: combinare le immagini per un ascolto completo

Ascoltare ogni singolo frammento da solo non presenta problemi, ma messi insieme possono comunque sembrare bruschi. Pertanto, prima di esportare, si dovrebbe riprodurre il video dall'inizio alla fine, verificare che voce, sottotitoli e immagini chiave siano coerenti, e confermare che le ultime modifiche siano state inserite nel video finale.

Puoi fare prima un piccolo esperimento: tradurre un breve video in SoulDub, concentrandoti su un nome, una pausa e un'informazione chiave. Rispetto al controllare solo se il file è stato generato, in questo modo è più facile valutare se il risultato si adatta al tuo contenuto.

Domande frequenti

La traduzione della voce nei video è la stessa cosa del clonaggio della voce?

No. Il primo cambia la lingua, il secondo simula alcune caratteristiche specifiche della voce. E Souldub è una combinazione dei due, andando oltre, senza bisogno di fornire campioni vocali al di fuori del video per la clonazione.

L'IA può preservare completamente le emozioni del parlante originale?

Non si può considerare questo come una garanzia. L'effetto dipende dalle capacità del sistema, dal materiale, dalla traduzione e dal contesto. Il punto focale dovrebbe essere se il tono e l'accento supportano l'intento espressivo originale, e non solo se il timbro è simile, anche se detto questo, souldub ha fatto uno sforzo per mantenerlo su questo punto, non vedo l'ora che tu lo provi personalmente.

Dopo aver tradotto il doppiaggio, servono ancora i sottotitoli?

I sottotitoli hanno ancora valore: possono aiutare chi guarda senza audio, le persone sorde e ipoudenti, e facilitano la comprensione di nomi sconosciuti e termini tecnici. Dopo la modifica del doppiaggio, ricorda di verificare e sincronizzare i sottotitoli.

La traduzione di SoulDub può essere modificata?

È possibile controllare e modificare i sottotitoli dell'originale e della traduzione, e anche modificare i segmenti vocali. Dopo le modifiche è necessario verificare se il doppiaggio e l'output finale sono aggiornati in modo sincronizzato, secondo quanto indicato nell'interfaccia della task corrente.

Lascia che l'espressione superi le lingue, non solo sostituire le parole

Il significato della traduzione dei video è permettere a un altro gruppo di spettatori di comprendere contenuti che valgono la pena di essere condivisi. Il significato accurato, l'espressione naturale, il ritmo appropriato e una voce chiara costituiscono insieme questa esperienza.

Non è necessario iniziare dall'intera libreria video. Scegli prima un frammento di materiale familiare e una lingua di destinazione, genera, correggi, ascolta e poi valuta dove è necessario migliorare.

Traduci il tuo primo video con SoulDub, inizia con un tentativo con un obiettivo di controllo chiaro e guarda come sarebbe la tua espressione in un'altra lingua.