Stanco dei sottotitoli stranieri, ho costruito uno strumento di traduzione vocale dei video per me stesso

Una sera dell'anno scorso, stavo guardando un video tecnologico interessante sul mio computer. Era in inglese con sottotitoli in cinese. Mentre guardavo, mi è venuto in mente un pensiero: vorrei poter semplicemente ascoltare la versione cinese. Non c'è bisogno di fissare sempre i sottotitoli. Potrei ascoltarlo durante il tragitto, prima di dormire, ovunque.

Alla fine, l'ho effettivamente costruito.

Guarda questo clip del film tradotto da Cinese in inglese 👇

Ma dal momento in cui mi venne l'idea di creare un prodotto che tutti potessero usare, ci volle molto più tempo di quanto mi aspettassi.

Dopo che l'idea è venuta, ho provato alcuni strumento di traduzione video. C'era la traduzione cinese, ma qualcosa non quadrava mai quando ascoltavo.

La persona nel video era ancora lì, ma non era più la loro voce. Anche l'emozione con cui pronunciavano ogni frase era sparita.

Immagina un volto che conosci bene, improvvisamente parlare con un tono diverso, una voce diversa. Puoi seguire il significato, ma quella connessione si rompe. È come guardare una persona familiare mentre senti uno sconosciuto parlare per lei.

Quello che volevo davvero era semplice. Tradurre la lingua del video, ma mantenere intatta la voce originale. Mantenere l'emozione, la sfumatura con cui pronunciano ogni parola. Questi piccoli dettagli in una voce contano. La stessa frase detta dolcemente rispetto a con forza ti colpisce in modo completamente diverso.

Ho cercato in giro e ho trovato un approccio modello. All'epoca le opzioni erano limitate, ma la qualità di conservazione della voce di questo approccio mi ha dato speranza.

Avere un modello è una cosa. Ottenere un video finito è un'altra. L'inferenza era dolorosamente lenta, e non potevo semplicemente dare in input un video intero e aspettarmi un output perfettamente tradotto con l'audio sincronizzato con il video, il tutto mantenendo la musica di sottofondo. Ho dovuto collegare tutto da solo.

Dopo che ho condiviso alcuni campioni, parecchie persone hanno chiesto se potessi trasformarlo in uno strumento che tutti potessero usare.

Guarda questo video tradotto dal cinese all'inglese 👇

È abbastanza interessante di per sé sentire un personaggio familiare parlare un'altra lingua. Quello che mi interessa di più, però, è se riesco ancora a riconoscere l'atmosfera originale di quel personaggio dopo il cambio di lingua.

Guarda questo clip tradotto da Giapponese a Cinese 👇

L'espressione emotiva negli anime è relativamente distinta. Puoi prestare attenzione ai toni dei personaggi quando parlano.

Tornando al requisito originale, traduci il video in inglese in cinese.

Guarda questo clip tradotto da Inglese in cinese 👇

Torniamo a quello di cui stavamo parlando. Dopo che ho condiviso alcuni campioni, parecchie persone hanno chiesto se potessi trasformarlo in uno strumento che tutti potessero usare. Anche io lo pensavo. Onestamente, con la programmazione assistita dall'IA, immaginavo sarebbe stato veloce, giusto? Il nucleo del processo di traduzione funzionava. Tutto il resto? Solo costruire un sito web per il caricamento dei video.

Si scopre che ci è voluto un anno.

Si scopre che costruire qualcosa che puoi mostrare e costruire qualcosa che le persone possono usare in modo affidabile sono cose molto diverse. Usandolo io stesso, tutto ciò di cui avevo bisogno era una corretta elaborazione video. Ma per gli altri, avevo bisogno di registrazione, accesso, persistenza dei dati. I dati di un utente non possono trapelare a un altro. Upload multipli simultanei non possono far crashare il sistema.

E se il sistema dovesse bloccarsi? E se gli utenti si moltiplicassero e dovessi scalare? Gli utenti saprebbero istintivamente come usarlo? Database, server, storage di oggetti, domini, DNS, uno per uno, devi farli funzionare correttamente. Ogni pezzo sembra a posto da solo, ma come li colleghi insieme in modo che le persone possano usare il tuo servizio senza problemi? C'è sempre qualcos'altro, e qualcos'altro dopo ancora.

L'IA può aiutare. Ma se sia giusto o cosa fare quando qualcosa si rompe, quello dipende ancora da te.

Allora perché continuare? Perché ho promesso. Ho promesso alle persone che lo volevano, ho promesso a me stesso. Quell'idea mi ha fatto andare avanti.

Ora, finalmente, posso consegnare.

Si chiama SoulDub, doppiaggio con anima. Supporta 30 lingue e alcuni dialetti.

Usarlo è semplice:

Modo web: Vai su souldub.ai, carica un video, scegli una lingua, premi start. Questo è tutto.

Modo agente: Cerca github-souldub-skills nel tuo browser e installalo tramite il tuo Agente preferito (ChatGPT, Claude, Gemini, ecc.) e fallo installare la skill.

Dopo di ciò, il tuo Agente può tradurre i tuoi video locali. Il video tradotto e i sottotitoli si scaricano automaticamente nella cartella del video originale.

I video di entrambi i metodi compaiono nel tuo account SoulDub.

Un altro elemento critico: revisione ed editing manuale.

Se un sottotitolo non è del tutto corretto, se una voce doppiata necessita di aggiustamenti, lo modifichi direttamente sul sito. L'IA fa il primo passaggio, poi tu perfezioni le parti che ti interessano. La qualità continua a migliorare.

A proposito di questo, mi piacerebbe parlare con te sul fatto se usare SoulDub costi effettivamente qualcosa.

Per essere franco: puoi usarlo gratis ogni mese, ma non illimitatamente gratis.

La potenza di calcolo viene noleggiata dai server cloud, e lo stesso vale per lo storage. Ogni mese, quando arriva la bolletta del provider cloud, dobbiamo pagarla affinché i server continuino a funzionare.

Molte persone pensano che sarebbe meglio tradurre i video senza spendere nulla. Capisco davvero quel sentimento. Pensavo la stessa cosa quando cercavo strumenti da solo.

Ma quando sei tu a mantenere un servizio, sei tu a pagare il conto. Se non riesci a gestirlo, la cosa semplicemente non può durare.

Se hai usato SoulDub, ti prego di condividere i tuoi feedback con me in qualsiasi momento. Miglioriamolo insieme.

Grazie ai lettori che mi hanno dato dei feedback un anno fa, quando stavo appena iniziando ad avere un'idea.

E grazie a me stesso, per la perseveranza durante quest'ultimo anno.

Ora, lasciatemi condividere alcune riflessioni sull'intelligenza artificiale che ho raccolto quest'anno.

L'IA ha trasformato alcune cose che prima potevano solo essere immaginate in realtà.

Proprio come la traduzione vocale dei video, in realtà è stata creata. Solo questo da solo è sufficiente a entusiasmarmi.

Ma a parte l'entusiasmo, c'è qualcosa di cui sono diventato sempre più sicuro quest'anno.

L'IA, per quanto potente, è solo uno strumento.

Possiamo tenerlo vicino in ogni momento, ma non possiamo tenerlo davanti a noi in ogni momento, facendo tutto per noi.

È come usare un martello per conficcare un chiodo. I tuoi occhi devono osservare il chiodo e il legno, e le tue mani devono sentire ogni vibrazione che il martello restituisce.

Se i tuoi occhi sono solo sul martello e le tue mani non toccano più il legno, alla fine dimentichi come è fatto il chiodo, dimentichi la sensazione del legno, dimentichi cosa significa la vibrazione.

Ma queste sono le sensazioni che la vita dovrebbe dare.

Quindi, quando ho costruito SoulDub, ho insistito per inserire funzioni di revisione e modifica umana direttamente nel nucleo. Non importa quanto l'IA diventi potente, non può fare a meno del coinvolgimento umano. Senza il coinvolgimento umano, non c'è personalità. Senza personalità, non c'è anima.

Il mondo si costruisce pezzo per pezzo nelle interazioni tra le persone, tra le persone e le cose, tra le persone e le circostanze.

Un fiore si chiama fiore perché lo chiamiamo fiore. Un albero si chiama albero perché lo chiamiamo albero.

Ecco perché gli animali non hanno mondo, solo gli esseri umani ce l'hanno. Sembra un'esagerazione, ma ci pensa. È vero.

Il mio mondo non può essere costruito da me gestendo l'IA, e poi lasciando che l'IA gestisca persone, cose e circostanze al mio posto. Quello sarebbe il mondo dell'IA, non il mio.

Il mio mondo deve essere costruito da me interagendo direttamente con le persone, con le cose, con le circostanze. Devo costruirlo con le mie mani. E solo allora, per certe questioni su cui ho ancora giudizio, dovrei lasciare che l'IA intervenga.

Quello è il mio mondo, non quello dell'IA.

Che importa a me se un fiore sboccia e cade sulle montagne? Conta nel momento in cui vado a vederlo io stesso.

Se lascio che l'IA lo veda per me, il mio cuore e quel fiore rimangono ugualmente silenziosi. Il fatto che non mi muoverò nemmeno per vederlo significa che quel fiore non è mai stato davvero nel mio cuore fin dall'inizio.

Se vivo in questo modo troppo a lungo, il mio cuore non diventerebbe vuoto?

È passato un anno. Finalmente, posso scrivere questo saggio.

Grazie per aver letto fin qui.