Fatigué des sous-titres étrangers, j'ai créé un outil de traduction vocale de vidéos pour moi-même

Un soir l'année dernière, je regardais une vidéo technologique intéressante sur mon ordinateur. Elle était en anglais avec des sous-titres chinois. En regardant, une pensée m'a traversé l'esprit : j'aimerais pouvoir simplement écouter la version chinoise. Pas besoin de fixer les sous-titres tout le temps. Je pourrais écouter pendant mon trajet, avant de me coucher, partout.

Finalement, je l'ai vraiment construit.

Regardez ce clip de film traduit de Chinois en anglais 👇

Mais à partir du moment où l'idée m'est venue de créer un produit que tout le monde pourrait utiliser, cela a pris beaucoup plus de temps que je ne l'attendais.

Après que l'idée est venue, j'ai essayé quelques outil de traduction vidéo. La traduction chinoise était là, mais quelque chose semblait toujours étrange quand j'écoutais.

La personne dans la vidéo était toujours là, mais ce n'était plus leur voix. L'émotion dans la façon dont ils prononçaient chaque phrase, également disparue.

Imaginez un visage que vous connaissez bien, parlant soudainement sur un ton différent, avec une voix différente. Vous pouvez suivre le sens, mais cette connexion se rompt. C'est comme regarder une personne familière tout en entendant un étranger parler à sa place.

Ce que je voulais vraiment était simple. Traduire la langue de la vidéo, mais garder la voix originale intacte. Conserver l'émotion, la nuance dans la façon dont chaque mot est prononcé. Ces petits détails dans une voix comptent. La même phrase dite doucement ou avec force a un impact complètement différent.

J'ai cherché un peu et j'ai trouvé une approche modèle. À l'époque, les options étaient limitées, mais la qualité de conservation de la voix de cette approche m'a donné de l'espoir.

Avoir un modèle est une chose. Obtenir une vidéo terminée en est une autre. L'inférence était terriblement lente, et je ne pouvais pas simplement lancer une vidéo entière et attendre un résultat parfaitement traduit avec l'audio synchronisé avec la vidéo, tout en préservant la musique de fond. J'ai dû tout connecter moi-même.

Après avoir partagé quelques échantillons, pas mal de gens ont demandé si je pouvais en faire un outil que tout le monde pourrait utiliser.

Regardez ce clip traduit du chinois vers l'anglais 👇

Il est en soi assez intéressant d'entendre un personnage familier parler une autre langue. Ce qui m'importe davantage, cependant, c'est de savoir si je peux encore reconnaître l'ambiance originale de ce personnage après le changement de langue.

Regardez ce clip traduit de Japonais vers Chinois 👇

L'expression des émotions dans les anime est relativement distincte. Vous pouvez faire attention aux intonations des personnages lorsqu'ils parlent.

Revenons à l'exigence originale, traduisez la vidéo en anglais en chinois.

Regardez ce clip traduit de Anglais vers Chinois 👇

Revenons à ce que nous étions en train de dire. Après avoir partagé quelques exemples, pas mal de gens ont demandé si je pouvais en faire un outil que tout le monde pourrait utiliser. Je pensais la même chose. Honnêtement, avec le codage assisté par l'IA, je pensais que ce serait rapide, n'est-ce pas ? Le pipeline de traduction principal fonctionnait. Tout le reste ? Juste construire un site web pour les téléchargements de vidéos.

Il s'avère que cela a pris un an.

Il s'avère que construire quelque chose que l'on peut présenter et construire quelque chose que les gens peuvent utiliser de manière fiable sont des choses très différentes. En l'utilisant moi-même, tout ce dont j'avais besoin était un traitement vidéo approprié. Mais pour les autres, j'avais besoin d'enregistrement, de connexion, de persistance des données. Les données d'un utilisateur ne doivent pas se répandre chez un autre. Plusieurs téléchargements simultanés ne doivent pas faire planter le système.

Et si le système tombe en panne ? Et si les utilisateurs se multiplient et que je dois passer à l'échelle ? Les utilisateurs sauraient-ils instinctivement comment l'utiliser ? Bases de données, serveurs, stockage d'objets, domaines, DNS, un par un, il faut les configurer correctement. Chaque élément semble correct individuellement, mais comment les connecter pour que les gens puissent utiliser votre service facilement ? Il y a toujours quelque chose d'autre, et encore quelque chose après cela.

L'IA peut aider. Mais savoir si c'est correct, que faire quand quelque chose se casse, c'est toujours à vous de décider.

Alors pourquoi continuer ? Parce que j'ai promis. J'ai promis aux gens qui voulaient ça, je me suis promis à moi-même. Cette pensée m'a fait continuer.

Maintenant, enfin, je peux livrer.

Ça s'appelle SoulDub, doublage avec âme. Il prend en charge 30 langues et certains dialectes.

L'utiliser est simple :

Chemin web : Allez sur souldub.ai, téléchargez une vidéo, choisissez une langue, appuyez sur démarrer. C'est tout.

Méthode de l'agent : Recherchez github-souldub-skills dans votre navigateur et installez-le via votre agent préféré (ChatGPT, Claude, Gemini, etc.) et faites-lui installer la compétence.

Après cela, votre agent peut traduire vos vidéos locales. La vidéo traduite et les sous-titres se téléchargent automatiquement dans le dossier de la vidéo originale.

Les vidéos des deux méthodes apparaissent dans votre compte SoulDub.

Un autre élément critique : la révision et l'édition manuelles.

Si un sous-titre n'est pas tout à fait correct, si une voix doublée a besoin d'ajustement, vous l'éditez directement sur le site. L'IA fait le premier passage, puis vous affinez les parties qui vous importent. La qualité continue d'augmenter.

À ce propos, j'aimerais discuter avec vous pour savoir si l'utilisation de SoulDub coûte réellement quelque chose.

Pour être franc : vous pouvez l'utiliser gratuitement chaque mois, mais pas gratuitement de manière illimitée.

La puissance informatique est louée à partir de serveurs cloud, tout comme le stockage. Chaque mois, lorsque la facture du fournisseur cloud arrive, nous devons la payer pour que les serveurs continuent de fonctionner.

Beaucoup de gens pensent qu'il serait préférable de traduire des vidéos sans rien dépenser du tout. Je comprends vraiment ce sentiment. Je pensais de la même manière lorsque je cherchais des outils moi-même.

Mais quand c'est vous qui assurez un service, c'est vous qui payez la note. Si vous ne pouvez pas le gérer, la chose ne peut tout simplement pas durer.

Si vous avez utilisé SoulDub, veuillez partager vos commentaires avec moi à tout moment. Améliorons-le ensemble.

Merci aux lecteurs qui m'ont donné leur avis il y a un an, alors que je commençais à peine à avoir une idée.

Et merci à moi-même, pour la persévérance au cours de cette dernière année.

Maintenant, laissez-moi partager quelques réflexions sur l'intelligence artificielle que j'ai recueillies cette année.

L'IA a transformé certaines choses qui ne pouvaient auparavant être qu'imaginées en réalité.

Comme la traduction vocale des vidéos, cela a en fait été construit. Rien que cela suffit à m'enthousiasmer.

Mais mis à part l'excitation, il y a quelque chose dont je suis devenu de plus en plus certain cette année.

L'IA, peu importe sa puissance, n'est qu'un outil.

Nous pouvons le garder près de nous à tout moment, mais nous ne pouvons pas le garder devant nous à tout moment, en faisant tout pour nous.

C'est comme utiliser un marteau pour enfoncer un clou. Vos yeux doivent surveiller le clou et le bois, et vos mains doivent sentir chaque vibration que le marteau renvoie.

Si tes yeux ne sont que sur le marteau et que tes mains ne touchent plus le bois, tu finis par oublier à quoi ressemble le clou, oublier le toucher du bois, oublier ce que signifie la vibration.

Mais c'est ainsi que la vie devrait se sentir.

Donc, lors de la création de SoulDub, j'ai insisté pour intégrer les fonctions de révision et d'édition humaines directement dans le cœur. Peu importe la puissance de l'IA, elle ne peut se passer de l'intervention humaine. Sans intervention humaine, il n'y a pas de personnalité. Sans personnalité, il n'y a pas d'âme.

Le monde se construit petit à petit dans les interactions entre les personnes, entre les personnes et les choses, entre les personnes et les circonstances.

Une fleur s'appelle une fleur parce que nous l'appelons une fleur. Un arbre s'appelle un arbre parce que nous l'appelons un arbre.

C'est pourquoi les animaux n'ont pas de monde, seuls les humains en ont un. Cela semble exagéré, mais réfléchissez-y. C'est vrai.

Mon monde ne peut pas être construit en moi traitant avec l'IA, puis en laissant l'IA traiter avec les gens, les choses et les circonstances en mon nom. Ce serait le monde de l'IA, pas le mien.

Mon monde doit être construit par moi en m'engageant directement avec les gens, avec les choses, avec les circonstances. Je dois le construire de mes propres mains. Et seulement alors, pour certaines questions où j'ai encore du jugement, devrais-je laisser l'IA intervenir.

C'est mon monde, pas celui de l'IA.

Quelle importance cela a-t-il pour moi si une fleur éclot et tombe dans les montagnes ? Cela importe au moment où j'irai la voir moi-même.

Si je laisse l'IA le voir pour moi, mon cœur et cette fleur restent également silencieux. Le fait que je ne bouge même pas pour la voir signifie que cette fleur n'a en réalité jamais été dans mon cœur dès le départ.

Si je vis ainsi trop longtemps, mon cœur ne deviendrait-il pas vide ?

Une année s'est écoulée. Enfin, je peux écrire cet essai.

Merci d'avoir lu jusqu'ici.