Cansado de los subtítulos extranjeros, construí una herramienta de traducción de voz para videos para mí

Una tarde del año pasado, estaba viendo un video tecnológico muy interesante en mi computadora. Estaba en inglés con subtítulos en chino. Mientras miraba, se me ocurrió un pensamiento: desearía poder simplemente escuchar la versión en chino. No necesitaría mirar los subtítulos todo el tiempo. Podría escuchar durante mi viaje, antes de dormir, en cualquier lugar.

Eventualmente, en realidad lo construí.

Mira este clip de película traducido de Chino a inglés 👇

Pero desde el momento en que se me ocurrió la idea de crear un producto que todos pudieran usar, tomó mucho más tiempo de lo que esperaba.

Después de que surgió la idea, probé algunos herramienta de traducción de videos. La traducción al chino estaba ahí, pero algo siempre se sentía extraño cuando escuchaba.

La persona en el video todavía estaba allí, pero ya no era su voz. La emoción en cómo pronunciaban cada frase, también se había ido.

Imagina un rostro que conoces bien, de repente hablando con un tono diferente, una voz diferente. Puedes seguir el significado, pero esa conexión se rompe. Es como ver a una persona familiar mientras escuchas a un extraño hablar por ella.

Lo que realmente quería era simple. Traducir el idioma del video, pero mantener la voz original intacta. Mantener la emoción, el matiz en cómo dicen cada palabra. Estos pequeños detalles en una voz importan. La misma frase dicha suavemente versus con fuerza te impacta de manera completamente diferente.

Busqué por todas partes y encontré un enfoque modelo. En ese momento, las opciones eran limitadas, pero la calidad de preservación de la voz de este enfoque me dio esperanzas.

Tener un modelo es una cosa. Conseguir un video terminado es otra. La inferencia era dolorosamente lenta, y no podía simplemente lanzar un video completo y esperar una salida perfectamente traducida con el audio sincronizado con el video, todo mientras se preservaba la música de fondo. Tuve que conectar todo yo mismo.

Después de que compartí algunas muestras, bastantes personas preguntaron si podría convertirlo en una herramienta que todos pudieran usar.

Mira este clip traducido del chino al inglés 👇

Es bastante interesante en sí mismo escuchar a un personaje familiar hablando otro idioma. Lo que me importa más, sin embargo, es si todavía puedo reconocer la vibra original de ese personaje después del cambio de idioma.

Mira este clip traducido de Japonés a Chino 👇

La expresión emocional en el anime es relativamente distinta. Puedes prestar atención a los tonos de los personajes cuando hablan.

Volviendo al requisito original, traduzca el video en inglés al chino.

Mira este clip traducido de Inglés a chino 👇

Volviendo a lo que estábamos diciendo. Después de que compartí algunas muestras, bastantes personas preguntaron si podría convertirlo en una herramienta que todos pudieran usar. Yo también lo pensé. Honestamente, con la codificación asistida por IA, supuse que sería rápido, ¿verdad? La tubería principal de traducción estaba funcionando. ¿Todo lo demás? Solo construir un sitio web para subir videos.

Resulta que tomó un año.

Resulta que construir algo que puedas mostrar y construir algo que las personas puedan usar de manera confiable son cosas muy diferentes. Usándolo yo mismo, todo lo que necesitaba era un procesamiento de video adecuado. Pero para otros, necesitaba registro, inicio de sesión, persistencia de datos. Los datos de un usuario no pueden filtrarse a otro. Múltiples cargas concurrentes no pueden hacer que el sistema se bloquee.

¿Qué pasa si el sistema se cae? ¿Qué pasa si los usuarios se multiplican y necesito escalar? ¿Los usuarios sabrían instintivamente cómo usarlo? Bases de datos, servidores, almacenamiento de objetos, dominios, DNS, uno por uno, tienes que hacerlos bien. Cada pieza parece estar bien por sí sola, pero ¿cómo las conectas para que la gente pueda usar tu servicio sin problemas? Siempre hay algo más, y algo más después de eso.

La IA puede ayudar. Pero si está bien, qué hacer cuando algo se rompe, eso sigue siendo responsabilidad tuya.

Entonces, ¿por qué seguir adelante? Porque lo prometí. Prometí a las personas que querían esto, me prometí a mí mismo. Ese pensamiento me mantenía en marcha.

Ahora, finalmente, puedo cumplir.

Se llama SoulDub, doblaje con alma. Soporta 30 idiomas y algunos dialectos.

Usarlo es sencillo:

Forma web: Ve a souldub.ai, sube un video, elige un idioma y pulsa iniciar. Eso es todo.

Manera del agente: Busca github-souldub-skills en tu navegador e instálalo a través de tu agente preferido (ChatGPT, Claude, Gemini, etc.) y haz que instale la habilidad.

Después de eso, tu Agente puede traducir tus videos locales. El video traducido y los subtítulos se descargan automáticamente en la carpeta del video original.

Los videos de ambos métodos aparecen en tu cuenta de SoulDub.

Una pieza crítica más: revisión y edición manual.

Si un subtítulo no está del todo correcto, si una voz doblada necesita ajuste, lo editas directamente en el sitio. La IA hace el primer pase, luego tú refinas las partes que te importan. La calidad sigue mejorando.

Hablando de esto, me gustaría conversar contigo sobre si usar SoulDub realmente cuesta algo.

Para ser franco: puedes usarlo gratis cada mes, pero no ilimitadamente gratis.

La potencia de cálculo se alquila de servidores en la nube, y lo mismo sucede con el almacenamiento. Cada mes, cuando llega la factura del proveedor de la nube, tenemos que pagarla para que los servidores sigan funcionando.

Mucha gente piensa que sería mejor traducir videos sin gastar nada en absoluto. Realmente entiendo ese sentimiento. Yo solía pensar de la misma manera cuando buscaba herramientas por mi cuenta.

Pero cuando eres tú quien mantiene un servicio, tú eres quien paga la factura. Si no puedes manejarlo, la cosa simplemente no puede durar.

Si has usado SoulDub, por favor comparte tus comentarios conmigo en cualquier momento. Hagámoslo mejor juntos.

Gracias a los lectores que me dieron retroalimentación hace un año, cuando apenas empezaba a tener una idea.

Y gracias a mí mismo, por la persistencia durante este último año.

Ahora, permítanme compartir algunas reflexiones sobre la IA que he recopilado este año.

La inteligencia artificial ha convertido en realidad algunas cosas que antes solo se podían imaginar.

Como la traducción de voz de videos, en realidad se construyó. Solo esto ya es suficiente para emocionarme.

Pero dejando de lado la emoción, hay algo de lo que me he ido convenciendo cada vez más este año.

La IA, por muy poderosa que sea, es solo una herramienta.

Podemos mantenerlo cerca en todo momento, pero no podemos mantenerlo frente a nosotros en todo momento, haciendo todo por nosotros.

Es como usar un martillo para clavar un clavo. Tus ojos necesitan mirar el clavo y la madera, y tus manos necesitan sentir cada vibración que el martillo devuelve.

Si tus ojos solo están puestos en el martillo y tus manos ya no tocan la madera, eventualmente olvidas cómo se ve el clavo, olvidas la sensación de la madera, olvidas lo que significa la vibración.

Pero estas son las que la vida debería sentirse.

Así que al construir SoulDub, insistí en incluir funciones de revisión y edición humana directamente en el núcleo. Por muy avanzada que sea la IA, no puede prescindir de la participación humana. Sin participación humana, no hay personalidad. Sin personalidad, no hay alma.

El mundo se construye poco a poco en las interacciones entre las personas, entre las personas y las cosas, entre las personas y las circunstancias.

Una flor se llama flor porque la llamamos flor. Un árbol se llama árbol porque lo llamamos árbol.

Por eso los animales no tienen mundo, solo los humanos lo tienen. Parece exagerado, pero piénsalo. Es verdad.

Mi mundo no puede ser construido por mí tratando con la IA, y luego dejando que la IA trate con personas, cosas y circunstancias en mi nombre. Ese sería el mundo de la IA, no el mío.

Mi mundo tiene que ser construido por mí al involucrarme directamente con las personas, con las cosas, con las circunstancias. Tengo que construirlo con mis propias manos. Y solo entonces, para ciertas preguntas donde aún tengo juicio, debería dejar que la IA intervenga.

Ese es mi mundo, no el de la IA.

¿Qué me importa si una flor florece y cae en las montañas? Me importa en el momento en que voy a verla yo mismo.

Si dejo que la IA lo vea por mí, mi corazón y esa flor permanecen igualmente silenciosos. El hecho de que ni siquiera me mueva para verla significa que esa flor nunca estuvo realmente en mi corazón desde el principio.

Si vivo así por demasiado tiempo, ¿no se volvería vacío mi corazón?

Ha pasado un año. Finalmente, puedo escribir este ensayo.

Gracias por leer hasta aquí.