Cansado de legendas estrangeiras, eu construí uma ferramenta de tradução de voz em vídeo para mim mesmo

Uma noite do ano passado, eu estava assistindo a um vídeo tecnológico perspicaz no meu computador. Estava em inglês com legendas em chinês. Enquanto eu assistia, um pensamento me ocorreu: eu gostaria de poder apenas ouvir a versão em chinês. Não precisaria ficar olhando para as legendas o tempo todo. Poderia ouvir durante o trajeto, antes de dormir, em qualquer lugar.

Eventualmente, eu realmente construí isso.

Assista a este clipe de filme traduzido de Chinês para Inglês 👇

Mas desde o momento em que a ideia me veio de criar um produto que todos pudessem usar, levou muito mais tempo do que eu esperava.

Depois que a ideia surgiu, eu tentei alguns ferramenta de tradução de vídeos. A tradução para o chinês estava lá, mas algo sempre parecia estranho quando eu ouvia.

A pessoa no vídeo ainda estava lá, mas já não era mais a voz dela. A emoção com que falava cada frase também havia desaparecido.

Imagine um rosto que você conhece bem, de repente falando em um tom diferente, uma voz diferente. Você consegue acompanhar o significado, mas essa conexão se rompe. É como assistir a uma pessoa familiar enquanto ouve um estranho falar por ela.

O que eu realmente queria era simples. Traduzir o idioma do vídeo, mas manter a voz original intacta. Manter a emoção, a nuance de como cada palavra é dita. Esses pequenos detalhes em uma voz importam. A mesma frase dita suavemente versus com força te impacta de maneira completamente diferente.

Pesquisei por aí e encontrei uma abordagem modelo. Na época, as opções eram limitadas, mas a qualidade de preservação da voz dessa abordagem me deu esperança.

Ter um modelo é uma coisa. Obter um vídeo finalizado é outra. A inferência foi dolorosamente lenta, e eu não podia simplesmente passar um vídeo inteiro e esperar uma saída perfeitamente traduzida com o áudio sincronizado com o vídeo, tudo isso preservando a música de fundo. Eu tive que conectar tudo sozinho.

Depois que compartilhei algumas amostras, várias pessoas perguntaram se eu poderia transformá-las em uma ferramenta que todos pudessem usar.

Assista a este clipe traduzido do chinês para o inglês 👇

É bastante interessante por si só ouvir um personagem familiar falando outra língua. O que me importa mais, porém, é se ainda consigo reconhecer a vibração original desse personagem após a troca de idioma.

Assista a este clipe traduzido de Japonês para Chinês 👇

A expressão emocional em anime é relativamente distinta. Você pode prestar atenção aos tons dos personagens quando eles falam.

De volta ao requisito original, traduza o vídeo em inglês para o chinês.

Assista a este clipe traduzido de Inglês para Chinês 👇

Voltando ao que estávamos dizendo. Depois que compartilhei alguns exemplos, várias pessoas perguntaram se eu poderia transformar isso em uma ferramenta que todo mundo pudesse usar. Eu também achei o mesmo. Honestamente, com programação assistida por IA, achei que seria rápido, certo? O pipeline principal de tradução estava funcionando. Todo o resto? Só construir um site para uploads de vídeos.

Acontece que levou um ano.

Acontece que construir algo que você pode demonstrar e construir algo que as pessoas podem usar de forma confiável são coisas muito diferentes. Usando eu mesmo, tudo que eu precisava era de processamento de vídeo adequado. Mas para os outros, eu precisava de registro, login, persistência de dados. Os dados de um usuário não podem vazar para outro. Uploads múltiplos simultâneos não podem travar o sistema.

E se o sistema cair? E se os usuários se multiplicarem e eu precisar escalar? Os usuários saberiam instintivamente como usá-lo? Bancos de dados, servidores, armazenamento de objetos, domínios, DNS, um por um, você tem que acertar todos. Cada peça parece boa sozinha, mas como você as conecta para que as pessoas possam usar seu serviço de forma tranquila? Sempre há outra coisa, e outra coisa depois disso.

A IA pode ajudar. Mas se está certo, o que fazer quando algo quebra, isso ainda depende de você.

Então por que continuar? Porque eu prometi. Prometi às pessoas que queriam isso, prometi a mim mesmo. Esse pensamento me manteve seguindo em frente.

Agora, finalmente, eu posso entregar.

Chama-se SoulDub, dublagem com alma. Suporta 30 idiomas e alguns dialetos.

Usá-lo é simples:

Modo web: Vá para souldub.ai, faça upload de um vídeo, escolha um idioma, clique em iniciar. É isso.

Modo do agente: Pesquise por github-souldub-skills no seu navegador e instale-o através do seu agente preferido (ChatGPT, Claude, Gemini, etc.) e faça com que ele instale a habilidade.

Depois disso, seu Agente pode traduzir seus vídeos locais. O vídeo traduzido e as legendas são baixados automaticamente para a pasta do vídeo original.

Vídeos de ambos os métodos aparecem na sua conta SoulDub.

Mais um item crítico: revisão e edição manual.

Se uma legenda não estiver muito certa, se uma voz dublada precisar de ajuste, você a edita diretamente no site. A IA faz a primeira passagem, depois você refina as partes que são importantes para você. A qualidade continua melhorando.

Falando sobre isso, eu gostaria de conversar com você sobre se usar o SoulDub realmente custa alguma coisa.

Para ser franco: você pode usá-lo de graça todo mês, mas não de forma ilimitada.

O poder de computação é alugado de servidores em nuvem, assim como o armazenamento. Todo mês, quando a fatura do provedor de nuvem chega, temos que pagá-la para que os servidores continuem funcionando.

Muitas pessoas acham que seria melhor traduzir vídeos sem gastar nada. Eu realmente entendo esse sentimento. Eu costumava pensar da mesma forma quando procurava ferramentas por conta própria.

Mas quando você é quem mantém um serviço, é você quem paga a conta. Se você não consegue lidar com isso, a coisa simplesmente não pode durar.

Se você usou o SoulDub, por favor, compartilhe seu feedback comigo a qualquer momento. Vamos torná-lo melhor juntos.

Obrigado aos leitores que me deram feedback há um ano, quando eu estava apenas começando a ter uma ideia.

E obrigado a mim mesmo, pela persistência ao longo deste último ano.

Agora, deixe-me compartilhar algumas reflexões sobre IA que reuni este ano.

A IA transformou algumas coisas que antes só poderiam ser imaginadas em realidade.

Como a tradução de voz em vídeo, isso na verdade foi construído. Só isso já é o suficiente para me animar.

Mas deixando a empolgação de lado, há algo de que tenho me tornado cada vez mais certo este ano.

IA, não importa quão poderosa seja, é apenas uma ferramenta.

Podemos mantê-lo perto o tempo todo, mas não podemos mantê-lo na nossa frente o tempo todo, fazendo tudo por nós.

É como usar um martelo para pregar um prego. Seus olhos precisam observar o prego e a madeira, e suas mãos precisam sentir cada vibração que o martelo transmite de volta.

Se seus olhos estão apenas no martelo e suas mãos não tocam mais a madeira, eventualmente você esquece como o prego é, esquece a sensação da madeira, esquece o que significa vibração.

Mas é assim que a vida deveria parecer.

Então, ao criar o SoulDub, eu insisti em colocar funções de revisão e edição humanas diretamente no núcleo. Não importa o quão avançada a IA se torne, ela não consegue funcionar sem a participação humana. Sem a participação humana, não há personalidade. Sem personalidade, não há alma.

O mundo é construído aos poucos nas interações entre as pessoas, entre pessoas e coisas, entre pessoas e circunstâncias.

Uma flor é chamada de flor porque nós a chamamos de flor. Uma árvore é chamada de árvore porque nós a chamamos de árvore.

É por isso que os animais não têm mundo, apenas os humanos têm. Parece exagero, mas pense sobre isso. É verdade.

Meu mundo não pode ser construído por mim lidando com a IA, e depois deixando a IA lidar com pessoas, coisas e circunstâncias em meu nome. Isso seria o mundo da IA, não o meu.

Meu mundo precisa ser construído por mim, engajando-me diretamente com as pessoas, com as coisas, com as circunstâncias. Eu tenho que construí-lo com minhas próprias mãos. E só então, para certas questões nas quais ainda tenho julgamento, devo deixar a IA intervir.

Esse é o meu mundo, não o da IA.

O que me importa se uma flor floresce e cai nas montanhas? O que importa é o momento em que eu mesmo vou vê-la.

Se eu deixar a IA ver isso por mim, meu coração e aquela flor permanecem igualmente silenciosos. O fato de eu nem me mover para vê-la significa que aquela flor nunca esteve realmente em meu coração desde o início.

Se eu viver assim por muito tempo, meu coração não acabaria ficando vazio?

Um ano se passou. Finalmente, posso escrever este ensaio.

Obrigado por ler até aqui.