厌倦了外语字幕,我为自己做了一个视频语音翻译工具
SoulDub 背后的故事:一年时间打造的视频语音翻译,保留原声和情感,并以人工审核为核心。
去年的一个晚上,我正在电脑上观看一段有见地的科技视频。它是英文的,但有中文字幕。当我观看时,我心里一闪而过一个念头:我希望我能直接听中文版。不必一直盯着字幕看。我可以在通勤时、睡前,或任何时候听。
最终,我真的建造了它。
观看这段从 中文到英文 翻译来的电影片段 👇
但从我萌生出这个想法到创造出每个人都可以使用的产品,这个过程花的时间远比我预期的长。
这个想法出现后,我尝试了几个 视频翻译工具。有中文翻译,但每次我听的时候总感觉哪里不对。
视频中的人还在,但那已经不再是他们的声音。他们说每句话时的情感,也消失了。
想象一个你非常熟悉的脸庞,突然用不同的语调、不同的声音说话。你能理解意思,但那种联系断裂了。这就像看着一个熟悉的人,却听到陌生人为他们说话。
我真正想要的是很简单的。翻译视频的语言,但保持原声不变。保留情感,以及他们说每个词时的细微差别。在声音中的这些小细节很重要。同一句话轻声说和重声说,给人的感觉完全不同。
我四处搜索,找到了一个模型方法。那时,选择有限,但这种方法的语音保留质量让我充满希望。
拥有一个模型是一回事。得到一个完成的视频又是另一回事。推理速度非常慢,我不能只是把整个视频丢给它,然后等待完美翻译的输出,同时音频与视频同步,并保留背景音乐。我必须自己把所有东西连接起来。
在我分享了一些样品之后,相当多的人问我是否可以把它变成大家都能使用的工具。
观看这个从中文翻译成英文的片段 👇
听到一个熟悉的角色说另一种语言本身就相当有趣。不过,我更关心的是,在语言转换之后,我是否仍然能辨认出那个角色原本的气质。
观看这段从 日语到中文 翻译的片段 👇
动漫中的情感表达相对明显。你可以注意角色说话时的语气。
回到最初的要求,将英文视频翻译成中文。
观看这段从 英语到中文 翻译的片段 👇
回到我们刚才谈的话题。在我分享了一些样本之后,相当多的人问我是否可以把它变成一个每个人都可以使用的工具。我也这么认为。说实话,有了 AI 辅助的编码,我想速度会很快,对吧?核心翻译流程已经在运作。其他的呢?只是建立一个用于视频上传的网站。
原来,这花了一年时间。
事实证明,构建一个可以演示的东西和构建一个人们可以可靠使用的东西是非常不同的。自己使用时,我只需要合适的视频处理。但对于其他人,我需要注册、登录、数据持久化。一个用户的数据不能泄露给另一个用户。多个同时上传不能导致系统崩溃。
如果系统宕机怎么办?如果用户增加,我需要扩展怎么办?用户会本能地知道如何使用它吗?数据库、服务器、对象存储、域名、DNS,一项接一项,你必须正确配置它们。每一部分单独看起来都没问题,但你如何将它们连接起来,让人们能够顺畅地使用你的服务?总是会有其他问题,接着又会有下一个问题。
人工智能可以提供帮助。但它是否正确,以及出现问题时该怎么办,这仍然取决于你自己。
那么为什么要继续前进呢?因为我承诺过。我承诺过那些渴望这一切的人,也承诺过我自己。这个想法支撑着我继续前行。
现在,终于,我可以实现了。
它被称为 灵魂配音,用灵魂配音。它支持30种语言和一些方言。
使用它很简单:
网页方式:访问 souldub.ai,上传视频,选择语言,点击开始。就这么简单。
代理方式:在浏览器中搜索 github-souldub-skills,然后通过你偏好的代理(ChatGPT、Claude、Gemini 等)安装它,并让它安装该技能。
之后,您的代理可以翻译您的本地视频。翻译后的视频和字幕会自动下载到原视频的文件夹中。
两种方法的视频都会显示在你的 SoulDub 账户中。
还有一个关键环节:人工审核和编辑。
如果字幕不太正确,如果配音需要调整,你可以直接在网站上编辑。AI进行第一轮处理,然后你可以优化对你重要的部分。质量会不断提高。
说到这个,我想和你聊聊使用 SoulDub 是否真的需要付费。
坦白说:你每个月可以免费使用它,但不是无限制免费。
计算能力是从云服务器租来的,存储也是如此。每个月当云服务提供商的账单到来时,我们必须支付,这样服务器才能继续运行。
很多人认为最好在不花费任何费用的情况下翻译视频。我真的能理解这种感觉。我以前在寻找工具的时候也有同样的想法。
但当你是维护服务的人时,你就是那个付账的人。如果你应付不了,这件事就根本无法持续。
如果你使用过 SoulDub,请随时与我分享你的反馈。让我们一起把它做得更好。
感谢那些一年前给我反馈的读者,那时我才刚开始有一个想法。
感谢自己,在过去的一年里坚持不懈。
现在,让我分享一下我今年对人工智能的一些思考。
人工智能将一些以前只能想象的事情变成了现实。
像视频语音翻译一样,它实际上被实现了。仅这一点就足够让我兴奋了。
但撇开兴奋不谈,今年有一件事我变得越来越确定。
人工智能,无论多么强大,都只是一个工具。
我们可以随时让它靠近,但我们不能随时把它放在我们面前,为我们做所有事情。
这就像用锤子钉钉子。你的眼睛需要看着钉子和木头,而你的手需要感受锤子传回的每一次震动。
如果你的眼睛只盯着锤子,而你的手不再触碰木头,最终你会忘记钉子长什么样,忘记木头的触感,忘记震动意味着什么。
但这些才是生活应该有的感觉。
所以在构建 SoulDub 时,我坚持将人工审核和人工编辑功能直接放入核心。不管 AI 多强大,都离不开人的参与。没有人的参与,就没有个性。没有个性,就没有灵魂。
世界是在人与人之间、人与事物之间、人与环境之间的互动中一点一滴建立起来的。
一朵花之所以被称为花,是因为我们称它为花。一棵树之所以被称为树,是因为我们称它为树。
这就是为什么动物没有世界,只有人类有。听起来有些牵强,但仔细想想。这是真的。
我的世界不能由我通过与人工智能打交道,然后让人工智能代我处理人、事和环境来构建。那将是人工智能的世界,而不是我的。
我的世界必须由我亲自与人、与事、与环境互动来建立。我必须用自己的双手去建造它。只有在某些我仍有判断力的问题上,我才应该让人工智能介入。
那是我的世界,不是人工智能的世界。
如果一朵花在山里开了又谢,对我有什么关系?只有当我亲自去看它时,它才会重要。
如果我让人工智能帮我看,它和我的心依然保持同样的沉默。事实上,我甚至不去亲自看它,这意味着那朵花从一开始就从未真正存在于我的心中。
如果我这样生活太久,我的心会变得空虚吗?
一年过去了。我终于可以写这篇文章了。
感谢你读到这里。
作者
Karl Voss
Souldub 产品经理,热衷于人工智能时代的人类价值、人机协作以及人工智能产品体验。



