← 返回部落格
使用指南2026年10月29日8 分鐘閱讀

厭倦了外語字幕,我為自己建立了一個影片語音翻譯工具

SoulDub 背後的故事:一年來打造能保留原始聲音與情感的影片語音翻譯,並以人工審核為核心。

去年某個晚上,我正在電腦上觀看一個有見地的科技影片。影片是英文的,但有中文字幕。觀看時,我突然想到:我希望我能直接聽中文版本。不需要一直盯著字幕。我可以在通勤時、睡前,或者任何地方聽。

最終,我真的把它建造出來了。

觀看這段由 中文到英文 翻譯的影片片段 👇

但是從我想到要創造一個人人都能使用的產品的那一刻起,到真正完成,花的時間比我預期的要長得多。

在有了這個想法之後,我嘗試了幾個 影片翻譯工具。有中文翻譯,但每當我聽的時候,總覺得有些不對勁。

影片中的人仍然在那裡,但已不再是他們的聲音。他們說每一句話時的情感,也消失了。

想像一張你熟悉的臉,突然以不同的語調、不同的聲音說話。你可以理解意思,但那份連結中斷了。就像看著一個熟悉的人,卻聽到陌生人在替他說話。

我真正想要的是很簡單的。翻譯影片的語言,但保留原始的聲音。保留他們說每個字時的情感和語氣。聲音中的這些小細節很重要。同一句話輕聲說和用力說,給你的感受完全不同。

我到處搜尋,並找到了一種模範方法。當時,選擇有限,但這種方法的聲音保留品質給了我希望。

有一個模型是一回事。得到一個完成的視頻又是另一回事。推理非常慢,我不能只是把整個視頻丟進去,然後等待完美翻譯的輸出,音頻與視頻同步,同時保留背景音樂。我必須自己把所有東西連接起來。

image.png

在我分享了一些樣本之後,相當多人問我是否可以把它變成一個大家都能使用的工具。

觀看這段從中文翻譯成英文的影片片段 👇

光是聽到一個熟悉的角色說另一種語言本身就相當有趣。不過,我更在意的是,在語言轉換之後,我是否仍然能認出那個角色原本的氣質。

觀看這段從 日文到中文 翻譯的片段 👇

動漫中的情感表達相對明顯。你可以注意角色說話時的語氣。

回到最初的要求,將英文視頻翻譯成中文。

觀看這段從 英語到中文 翻譯的片段 👇

回到我們剛才在說的話題。在我分享了一些範例之後,有相當多人問我是否可以把它變成一個大家都能使用的工具。我也這麼想。說實話,有了 AI 輔助編碼,我以為會很快,對吧?核心的翻譯流程已經在運作。其他的呢?只是建立一個用於上傳影片的網站而已。

結果,這花了一年時間。

結果發現,打造一個可以演示的東西和打造一個人們可以可靠使用的東西是兩碼事。我自己使用時,我所需的只是正確的視頻處理。但對其他人來說,我需要註冊、登錄、數據持久化。一個用戶的數據不能洩露給另一個用戶。多個同時上傳不能使系統崩潰。

如果系統當掉怎麼辦?如果使用者增加,我需要擴展怎麼辦?使用者會本能地知道怎麼使用它嗎?資料庫、伺服器、物件儲存、網域、DNS,一個接一個,你必須把它們弄對。每一個部分單獨看起來都沒問題,但你要怎麼把它們串接起來,好讓人們順利使用你的服務呢?總是還有其他事情,之後還會有更多事情。

人工智慧可以提供幫助。但它是否正確,當出現問題時該怎麼做,仍然取決於你自己。

那為什麼要繼續呢?因為我承諾過。我承諾過那些想要這個的人,也承諾過自己。這個念頭讓我一直堅持下去。

現在,終於,我可以兌現了。

它叫做 靈魂配音,為靈魂配音。它支持 30 種語言和一些方言。

image.png

使用它很簡單:

網頁方式:前往 souldub.ai,上傳影片,選擇語言,點擊開始。就這樣。

image.png

代理方法:在瀏覽器中搜索 github-souldub-skills,然後通過您偏好的代理(ChatGPT、Claude、Gemini 等)安裝它,並讓它安裝該技能。

image.png

之後,您的代理可以翻譯您的本地影片。翻譯後的影片和字幕會自動下載到原影片的資料夾中。

兩種方法的影片都會出現在你的 SoulDub 帳戶中。

還有一個關鍵部分:手動審查和編輯。

如果字幕不太正確,或者配音需要調整,你可以直接在網站上進行編輯。人工智慧會先做第一遍,然後你再微調對你重要的部分。品質會持續提升。

說到這個,我想和你聊聊使用 SoulDub 是否真的需要付費。

坦白說:你每個月可以免費使用,但不是無限免費。

計算能力是從雲端伺服器租來的,存儲也是如此。每個月當雲端供應商的帳單到達時,我們必須支付,以便伺服器繼續運行。

許多人認為最好在不花任何錢的情況下翻譯影片。我真心能理解這種感受。我以前在尋找工具時也曾有同樣的想法。

但是當你是維護一項服務的人時,你就是負擔帳單的人。如果你無法應付,它根本無法持續下去。

如果你使用過 SoulDub,請隨時與我分享你的反饋。讓我們一起把它做得更好。

感謝一年前給我反饋的讀者,那時我才剛開始有一個想法。

也感謝我自己,過去一年來的堅持。

現在,讓我分享一些我今年對人工智慧的反思。

人工智慧已將一些以前只能想像的事物變為現實。

像影片語音翻譯,實際上它確實被建造出來了。光是這一點就足以讓我感到興奮。

但撇開興奮不談,今年有一件事我越來越確定了。

人工智慧,不管多麼強大,都只是工具。

我們可以隨時將它保持在身邊,但我們無法隨時將它擺在我們面前,替我們做所有事情。

這就像用鐵鎚釘釘子。你的眼睛需要盯著釘子和木頭,而你的手需要感受鐵鎚傳回的每一次震動。

如果你的眼睛只盯著錘子,而你的手再也不觸碰木頭,最終你會忘記釘子的樣子,忘記木頭的觸感,忘記振動的意義。

但這些才是生活應該有的感覺。

所以在建構 SoulDub 時,我堅持將人工審核和人工編輯功能直接融入核心。無論 AI 多麼強大,都離不開人類的參與。沒有人的參與,就沒有個性。沒有個性,就沒有靈魂。

世界是透過人與人之間、人與事物之間、人與環境之間的互動一點一滴建構起來的。

花被稱為花,是因為我們稱它為花。樹被稱為樹,是因為我們稱它為樹。

這就是為什麼動物沒有世界,只有人類才有。聽起來有點牽強,但仔細想想,這是真的。

我的世界不能由我處理人工智慧,然後讓人工智慧替我處理人、事、物和情況來建構。那將是人工智慧的世界,而不是我的世界。

我的世界必須由我通過與人、事、境直接互動來建構。我必須親手去建立它。只有在我對某些問題仍有判斷的情況下,我才應該讓人工智慧介入。

那是我的世界,不是人工智慧的。

如果一朵花在山中綻放又凋落,對我有什麼關係呢?只有當我親自去看它的時候,它才重要。

如果我讓人工智慧替我看,那顆花與我的心一樣保持沉默。事實上,我甚至不去移動去看它,這意味著那朵花從一開始就在我的心裡並不存在。

如果我這樣生活太久,我的心會不會變得空洞?

一年過去了。終於,我可以寫這篇文章了。

感謝你看到這裡。

作者

Karl Voss

Souldub 產品經理,熱衷於人工智慧時代的人類價值、人機協作及 AI 產品體驗。