外国の字幕に疲れたので、自分のために動画音声翻訳ツールを作りました

昨年のある夕方、私は自分のコンピュータで洞察に満ちたテック系の動画を見ていました。それは英語で、中国語の字幕が付いていました。見ているとき、ふと思いました。中国語版だけを聞けたらいいのに。ずっと字幕を見ている必要はない。通勤中にも、寝る前にも、どこでも聞くことができるのに。

最終的に、私は実際にそれを作りました。

この映画のクリップを中国語から英語から翻訳したものを見てください👇

しかし、誰もが使える製品を作ろうというアイデアが浮かんだ瞬間から、それを実現するまでには予想以上に時間がかかりました。

そのアイデアが浮かんだ後、いくつかのビデオ翻訳ツールを試してみました。中国語の翻訳はありましたが、聴くたびに何かがいつも違和感を感じました。

ビデオに映っていた人はまだそこにいたが、もはや彼らの声ではなかった。彼らが一つ一つの文を話すときの感情も、消えていた。

よく知っている顔が、突然異なる口調、異なる声で話し始めることを想像してください。意味は理解できますが、そのつながりは途切れます。それは、親しい人を見ながら、知らない人がその人の代わりに話しているのを聞くようなものです。

私が本当に望んでいたのは単純でした。動画の言語を翻訳すること、でも元の声はそのままにすること。感情や、彼らが一つ一つの言葉をどのように言うかのニュアンスを保つこと。声の中のこうした小さな細部が重要です。同じ文でも、優しく言うのと力強く言うのでは、受ける印象がまったく違います。

私はあちこち探して、モデルとなるアプローチを見つけました。当時は選択肢が限られていましたが、このアプローチの声の保存品質には希望を感じました。

モデルを持つことと、完成した動画を手に入れることは別のことです。推論は非常に遅く、動画全体を投げ込んで、動画に同期した音声で完全に翻訳された出力を背景音楽を保持したまま得ることはできませんでした。すべて自分で接続する必要がありました。

いくつかのサンプルを共有した後、かなり多くの人がそれを皆が使えるツールに変えられるかどうか尋ねました。

このクリップは中国語から英語に翻訳されたものを見てください 👇

おなじみのキャラクターが別の言語で話すのを聞くのは、それ自体とても面白いことです。しかし、私がもっと気にしているのは、言語が変わった後でもそのキャラクターの元の雰囲気をまだ認識できるかどうかです。

このクリップを 日本語から中国語 から翻訳して見てください 👇

アニメにおける感情表現は比較的はっきりしています。キャラクターが話す時の口調に注目すると良いでしょう。

元の要件に戻ると、英語のビデオを中国語に翻訳してください。

このクリップを 英語から中国語へ から翻訳して見てください 👇

さっき話していたことに戻ります。いくつかのサンプルを共有した後、かなり多くの人が、それを誰でも使えるツールにできるかどうか尋ねました。私もそう思いました。正直言って、AI支援のコーディングがあれば、速いだろうと思ったんです。コアの翻訳パイプラインは動いていました。他のことは？ただ動画をアップロードするためのウェブサイトを作るだけでした。

結局、それには1年かかった。

デモ用に何かを作ることと、人々が確実に使用できるものを作ることは非常に異なることだとわかった。自分で使う場合、必要だったのは適切なビデオ処理だけだった。しかし他の人のためには、登録、ログイン、データの永続化が必要だった。あるユーザーのデータが別のユーザーに漏れてはいけない。複数の同時アップロードがシステムをクラッシュさせてはいけない。

もしシステムがダウンしたらどうする？もしユーザーが増えてスケールする必要が出たら？ユーザーは本能的に使い方がわかるだろうか？データベース、サーバー、オブジェクトストレージ、ドメイン、DNS、それぞれを一つずつ正しく設定しなければならない。それぞれの部品は単体では問題なさそうに見えるが、それらをどう結び付けて人々がスムーズにサービスを使えるようにするのか？常に他にやるべきことがあり、その後にもまたやることがある。

AIは役に立つことができます。しかし、それが正しいかどうか、何かが壊れたときにどうするかは、依然としてあなた次第です。

じゃあ、なぜ続けるのか？それは約束したからだ。望んでいた人々に、そして自分自身に約束した。その考えが私を前に進ませてくれた。

さあ、ようやく私は成果を出すことができる。

それはソウルダブと呼ばれ、魂を込めた吹き替えです。30の言語といくつかの方言に対応しています。

使い方は簡単です：

ウェブの方法：souldub.ai にアクセスし、動画をアップロードし、言語を選び、スタートを押す。それだけです。

エージェントの方法: ブラウザで github-souldub-skills を検索し、お好みのエージェント（ChatGPT、Claude、Gemini など）を使ってインストールし、スキルをインストールさせてください。

その後、あなたのエージェントはローカルの動画を翻訳できます。翻訳された動画と字幕は、元の動画のフォルダに自動的にダウンロードされます。

両方の方法で作成された動画は、あなたのSoulDubアカウントに表示されます。

もう一つ重要な要素：手動によるレビューと編集。

もし字幕が完全に正しくない場合や、吹き替えの声を調整する必要がある場合は、サイト上で直接編集します。AIが最初の処理を行い、その後、あなたにとって重要な部分を微調整します。品質は向上し続けます。

このことについてですが、SoulDubを使うのに実際に費用がかかるかどうかについて話したいです。

率直に言うと：毎月無料で使えますが、無制限に無料ではありません。

コンピューティングパワーはクラウドサーバーから借りており、ストレージも同様です。毎月クラウドプロバイダーの請求書が届くと、サーバーが稼働し続けるように支払わなければなりません。

多くの人は、まったくお金をかけずに動画を翻訳するのが最善だと考えています。その気持ちは本当に理解できます。私自身もツールを探していたときは、同じように考えていました。

しかし、サービスを維持しているのがあなたであれば、請求書を支払うのもあなたです。もしそれに耐えられなければ、そのものは単純に続けることができません。

もしSoulDubを使ったことがあるなら、いつでも私にフィードバックを共有してください。一緒により良くしていきましょう。

アイデアを思いつき始めたばかりの一年前に、フィードバックをくれた読者の皆さんに感謝します。

そして、この過去一年間の粘り強さに対して、自分自身にも感謝します。

さて、今年私が集めたAIに関する考えをいくつか共有させてください。

AIは以前は想像することしかできなかったいくつかのことを現実のものにしました。

動画の音声翻訳のように、実際に作られました。これだけでも私はワクワクします。

しかし、ワクワクはさておき、今年、私がますます確信するようになったことがあります。

どれだけ強力であっても、AIは単なる道具にすぎません。

私たちはそれを常に身近に置くことはできますが、私たちの前に常に置き、すべてのことを私たちのために行わせることはできません。

それはまるで釘を打つのにハンマーを使うようなものです。目は釘と木材を見なければならず、手はハンマーから返ってくるすべての振動を感じる必要があります。

もしあなたの目がただハンマーだけに向けられ、手がもう木に触れなくなったなら、やがて釘の見た目を忘れ、木の感触を忘れ、振動が何を意味するのかを忘れてしまうでしょう。

でも、これこそが人生に感じるべきものです。

だからSoulDubを作るとき、私は人間によるレビューと編集機能をコアに組み込むことにこだわりました。どんなにAIが進化しても、人間の関与なしには成り立ちません。人間の関与がなければ、個性はありません。個性がなければ、魂はありません。

世界は、人と人の間、人と物の間、人と状況の間の相互作用の中で少しずつ築かれていく。

花は花と呼ぶから花と呼ばれます。木は木と呼ぶから木と呼ばれます。

だから動物には世界がなく、人間にだけ世界があるのです。無理があるように聞こえるかもしれませんが、考えてみてください。それは本当です。

私の世界は、私がAIと関わり、それからAIに人々や物事、状況を私の代わりに扱わせることで構築されるわけではありません。それは私の世界ではなく、AIの世界になるでしょう。

私の世界は、人々や物事、状況と直接関わることで私自身が築かなければなりません。私は自分の手でそれを築く必要があります。そして、まだ判断が必要な特定の問題についてのみ、AIに介入させるべきです。

それは私の世界であって、AIのものではない。

山で花が咲いて散ることが、私に何の関係があるでしょうか？自分でそれを見に行く瞬間に初めて重要になります。

もし私がAIにそれを見てもらったとしても、私の心とその花は同じように沈黙したままだ。自分で見ようともしないという事実は、その花がそもそも私の心の中に本当に存在していなかったということを意味している。

もし私がこんな生き方を長く続けたら、私の心は空っぽになってしまうのではないだろうか？

一年が過ぎました。ついに、このエッセイを書くことができます。

ここまで読んでくれてありがとうございます。