외국어 자막에 지쳐서, 나는 나를 위해 영상 음성 번역 도구를 만들었다

지난해 어느 저녁, 나는 컴퓨터로 통찰력 있는 기술 영상을 보고 있었습니다. 그 영상은 영어였고, 자막은 중국어였습니다. 영상을 보면서 문득 이런 생각이 들었습니다: 그냥 중국어 버전만 들을 수 있으면 좋겠다고. 자막을 계속 볼 필요 없이, 출퇴근길이나 잠자기 전, 어디서든 들을 수 있으면 좋겠습니다.

결국, 나는 그것을 실제로 만들었다.

이 영화 클립을 중국어에서 영어로에서 번역한 것을 시청하세요 👇

하지만 그 아이디어가 떠오른 순간부터 모두가 사용할 수 있는 제품을 만들기까지는 예상보다 훨씬 더 오래 걸렸습니다.

아이디어가 떠오른 후, 나는 몇 가지 비디오 번역 도구을 시도해 보았다. 중국어 번역도 있었지만, 들을 때마다 뭔가 항상 어색하게 느껴졌다.

영상 속 그 사람은 여전히 있었지만, 더 이상 그들의 목소리는 아니었다. 그들이 각 문장을 말할 때의 감정도 사라졌다.

잘 아는 얼굴이 갑자기 다른 톤, 다른 목소리로 말하는 것을 상상해 보세요. 의미는 따라갈 수 있지만, 그 연결은 끊어집니다. 친숙한 사람을 보면서 낯선 사람이 그 사람 대신 말하는 것을 듣는 것과 같습니다.

내가 진정으로 원했던 것은 단순했습니다. 비디오의 언어를 번역하되, 원래 목소리는 그대로 유지하는 것이었습니다. 그들이 각 단어를 말하는 방식의 감정과 뉘앙스를 유지하는 것이 중요합니다. 목소리의 이런 작은 디테일이 중요합니다. 같은 문장이라도 부드럽게 말하느냐 강하게 말하느냐에 따라 전혀 다르게 와닿습니다.

주변을 찾아보니 모범적인 접근 방식을 찾았습니다. 당시에는 선택지가 제한적이었지만, 이 접근 방식의 목소리 보존 품질이 저에게 희망을 주었습니다.

모델을 갖추는 것과 완성된 영상을 얻는 것은 별개의 일입니다. 추론은 매우 느렸고, 나는 단순히 전체 영상을 모델에 넣고 완벽하게 번역된 출력과 영상과 동기화된 오디오를 기다릴 수 없었으며, 배경 음악도 그대로 유지해야 했습니다. 모든 것을 스스로 연결해야 했습니다.

제가 몇 가지 샘플을 공유한 후, 꽤 많은 사람들이 이걸 모두가 사용할 수 있는 도구로 만들 수 있는지 물었습니다.

중국어에서 영어로 번역된 이 클립을 보세요 👇

익숙한 캐릭터가 다른 언어를 말하는 것을 듣는 것 자체만으로도 꽤 흥미롭습니다. 하지만 제가 더 관심 있는 것은 언어가 바뀐 후에도 여전히 그 캐릭터의 원래 분위기를 알아볼 수 있는지입니다.

이 클립을 일본어에서 중국어로에서 번역한 것을 시청하세요 👇

애니메이션에서 감정 표현은 비교적 뚜렷합니다. 캐릭터들이 말할 때의 어조에 주의를 기울일 수 있습니다.

원래 요구사항으로 돌아가서, 영어 비디오를 중국어로 번역하세요.

이 클립을 영어에서 중국어로에서 번역한 것을 시청하세요 👇

방금 우리가 말하던 것으로 돌아가서. 제가 몇 가지 샘플을 공유한 후, 꽤 많은 사람들이 그것을 모두가 사용할 수 있는 도구로 만들 수 있냐고 물었어요. 저도 그렇게 생각했어요. 솔직히 말해서, AI 지원 코딩으로 하면 빠를 거라고 생각했죠, 맞죠? 핵심 번역 파이프라인은 작동하고 있었어요. 나머지는? 그냥 동영상 업로드용 웹사이트를 만드는 것뿐이었어요.

알고 보니, 1년이 걸렸다.

결국 데모용으로 뭔가를 만드는 것과 사람들이 신뢰할 수 있게 실제로 사용할 수 있는 것을 만드는 것은 매우 다른 일이었다. 나 자신이 사용해보니 필요한 것은 단지 제대로 된 영상 처리뿐이었다. 하지만 다른 사람들을 위해서는 회원가입, 로그인, 데이터 지속성이 필요했다. 한 사용자의 데이터가 다른 사용자에게 새어 나가면 안 된다. 동시에 여러 개의 업로드가 진행돼도 시스템이 다운되지 않아야 한다.

시스템이 다운되면 어떻게 할까? 사용자가 늘어나서 확장이 필요하면 어떻게 할까? 사용자가 본능적으로 이 시스템을 사용할 줄 알까? 데이터베이스, 서버, 객체 저장소, 도메인, DNS, 하나씩 정확히 해야 한다. 각각의 요소는 혼자 보면 괜찮아 보이지만, 사람들에게 서비스가 원활하게 제공되도록 어떻게 연결할 수 있을까? 항상 다른 문제가 생기고, 그 다음에도 또 다른 문제가 생긴다.

AI가 도와줄 수 있습니다. 하지만 그것이 옳은지, 무언가가 고장 났을 때 무엇을 해야 하는지는 여전히 당신에게 달려 있습니다.

그럼 왜 계속 나아가는가? 약속했기 때문이다. 이것을 원하는 사람들에게 약속했고, 나 자신에게 약속했다. 그 생각이 나를 계속 나아가게 했다.

이제 마침내, 나는 해낼 수 있다.

그것은 소울덤라고 불리며, 영혼을 담아 더빙합니다. 30개 언어와 일부 방언을 지원합니다.

사용하는 방법은 간단합니다:

웹 방법: souldub.ai에 접속해 영상을 업로드하고, 언어를 선택한 후, 시작을 누르세요. 그게 전부입니다.

에이전트 방식: 브라우저에서 github-souldub-skills를 검색하고 선호하는 에이전트(ChatGPT, Claude, Gemini 등)를 통해 설치하여 해당 스킬을 설치하세요.

그 후, 귀하의 에이전트는 지역 비디오를 번역할 수 있습니다. 번역된 비디오와 자막은 원본 비디오 폴더에 자동으로 다운로드됩니다.

두 방법에서 생성된 영상이 모두 당신의 SoulDub 계정에 표시됩니다.

한 가지 중요한 부분 더: 수동 검토 및 편집.

자막이 정확하지 않거나 더빙된 목소리를 조정해야 할 경우, 사이트에서 직접 편집할 수 있습니다. AI가 먼저 초안을 만들고, 그 후에 중요한 부분을 다듬습니다. 품질은 계속 향상됩니다.

이 얘기가 나왔으니, SoulDub을 사용하는 데 실제로 비용이 드는지에 대해 당신과 이야기하고 싶습니다.

솔직히 말하면: 매달 무료로 사용할 수는 있지만, 무제한 무료는 아닙니다.

컴퓨팅 파워는 클라우드 서버에서 임대하며, 저장 공간도 마찬가지입니다. 매달 클라우드 제공자의 청구서가 도착하면, 서버가 계속 운영될 수 있도록 지불해야 합니다.

많은 사람들은 아무 것도 쓰지 않고 비디오를 번역하는 것이 가장 좋다고 생각합니다. 저는 그 기분을 정말 이해합니다. 저도 예전에 도구를 찾을 때 똑같이 생각하곤 했습니다.

하지만 서비스를 유지하는 사람이 바로 요금을 부담하는 사람이에요. 감당할 수 없다면, 그 일은 단순히 오래 지속될 수 없어요.

SoulDub을 사용해 보셨다면 언제든지 저에게 피드백을 공유해 주세요. 함께 더 좋게 만들어 봅시다.

아이디어가 막 떠오르기 시작했을 때, 1년 전에 피드백을 주신 독자분들께 감사드립니다.

그리고 지난 한 해 동안 끈기를 가지고 버텨준 나 자신에게도 감사한다.

이제, 올해 제가 모은 AI에 대한 몇 가지 생각을 나누겠습니다.

AI는 이전에는 상상만 할 수 있었던 일부 것들을 현실로 바꾸었다.

영상 음성 번역처럼, 실제로 만들어졌습니다. 이것만으로도 저는 충분히 신이 납니다.

하지만 흥분은 제쳐두고, 올해 내가 점점 더 확신하게 된 것이 있습니다.

AI는 아무리 강력하더라도 단지 도구일 뿐이다.

우리는 그것을 항상 가까이 둘 수는 있지만, 그것을 항상 우리 앞에 두고 모든 것을 대신하게 할 수는 없습니다.

못을 박기 위해 망치를 사용하는 것과 같아요. 눈은 못과 나무를 주시해야 하고, 손은 망치가 되돌려 보내는 모든 진동을 느껴야 합니다.

만약 당신의 눈이 오로지 망치에만 있고 손이 더 이상 나무를 만지지 않는다면, 결국 당신은 못이 어떻게 생겼는지, 나무의 촉감이 어떤지, 진동이 무엇을 의미하는지 잊게 됩니다.

하지만 이것들이 바로 삶이 느껴져야 할 방식입니다.

그래서 SoulDub을 만들 때 저는 인간의 검토와 인간의 편집 기능을 핵심에 바로 넣는 것을 고집했습니다. AI가 아무리 강력해져도 인간의 참여 없이는 할 수 없습니다. 인간의 참여가 없으면 개성이 없고, 개성이 없으면 영혼도 없습니다.

세상은 사람과 사람 사이, 사람과 사물 사이, 사람과 상황 사이의 상호작용 속에서 조금씩 쌓여 만들어진다.

꽃은 우리가 그것을 꽃이라고 부르기 때문에 꽃이라고 불립니다. 나무는 우리가 그것을 나무라고 부르기 때문에 나무라고 불립니다.

그래서 동물에게는 세계가 없고, 오직 인간에게만 세계가 있다. 억지처럼 들리지만, 생각해 보라. 사실이다.

나의 세상은 내가 AI를 다루고, 그 다음 AI가 사람들, 사물, 상황을 대신 다루도록 해서 만들어질 수 없다. 그것은 나의 세상이 아니라 AI의 세상이 될 것이다.

나의 세상은 내가 사람들, 사물, 상황과 직접적으로 교류하면서 만들어야 한다. 나는 그것을 내 손으로 직접 만들어야 한다. 그리고 오직 내가 여전히 판단을 내려야 하는 특정한 질문들에 대해서만 AI가 개입하도록 해야 한다.

그건 AI의 세계가 아니라 내 세계야.

산에서 꽃이 피고 지는 것이 나에게 무슨 상관이 있겠는가? 내가 직접 가서 그것을 보는 순간에야 그것이 중요해진다.

만약 내가 AI에게 대신 보게 한다면, 내 마음과 그 꽃은 똑같이 조용히 남아 있을 것이다. 내가 직접 보기 위해 움직이지조차 않는다는 사실은 그 꽃이 처음부터 내 마음 속에 진정으로 없었다는 것을 의미한다.

만약 내가 이렇게 오래 산다면, 내 마음이 텅 비게 되지 않을까?

1년이 지났다. 마침내 나는 이 에세이를 쓸 수 있다.

여기까지 읽어주셔서 감사합니다.