Mệt mỏi với phụ đề nước ngoài, tôi đã tự tạo một công cụ dịch giọng nói video cho riêng mình

Một buổi tối năm ngoái, tôi đang xem một video công nghệ sâu sắc trên máy tính của mình. Nó bằng tiếng Anh với phụ đề tiếng Trung. Khi tôi xem, một suy nghĩ lóe lên trong đầu tôi: Tôi ước gì mình có thể chỉ nghe phiên bản tiếng Trung. Không cần phải nhìn chằm chằm vào phụ đề suốt thời gian. Tôi có thể nghe khi đi làm, trước khi đi ngủ, ở bất cứ đâu.

Cuối cùng, tôi thực sự đã xây dựng nó.

Xem đoạn phim này được dịch từ Tiếng Trung sang Tiếng Anh 👇

Nhưng từ khoảnh khắc ý tưởng lóe lên trong tôi đến khi tạo ra một sản phẩm mà mọi người có thể sử dụng, thì đã mất nhiều thời gian hơn tôi mong đợi.

Sau khi ý tưởng xuất hiện, tôi đã thử vài công cụ dịch video. Có bản dịch tiếng Trung, nhưng khi tôi nghe, luôn có điều gì đó cảm thấy sai.

Người trong video vẫn còn đó, nhưng không còn là giọng của họ nữa. Cảm xúc trong cách họ nói từng câu cũng biến mất.

Hãy tưởng tượng một khuôn mặt bạn biết rõ, bỗng nhiên nói bằng một giọng khác, một giọng nói khác. Bạn có thể hiểu ý nghĩa, nhưng kết nối đó bị đứt. Nó giống như đang nhìn một người quen trong khi nghe một người lạ nói thay họ.

Điều tôi thực sự muốn rất đơn giản. Dịch ngôn ngữ trong video, nhưng giữ nguyên giọng nói gốc. Giữ nguyên cảm xúc, sắc thái trong cách họ nói từng từ. Những chi tiết nhỏ này trong giọng nói rất quan trọng. Cùng một câu nói nhẹ nhàng so với nói mạnh mẽ lại tạo cảm giác hoàn toàn khác nhau.

Tôi đã tìm kiếm khắp nơi và tìm thấy một phương pháp mẫu. Vào thời điểm đó, các lựa chọn còn hạn chế, nhưng chất lượng bảo toàn giọng nói của phương pháp này đã mang lại cho tôi hy vọng.

Có một mô hình là một chuyện. Có được một video hoàn chỉnh là chuyện khác. Quá trình suy luận chậm đến đau đớn, và tôi không thể chỉ ném cả một video vào đó rồi chờ đợi đầu ra được dịch hoàn hảo với âm thanh đồng bộ với video, trong khi vẫn giữ nhạc nền. Tôi phải tự kết nối mọi thứ với nhau.

Sau khi tôi chia sẻ một vài mẫu, khá nhiều người đã hỏi liệu tôi có thể biến nó thành một công cụ mà ai cũng có thể sử dụng không.

Xem đoạn clip này được dịch từ tiếng Trung sang tiếng Anh 👇

Chính bản thân việc nghe một nhân vật quen thuộc nói một ngôn ngữ khác đã khá thú vị. Tuy nhiên, điều tôi quan tâm hơn là liệu tôi có thể vẫn nhận ra phong cách nguyên bản của nhân vật đó sau khi đổi ngôn ngữ hay không.

Xem clip này được dịch từ Tiếng Nhật sang tiếng Trung 👇

Việc biểu lộ cảm xúc trong anime khá rõ ràng. Bạn có thể chú ý đến giọng điệu của các nhân vật khi họ nói.

Quay trở lại yêu cầu ban đầu, hãy dịch video tiếng Anh sang tiếng Trung.

Xem clip này được dịch từ Tiếng Anh sang tiếng Trung 👇

Quay lại với những gì chúng ta vừa nói. Sau khi tôi chia sẻ một số mẫu, khá nhiều người hỏi liệu tôi có thể biến nó thành một công cụ mà mọi người đều có thể sử dụng không. Tôi cũng nghĩ vậy. Thật lòng, với lập trình được hỗ trợ bởi AI, tôi nghĩ nó sẽ nhanh, đúng không? Cấu trúc dịch cốt lõi đã hoạt động. Còn lại thì sao? Chỉ là xây dựng một trang web để tải video lên.

Hóa ra, phải mất một năm.

Hóa ra xây dựng một thứ mà bạn có thể trình diễn và xây dựng một thứ mà mọi người có thể sử dụng đáng tin cậy là hai việc rất khác nhau. Khi tự mình sử dụng, tất cả những gì tôi cần là xử lý video đúng cách. Nhưng đối với người khác, tôi cần đăng ký, đăng nhập, và lưu trữ dữ liệu. Dữ liệu của một người dùng không thể bị rò rỉ cho người khác. Nhiều lượt tải lên đồng thời không được làm hệ thống bị sập.

Nếu hệ thống sập thì sao? Nếu số lượng người dùng tăng lên và tôi cần mở rộng thì sao? Người dùng có bẩm sinh biết cách sử dụng nó không? Cơ sở dữ liệu, máy chủ, bộ nhớ đối tượng, tên miền, DNS, từng cái một, bạn phải làm đúng. Mỗi phần riêng lẻ có vẻ ổn, nhưng làm thế nào để kết nối chúng lại với nhau để mọi người có thể sử dụng dịch vụ của bạn một cách suôn sẻ? Luôn luôn có điều gì đó khác, và lại có điều gì đó khác sau đó.

AI có thể giúp. Nhưng việc nó có đúng hay không, làm gì khi có gì đó hỏng, vẫn là trách nhiệm của bạn.

Vậy tại sao tiếp tục? Bởi vì tôi đã hứa. Tôi đã hứa với những người muốn điều này, hứa với chính bản thân mình. Suy nghĩ đó đã giữ tôi tiếp tục.

Bây giờ, cuối cùng, tôi có thể hoàn thành.

Nó được gọi là SoulDub, lồng tiếng với tâm hồn. Nó hỗ trợ 30 ngôn ngữ và một số phương ngữ.

Sử dụng nó rất đơn giản:

Cách làm trên web: Truy cập souldub.ai, tải lên một video, chọn ngôn ngữ, nhấn bắt đầu. Chỉ vậy thôi.

Cách dùng Agent: Tìm kiếm github-souldub-skills trên trình duyệt của bạn và cài đặt nó thông qua Agent mà bạn ưa thích (ChatGPT, Claude, Gemini, v.v.) và để nó cài đặt kỹ năng đó.

Sau đó, Đại lý của bạn có thể dịch các video địa phương của bạn. Video đã dịch và phụ đề sẽ tự động tải xuống thư mục của video gốc.

Video từ cả hai phương pháp đều hiển thị trong tài khoản SoulDub của bạn.

Một phần quan trọng nữa: xem xét và chỉnh sửa thủ công.

Nếu phụ đề không hoàn toàn đúng, nếu giọng lồng cần điều chỉnh, bạn chỉnh sửa trực tiếp trên trang. AI thực hiện bước đầu tiên, sau đó bạn tinh chỉnh những phần quan trọng đối với bạn. Chất lượng sẽ tiếp tục tăng lên.

Nói về chuyện này, tôi muốn nói chuyện với bạn về việc liệu việc sử dụng SoulDub có thực sự tốn phí hay không.

Nói thẳng: bạn có thể sử dụng nó miễn phí mỗi tháng, nhưng không phải miễn phí không giới hạn.

Sức mạnh tính toán được thuê từ các máy chủ đám mây, và bộ nhớ cũng vậy. Mỗi tháng khi hóa đơn của nhà cung cấp đám mây đến, chúng tôi phải thanh toán để các máy chủ tiếp tục chạy.

Nhiều người nghĩ rằng tốt nhất là dịch video mà không tốn gì cả. Tôi thực sự hiểu cảm giác đó. Trước đây tôi cũng từng nghĩ như vậy khi tự mình tìm kiếm công cụ.

Nhưng khi bạn là người duy trì một dịch vụ, bạn là người phải trả hóa đơn. Nếu bạn không thể chịu nổi, điều đó đơn giản là không thể kéo dài.

Nếu bạn đã sử dụng SoulDub, hãy chia sẻ phản hồi của bạn với tôi bất cứ lúc nào. Hãy cùng nhau làm cho nó tốt hơn.

Cảm ơn những độc giả đã cho tôi phản hồi một năm trước, khi tôi chỉ mới bắt đầu có ý tưởng.

Và cảm ơn chính bản thân mình, vì sự kiên trì trong suốt năm vừa qua.

Bây giờ, hãy để tôi chia sẻ một số suy ngẫm về AI mà tôi đã thu thập được trong năm nay.

AI đã biến một số điều mà trước đây chỉ có thể tưởng tượng thành hiện thực.

Giống như dịch giọng nói trong video, thực sự nó đã được phát triển. Chỉ riêng điều này thôi cũng đủ để làm tôi hào hứng.

Nhưng bỏ qua sự phấn khích, có một điều mà tôi càng ngày càng chắc chắn trong năm nay.

AI, dù mạnh mẽ đến đâu, chỉ là một công cụ.

Chúng ta có thể giữ nó gần bên mọi lúc, nhưng chúng ta không thể giữ nó trước mặt chúng ta mọi lúc, làm mọi thứ cho chúng ta.

Nó giống như sử dụng một cái búa để đóng đinh. Mắt bạn cần quan sát cái đinh và gỗ, và tay bạn cần cảm nhận mọi rung động mà cái búa gửi lại.

Nếu mắt bạn chỉ hướng vào cái búa và tay bạn không còn chạm vào gỗ nữa, cuối cùng bạn sẽ quên hình dạng của cái đinh, quên cảm giác của gỗ, quên ý nghĩa của rung động.

Nhưng đây là cảm giác mà cuộc sống nên có.

Vì vậy, khi xây dựng SoulDub, tôi đã kiên quyết đưa các chức năng đánh giá và chỉnh sửa của con người trực tiếp vào cốt lõi. Dù AI mạnh đến đâu, nó cũng không thể thiếu sự tham gia của con người. Nếu không có sự tham gia của con người, sẽ không có cá tính. Nếu không có cá tính, sẽ không có linh hồn.

Thế giới được xây dựng từng chút một trong các tương tác giữa con người với con người, giữa con người với vật, giữa con người với hoàn cảnh.

Một bông hoa được gọi là hoa vì chúng ta gọi nó là hoa. Một cái cây được gọi là cây vì chúng ta gọi nó là cây.

Đó là lý do tại sao động vật không có thế giới, chỉ có con người mới có. Nghe có vẻ quá sức, nhưng hãy suy nghĩ về nó. Điều đó là sự thật.

Thế giới của tôi không thể được xây dựng bằng cách tôi xử lý với AI, rồi để AI xử lý con người, sự vật và hoàn cảnh thay cho tôi. Đó sẽ là thế giới của AI, không phải của tôi.

Thế giới của tôi phải được xây dựng bằng cách tôi trực tiếp tương tác với con người, với sự vật, với hoàn cảnh. Tôi phải tự tay xây dựng nó. Và chỉ sau đó, đối với những câu hỏi mà tôi vẫn còn khả năng đánh giá, tôi mới nên để AI can thiệp.

Đó là thế giới của tôi, không phải của AI.

Nó có ý nghĩa gì với tôi nếu một bông hoa nở và rụng trên núi? Nó chỉ có ý nghĩa khi tôi tự mình đi xem nó.

Nếu tôi để AI nhìn nó thay tôi, trái tim tôi và đóa hoa vẫn im lặng như nhau. Thực tế là tôi thậm chí không chịu di chuyển để nhìn nó có nghĩa là đóa hoa đó chưa bao giờ thực sự ở trong trái tim tôi ngay từ đầu.

Nếu tôi sống theo cách này quá lâu, liệu trái tim tôi có trở nên trống rỗng không?

Một năm đã trôi qua. Cuối cùng, tôi có thể viết bài luận này.

Cảm ơn bạn đã đọc đến đây.