Lelah dengan subtitle asing, saya membuat alat terjemahan suara video untuk diri saya sendiri

Suatu malam tahun lalu, saya sedang menonton video teknologi yang penuh wawasan di komputer saya. Videonya berbahasa Inggris dengan teks terjemahan bahasa Cina. Saat menonton, sebuah pikiran muncul: Andai saya bisa hanya mendengarkan versi bahasa Cina. Tidak perlu menatap teks terjemahan sepanjang waktu. Saya bisa mendengarkan saat berangkat kerja, sebelum tidur, di mana saja.

Akhirnya, saya benar-benar membangunnya.

Tonton cuplikan film ini diterjemahkan dari Cina ke Inggris 👇

Tetapi sejak momen ide itu muncul hingga menciptakan produk yang bisa digunakan semua orang, itu memakan waktu jauh lebih lama dari yang saya perkirakan.

Setelah ide itu muncul, saya mencoba beberapa alat terjemahan video. Terjemahan bahasa Mandarin ada, tapi sesuatu selalu terasa aneh ketika saya mendengarnya.

Orang dalam video itu masih ada, tetapi itu bukan lagi suara mereka. Emosi dalam cara mereka mengucapkan setiap kalimat, juga hilang.

Bayangkan sebuah wajah yang kamu kenal baik, tiba-tiba berbicara dengan nada yang berbeda, suara yang berbeda. Kamu bisa mengikuti maknanya, tetapi koneksi itu terputus. Rasanya seperti melihat seseorang yang dikenal sambil mendengar orang asing berbicara untuk mereka.

Apa yang benar-benar saya inginkan itu sederhana. Menerjemahkan bahasa video, tapi tetap mempertahankan suara aslinya. Pertahankan emosi, nuansa dalam cara mereka mengucapkan setiap kata. Detail kecil ini dalam suara itu penting. Kalimat yang sama diucapkan dengan lembut versus dengan tegas memberikan dampak yang benar-benar berbeda.

Saya mencari-cari dan menemukan pendekatan model. Saat itu, pilihannya terbatas, tetapi kualitas pelestarian suara dari pendekatan ini memberi saya harapan.

Memiliki sebuah model adalah satu hal. Mendapatkan video jadi adalah hal yang lain. Proses inferensi sangat lambat, dan saya tidak bisa begitu saja memasukkan seluruh video dan menunggu output terjemahan yang sempurna dengan audio yang sinkron dengan video, sambil tetap mempertahankan musik latar. Saya harus menyambungkan semuanya sendiri.

Setelah saya membagikan beberapa contoh, cukup banyak orang yang bertanya apakah saya bisa mengubahnya menjadi alat yang bisa digunakan semua orang.

Tonton cuplikan ini yang diterjemahkan dari bahasa Cina ke bahasa Inggris 👇

Sangat menarik untuk mendengar karakter yang sudah dikenal berbicara dalam bahasa lain. Namun, yang lebih saya pedulikan adalah apakah saya masih bisa mengenali suasana asli karakter itu setelah pergantian bahasa.

Tonton cuplikan ini yang diterjemahkan dari Jepang ke Cina 👇

Ekspresi emosional dalam anime relatif jelas. Anda dapat memperhatikan nada karakter saat mereka berbicara.

Kembali ke persyaratan awal, terjemahkan video bahasa Inggris ke dalam bahasa Cina.

Tonton cuplikan ini yang diterjemahkan dari Inggris ke Cina 👇

Kembali ke apa yang baru saja kita bicarakan. Setelah saya membagikan beberapa contoh, cukup banyak orang bertanya apakah saya bisa mengubahnya menjadi alat yang bisa digunakan semua orang. Saya juga berpikir begitu. Sejujurnya, dengan pengkodean yang dibantu AI, saya pikir itu akan cepat, kan? Jalur terjemahan inti sudah berjalan. Sisanya? Hanya membuat situs web untuk unggahan video.

Ternyata, butuh waktu satu tahun.

Ternyata membangun sesuatu yang bisa didemokan dan membangun sesuatu yang bisa digunakan orang secara andal adalah hal yang sangat berbeda. Menggunakannya sendiri, yang saya butuhkan hanyalah pemrosesan video yang tepat. Tapi untuk orang lain, saya membutuhkan pendaftaran, login, dan penyimpanan data. Data seorang pengguna tidak boleh bocor ke pengguna lain. Upload bersamaan dari beberapa orang tidak boleh membuat sistem crash.

Bagaimana jika sistem mengalami gangguan? Bagaimana jika pengguna bertambah banyak dan saya perlu melakukan skala? Apakah pengguna akan secara naluriah tahu cara menggunakannya? Basis data, server, penyimpanan objek, domain, DNS, satu per satu, Anda harus melakukannya dengan benar. Setiap bagian terlihat baik sendirian, tetapi bagaimana Anda menghubungkannya sehingga orang bisa menggunakan layanan Anda dengan lancar? Selalu ada hal lain, dan hal lain setelah itu.

AI bisa membantu. Tapi apakah itu benar, apa yang harus dilakukan saat sesuatu rusak, itu masih tanggung jawabmu.

Jadi mengapa terus berjalan? Karena saya berjanji. Saya berjanji kepada orang-orang yang menginginkan ini, berjanji pada diri saya sendiri. Pikiran itu membuat saya terus berjalan.

Sekarang, akhirnya, saya bisa menyampaikan.

Ini disebut SoulDub, pengisian suara dengan jiwa. Ini mendukung 30 bahasa dan beberapa dialek.

Menggunakannya itu sederhana:

Cara web: Buka souldub.ai, unggah video, pilih bahasa, tekan mulai. Itu saja.

Cara agen: Cari github-souldub-skills di browser Anda dan instal melalui Agen pilihan Anda (ChatGPT, Claude, Gemini, dll.) dan biarkan agen tersebut menginstal keterampilan tersebut.

Setelah itu, Agen Anda dapat menerjemahkan video lokal Anda. Video yang diterjemahkan dan subtitle secara otomatis diunduh ke folder video asli.

Video dari kedua metode muncul di akun SoulDub Anda.

Satu hal penting lagi: tinjauan dan penyuntingan manual.

Jika subtitle tidak begitu tepat, jika suara dubbing perlu penyesuaian, Anda mengeditnya langsung di situs. AI melakukan langkah pertama, lalu Anda menyempurnakan bagian yang penting bagi Anda. Kualitas terus meningkat.

Ngomong-ngomong soal ini, saya ingin mengobrol dengan Anda tentang apakah menggunakan SoulDub sebenarnya memerlukan biaya.

Sejujurnya: Anda bisa menggunakannya secara gratis setiap bulan, tapi tidak gratis tanpa batas.

Kekuatan komputasi disewa dari server cloud, begitu juga dengan penyimpanannya. Setiap bulan ketika tagihan penyedia cloud tiba, kita harus membayarnya agar server terus berjalan.

Banyak orang berpikir akan lebih baik menerjemahkan video tanpa mengeluarkan biaya sama sekali. Saya benar-benar memahami perasaan itu. Dulu saya berpikir hal yang sama saat mencari alat sendiri.

Tapi ketika kamu yang mengelola sebuah layanan, kamulah yang menanggung biayanya. Jika kamu tidak bisa menanganinya, hal itu tidak akan bertahan.

Jika Anda telah menggunakan SoulDub, silakan bagikan umpan balik Anda kepada saya kapan saja. Mari kita membuatnya lebih baik bersama-sama.

Terima kasih kepada para pembaca yang memberi saya umpan balik setahun yang lalu, ketika saya baru mulai memiliki sebuah ide.

Dan terima kasih kepada diriku sendiri, atas ketekunan selama setahun terakhir ini.

Sekarang, izinkan saya membagikan beberapa refleksi tentang AI yang telah saya kumpulkan tahun ini.

AI telah mengubah beberapa hal yang sebelumnya hanya bisa dibayangkan menjadi kenyataan.

Seperti terjemahan suara video, itu sebenarnya telah dibangun. Hanya ini saja sudah cukup untuk membuat saya bersemangat.

Tapi selain kegembiraan, ada sesuatu yang semakin saya yakini tahun ini.

AI, tidak peduli seberapa canggihnya, hanyalah sebuah alat.

Kita bisa menjaganya dekat setiap saat, tetapi kita tidak bisa selalu menjaganya di depan kita, melakukan segalanya untuk kita.

Ini seperti menggunakan palu untuk memukul paku. Matamu perlu melihat paku dan kayu, dan tanganmu perlu merasakan setiap getaran yang dikirim balik oleh palu.

Jika matamu hanya tertuju pada palu dan tanganmu tidak lagi menyentuh kayu, pada akhirnya kamu akan lupa seperti apa paku itu, lupa rasa kayu itu, lupa apa arti getaran.

Tapi inilah yang seharusnya dirasakan dalam hidup.

Jadi saat membangun SoulDub, saya bersikeras untuk menempatkan fungsi tinjauan manusia dan pengeditan manusia langsung ke inti. Tidak peduli sekuat apa AI, ia tidak bisa tanpa keterlibatan manusia. Tanpa keterlibatan manusia, tidak ada kepribadian. Tanpa kepribadian, tidak ada jiwa.

Dunia dibangun sedikit demi sedikit dalam interaksi antara manusia, antara manusia dan benda, antara manusia dan keadaan.

Sebuah bunga disebut bunga karena kita menyebutnya bunga. Sebuah pohon disebut pohon karena kita menyebutnya pohon.

Itulah mengapa hewan tidak memiliki dunia, hanya manusia yang memilikinya. Kedengarannya berlebihan, tapi pikirkanlah. Itu benar.

Duniaku tidak bisa dibangun dengan aku yang berurusan dengan AI, lalu membiarkan AI berurusan dengan orang, hal, dan keadaan atas namaku. Itu akan menjadi dunia AI, bukan duniaku.

Duniaku harus dibangun olehku dengan berinteraksi langsung dengan orang-orang, dengan benda-benda, dengan keadaan. Aku harus membangunnya dengan tanganku sendiri. Dan hanya kemudian, untuk pertanyaan-pertanyaan tertentu di mana aku masih memiliki penilaian, barulah aku membiarkan AI mengambil alih.

Itu duniaku, bukan milik AI.

Apa urusanku jika sebuah bunga mekar dan layu di pegunungan? Itu penting pada saat aku pergi melihatnya sendiri.

Jika aku membiarkan AI melihatnya untukku, hatiku dan bunga itu tetap sama-sama diam. Fakta bahwa aku bahkan tidak bergerak untuk melihatnya berarti bunga itu sebenarnya tidak pernah benar-benar ada di hatiku sejak awal.

Jika aku hidup seperti ini terlalu lama, bukankah hatiku akan menjadi kosong?

Satu tahun telah berlalu. Akhirnya, saya bisa menulis esai ini.

Terima kasih telah membaca sejauh ini.