Penat dengan sari kata asing, saya membina alat terjemahan suara video untuk diri saya sendiri

Suatu petang tahun lepas, saya sedang menonton video teknologi yang penuh wawasan di komputer saya. Video itu dalam bahasa Inggeris dengan sari kata Cina. Semasa saya menonton, satu pemikiran terlintas di fikiran saya: Saya berharap saya boleh mendengar versi Cina sahaja. Tidak perlu menatap sari kata sepanjang masa. Saya boleh mendengar semasa dalam perjalanan, sebelum tidur, di mana-mana sahaja.

Akhirnya, saya sebenarnya membinanya.

Tonton klip filem ini yang diterjemahkan dari Cina ke Inggeris 👇

Tetapi dari saat idea itu terlintas dalam fikiran saya hingga mencipta produk yang boleh digunakan oleh semua orang, ia mengambil masa lebih lama daripada yang saya jangkakan.

Selepas idea itu muncul, saya mencuba beberapa alat terjemahan video. Terjemahan Cina ada, tetapi sesuatu selalu terasa tidak kena apabila saya mendengar.

Orang dalam video itu masih ada di sana, tetapi itu bukan suara mereka lagi. Emosi dalam cara mereka mengucapkan setiap ayat juga hilang.

Bayangkan sebuah wajah yang anda kenal dengan baik, tiba-tiba bercakap dengan nada yang berbeza, suara yang berbeza. Anda boleh memahami maksudnya, tetapi hubungan itu terputus. Ia seperti melihat seseorang yang dikenali sambil mendengar seorang asing bercakap bagi pihak mereka.

Apa yang saya benar-benar mahukan adalah mudah. Terjemahkan bahasa video, tetapi kekalkan suara asal. Kekalkan emosi, nuansa dalam cara mereka mengucapkan setiap perkataan. Perincian kecil ini dalam suara sangat penting. Ayat yang sama yang diucapkan dengan lembut berbanding dengan tegas memberi kesan yang sangat berbeza.

Saya mencari-cari dan menemui satu pendekatan model. Pada masa itu, pilihan adalah terhad, tetapi kualiti pemeliharaan suara pendekatan ini memberi saya harapan.

Mempunyai model adalah satu perkara. Mendapatkan video yang siap adalah perkara lain. Inferensinya amat perlahan, dan saya tidak boleh hanya melemparkan keseluruhan video kepadanya dan menunggu output terjemahan yang sempurna dengan audio diselaraskan dengan video, sambil mengekalkan muzik latar. Saya terpaksa menyambungkan semuanya sendiri.

Selepas saya berkongsi beberapa sampel, agak ramai orang bertanya jika saya boleh menjadikannya sebagai alat yang boleh digunakan oleh semua orang.

Tonton klip ini yang diterjemahkan dari Cina ke Inggeris 👇

Ia cukup menarik sendiri untuk mendengar watak yang dikenali bercakap dalam bahasa lain. Apa yang lebih saya pedulikan, bagaimanapun, ialah sama ada saya masih boleh mengenali suasana asal watak itu selepas pertukaran bahasa.

Tonton klip ini diterjemahkan daripada Jepun ke Cina 👇

Ekspresi emosi dalam anime agak ketara. Anda boleh memberi perhatian kepada nada watak-watak ketika mereka bercakap.

Kembali kepada keperluan asal, terjemahkan video berbahasa Inggeris itu ke dalam bahasa Cina.

Tonton klip ini diterjemahkan daripada Bahasa Inggeris ke Cina 👇

Kembali kepada apa yang baru sahaja kita bincangkan. Selepas saya berkongsi beberapa sampel, agak ramai orang bertanya jika saya boleh menukarnya menjadi alat yang boleh digunakan oleh semua orang. Saya juga fikir begitu. Sejujurnya, dengan pengekodan yang dibantu AI, saya menyangka ia akan cepat, kan? Talian teras terjemahan berfungsi. Segala-galanya yang lain? Hanya membina laman web untuk muat naik video.

Rupanya, ia mengambil masa setahun.

Ternyata membina sesuatu yang boleh didemokan dan membina sesuatu yang boleh digunakan dengan selamat oleh orang ramai adalah dua perkara yang sangat berbeza. Menggunakannya sendiri, yang saya perlukan hanyalah pemprosesan video yang betul. Tetapi untuk orang lain, saya memerlukan pendaftaran, log masuk, penyimpanan data. Data seorang pengguna tidak boleh bocor kepada pengguna lain. Pelbagai muat naik serentak tidak boleh merosakkan sistem.

Bagaimana jika sistem rosak? Bagaimana jika pengguna bertambah dan saya perlu menyesuaikan skala? Adakah pengguna secara naluri tahu bagaimana menggunakannya? Pangkalan data, pelayan, penyimpanan objek, domain, DNS, satu persatu, anda perlu mendapatkannya dengan betul. Setiap bahagian nampak baik sendirian, tetapi bagaimana anda menghubungkannya supaya orang boleh menggunakan perkhidmatan anda dengan lancar? Sentiasa ada sesuatu yang lain, dan sesuatu lagi selepas itu.

AI boleh membantu. Tetapi sama ada ia betul, apa yang perlu dilakukan apabila sesuatu rosak, itu masih tanggungjawab anda.

Jadi kenapa teruskan? Kerana saya telah berjanji. Saya berjanji kepada orang-orang yang menginginkan ini, berjanji kepada diri saya sendiri. Fikiran itu membuatkan saya terus berjalan.

Kini, akhirnya, saya boleh menyampaikan.

Ia dipanggil SoulDub, mendubbing dengan jiwa. Ia menyokong 30 bahasa dan beberapa dialek.

Menggunakannya adalah mudah:

Cara web: Pergi ke souldub.ai, muat naik video, pilih bahasa, tekan mula. Itu sahaja.

Cara ejen: Cari github-souldub-skills di penyemak imbas anda dan pasangkannya melalui Ejen pilihan anda (ChatGPT, Claude, Gemini, dll.) dan biarkan ia memasang kemahiran itu.

Selepas itu, Ejen anda boleh menterjemahkan video tempatan anda. Video yang diterjemahkan dan sari kata akan dimuat turun secara automatik ke folder video asal.

Video daripada kedua-dua kaedah dipaparkan dalam akaun SoulDub anda.

Satu lagi elemen penting: semakan dan penyuntingan manual.

Jika sari kata tidak tepat, jika suara sulih perlu disesuaikan, anda menyuntingnya terus di laman web. AI melakukan laluan pertama, kemudian anda memperbaiki bahagian yang penting bagi anda. Kualiti terus meningkat.

Bercakap tentang ini, saya ingin berbual dengan anda tentang sama ada menggunakan SoulDub sebenarnya memerlukan sebarang kos.

Terus-terang: anda boleh menggunakannya secara percuma setiap bulan, tetapi tidak secara percuma tanpa had.

Kuasa pengkomputeran disewa dari pelayan awan, begitu juga dengan storan. Setiap bulan apabila bil penyedia awan tiba, kami perlu membayarnya supaya pelayan terus beroperasi.

Ramai orang berfikir bahawa adalah lebih baik untuk menterjemah video tanpa mengeluarkan sebarang kos. Saya benar-benar memahami perasaan itu. Saya juga pernah berfikir begitu ketika mencari alat sendiri.

Tetapi apabila anda adalah orang yang mengekalkan perkhidmatan, anda lah yang menanggung bayaran. Jika anda tidak mampu menghadapinya, perkara itu tidak akan bertahan.

Jika anda telah menggunakan SoulDub, sila kongsi maklum balas anda dengan saya bila-bila masa. Mari kita menjadikannya lebih baik bersama-sama.

Terima kasih kepada para pembaca yang memberikan maklum balas kepada saya setahun yang lalu, ketika saya baru mula mempunyai idea.

Dan terima kasih kepada diri saya sendiri, atas kegigihan sepanjang tahun lepas ini.

Sekarang, izinkan saya berkongsi beberapa renungan tentang AI yang telah saya kumpulkan tahun ini.

AI telah menjadikan beberapa perkara yang sebelum ini hanya boleh dibayangkan menjadi kenyataan.

Seperti terjemahan suara video, ia sebenarnya telah dibina. Hanya ini sahaja sudah cukup untuk membuatkan saya teruja.

Tetapi selain daripada keterujaan, ada sesuatu yang saya semakin pasti tahun ini.

AI, tidak kira sekuat mana, hanyalah alat.

Kita boleh menjaganya dekat pada setiap masa, tetapi kita tidak boleh meletakkannya di depan kita pada setiap masa, melakukan segala-galanya untuk kita.

Ia seperti menggunakan tukul untuk memacak paku. Mata anda perlu memerhatikan paku dan kayu, dan tangan anda perlu merasai setiap getaran yang dihantar balik oleh tukul.

Jika mata kamu hanya tertumpu pada tukul dan tanganmu tidak lagi menyentuh kayu, akhirnya kamu akan lupa bagaimana rupa paku, lupa rasa kayu, lupa apa maksud getaran.

Tetapi inilah yang sepatutnya dirasai dalam hidup.

Jadi ketika membangunkan SoulDub, saya menekankan untuk meletakkan fungsi semakan dan penyuntingan manusia terus ke dalam terasnya. Tidak kira sekuat mana AI menjadi, ia tidak dapat berfungsi tanpa penglibatan manusia. Tanpa penglibatan manusia, tiada personaliti. Tanpa personaliti, tiada jiwa.

Dunia dibina sedikit demi sedikit dalam interaksi antara manusia, antara manusia dan benda, antara manusia dan keadaan.

Bunga dipanggil bunga kerana kita memanggilnya bunga. Pokok dipanggil pokok kerana kita memanggilnya pokok.

Itulah sebabnya haiwan tidak mempunyai dunia, hanya manusia sahaja yang ada. Kedengaran seperti keterlaluan, tetapi fikirkanlah. Ia benar.

Dunia saya tidak boleh dibina dengan saya berurusan dengan AI, dan kemudian membiarkan AI berurusan dengan orang, perkara, dan keadaan bagi pihak saya. Itu akan menjadi dunia AI, bukan dunia saya.

Dunia saya perlu dibina oleh saya sendiri dengan berinteraksi secara langsung dengan orang, dengan perkara, dengan keadaan. Saya perlu membinanya dengan tangan saya sendiri. Dan hanya kemudian, untuk soalan tertentu di mana saya masih mempunyai penilaian, barulah saya membenarkan AI campur tangan.

Itulah dunia saya, bukan AI.

Apa pentingnya bagi saya jika bunga mekar dan gugur di gunung? Ia menjadi penting apabila saya sendiri pergi melihatnya.

Jika saya membiarkan AI melihatnya untuk saya, hati saya dan bunga itu tetap sama-sama diam. Hakikat bahawa saya tidak bergerak pun untuk melihatnya bermakna bunga itu tidak pernah benar-benar berada dalam hati saya dari awal lagi.

Jika saya hidup dengan cara ini terlalu lama, bukankah hati saya akan menjadi kosong?

Setahun telah berlalu. Akhirnya, saya boleh menulis esei ini.

Terima kasih kerana membaca hingga ke sini.