Yabancı altyazılardan bıkınca, kendim için bir video ses çeviri aracı yaptım

Geçen yıl bir akşam, bilgisayarımda öğretici bir teknoloji videosu izliyordum. Video İngilizceydi ve Çince altyazıları vardı. İzlerken aklıma bir düşünce geldi: Keşke sadece Çince versiyonunu dinleyebilseydim. Sürekli altyazılara bakmaya gerek yok. Yolculuk sırasında, yatmadan önce, her yerde dinleyebilirdim.

Sonunda, onu gerçekten inşa ettim.

Bu film klibini Çince'den İngilizceye'den çevrilmiş olarak izleyin 👇

Ama bu fikir aklıma geldiği andan, herkesin kullanabileceği bir ürün yaratmaya kadar, beklediğimden çok daha uzun sürdü.

Fikir geldikten sonra, birkaç video çeviri aracı denedim. Çince çeviri vardı, ama dinlediğimde bir şeyler hep eksik geliyordu.

Videodaki kişi hâlâ oradaydı, ama artık onların sesi değildi. Her cümleyi konuşma şekillerindeki duygu da gitmişti.

İyi bildiğiniz bir yüzü hayal edin, aniden farklı bir tonla, farklı bir sesle konuşuyor. Anlamı takip edebilirsiniz, ama o bağ kopar. Tanıdık bir kişiyi izlerken onların yerine yabancı birini konuşurken duymak gibidir.

Gerçekten istediğim şey basitti. Video dilini çevir, ama orijinal sesi değiştirme. Duyguyu, her kelimeyi nasıl söylediklerindeki nüansı koru. Bir seste bu küçük detaylar önemlidir. Aynı cümlenin yumuşak mı yoksa güçlü mü söylendiği, sizi tamamen farklı etkiler.

Etrafı araştırdım ve bir model yaklaşım buldum. O zamanlar seçenekler sınırlıydı, ama bu yaklaşımın ses korunumu kalitesi bana umut verdi.

Bir modele sahip olmak bir şeydir. Tamamlanmış bir video elde etmek başka bir şeydir. Çıkarım son derece yavaştı ve bütün bir videoyu ona atıp, arka plan müziğini korurken videoyla senkronize edilmiş mükemmel bir şekilde çevrilmiş çıktı bekleyemezdim. Her şeyi kendim bir araya getirmem gerekiyordu.

Birkaç örnek paylaştıktan sonra, oldukça fazla kişi bunu herkesin kullanabileceği bir araca dönüştürüp dönüştüremeyeceğimi sordu.

Bu klibi Çince'den İngilizce'ye çevrilmiş olarak izleyin 👇

Tanıdık bir karakterin başka bir dil konuştuğunu duymak kendi başına oldukça ilginç. Ancak benim daha çok önem verdiğim şey, dil değişikliğinden sonra hâlâ o karakterin orijinal havasını tanıyıp tanıyamayacağımdır.

Bu klibi Japonca'dan Çince'ye'den çevrilmiş olarak izleyin 👇

Anime'de duygusal ifade nispeten belirgindir. Karakterlerin konuşurken tonlarına dikkat edebilirsiniz.

Orijinal gereksinime geri dönerek, İngilizce videoyu Çinceye çevirin.

Bu klibi İngilizce'den Çince'ye'den çevrilmiş olarak izleyin 👇

Az önce söylediğimize geri dönelim. Birkaç örnek paylaştıktan sonra, oldukça fazla kişi bunu herkesin kullanabileceği bir araca dönüştürüp dönüştüremeyeceğimi sordu. Ben de öyle düşündüm. Açıkçası, yapay zekâ destekli kodlama ile bunun hızlı olacağını düşündüm, değil mi? Temel çeviri hattı çalışıyordu. Diğer her şey? Sadece video yükleme için bir web sitesi oluşturmak.

Anlaşılıyor ki, bir yıl sürdü.

Meğerse demo yapabileceğiniz bir şey inşa etmek ile insanların güvenle kullanabileceği bir şey inşa etmek çok farklı şeylermiş. Kendim kullanırken, tek ihtiyaç duyduğum şey doğru video işleme idi. Ama başkaları için kayıt, giriş, veri kalıcılığı gerekiyordu. Bir kullanıcının verisi başka birine sızmamalı. Birden fazla eşzamanlı yükleme sistemi çökertmemeli.

Ya sistem çökerse ne olur? Ya kullanıcılar çoğalır ve ölçeklendirmem gerekirse? Kullanıcılar içgüdüsel olarak nasıl kullanılacağını bilir mi? Veritabanları, sunucular, nesne depolama, alan adları, DNS, tek tek, hepsini doğru yapman gerekiyor. Her parça yalnız başına iyi gibi görünüyor, ama insanları hizmetini sorunsuz kullanacak şekilde nasıl birbirine bağlarsın? Hep başka bir şey vardır ve ondan sonra başka bir şey.

Yapay zeka yardımcı olabilir. Ama doğru olup olmadığı, bir şeyler bozulduğunda ne yapılacağı hâlâ size bağlı.

Peki neden devam ediyorum? Çünkü söz verdim. Bunu isteyen insanlara söz verdim, kendime söz verdim. Bu düşünce beni devam ettirdi.

Şimdi, nihayet, teslim edebilirim.

Buna RuhDub denir, ruhla dublaj yapar. 30 dili ve bazı lehçeleri destekler.

Bunu kullanmak basittir:

Web yolu: souldub.ai sitesine gidin, bir video yükleyin, bir dil seçin, başlat düğmesine basın. Hepsi bu.

Ajan yolu: Tarayıcınızda github-souldub-skills için arama yapın ve tercih ettiğiniz Ajan (ChatGPT, Claude, Gemini, vb.) aracılığıyla kurun ve beceriyi kurmasını sağlayın.

Bundan sonra, Ajanınız yerel videolarınızı çevirebilir. Çevrilen video ve altyazılar otomatik olarak orijinal videonun klasörüne indirilir.

Her iki yöntemle yapılan videolar da SoulDub hesabınızda görünür.

Bir kritik parça daha: manuel inceleme ve düzenleme.

Altyazı tam doğru değilse, dublaj sesini ayarlamak gerekiyorsa, bunu doğrudan sitede düzenlersiniz. Yapay zeka ilk geçişi yapar, sonra sizin için önemli olan kısımları iyileştirirsiniz. Kalite sürekli artar.

Bundan bahsetmişken, SoulDub kullanmanın gerçekten bir maliyeti olup olmadığı hakkında seninle konuşmak istiyorum.

Açık olmak gerekirse: her ay ücretsiz olarak kullanabilirsiniz, ancak sınırsız ücretsiz değil.

Hesaplama gücü bulut sunucularından kiralanır, depolama da öyle. Her ay bulut sağlayıcısının faturası geldiğinde, sunucuların çalışmaya devam etmesi için ödememiz gerekir.

Birçok insan videoları hiçbir şey harcamadan çevirmek en iyisi olacağını düşünüyor. Bu duyguyu gerçekten anlıyorum. Ben de kendim araç ararken aynı şekilde düşünürdüm.

Ama bir hizmeti sürdüren kişi sizseniz, faturayı ödeyen de sizsiniz. Eğer bunu idare edemezseniz, o şey basitçe sürdürülemez.

Eğer SoulDub'u kullandıysanız, lütfen her zaman geri bildiriminizi benimle paylaşın. Gelin bunu birlikte daha iyi hale getirelim.

Sadece bir fikir edinmeye başladığım bir yıl önce bana geri bildirimde bulunan okuyuculara teşekkürler.

Ve bu geçen yıl boyunca gösterdiğim azim için kendime teşekkür ederim.

Şimdi, bu yıl topladığım yapay zekâyla ilgili bazı düşüncelerimi paylaşmama izin verin.

Yapay zeka, daha önce sadece hayal edilebilen bazı şeyleri gerçeğe dönüştürdü.

Video ses çevirisi gibi, aslında bu gerçekten yapıldı. Sadece bu bile beni heyecanlandırmaya yeter.

Ama heyecan bir kenara, bu yıl giderek daha emin olduğum bir şey var.

Yapay zeka, ne kadar güçlü olursa olsun, sadece bir araçtır.

Onu her zaman yanımızda tutabiliriz, ama her zaman önümüzde tutup bizim için her şeyi yapmasını sağlayamayız.

Bir çivi çakmak için çekici kullanmak gibi. Gözlerinizin çiviyi ve tahtayı izlemesi, ellerinizin ise çekiçten geri gelen her titreşimi hissetmesi gerekiyor.

Eğer gözlerin sadece çekice takılıysa ve ellerin artık tahtaya dokunmuyorsa, sonunda çivinin nasıl göründüğünü, tahtanın dokusunu, titreşimin ne anlama geldiğini unutursun.

Ama hayatın böyle hissettirmesi gerekir.

Bu yüzden SoulDub'u oluştururken, insan incelemesi ve insan düzenleme işlevlerini doğrudan merkeze koymada ısrar ettim. Yapay zeka ne kadar güçlü olursa olsun, insan katılımı olmadan yapamaz. İnsan katılımı olmadan, kişilik olmaz. Kişilik olmadan, ruh olmaz.

Dünya, insanlar arasındaki, insanlar ile şeyler arasındaki, insanlar ile koşullar arasındaki etkileşimlerde parça parça inşa edilir.

Bir çiçeğe çiçek denir çünkü biz ona çiçek deriz. Bir ağaca ağaç denir çünkü biz ona ağaç deriz.

İşte bu yüzden hayvanların bir dünyası yoktur, sadece insanların vardır. Kulağa abartılı geliyor ama üzerine düşünün. Bu doğru.

Dünyam, benim AI ile uğraşıp sonra AI'nın insanların, şeylerin ve durumların benim adıma uğraşmasına izin vermemle inşa edilemez. Bu, benim değil AI'nın dünyası olurdu.

Dünyamın, insanların, nesnelerin, koşulların doğrudan etkileşime girerek benim tarafımdan inşa edilmesi gerekiyor. Bunu kendi ellerimle inşa etmeliyim. Ve ancak o zaman, hâlâ yargıya sahip olduğum belirli sorularda yapay zekanın devreye girmesine izin vermeliyim.

Bu benim dünyam, yapay zekânın değil.

Bir çiçek dağlarda açıp solsa benim için ne önemi var? Kendim gidip gördüğüm anda önem kazanır.

Eğer AI'nın onu benim için görmesine izin verirsem, kalbim ve o çiçek aynı şekilde sessiz kalır. Onu görmek için bile hareket etmeyeceğim gerçeği, o çiçeğin aslında hiç kalbimde olmadığını gösteriyor.

Eğer bu şekilde çok uzun süre yaşarsam, kalbim boşalmaz mı?

Bir yıl geçti. Sonunda bu denemeyi yazabiliyorum.

Bu kadarını okuduğunuz için teşekkür ederim.