विदेशी सबटाइटल से थककर, मैंने अपने लिए एक वीडियो वॉइस ट्रांसलेशन टूल बनाया

पिछले साल की एक शाम, मैं अपने कंप्यूटर पर एक ज्ञानवर्धक तकनीकी वीडियो देख रहा था। यह अंग्रेज़ी में था और इसके साथ चीनी उपशीर्षक थे। जैसे ही मैं देख रहा था, एक विचार आया: काश मैं सिर्फ चीनी संस्करण सुन सकता। हर समय उपशीर्षक देखने की जरूरत नहीं। मैं इसे अपने सफर के दौरान, सोने से पहले, कहीं भी सुन सकता।

अंततः, मैंने वास्तव में इसे बनाया।

इस फ़िल्म क्लिप को देखें जिसे चीनी से अंग्रेज़ी से अनुवादित किया गया है 👇

लेकिन जिस पल यह विचार मेरे दिमाग में आया कि एक ऐसा उत्पाद बनाएं जिसे हर कोई इस्तेमाल कर सके, इसे बनाने में मुझे जितना समय लगा, वह मेरी उम्मीद से कहीं अधिक था।

विचार आने के बाद, मैंने कुछ वीडियो अनुवाद उपकरणs आज़माए। चीनी अनुवाद वहां था, लेकिन जब मैं सुनता तो हमेशा कुछ गलत लगता।

वीडियो में वह व्यक्ति अभी भी वहाँ था, लेकिन यह अब उनकी आवाज़ नहीं थी। जिस भावना के साथ उन्होंने हर वाक्य बोला था, वह भी चली गई।

कल्पना कीजिए कि आप एक ऐसे चेहरे को जानते हैं, जो अचानक एक अलग सुर, एक अलग आवाज़ में बोलने लगता है। आप अर्थ को समझ सकते हैं, लेकिन वह संबंध टूट जाता है। यह ऐसा है जैसे आप किसी परिचित व्यक्ति को देख रहे हों और कोई अजनबी उसके लिए बोल रहा हो।

मैं सच में जो चाहता था वह सरल था। वीडियो की भाषा का अनुवाद करें, लेकिन मूल आवाज़ को अखंड रखें। भावनाओं को बनाए रखें, उन शब्दों को कहने के तरीके में नाजुकता बनाए रखें। आवाज़ में ये छोटे-छोटे विवरण महत्वपूर्ण होते हैं। एक ही वाक्य को धीरे से कहना या ज़ोर से कहना पूरी तरह से अलग असर डालता है।

मैंने चारों ओर खोज की और एक मॉडल दृष्टिकोण पाया। उस समय, विकल्प सीमित थे, लेकिन इस दृष्टिकोण की आवाज़ संरक्षण गुणवत्ता ने मुझे उम्मीद दी।

एक मॉडल होना एक बात है। एक तैयार वीडियो पाना दूसरी बात है। अनुमान लगाना बहुत धीरे था, और मैं सिर्फ पूरे वीडियो को उस पर फेंककर पूरी तरह से अनुवादित आउटपुट उम्मीद नहीं कर सकता था जिसमें वीडियो के साथ ऑडियो सिंक हो, और साथ ही पृष्ठभूमि संगीत भी बरकरार रहे। मुझे सब कुछ खुद जोड़ना पड़ा।

जब मैंने कुछ नमूने साझा किए, तो कई लोगों ने पूछा कि क्या मैं इसे एक ऐसे टूल में बदल सकता हूँ जिसे हर कोई इस्तेमाल कर सके।

इस क्लिप को देखें जो चीनी से अंग्रेज़ी में अनुवादित है 👇

किसी परिचित पात्र को दूसरी भाषा बोलते सुनना अपने आप में काफी रोचक होता है। हालांकि, मुझे जो अधिक परवाह है वह यह है कि क्या भाषा बदलने के बाद भी मैं उस पात्र की मूल भावना को पहचान सकता हूँ।

इस क्लिप को देखें जो जापानी से चीनी से अनुवादित है 👇

एनीमे में भावनात्मक अभिव्यक्ति अपेक्षाकृत अलग होती है। आप ध्यान दे सकते हैं कि जब पात्र बोलते हैं तो उनकी आवाज़ का स्वर कैसा होता है।

मूल आवश्यकता पर वापस, अंग्रेज़ी वीडियो का अनुवाद चीनी में करें।

इस क्लिप को देखें जो अंग्रेज़ी से चीनी से अनुवादित है 👇

वापस उस बात पर जो हम अभी कह रहे थे। जब मैंने कुछ नमूने साझा किए, तो कई लोगों ने पूछा कि क्या मैं इसे एक ऐसा टूल बना सकता हूँ जिसे हर कोई इस्तेमाल कर सके। मैं भी यही सोच रहा था। ईमानदार होने के लिए, AI-सहायता प्राप्त कोडिंग के साथ, मैंने सोचा कि यह तेज़ होगा, सही? मूल अनुवाद पाइपलाइन काम कर रही थी। बाकी सब? बस वीडियो अपलोड के लिए एक वेबसाइट बनाना।

पता चला, इसमें एक साल लग गया।

पता चला कि कुछ ऐसा बनाना जिसे आप डेमो कर सकें और कुछ ऐसा बनाना जिसे लोग विश्वसनीय रूप से उपयोग कर सकें, बहुत अलग चीजें हैं। खुद इसका उपयोग करने पर, मुझे केवल सही वीडियो प्रॉसेसिंग की आवश्यकता थी। लेकिन दूसरों के लिए, मुझे पंजीकरण, लॉगिन, डेटा स्थायित्व की आवश्यकता थी। एक उपयोगकर्ता का डेटा किसी दूसरे के पास लीक नहीं होना चाहिए। कई एकसाथ अपलोड सिस्टम को क्रैश नहीं कर सकते।

अगर सिस्टम डाउन हो जाए तो क्या होगा? अगर उपयोगकर्ता बढ़ जाएं और मुझे स्केल करना पड़े तो क्या होगा? क्या उपयोगकर्ता सहज रूप से इसे इस्तेमाल करना जानेंगे? डेटाबेस, सर्वर, ऑब्जेक्ट स्टोरेज, डोमेन, DNS, एक-एक करके, आपको इन्हें सही करना होगा। प्रत्येक हिस्सा अकेले ठीक लगता है, लेकिन आप इन्हें इस तरह कैसे जोड़ेंगे कि लोग आपकी सेवा का सहज रूप से उपयोग कर सकें? हमेशा कुछ और होता है, और उसके बाद कुछ और।

एआई मदद कर सकता है। लेकिन यह सही है या नहीं, कुछ खराब होने पर क्या करना है, यह अभी भी आपके ऊपर है।

तो फिर आगे क्यों बढ़ना? क्योंकि मैंने वादा किया था। मैंने उन लोगों से वादा किया था जिन्होंने इसे चाहा, खुद से वादा किया। वही सोच मुझे आगे बढ़ाती रही।

अब, अंततः, मैं देने में सक्षम हूँ।

इसे सोलडब कहा जाता है, आत्मा के साथ डबिंग। यह 30 भाषाओं और कुछ बोलियों का समर्थन करता है।

इसे उपयोग करना सरल है:

वेब तरीका: souldub.ai पर जाएँ, एक वीडियो अपलोड करें, एक भाषा चुनें, स्टार्ट दबाएँ। बस इतना ही।

एजेंट तरीका: अपने ब्राउज़र में github-souldub-skills खोजें और इसे अपने पसंदीदा एजेंट (ChatGPT, Claude, Gemini, आदि) के माध्यम से इंस्टॉल करें और इस स्किल को इंस्टॉल करें।

इसके बाद, आपका एजेंट आपके स्थानीय वीडियो का अनुवाद कर सकता है। अनूदित वीडियो और उपशीर्षक अपने आप मूल वीडियो के फ़ोल्डर में डाउनलोड हो जाते हैं।

दोनों तरीकों के वीडियो आपके SoulDub खाते में दिखाई देंगे।

एक और महत्वपूर्ण हिस्सा: मैनुअल समीक्षा और संपादन।

अगर कोई उपशीर्षक सही नहीं है, अगर किसी डब की आवाज़ में समायोजन की आवश्यकता है, तो आप इसे सीधे साइट पर संपादित करते हैं। AI पहले पास करता है, फिर आप उन हिस्सों को परिष्कृत करते हैं जो आपके लिए महत्वपूर्ण हैं। गुणवत्ता बढ़ती रहती है।

इस बारे में बात करते हुए, मैं आपसे यह बात करना चाहूँगा कि क्या SoulDub का इस्तेमाल वास्तव में किसी कीमत पर किया जाता है।

ईमानदारी से कहूँ तो: आप इसे हर महीने मुफ्त में इस्तेमाल कर सकते हैं, लेकिन असीमित मुफ्त नहीं।

कंप्यूटिंग शक्ति क्लाउड सर्वर से किराए पर ली जाती है, और भंडारण भी। हर महीने जब क्लाउड प्रदाता का बिल आता है, तो हमें इसका भुगतान करना पड़ता है ताकि सर्वर चलते रहें।

कई लोग सोचते हैं कि वीडियो का अनुवाद करना सबसे अच्छा होगा अगर इसके लिए कुछ भी खर्च न करना पड़े। मैं उस भावना को वास्तव में समझता हूँ। मैं भी पहले यही सोचता था जब मैं खुद टूल्स खोजता था।

लेकिन जब आप किसी सेवा को बनाए रख रहे होते हैं, तो बिल उठाने वाला आप ही होते हैं। अगर आप इसे संभाल नहीं सकते, तो वह चीज़ बस टिक नहीं सकती।

अगर आपने SoulDub का उपयोग किया है, तो कृपया कभी भी मुझसे अपना फीडबैक साझा करें। आइए इसे साथ में बेहतर बनाएं।

उन पाठकों का धन्यवाद जिन्होंने मुझे एक साल पहले प्रतिक्रिया दी थी, जब मैं केवल एक विचार शुरू कर ही रहा था।

और खुद का धन्यवाद, इस पिछले साल में लगे रहने के लिए।

अब, मुझे इस वर्ष मैंने जो एआई के बारे में विचार पाए हैं, उन्हें साझा करने दीजिए।

एआई ने कुछ ऐसी चीज़ों को वास्तविकता में बदल दिया है जिन्हें पहले केवल कल्पना की जा सकती थी।

वीडियो वॉइस ट्रांसलेशन की तरह, यह वास्तव में बन गया। सिर्फ यह ही मुझे उत्साहित करने के लिए पर्याप्त है।

लेकिन उत्साह को अलग रखते हुए, इस साल मैं कुछ ऐसा लेकर अधिक से अधिक निश्चित होता जा रहा हूँ।

एआई, चाहे कितनी भी शक्तिशाली हो, सिर्फ एक उपकरण है।

हम इसे हमेशा अपने पास रख सकते हैं, लेकिन हम इसे हमेशा अपने सामने नहीं रख सकते, जो हमारे लिए सब कुछ करे।

यह ऐसे है जैसे कील ठोकने के लिए हथौड़े का इस्तेमाल करना। आपकी आँखों को कील और लकड़ी को देखना चाहिए, और आपके हाथों को हथौड़े द्वारा भेजी गई हर कंपन को महसूस करना चाहिए।

अगर आपकी आँखें केवल हथौड़े पर हैं और आपके हाथ अब लकड़ी को नहीं छूते, तो अंततः आप भूल जाते हैं कि कील कैसी दिखती है, लकड़ी का अनुभव कैसा होता है, कंपन का मतलब क्या होता है।

लेकिन ये वही हैं जो जीवन को महसूस करना चाहिए।

इसलिए जब मैं SoulDub बना रहा था, मैंने जोर दिया कि मानव समीक्षा और मानव संपादन फ़ंक्शन सीधे कोर में डाले जाएँ। चाहे AI कितना भी मजबूत हो जाए, यह मानव भागीदारी के बिना काम नहीं कर सकता। मानव भागीदारी के बिना, कोई व्यक्तित्व नहीं होता। व्यक्तित्व के बिना, कोई आत्मा नहीं होती।

दुनिया धीरे-धीरे लोगों के बीच, लोगों और चीज़ों के बीच, लोगों और परिस्थितियों के बीच होने वाली बातचीत से बनती है।

एक फूल को फूल इसलिए कहा जाता है क्योंकि हम उसे फूल कहते हैं। एक पेड़ को पेड़ इसलिए कहा जाता है क्योंकि हम उसे पेड़ कहते हैं।

इसीलिए जानवरों की कोई दुनिया नहीं होती, केवल मनुष्यों की होती है। यह थोड़ा बढ़ाकर बताया हुआ लग सकता है, लेकिन इसके बारे में सोचिए। यह सच है।

मेरी दुनिया ऐसे नहीं बनाई जा सकती कि मैं एआई के साथ काम करूँ, और फिर एआई को मेरी ओर से लोगों, चीज़ों और परिस्थितियों से निपटने दूँ। वह एआई की दुनिया होगी, मेरी नहीं।

मेरी दुनिया को मुझे सीधे लोगों, चीज़ों और परिस्थितियों के साथ जुड़कर बनाना होगा। मुझे इसे अपने ही हाथों से बनाना होगा। और केवल तभी, कुछ ऐसे प्रश्नों के लिए जहां मेरी अभी भी निर्णय क्षमता है, मुझे AI को intervenir करने देना चाहिए।

वह मेरी दुनिया है, AI की नहीं।

मुझे क्या फर्क पड़ता है अगर कोई फूल पहाड़ों में खिलता है और गिर जाता है? यह उस क्षण से महत्व रखता है जब मैं स्वयं उसे देखने जाता हूँ।

अगर मैं AI को मेरे लिए इसे देखने दूँ, तो मेरा दिल और वह फूल समान रूप से शांत रहते हैं। यह तथ्य कि मैं इसे देखने के लिए भी नहीं हिलूँगा, इसका मतलब है कि वह फूल कभी वास्तव में मेरे दिल में नहीं था।

अगर मैं इस तरह बहुत लंबे समय तक जीऊँ, तो क्या मेरा दिल खाली नहीं हो जाएगा?

एक साल बीत चुका है। आखिरकार, मैं यह निबंध लिख सकता हूँ।

इतना पढ़ने के लिए धन्यवाद।