เบื่อซับไตเติลภาษาต่างประเทศ ฉันจึงสร้างเครื่องมือแปลเสียงวิดีโอสำหรับตัวเอง

คืนหนึ่งเมื่อปีที่แล้ว ฉันกำลังดูวิดีโอเทคโนโลยีที่ให้ความรู้บนคอมพิวเตอร์ของฉัน มันเป็นภาษาอังกฤษพร้อมคำบรรยายภาษาจีน ขณะที่ฉันดู ความคิดหนึ่งก็แล่นเข้ามาในหัวฉัน: ฉันอยากฟังเวอร์ชันภาษาจีนเพียงอย่างเดียวโดยไม่ต้องจ้องคำบรรยายตลอดเวลา ฉันสามารถฟังได้ระหว่างการเดินทาง ก่อนนอน หรือที่ไหนก็ได้

สุดท้าย ฉันก็สร้างมันขึ้นจริงๆ

ชมคลิปภาพยนตร์นี้ที่แปลมาจาก จีนเป็นอังกฤษ 👇

แต่ตั้งแต่วินาทีที่แนวคิดผุดขึ้นมาในการสร้างผลิตภัณฑ์ที่ทุกคนสามารถใช้ได้ มันใช้เวลานานกว่าที่ฉันคาดไว้มาก

หลังจากที่ความคิดนั้นเกิดขึ้น ฉันก็ลอง เครื่องมือนำวิดีโอแปล ไม่กี่ครั้ง การแปลเป็นภาษาจีนมีอยู่ แต่บางอย่างก็มักจะรู้สึกไม่ถูกต้องเมื่อฉันฟัง

คนในวิดีโอยังคงอยู่ที่นั่น แต่ไม่ใช่เสียงของพวกเขาอีกต่อไป อารมณ์ในการพูดแต่ละประโยคของพวกเขา ก็หายไปเช่นกัน

ลองนึกภาพใบหน้าที่คุณคุ้นเคย อยู่ดีๆ พูดด้วยโทนเสียงและเสียงที่ต่างออกไป คุณยังสามารถเข้าใจความหมายได้ แต่ความเชื่อมโยงนั้นขาดหายไป มันเหมือนกับการดูคนที่คุ้นเคย แต่ได้ยินคนแปลกหน้าพูดแทนเขา

สิ่งที่ฉันต้องการจริงๆ นั้นเรียบง่าย แปลภาษาของวิดีโอ แต่คงเสียงต้นฉบับไว้ รักษาอารมณ์และน้ำเสียงในการพูดแต่ละคำ รายละเอียดเล็กๆ เหล่านี้ในเสียงมีความสำคัญ ประโยคเดียวกันที่พูดเบาๆ กับพูดอย่างแรงให้ความรู้สึกที่แตกต่างกันโดยสิ้นเชิง

ฉันค้นหาดูรอบ ๆ และพบแนวทางที่เป็นแบบอย่าง ในตอนนั้น ตัวเลือกยังมีจำกัด แต่คุณภาพการรักษาเสียงของแนวทางนี้ทำให้ฉันมีความหวัง

การมีโมเดลก็เป็นเรื่องหนึ่ง แต่การได้วิดีโอสำเร็จรูปเป็นอีกเรื่องหนึ่ง การทำการทำนายช้าอย่างเจ็บปวด และฉันไม่สามารถเพียงแค่ส่งวิดีโอทั้งเรื่องเข้าไปแล้วรอผลลัพธ์การแปลที่สมบูรณ์พร้อมเสียงที่ซิงค์กับวิดีโอได้ทั้งหมด ในขณะที่ยังรักษาเพลงพื้นหลังไว้ ฉันต้องเชื่อมทุกอย่างเข้าด้วยกันด้วยตัวเอง

หลังจากที่ฉันแชร์ตัวอย่างไป บางคนก็ถามว่าฉันสามารถเปลี่ยนมันให้กลายเป็นเครื่องมื่อที่ทุกคนสามารถใช้ได้หรือไม่

ดูคลิปนี้ที่แปลจากภาษาจีนเป็นภาษาอังกฤษ 👇

มันค่อนข้างน่าสนใจในตัวของมันเองที่จะได้ยินตัวละครที่คุ้นเคยพูดภาษาต่างประเทศ อย่างไรก็ตาม สิ่งที่ฉันสนใจมากกว่าคือว่าฉันยังสามารถจำได้ถึงบรรยากาศดั้งเดิมของตัวละครนั้นหลังจากการเปลี่ยนภาษา

ดูคลิปนี้แปลมาจาก ภาษาญี่ปุ่นเป็นภาษาจีน 👇

การแสดงออกทางอารมณ์ในอนิเมะค่อนข้างชัดเจน คุณสามารถสังเกตโทนเสียงของตัวละครตอนที่พวกเขาพูดได้

กลับไปยังข้อกำหนดเดิม แปลวิดีโอภาษาอังกฤษเป็นภาษาจีน

ดูคลิปนี้แปลมาจาก อังกฤษเป็นจีน 👇

กลับไปที่สิ่งที่เรากำลังพูดกันอยู่ หลังจากที่ฉันแชร์ตัวอย่างไป มีคนหลายคนถามว่าฉันสามารถเปลี่ยนมันให้เป็นเครื่องมือที่ทุกคนใช้ได้ไหม ฉันก็คิดแบบนั้นเหมือนกัน จริงๆ แล้ว ด้วยการเขียนโค้ดที่มี AI ช่วย ฉันคิดว่ามันน่าจะเร็วใช่ไหม? กระบวนการแปลหลักทำงานได้แล้ว ส่วนอย่างอื่น? แค่สร้างเว็บไซต์สำหรับอัปโหลดวิดีโอเท่านั้น

ปรากฏว่ามันใช้เวลาหนึ่งปี

ปรากฏว่าการสร้างสิ่งที่คุณสามารถสาธิตได้นั้นต่างจากการสร้างสิ่งที่คนสามารถใช้งานได้อย่างเชื่อถือได้อย่างมาก เมื่อใช้มันด้วยตัวเอง สิ่งที่ฉันต้องการมีเพียงการประมวลผลวิดีโอที่ถูกต้อง แต่สำหรับผู้อื่น ฉันต้องการการลงทะเบียน การเข้าสู่ระบบ และการเก็บข้อมูล ข้อมูลของผู้ใช้คนหนึ่งไม่สามารถรั่วไหลไปยังคนอื่นได้ การอัปโหลดพร้อมกันหลายรายการไม่สามารถทำให้ระบบล่มได้

ถ้าเกิดระบบล่มจะทำอย่างไร? ถ้าผู้ใช้เพิ่มขึ้นและฉันต้องขยายระบบจะทำอย่างไร? ผู้ใช้จะรู้โดยสัญชาตญาณว่าจะใช้งานอย่างไรหรือไม่? ฐานข้อมูล เซิร์ฟเวอร์ การจัดเก็บวัตถุ โดเมน DNS ทีละอย่าง คุณต้องทำให้ถูกต้อง แต่ละส่วนดูเหมือนโอเคเมื่อแยกกัน แต่จะเชื่อมต่อพวกมันอย่างไรเพื่อให้ผู้ใช้สามารถใช้บริการของคุณได้อย่างราบรื่น? มักจะมีสิ่งอื่นเสมอ และหลังจากนั้นก็มีสิ่งอื่นต่อไป

ปัญญาประดิษฐ์สามารถช่วยได้ แต่จะถูกหรือไม่ จะทำอย่างไรเมื่อมีบางอย่างพัง นั่นยังเป็นเรื่องของคุณ

แล้วทำไมถึงยังไปต่อ? เพราะฉันสัญญา ฉันสัญญากับคนที่อยากให้สิ่งนี้เกิดขึ้น สัญญากับตัวเอง ความคิดนั้นทำให้ฉันไปต่อได้

ตอนนี้ สุดท้าย ผมก็สามารถส่งมอบได้

มันเรียกว่า โซลดับ การพากย์ด้วยจิตวิญญาณ รองรับ 30 ภาษาและบางภาษาถิ่น

การใช้มันนั้นตรงไปตรงมา:

วิธีใช้เว็บ: ไปที่ souldub.ai อัปโหลดวิดีโอ เลือกภาษา แล้วกดเริ่ม แค่นั้นเอง

วิธีของเอเจนต์: ค้นหา github-souldub-skills ในเบราว์เซอร์ของคุณและติดตั้งผ่านเอเจนต์ที่คุณชื่นชอบ (ChatGPT, Claude, Gemini, ฯลฯ) และให้มันติดตั้งทักษะนั้น

หลังจากนั้น ตัวแทนของคุณสามารถแปลวิดีโอในพื้นที่ของคุณ วิดีโอที่แปลแล้วและคำบรรยายจะดาวน์โหลดไปยังโฟลเดอร์ของวิดีโอต้นฉบับโดยอัตโนมัติ

วิดีโอจากทั้งสองวิธีปรากฏในบัญชี SoulDub ของคุณ

อีกส่วนสำคัญหนึ่ง: การตรวจสอบและแก้ไขด้วยมือ

หากซับไตเติ้ลไม่ถูกต้องนัก หากเสียงพากย์ต้องปรับ คุณสามารถแก้ไขได้โดยตรงบนเว็บไซต์ AI จะทำการร่างครั้งแรก จากนั้นคุณปรับแต่งส่วนที่สำคัญสำหรับคุณ คุณภาพก็จะค่อยๆ ดีขึ้น

พูดถึงเรื่องนี้ ฉันอยากจะคุยกับคุณเกี่ยวกับว่า การใช้ SoulDub จริงๆ แล้วมีค่าใช้จ่ายอะไรหรือไม่

พูดตามตรง: คุณสามารถใช้มันได้ฟรีทุกเดือน แต่ไม่ใช่ฟรีแบบไม่จำกัด

พลังในการประมวลผลถูกเช่าจากเซิร์ฟเวอร์คลาวด์ เช่นเดียวกับพื้นที่จัดเก็บไฟล์ ทุกเดือนเมื่อบิลจากผู้ให้บริการคลาวด์มาถึง เราจะต้องจ่ายเพื่อให้เซิร์ฟเวอร์ยังคงทำงานต่อไป

หลายคนคิดว่าการแปลวิดีโอโดยไม่เสียค่าใช้จ่ายเลยจะเป็นสิ่งที่ดีที่สุด ฉันเข้าใจความรู้สึกนั้นจริงๆ ฉันเคยคิดแบบเดียวกันตอนที่กำลังหาตัวช่วยเอง

แต่เมื่อคุณเป็นคนดูแลบริการ คุณก็เป็นคนต้องจ่ายค่าใช้จ่าย ถ้าคุณรับมือไม่ไหว สิ่งนั้นก็ไม่สามารถอยู่รอดได้

ถ้าคุณเคยใช้ SoulDub กรุณาแชร์ความคิดเห็นของคุณกับฉันได้ตลอดเวลา มาทำให้มันดีขึ้นด้วยกันเถอะ

ขอบคุณผู้อ่านที่ให้ความคิดเห็นกับฉันเมื่อหนึ่งปีที่แล้ว ตอนที่ฉันเพิ่งเริ่มมีแนวคิด

และขอขอบคุณตัวเอง สำหรับความพากเพียรตลอดปีที่ผ่านมา

ตอนนี้ ให้ฉันแชร์ข้อคิดบางอย่างเกี่ยวกับ AI ที่ฉันได้รวบรวมในปีนี้

ปัญญาประดิษฐ์ได้เปลี่ยนบางสิ่งที่เคยจินตนาการได้เท่านั้นให้กลายเป็นความจริง

เหมือนการแปลเสียงในวิดีโอ มันถูกสร้างขึ้นจริง ๆ เพียงแค่นี้ก็ทำให้ฉันตื่นเต้นแล้ว

แต่พอจะละเรื่องความตื่นเต้นไป ฉันมีบางสิ่งที่ฉันเริ่มมั่นใจมากขึ้นเรื่อย ๆ ในปีนี้

ปัญญาประดิษฐ์ ไม่ว่าจะทรงพลังแค่ไหน ก็เป็นเพียงเครื่องมือเท่านั้น

เราสามารถเก็บมันไว้ใกล้ตัวได้ตลอดเวลา แต่เราไม่สามารถเก็บมันไว้ตรงหน้าตลอดเวลา ให้มันทำทุกอย่างแทนเราได้

มันเหมือนการใช้ค้อนตอกตะปู ดวงตาของคุณต้องมองที่ตะปูและไม้ และมือของคุณต้องรับรู้แรงสั่นสะเทือนทุกครั้งที่ค้อนสะท้อนกลับ

ถ้าตาของคุณจับอยู่แต่กับค้อนและมือของคุณไม่สัมผัสกับไม้แล้ว ในที่สุดคุณก็จะลืมว่าสกรูมีลักษณะอย่างไร ลืมความรู้สึกของไม้ ลืมว่าการสั่นหมายถึงอะไร

แต่นี่คือสิ่งที่ชีวิตควรจะรู้สึกแบบนั้น

ดังนั้นเมื่อสร้าง SoulDub ฉันยืนยันที่จะใส่ฟังก์ชันการตรวจสอบโดยมนุษย์และการแก้ไขโดยมนุษย์เข้าไปในแกนกลาง ไม่ว่าปัญญาประดิษฐ์จะเก่งแค่ไหน มันก็ไม่สามารถทำงานโดยปราศจากการมีส่วนร่วมของมนุษย์ได้ หากปราศจากการมีส่วนร่วมของมนุษย์ ก็จะไม่มีบุคลิกภาพ หากปราศจากบุคลิกภาพ ก็จะไม่มีจิตวิญญาณ

โลกถูกสร้างขึ้นทีละน้อยจากปฏิสัมพันธ์ระหว่างคน ระหว่างคนกับสิ่งของ และระหว่างคนกับสถานการณ์

ดอกไม้ถูกเรียกว่าดอกไม้เพราะเราคือเรียกมันว่าดอกไม้ ต้นไม้ถูกเรียกว่าต้นไม้เพราะเราคือเรียกมันว่าต้นไม้

นั่นคือเหตุผลที่สัตว์ไม่มีโลก มีเพียงมนุษย์เท่านั้นที่มีมัน ฟังดูเหมือนเกินจริง แต่ลองคิดดู มันเป็นความจริง

โลกของฉันไม่สามารถถูกสร้างขึ้นโดยฉันจัดการกับ AI แล้วปล่อยให้ AI จัดการกับผู้คน สิ่งต่าง ๆ และสถานการณ์แทนฉัน นั่นจะเป็นโลกของ AI ไม่ใช่ของฉัน

โลกของฉันต้องถูกสร้างขึ้นโดยฉันเองผ่านการมีส่วนร่วมโดยตรงกับผู้คน สิ่งต่าง ๆ และสถานการณ์ ฉันต้องสร้างมันด้วยมือของตัวเอง และเฉพาะเมื่อมีคำถามบางอย่างที่ฉันยังคงมีดุลยพินิจอยู่ ฉันจึงควรให้ AI เข้ามามีบทบาท

นั่นคือโลกของฉัน ไม่ใช่ของ AI

มันมีความสำคัญต่อฉันอย่างไร ถ้าดอกไม้บานแล้วร่วงในภูเขา? มันมีความสำคัญในตอนที่ฉันไปดูด้วยตัวเอง

ถ้าฉันปล่อยให้ AI มองมันแทนฉัน หัวใจของฉันและดอกไม้นั้นก็ยังคงเงียบเช่นกัน ความจริงที่ว่าฉันไม่แม้แต่จะขยับไปเพื่อมองมัน หมายความว่าดอกไม้นั้นไม่เคยอยู่ในใจฉันตั้งแต่แรก

ถ้าฉันใช้ชีวิตแบบนี้นานเกินไป หัวใจของฉันจะว่างเปล่าหรือไม่?

เวลาหนึ่งปีได้ผ่านไป ในที่สุดฉันก็สามารถเขียนเรียงความนี้ได้

ขอบคุณที่อ่านมาถึงตรงนี้