עייף מתרגומים זרים, בניתי לעצמי כלי לתרגום קול בסרטונים

ערב אחד בשנה שעברה, צפיתי בסרטון טכנולוגי מעמיק על המחשב שלי. הוא היה באנגלית עם כתוביות בסינית. בזמן שצפיתי, עלתה לי מחשבה: הלוואי והייתי יכול פשוט להקשיב לגרסה הסינית. אין צורך להקיץ על הכתוביות כל הזמן. הייתי יכול להקשיב בדרך לעבודה, לפני השינה, בכל מקום.

בסופו של דבר, אני בעצם בניתי את זה.

צפו בקליפ מהסרט הזה שמתורגם מ-סינית לאנגלית 👇

אבל מהרגע שהרעיון להקים מוצר שכל אחד יכול להשתמש בו נולד לי, זה לקח זמן רב יותר ממה שציפיתי.

לאחר שהרעיון הגיע, ניסיתי כמה כלי לתרגום וידאוים. התרגום הסיני היה שם, אבל משהו תמיד הרגיש לא נכון כששמעתי.

האדם בסרטון עדיין היה שם, אבל זו כבר לא הייתה קולו. הרגש בדרך שבה הם דיברו כל משפט, גם הוא נעלם.

תאר לעצמך פנים שאתה מכיר היטב, פתאום מדברים בטון שונה, בקול שונה. אתה יכול להבין את המשמעות, אבל החיבור הזה נשבר. זה כמו לצפות באדם מוכר בזמן ששומעים זר מדבר במקומו.

מה שבאמת רציתי היה פשוט. לתרגם את שפת הווידאו, אבל לשמור על הקול המקורי כפי שהוא. לשמור על הרגש, על הדקויות באופן שבו הם אומרים כל מילה. הפרטים הקטנים האלה בקול חשובים. אותה משפט שנאמר ברכות מול כוח פוגע בך בצורה שונה לחלוטין.

חיפשתי סביב ומצאתי גישה מודלית. באותה תקופה, האפשרויות היו מוגבלות, אבל איכות שמירת הקול של הגישה הזו נתנה לי תקווה.

לש_HAVE מודל זה דבר אחד. לקבל וידאו גמור זה דבר אחר. ההסקה הייתה איטית בכאב, ולא יכולתי פשוט להשליך אליו וידאו שלם ולהמתין לפלט מתורגם בצורה מושלמת עם סנכרון של אודיו עם הווידאו, כל זאת תוך שמירה על מוזיקת הרקע. הייתי צריך לחבר את הכל בעצמי.

לאחר ששיתפתי כמה דגימות, לא מעט אנשים שאלו אם אני יכול להפוך את זה לכלי שכולם יכולים להשתמש בו.

צפה בקליפ הזה שתורגם מסינית לאנגלית 👇

זה די מעניין בפני עצמו לשמוע דמות מוכרת מדברת בשפה אחרת. מה שיותר מעניין אותי, לעומת זאת, הוא אם אני עדיין יכול לזהות את התחושה המקורית של הדמות אחרי המעבר לשפה אחרת.

צפו בקליפ זה שתורגם מיפנית לסינית 👇

הבעות רגשיות באנימה הן יחסית מובחנות. אפשר לשים לב לטונים של הדמויות כשהן מדברות.

חזרה לדרישה המקורית, תתרגם את הסרטון באנגלית לסינית.

צפו בקליפ זה שתורגם מאנגלית לסינית 👇

חזרה למה שאמרנו זה עתה. אחרי ששיתפתי כמה דוגמאות, כמה אנשים שאלו אם אני יכול להפוך את זה לכלי שכולם יכולים להשתמש בו. גם אני חשבתי כך. בכנות, עם קידוד בעזרת בינה מלאכותית, חשבתי שזה יהיה מהיר, נכון? מערך התרגום המרכזי עבד. כל השאר? רק לבנות אתר להעלאת סרטונים.

ז Turns out, זה לקח שנה.

מתברר שהבניית משהו שאפשר להדגים והבניית משהו שאנשים יכולים להשתמש בו באופן מהימן הן דברים שונים מאוד. כשאני משתמש בזה בעצמי, כל מה שהייתי צריך היה עיבוד וידאו נכון. אבל בשביל אחרים, הייתי צריך הרשמה, התחברות, שמירת נתונים. הנתונים של משתמש אחד לא יכולים לדלוף למשתמש אחר. מספר העלאות במקביל לא יכול לקרוס את המערכת.

מה אם המערכת תקרוס? מה אם המשתמשים יכפלו ואני אצטרך להרחיב? האם המשתמשים ידעו באופן אינסטינקטיבי איך להשתמש בזה? מסדי נתונים, שרתים, אחסון אובייקטים, דומיינים, DNS, אחד אחד, אתה צריך לקבל אותם נכון. כל חלק נראה בסדר לבד, אבל איך מחברים אותם יחד כדי שאנשים יוכלו להשתמש בשירות שלך חלק? תמיד יש עוד משהו, ועוד משהו אחרי זה.

בינה מלאכותית יכולה לעזור. אך האם זה נכון, מה לעשות כשמשהו נשבר, זה עדיין עליך.

אז למה להמשיך? כי הבטחתי. הבטחתי לאנשים שרצו את זה, הבטחתי לעצמי. המחשבה הזו שמרה עלי להמשיך.

עכשיו, סוף סוף, אני יכול לספק.

זה נקרא סולדאב, דיבוב עם נשמה. זה תומך ב-30 שפות ובכמה ניבים.

השימוש בו הוא פשוט:

דרך האינטרנט: עבור ל-souldub.ai, העלה וידאו, בחר שפה, לחץ על התחל. זה הכל.

דרך הסוכן: חפש את github-souldub-skills בדפדפן שלך והתקן אותו באמצעות הסוכן המועדף עליך (ChatGPT, Claude, Gemini וכו') ותן לו להתקין את המיומנות.

לאחר מכן, הסוכן שלך יכול לתרגם את הסרטונים המקומיים שלך. הסרטון המתורגם והכתוביות יורדו אוטומטית לתיקיית הסרטון המקורי.

סרטונים משתי השיטות מופיעים בחשבון SoulDub שלך.

עוד חלק קריטי אחד: סקירה ועריכה ידנית.

אם כתובית לא מדויקת לגמרי, אם קול מדובב צריך תיקון, אתה עורך אותו ישירות באתר. הבינה המלאכותית עושה את המעבר הראשון, ואז אתה משפר את החלקים שחשובים לך. האיכות ממשיכה לעלות.

באשר לכך, אני רוצה לשוחח איתך על האם השימוש ב-SoulDub באמת עולה משהו.

להיות כנה: אתה יכול להשתמש בזה בחינם כל חודש, אבל לא חינם ללא הגבלה.

כוח המחשוב מושכר משרתי ענן, וכך גם האחסון. כל חודש כאשר מגיע החשבון מספק הענן, אנחנו חייבים לשלם אותו כדי שהשרתים ימשיכו לפעול.

הרבה אנשים חושבים שהכי טוב יהיה לתרגם סרטונים בלי להוציא כסף בכלל. אני באמת מבין את התחושה הזאת. גם אני חשבתי כך כשחיפשתי כלים בעצמי.

אבל כאשר אתה זה שמתחזק שירות, אתה זה שמשלם את החשבון. אם אתה לא יכול להתמודד עם זה, הדבר פשוט לא יכול להחזיק מעמד.

אם השתמשת ב-SoulDub, בבקשה שתף איתי את המשוב שלך בכל עת. בואו נשפר את זה יחד.

תודה לקוראים שנתנו לי משוב לפני שנה, כשעוד התחלתי רק לקבל רעיון.

ותודה לעצמי, על ההתמדה בשנה שחלפה.

עכשיו, תנו לי לשתף כמה מחשבות על בינה מלאכותית שאספתי השנה.

בינה מלאכותית הפכה דברים שלפני כן יכלו להיות רק בדמיון למציאות.

כמו תרגום קול של וידאו, זה בעצם נבנה. רק זה מספיק כדי להלהיב אותי.

אבל מעבר להתרגשות, יש משהו שאני הפכתי להיות יותר ויותר בטוח בו השנה.

בינה מלאכותית, לא משנה כמה היא חזקה, היא רק כלי.

אנחנו יכולים לשמור על זה קרוב כל הזמן, אבל אנחנו לא יכולים לשמור עליו מולנו כל הזמן, שיעשה הכל עבורנו.

זה כמו להשתמש בפטיש כדי להקיש מסמר. העיניים שלך צריכות לצפות במסמר ובעץ, והידיים שלך צריכות להרגיש כל רעידה שהפטיש משדר חזרה.

אם עיניך רק על הפטיש וידיך כבר לא נוגעות בעץ, בסופו של דבר תשכח איך נראה המסמר, תשכח איך מרגיש העץ, תשכח מה המשמעות של רטט.

אבל אלו הם מה שהחיים צריכים להרגיש כמו.

אז כשבנינו את SoulDub, התעקשתי לשים פונקציות של סקירה אנושית ועריכה אנושית ממש בלב הליבה. לא משנה כמה ה-AI חזק, הוא לא יכול לפעול בלי מעורבות אנושית. בלי מעורבות אנושית, אין אישיות. בלי אישיות, אין נשמה.

העולם נבנה קצת אחרי קצת באינטראקציות בין אנשים, בין אנשים וחפצים, בין אנשים ונסיבות.

פרח נקרא פרח כי אנו קוראים לו פרח. עץ נקרא עץ כי אנו קוראים לו עץ.

לכן חיות אין להן עולם, רק לבני אדם יש. זה נשמע מוגזם, אבל תחשוב על זה. זה נכון.

העולם שלי לא יכול להיבנות על ידי שאני מתמודד עם בינה מלאכותית, ואז נותן לבינה המלאכותית להתמודד עם אנשים, דברים ונסיבות בשמי. זה יהיה העולם של הבינה המלאכותית, לא שלי.

העולם שלי חייב להיבנות על ידי שאני מעורב ישירות עם אנשים, עם דברים, עם נסיבות. אני חייב לבנות אותו בידיים שלי. ורק אז, עבור שאלות מסוימות שבהן עדיין יש לי שיפוט, אני צריך לתת לבינה מלאכותית להתערב.

זוהי העולם שלי, לא של הבינה המלאכותית.

מה זה משנה לי אם פרח פורח ונושר בהרים? זה משנה ברגע שאני הולך לראות אותו בעצמי.

אם אתן לבינה מלאכותית לראות זאת בשבילי, ליבי והפרח ההוא נשארים שותקים באותה מידה. העובדה שאני אפילו לא אזוז לראות זאת אומרת שהפרח ההוא מעולם לא היה באמת בליבי מלכתחילה.

אם אני אחיה כך יותר מדי זמן, האם ליבי לא יהפוך לריק?

עבר שנה. סוף סוף, אני יכול לכתוב את המאמר הזה.

תודה על שהגעת לקרוא עד כאן.