Κουρασμένος από ξένους υπότιτλους, δημιούργησα ένα εργαλείο μετάφρασης φωνής βίντεο για μένα

Ένα βράδυ πέρυσι, παρακολουθούσα ένα διαφωτιστικό τεχνολογικό βίντεο στον υπολογιστή μου. Ήταν στα αγγλικά με κινεζικούς υπότιτλους. Καθώς το παρακολουθούσα, μου ήρθε μια σκέψη: Μακάρι να μπορούσα να ακούσω απλώς την κινεζική εκδοχή. Δεν χρειάζεται να κοιτάζω συνέχεια τους υπότιτλους. Θα μπορούσα να ακούω κατά τη διάρκεια της μετακίνησής μου, πριν τον ύπνο, οπουδήποτε.

Τελικά, το κατασκεύασα πραγματικά.

Δείτε αυτό το απόσπασμα ταινίας μεταφρασμένο από Κινέζικα σε Αγγλικά 👇

Αλλά από τη στιγμή που μου ήρθε η ιδέα να δημιουργήσω ένα προϊόν που θα μπορούσε να χρησιμοποιήσει ο καθένας, πήρε πολύ περισσότερο χρόνο από ό,τι περίμενα.

Μετά την εμφάνιση της ιδέας, δοκίμασα μερικά εργαλείο μετάφρασης βίντεο. Η κινεζική μετάφραση υπήρχε, αλλά πάντα κάτι φαινόταν λάθος όταν άκουγα.

Το άτομο στο βίντεο ήταν ακόμα εκεί, αλλά δεν ήταν πλέον η φωνή του. Το συναίσθημα στον τρόπο που μιλούσε κάθε πρόταση είχε επίσης εξαφανιστεί.

Φαντάσου ένα πρόσωπο που γνωρίζεις καλά, ξαφνικά να μιλάει με διαφορετικό τόνο, διαφορετική φωνή. Μπορείς να καταλάβεις το νόημα, αλλά αυτή η σύνδεση σπάει. Είναι σαν να βλέπεις ένα οικείο πρόσωπο ενώ ακούς έναν άγνωστο να μιλάει για λογαριασμό του.

Αυτό που πραγματικά ήθελα ήταν απλό. Να μεταφράσω τη γλώσσα του βίντεο, αλλά να κρατήσω την αρχική φωνή ανέπαφη. Να κρατήσω το συναίσθημα, τις αποχρώσεις στον τρόπο που λένε κάθε λέξη. Αυτές οι μικρές λεπτομέρειες σε μια φωνή έχουν σημασία. Η ίδια πρόταση που λέγεται απαλά σε σχέση με επιτακτικά σε επηρεάζει τελείως διαφορετικά.

Έψαξα και βρήκα μια υποδειγματική προσέγγιση. Την εποχή εκείνη, οι επιλογές ήταν περιορισμένες, αλλά η ποιότητα διατήρησης της φωνής αυτής της προσέγγισης μου έδινε ελπίδα.

Το να έχεις ένα μοντέλο είναι ένα πράγμα. Το να πάρεις ένα ολοκληρωμένο βίντεο είναι άλλο. Η επεξεργασία ήταν επώδυνα αργή, και δεν μπορούσα απλώς να ρίξω ολόκληρο βίντεο σε αυτό και να περιμένω τέλειο μεταφρασμένο αποτέλεσμα με συγχρονισμένο ήχο με το βίντεο, διατηρώντας παράλληλα τη μουσική υπόκρουση. Έπρεπε να συνδέσω τα πάντα μόνος μου.

Μετά που μοιράστηκα μερικά δείγματα, αρκετοί άνθρωποι ρώτησαν αν θα μπορούσα να το μετατρέψω σε ένα εργαλείο που να μπορεί να χρησιμοποιήσει ο καθένας.

Δες αυτό το κλιπ μεταφρασμένο από τα κινέζικα στα αγγλικά 👇

Είναι αρκετά ενδιαφέρον από μόνο του να ακούς έναν γνώριμο χαρακτήρα να μιλάει άλλη γλώσσα. Αυτό που με ενδιαφέρει περισσότερο, όμως, είναι αν μπορώ ακόμα να αναγνωρίσω την αρχική ατμόσφαιρα αυτού του χαρακτήρα μετά την αλλαγή γλώσσας.

Δείτε αυτό το κλιπ μεταφρασμένο από Ιαπωνικά σε Κινέζικα 👇

Η συναισθηματική έκφραση στα anime είναι σχετικά ξεχωριστή. Μπορείς να προσέξεις τους τόνους των χαρακτήρων όταν μιλούν.

Πίσω στην αρχική απαίτηση, μεταφράστε το αγγλικό βίντεο στα κινεζικά.

Δείτε αυτό το κλιπ μεταφρασμένο από Αγγλικά σε Κινέζικα 👇

Επιστροφή σε αυτό που λέγαμε πριν. Αφού μοιράστηκα μερικά δείγματα, αρκετοί άνθρωποι ρώτησαν αν θα μπορούσα να το μετατρέψω σε ένα εργαλείο που θα μπορούσε να χρησιμοποιήσει ο καθένας. Το σκέφτηκα κι εγώ. Ειλικρινά, με την κωδικοποίηση με βοήθεια AI, υπολόγιζα ότι θα ήταν γρήγορο, σωστά; Η βασική ροή μετάφρασης λειτουργούσε. Όλα τα άλλα; Απλώς να φτιάξω έναν ιστότοπο για ανέβασμα βίντεο.

Αποδεικνύεται ότι πήρε ένα χρόνο.

Αποδεικνύεται ότι το να κατασκευάσεις κάτι που μπορείς να δείξεις και το να κατασκευάσεις κάτι που οι άνθρωποι μπορούν να χρησιμοποιούν αξιόπιστα είναι δύο πολύ διαφορετικά πράγματα. Χρησιμοποιώντας το ο ίδιος, ό,τι χρειαζόμουν ήταν σωστή επεξεργασία βίντεο. Αλλά για άλλους, χρειαζόμουν εγγραφή, σύνδεση, διατήρηση δεδομένων. Τα δεδομένα ενός χρήστη δεν μπορούν να διαρρεύσουν σε άλλον. Πολλαπλές ταυτόχρονες μεταφορτώσεις δεν μπορούν να καταρρεύσουν το σύστημα.

Τι γίνεται αν το σύστημα καταρρεύσει; Τι γίνεται αν οι χρήστες πολλαπλασιαστούν και χρειαστεί να κλιμακώσω; Θα ξέρουν οι χρήστες ενστικτωδώς πώς να το χρησιμοποιήσουν; Βάσεις δεδομένων, διακομιστές, αποθήκευση αντικειμένων, τομείς, DNS, ένα προς ένα, πρέπει να τα κάνεις σωστά. Κάθε κομμάτι φαίνεται καλά μόνο του, αλλά πώς τα συνδέεις όλα μαζί για να μπορούν οι άνθρωποι να χρησιμοποιούν ομαλά την υπηρεσία σου; Υπάρχει πάντα κάτι άλλο και κάτι άλλο μετά από αυτό.

Η τεχνητή νοημοσύνη μπορεί να βοηθήσει. Αλλά αν είναι σωστό, τι να κάνεις όταν κάτι χαλάσει, αυτό εξακολουθεί να εξαρτάται από σένα.

Γιατί λοιπόν να συνεχίσω; Επειδή υποσχέθηκα. Υποσχέθηκα στους ανθρώπους που το ήθελαν, υποσχέθηκα στον εαυτό μου. Αυτή η σκέψη με έκανε να συνεχίσω.

Τώρα, επιτέλους, μπορώ να παραδώσω.

Ονομάζεται ΨυχήΝτουπ, μεταγλώττιση με ψυχή. Υποστηρίζει 30 γλώσσες και ορισμένα ιδιώματα.

Η χρήση του είναι απλή:

Τρόπος μέσω διαδικτύου: Μεταβείτε στο souldub.ai, ανεβάστε ένα βίντεο, επιλέξτε μια γλώσσα, πατήστε εκκίνηση. Αυτό είναι όλο.

Τρόπος πράκτορα: Αναζητήστε το github-souldub-skills στο πρόγραμμα περιήγησής σας και εγκαταστήστε το μέσω του προτιμώμενου πράκτορά σας (ChatGPT, Claude, Gemini, κ.λπ.) και κάντε τον να εγκαταστήσει την δεξιότητα.

Μετά από αυτό, ο Αντιπρόσωπός σας μπορεί να μεταφράσει τα τοπικά σας βίντεο. Το μεταφρασμένο βίντεο και οι υπότιτλοι κατεβαίνουν αυτόματα στον φάκελο του αρχικού βίντεο.

Τα βίντεο και από τις δύο μεθόδους εμφανίζονται στον λογαριασμό σας στο SoulDub.

Ένα ακόμη κρίσιμο στοιχείο: χειροκίνητη ανασκόπηση και επεξεργασία.

Αν ένας υπότιτλος δεν είναι ακριβώς σωστός, αν μια φωνή σε μεταγλώττιση χρειάζεται διόρθωση, το επεξεργάζεστε απευθείας στον ιστότοπο. Η AI κάνει την πρώτη επεξεργασία, μετά εσείς βελτιώνετε τα μέρη που σας ενδιαφέρουν. Η ποιότητα συνεχίζει να αυξάνεται.

Μιλώντας γι' αυτό, θα ήθελα να συζητήσω μαζί σας για το αν η χρήση του SoulDub κοστίζει πραγματικά κάτι.

Να είμαι ειλικρινής: μπορείτε να το χρησιμοποιείτε δωρεάν κάθε μήνα, αλλά όχι απεριόριστα δωρεάν.

Η υπολογιστική ισχύς ενοικιάζεται από διακομιστές cloud, όπως και η αποθήκευση. Κάθε μήνα όταν φτάνει ο λογαριασμός του παρόχου cloud, πρέπει να τον πληρώσουμε ώστε οι διακομιστές να συνεχίσουν να λειτουργούν.

Πολλοί άνθρωποι πιστεύουν ότι θα ήταν καλύτερο να μεταφράζονται βίντεο χωρίς να ξοδέψουν καθόλου χρήματα. Καταλαβαίνω πραγματικά αυτό το συναίσθημα. Έτσι σκεφτόμουν κι εγώ όταν έψαχνα εργαλεία.

Αλλά όταν είσαι εσύ που διατηρείς μια υπηρεσία, είσαι εσύ που πληρώνεις το λογαριασμό. Αν δεν μπορείς να το διαχειριστείς, το πράγμα απλώς δεν μπορεί να συνεχιστεί.

Αν έχετε χρησιμοποιήσει το SoulDub, παρακαλώ μοιραστείτε τα σχόλιά σας μαζί μου οποιαδήποτε στιγμή. Ας το κάνουμε καλύτερο μαζί.

Ευχαριστώ τους αναγνώστες που μου έδωσαν ανατροφοδότηση πριν από ένα χρόνο, όταν μόλις άρχιζα να έχω μια ιδέα.

Και ευχαριστώ τον εαυτό μου, για την επιμονή κατά τη διάρκεια αυτού του περασμένου χρόνου.

Τώρα, επιτρέψτε μου να μοιραστώ μερικές σκέψεις για την ΤΝ που έχω συγκεντρώσει φέτος.

Η τεχνητή νοημοσύνη έχει μετατρέψει ορισμένα πράγματα που πριν μπορούσαν μόνο να φανταστούν σε πραγματικότητα.

Όπως η μετάφραση φωνής σε βίντεο, στην πραγματικότητα δημιουργήθηκε. Μόνο αυτό αρκεί για να με ενθουσιάσει.

Αλλά αφήνοντας την ενθουσιασμό στην άκρη, υπάρχει κάτι για το οποίο γίνομαι όλο και πιο βέβαιος φέτος.

Η τεχνητή νοημοσύνη, όποια κι αν είναι η δύναμή της, είναι απλώς ένα εργαλείο.

Μπορούμε να το κρατάμε κοντά μας κάθε στιγμή, αλλά δεν μπορούμε να το κρατάμε μπροστά μας κάθε στιγμή, κάνοντας τα πάντα για εμάς.

Είναι σαν να χρησιμοποιείς ένα σφυρί για να χτυπήσεις ένα καρφί. Τα μάτια σου πρέπει να παρακολουθούν το καρφί και το ξύλο, και τα χέρια σου πρέπει να νιώθουν κάθε δόνηση που στέλνει πίσω το σφυρί.

Αν τα μάτια σου είναι μόνο στη σφυρί και τα χέρια σου δεν αγγίζουν πια το ξύλο, τελικά ξεχνάς πώς μοιάζει το καρφί, ξεχνάς την αίσθηση του ξύλου, ξεχνάς τι σημαίνει δόνηση.

Αλλά αυτά είναι το πώς θα έπρεπε να νιώθει η ζωή.

Οπότε, όταν κατασκεύαζα το SoulDub, επέμενα να βάλω λειτουργίες ανθρώπινης αξιολόγησης και ανθρώπινης επεξεργασίας ακριβώς στον πυρήνα. Όσο ισχυρή κι αν γίνει η τεχνητή νοημοσύνη, δεν μπορεί να λειτουργήσει χωρίς ανθρώπινη συμμετοχή. Χωρίς ανθρώπινη συμμετοχή, δεν υπάρχει προσωπικότητα. Χωρίς προσωπικότητα, δεν υπάρχει ψυχή.

Ο κόσμος χτίζεται σιγά σιγά μέσα από τις αλληλεπιδράσεις μεταξύ των ανθρώπων, μεταξύ των ανθρώπων και των αντικειμένων, μεταξύ των ανθρώπων και των περιστάσεων.

Ένα λουλούδι ονομάζεται λουλούδι γιατί το ονομάζουμε λουλούδι. Ένα δέντρο ονομάζεται δέντρο γιατί το ονομάζουμε δέντρο.

Γι' αυτό τα ζώα δεν έχουν κόσμο, μόνο οι άνθρωποι έχουν. Ακούγεται υπερβολικό, αλλά σκέψου το. Είναι αλήθεια.

Ο κόσμος μου δεν μπορεί να κατασκευαστεί από μένα ασχολούμενος με την τεχνητή νοημοσύνη και μετά αφήνοντας την τεχνητή νοημοσύνη να ασχολείται με ανθρώπους, πράγματα και περιστάσεις εκ μέρους μου. Αυτό θα ήταν ο κόσμος της τεχνητής νοημοσύνης, όχι ο δικός μου.

Ο κόσμος μου πρέπει να χτιστεί από εμένα, αλληλεπιδρώντας άμεσα με ανθρώπους, με πράγματα, με καταστάσεις. Πρέπει να τον χτίσω με τα δικά μου χέρια. Και μόνο τότε, για ορισμένα ερωτήματα στα οποία εξακολουθώ να έχω κρίση, θα πρέπει να αφήσω την τεχνητή νοημοσύνη να εμπλακεί.

Αυτός είναι ο κόσμος μου, όχι της ΤΝ.

Τι με νοιάζει αν ένα λουλούδι ανθίζει και πέφτει στα βουνά; Μου νοιάζει τη στιγμή που θα πάω να το δω ο ίδιος.

Αν αφήσω την τεχνητή νοημοσύνη να το δει για μένα, η καρδιά μου και αυτό το λουλούδι παραμένουν εξίσου σιωπηλά. Το γεγονός ότι δεν θα κινηθώ καν για να το δω σημαίνει ότι εκείνο το λουλούδι δεν ήταν ποτέ πραγματικά στην καρδιά μου εξαρχής.

Αν ζήσω έτσι για πολύ καιρό, δεν θα αδειάσει η καρδιά μου;

Ένας χρόνος έχει περάσει. Τέλος, μπορώ να γράψω αυτό το δοκίμιο.

Ευχαριστώ που διαβάσατε μέχρι εδώ.