Müde von fremden Untertiteln habe ich ein Video-Sprachübersetzungstool für mich selbst gebaut

Eines Abends im letzten Jahr schaute ich ein aufschlussreiches Technikvideo auf meinem Computer. Es war auf Englisch mit chinesischen Untertiteln. Während ich zusah, kam mir ein Gedanke: Ich wünschte, ich könnte einfach die chinesische Version hören. Kein ständiges Aufpassen auf Untertitel mehr. Ich könnte es während meines Arbeitswegs, vor dem Schlafengehen, überall hören.

Schließlich habe ich es tatsächlich gebaut.

Sieh dir diesen Filmclip an, übersetzt von Chinesisch zu Englisch 👇

Aber von dem Moment an, als mir die Idee kam, ein Produkt zu schaffen, das jeder nutzen könnte, dauerte es viel länger als erwartet.

Nachdem die Idee kam, habe ich ein paar Video-Übersetzungstools ausprobiert. Die chinesische Übersetzung war da, aber etwas fühlte sich immer falsch an, wenn ich zuhörte.

Die Person im Video war immer noch dort, aber es war nicht mehr ihre Stimme. Die Emotion, mit der sie jeden Satz aussprachen, war ebenfalls verschwunden.

Stellen Sie sich ein Gesicht vor, das Sie gut kennen, das plötzlich in einem anderen Ton, in einer anderen Stimme spricht. Sie können die Bedeutung nachvollziehen, aber diese Verbindung bricht. Es ist, als würde man eine vertraute Person ansehen und dabei eine fremde Stimme für sie sprechen hören.

Was ich wirklich wollte, war einfach. Die Videosprache übersetzen, aber die originale Stimme intakt lassen. Die Emotion, die Nuancen, wie jedes Wort gesagt wird, beibehalten. Diese kleinen Details in einer Stimme sind wichtig. Derselbe Satz, sanft ausgesprochen versus kraftvoll, wirkt völlig unterschiedlich.

Ich habe mich umgesehen und einen Modellansatz gefunden. Zu dieser Zeit waren die Möglichkeiten begrenzt, aber die Sprachqualität dieses Ansatzes machte mir Hoffnung.

Ein Modell zu haben ist das eine. Ein fertiges Video zu bekommen ist etwas anderes. Die Inferenz war schmerzhaft langsam, und ich konnte nicht einfach ein ganzes Video darauf werfen und auf eine perfekt übersetzte Ausgabe mit mit dem Video synchronisiertem Audio warten, während die Hintergrundmusik erhalten blieb. Ich musste alles selbst zusammenbauen.

Nachdem ich einige Beispiele geteilt hatte, fragten ziemlich viele Leute, ob ich es in ein Werkzeug verwandeln könnte, das jeder benutzen könnte.

Sehen Sie sich diesen Clip an, der aus dem Chinesischen ins Englische übersetzt wurde 👇

Es ist an sich ziemlich interessant, einen vertrauten Charakter eine andere Sprache sprechen zu hören. Was mir jedoch wichtiger ist, ist, ob ich nach dem Sprachwechsel immer noch die ursprüngliche Ausstrahlung dieses Charakters erkennen kann.

Sieh dir diesen Clip an, übersetzt von Japanisch zu Chinesisch 👇

Emotionale Ausdrucksweise im Anime ist relativ deutlich. Du kannst auf die Tonfälle der Charaktere achten, wenn sie sprechen.

Zurück zur ursprünglichen Anforderung, übersetze das englische Video ins Chinesische.

Sieh dir diesen Clip an, übersetzt von Englisch zu Chinesisch 👇

Zurück zu dem, worüber wir gerade gesprochen haben. Nachdem ich einige Beispiele geteilt hatte, fragten ziemlich viele Leute, ob ich es in ein Werkzeug umwandeln könnte, das jeder benutzen könnte. Ich dachte das auch. Ehrlich gesagt, mit KI-unterstütztem Coden dachte ich, dass es schnell gehen würde, oder? Die Kernübersetzungspipeline funktionierte. Alles andere? Einfach eine Webseite für Video-Uploads zu erstellen.

Es stellte sich heraus, dass es ein Jahr dauerte.

Es stellt sich heraus, dass das Bauen von etwas, das man vorführen kann, und das Bauen von etwas, das die Leute zuverlässig benutzen können, sehr unterschiedliche Dinge sind. Wenn ich es selbst benutze, brauchte ich nur eine ordnungsgemäße Videobearbeitung. Für andere jedoch brauchte ich Registrierung, Anmeldung, Datenpersistenz. Die Daten eines Benutzers dürfen nicht zu einem anderen gelangen. Mehrere gleichzeitige Uploads dürfen das System nicht zum Absturz bringen.

Was, wenn das System ausfällt? Was, wenn sich die Benutzer vervielfachen und ich skalieren muss? Würden die Benutzer instinktiv wissen, wie man es benutzt? Datenbanken, Server, Objektspeicher, Domains, DNS, eins nach dem anderen, man muss sie richtig bekommen. Jedes Teil scheint für sich allein in Ordnung zu sein, aber wie verbindet man sie so, dass die Leute deinen Service reibungslos nutzen können? Es gibt immer etwas anderes, und danach noch etwas anderes.

KI kann helfen. Aber ob es richtig ist, was zu tun ist, wenn etwas kaputt geht, liegt immer noch bei dir.

Warum also weitermachen? Weil ich es versprochen habe. Ich habe den Menschen, die das wollten, versprochen, mir selbst versprochen. Dieser Gedanke hat mich weitermachen lassen.

Jetzt kann ich endlich liefern.

Es heißt SoulDub, Synchronisation mit Seele. Es unterstützt 30 Sprachen und einige Dialekte.

Die Verwendung ist unkompliziert:

Web-Weg: Gehe zu souldub.ai, lade ein Video hoch, wähle eine Sprache aus, drücke auf Start. Das ist alles.

Agentenweise: Suchen Sie in Ihrem Browser nach github-souldub-skills und installieren Sie es über Ihren bevorzugten Agenten (ChatGPT, Claude, Gemini usw.) und lassen Sie die Fähigkeit installieren.

Danach kann Ihr Agent Ihre lokalen Videos übersetzen. Das übersetzte Video und die Untertitel werden automatisch im Ordner des Originalvideos heruntergeladen.

Videos aus beiden Methoden erscheinen in deinem SoulDub-Konto.

Ein weiteres kritisches Element: manuelle Überprüfung und Bearbeitung.

Wenn ein Untertitel nicht ganz passt, wenn eine synchronisierte Stimme angepasst werden muss, bearbeiten Sie sie direkt auf der Seite. Die KI macht den ersten Durchgang, dann verfeinern Sie die Teile, die für Sie wichtig sind. Die Qualität steigt kontinuierlich an.

Apropos, ich möchte mit dir darüber sprechen, ob die Nutzung von SoulDub tatsächlich etwas kostet.

Um ehrlich zu sein: Sie können es jeden Monat kostenlos nutzen, aber nicht unbegrenzt kostenlos.

Die Rechenleistung wird von Cloud-Servern gemietet, ebenso der Speicher. Jeden Monat, wenn die Rechnung des Cloud-Anbieters eintrifft, müssen wir sie bezahlen, damit die Server weiterlaufen.

Viele Menschen denken, es wäre am besten, Videos zu übersetzen, ohne etwas auszugeben. Ich verstehe dieses Gefühl wirklich. Ich dachte früher genauso, als ich selbst nach Werkzeugen suchte.

Aber wenn du derjenige bist, der einen Dienst aufrechterhält, bist du derjenige, der die Rechnung bezahlt. Wenn du damit nicht umgehen kannst, kann die Sache einfach nicht bestehen.

Wenn Sie SoulDub verwendet haben, teilen Sie mir bitte jederzeit Ihr Feedback mit. Lassen Sie uns gemeinsam daran arbeiten, es zu verbessern.

Danke an die Leser, die mir vor einem Jahr Feedback gegeben haben, als ich gerade erst begann, eine Idee zu haben.

Und danke an mich selbst für die Ausdauer im vergangenen Jahr.

Nun lassen Sie mich einige Überlegungen zur KI teilen, die ich dieses Jahr gesammelt habe.

KI hat einige Dinge, die zuvor nur vorgestellt werden konnten, in die Realität verwandelt.

Wie bei der Video-Sprachübersetzung, wurde es tatsächlich gebaut. Schon das allein reicht aus, um mich zu begeistern.

Aber abgesehen von der Aufregung gibt es etwas, dessen ich mir in diesem Jahr immer sicherer geworden bin.

KI, egal wie mächtig, ist nur ein Werkzeug.

Wir können es jederzeit in unserer Nähe behalten, aber wir können es nicht jederzeit vor uns haben und alles für uns tun lassen.

Es ist wie einen Hammer zu benutzen, um einen Nagel einzuschlagen. Deine Augen müssen den Nagel und das Holz beobachten, und deine Hände müssen jede Vibration spüren, die der Hammer zurücksendet.

Wenn deine Augen nur noch auf den Hammer gerichtet sind und deine Hände das Holz nicht mehr berühren, vergisst du schließlich, wie der Nagel aussieht, vergisst das Gefühl des Holzes, vergisst, was Vibration bedeutet.

Aber das ist es, wie sich das Leben anfühlen sollte.

Als ich also SoulDub baute, bestand ich darauf, Funktionen für menschliche Überprüfung und menschliches Editieren direkt in den Kern zu integrieren. Egal wie stark KI wird, sie kann nicht ohne menschliche Beteiligung auskommen. Ohne menschliche Beteiligung gibt es keine Persönlichkeit. Ohne Persönlichkeit gibt es keine Seele.

Die Welt wird Stück für Stück in den Interaktionen zwischen Menschen, zwischen Menschen und Dingen, zwischen Menschen und Umständen aufgebaut.

Eine Blume wird eine Blume genannt, weil wir sie eine Blume nennen. Ein Baum wird ein Baum genannt, weil wir ihn ein Baum nennen.

Deshalb haben Tiere keine Welt, nur Menschen haben eine. Es klingt weit hergeholt, aber denk darüber nach. Es ist wahr.

Meine Welt kann nicht dadurch aufgebaut werden, dass ich mit KI umgehe und dann die KI im Umgang mit Menschen, Dingen und Umständen in meinem Namen handeln lasse. Das wäre die Welt der KI, nicht meine.

Meine Welt muss von mir selbst aufgebaut werden, indem ich direkt mit Menschen, mit Dingen, mit Umständen umgehe. Ich muss sie mit meinen eigenen Händen bauen. Und erst dann, bei bestimmten Fragen, bei denen ich noch Urteilskraft habe, sollte ich KI eingreifen lassen.

Das ist meine Welt, nicht die der KI.

Was geht mich das an, wenn eine Blume in den Bergen blüht und verwelkt? Es ist wichtig in dem Moment, in dem ich sie selbst sehe.

Wenn ich die KI es für mich sehen lasse, bleiben mein Herz und diese Blume gleichermaßen still. Die Tatsache, dass ich mich nicht einmal bewege, um es zu sehen, bedeutet, dass diese Blume nie wirklich in meinem Herzen war.

Wenn ich so lange auf diese Weise lebe, würde mein Herz nicht leer werden?

Ein Jahr ist vergangen. Endlich kann ich diesen Aufsatz schreiben.

Danke, dass Sie bis hierhin gelesen haben.