Väsyneenä ulkomaisiin tekstityksiin rakensin itselleni videon puheenvuoron käännöstyökalun

Eräänä iltana viime vuonna katsoin tietokoneellani oivaltavaa teknologiavideota. Se oli englanniksi kiinalaisilla tekstityksillä. Katsoessani videota mieleeni juolahti ajatus: kunpa voisin vain kuunnella kiinalaista versiota. Ei tarvitsisi tuijottaa tekstityksiä koko ajan. Voisin kuunnella sen työmatkalla, ennen nukkumaanmenoa, missä vain.

Lopulta minä oikeastaan rakensin sen.

Katso tämä elokuvakatkelma käännettynä kiinasta englanniksi 👇

Mutta siitä hetkestä, kun sain idean luoda tuotteen, jota kaikki voisivat käyttää, kesti paljon pidempään kuin osasin odottaa.

Kun idea tuli, kokeilin muutamia videon käännöstyökalueja. Kiinankielinen käännös oli olemassa, mutta jokin tuntui aina oudolta, kun kuuntelin.

Henkilö videolla oli edelleen siellä, mutta se ei enää ollut heidän äänensä. Myös tunne siinä, miten he puhuivat jokaisen lauseen, oli poissa.

Kuvittele kasvot, jotka tunnet hyvin, puhuvan yhtäkkiä erilaisella sävyllä, erilaisella äänellä. Voit seurata merkitystä, mutta se yhteys katkeaa. Se on kuin katselisi tuttua henkilöä samalla kun kuulisi muukalaisen puhuvan hänen puolestaan.

Mitä todella halusin, oli yksinkertaista. Käännä videon kieli, mutta säilytä alkuperäinen ääni muuttumattomana. Säilytä tunteet, vivahde siinä, miten he sanovat jokaisen sanan. Nämä pienet yksityiskohdat äänessä ovat tärkeitä. Sama lause, sanottuna hiljaa verrattuna voimakkaasti, iskee sinuun täysin eri tavalla.

Etsin ympärilleni ja löysin mallin lähestymistavan. Tuolloin vaihtoehdot olivat rajalliset, mutta tämän lähestymistavan äänen säilyttämisen laatu antoi minulle toivoa.

Mallin omistaminen on yksi asia. Valmiin videon saaminen on toinen. Päätelmä oli tuskallisen hidas, enkä voinut vain heittää koko videota siihen ja odottaa täydellisesti käännettyä lopputulosta, jossa ääni olisi synkronoitu videon kanssa ja taustamusiikki säilytetty. Minun piti yhdistää kaikki itse.

Sen jälkeen kun jaoin joitakin näytteitä, melko moni kysyi, voisinko muuttaa sen työkaluksi, jota kaikki voisivat käyttää.

Katso tämä klippi, joka on käännetty kiinasta englanniksi 👇

On itsessään varsin mielenkiintoista kuulla tuttu hahmo puhumassa toista kieltä. Se, mikä minua kuitenkin kiinnostaa enemmän, on se, voinko silti tunnistaa hahmon alkuperäisen tunnelman kielenvaihdon jälkeen.

Katso tämä pätkä käännettynä japanista kiinaan 👇

Tunteiden ilmaisu animessa on suhteellisen erottuvaa. Voit kiinnittää huomiota hahmojen sävyihin, kun he puhuvat.

Palaan alkuperäiseen vaatimukseen, käännä englanninkielinen video kiinaksi.

Katso tämä pätkä käännettynä Englannista kiinaan 👇

Takaisin siihen, mistä juuri puhuimme. Kun jaoin joitain näytteitä, melko moni kysyi, voisinko muuttaa sen työkaluksi, jota kaikki voisivat käyttää. Minustakin se kuulosti hyvältä idealta. Rehellisesti sanottuna, tekoälyavusteisen koodauksen kanssa ajattelin, että se olisi nopeaa, eikö? Varsinainen käännösputki toimi. Muut kaikki? Pelkkää verkkosivun rakentamista videolatauksia varten.

Kävi ilmi, että siihen kului vuosi.

Kävi ilmi, että jotain sellaista rakentaminen, mitä voi esittää, ja jotain sellaista rakentaminen, mitä ihmiset voivat käyttää luotettavasti, ovat hyvin erilaisia asioita. Käyttäessäni sitä itse, mitä tarvitsin, oli asianmukainen videon käsittely. Mutta muiden kohdalla tarvitsin rekisteröinnin, kirjautumisen ja datan pysyvyyden. Yhden käyttäjän data ei voi vuotaa toisen käyttäjän tietoihin. Useat samanaikaiset lataukset eivät voi kaataa järjestelmää.

Entä jos järjestelmä menee alas? Entä jos käyttäjät lisääntyvät ja minun täytyy skaalata? Tietäisivätkö käyttäjät vaistomaisesti, miten käyttää sitä? Tietokannat, palvelimet, objektivarastot, verkkotunnukset, DNS, yksi kerrallaan, sinun täytyy saada ne oikein. Jokainen osa näyttää olevan kunnossa yksinään, mutta miten yhdistät ne niin, että ihmiset voivat käyttää palveluasi sujuvasti? Aina on jotain muuta, ja sen jälkeen jotain muuta.

Tekoäly voi auttaa. Mutta onko se oikein, mitä tehdä kun jokin menee rikki, se on silti sinun vastuullasi.

Joten miksi jatkaa? Koska lupasin. Lupasin niille ihmisille, jotka halusivat tätä, lupasin itselleni. Tämä ajatus piti minut liikkeessä.

Nyt voin vihdoin toimittaa.

Sitä kutsutaan SieluDub, sielulla dubbausta. Se tukee 30 kieltä ja joitakin murteita.

Sen käyttäminen on yksinkertaista:

Verkkotapa: Mene souldub.ai-sivustolle, lataa video, valitse kieli, paina aloita. Siinä se.

Agenetin tapa: Etsi github-souldub-skills selaimellasi ja asenna se suosimasi agentin (ChatGPT, Claude, Gemini, jne.) kautta ja anna sen asentaa taito.

Tämän jälkeen agenttisi voi kääntää paikalliset videosi. Käännetty video ja tekstitykset ladataan automaattisesti alkuperäisen videon kansioon.

Molemmista menetelmistä tallennetut videot näkyvät SoulDub-tililläsi.

Vielä yksi kriittinen osa: manuaalinen tarkastus ja muokkaus.

Jos tekstitys ei ole täysin oikein, jos dubattu ääni tarvitsee säätöä, voit muokata sitä suoraan sivustolla. AI tekee ensimmäisen kierroksen, sitten hiot ne osat, jotka ovat sinulle tärkeitä. Laatu paranee koko ajan.

Tästä puheenollen, haluaisin keskustella kanssasi siitä, maksaisiko SoulDubin käyttö oikeasti mitään.

Rehellisesti sanottuna: voit käyttää sitä ilmaiseksi joka kuukausi, mutta ei rajoittamattomasti ilmaiseksi.

Laskentatehoa vuokrataan pilvipalvelimilta, samoin tallennustilaa. Joka kuukausi, kun pilvipalveluntarjoajan lasku saapuu, meidän on maksettava se, jotta palvelimet pysyvät käynnissä.

Monet ihmiset ajattelevat, että olisi parasta kääntää videot käyttämättä lainkaan rahaa. Ymmärrän tuon tunteen todella hyvin. Minäkin ajattelin samalla tavalla etsiessäni itse työkaluja.

Mutta kun sinä ylläpidät palvelua, sinä maksat laskun. Jos et pysty käsittelemään sitä, asia ei yksinkertaisesti kestä.

Jos olet käyttänyt SoulDubia, jaa palautteesi kanssani milloin tahansa. Tehdään siitä yhdessä parempi.

Kiitos lukijoille, jotka antoivat minulle palautetta vuosi sitten, kun olin vasta alkamassa saada idean.

Ja kiitos itselleni sinnikkyydestä kuluneen vuoden aikana.

Nyt, sallikaa minun jakaa joitakin pohdintoja tekoälystä, joita olen kerännyt tänä vuonna.

Tekoäly on muutanut joitakin asioita, joita ennen voitiin vain kuvitella, todellisuudeksi.

Kuten videon äänikäännös, se todella rakennettiin. Pelkästään tämä yksin riittää innostamaan minut.

Mutta innostuksen ohessa on jotain, josta olen tullut yhä varmemmaksi tänä vuonna.

Tekoäly, kuinka voimakas tahansa, on vain työkalu.

Voimme pitää sitä lähellä koko ajan, mutta emme voi pitää sitä edessämme koko ajan tekemässä kaikkea puolestamme.

Se on kuin käyttäisi vasaraa naulan ajamiseen. Silmiesi täytyy seurata naulaa ja puuta, ja käsiesi täytyy tuntea jokainen värinä, jonka vasara lähettää takaisin.

Jos silmäsi ovat vain vasarassa etkä enää kosketa puuta käsilläsi, lopulta unohdat, miltä naula näyttää, unohdat puun tunnun, unohdat, mitä värähtely tarkoittaa.

Mutta juuri tällaisilta elämän pitäisi tuntua.

Joten kun rakensin SoulDubia, vaadin ihmisarvioinnin ja ihmismuokkauksen toimintojen sisällyttämistä suoraan ydinosaan. Mitä vahvemmaksi tekoäly tuleekin, se ei pärjää ilman ihmisen osallistumista. Ilman ihmisen osallistumista ei ole persoonaa. Ilman persoonaa ei ole sielua.

Maailma rakentuu pala palalta ihmisten välisissä vuorovaikutuksissa, ihmisten ja asioiden välillä, ihmisten ja olosuhteiden välillä.

Kukkaa kutsutaan kukaksi, koska me kutsumme sitä kukaksi. Puita kutsutaan puuksi, koska me kutsumme sitä puuksi.

Siksi eläimillä ei ole maailmaa, vain ihmisillä on. Se kuulostaa kaukaa haetulta, mutta mieti sitä. Se on totta.

Maailmani ei voi rakentua siten, että minä käsittelen tekoälyä ja sitten annan tekoälyn käsitellä ihmisiä, asioita ja olosuhteita puolestani. Se olisi tekoälyn maailma, ei minun.

Maailmani on rakennettava siten, että olen suoraan tekemisissä ihmisten, asioiden ja olosuhteiden kanssa. Minun täytyy rakentaa se omilla käsilläni. Ja vasta sitten, tietyissä kysymyksissä, joissa minulla on vielä arviointikykyä, minun pitäisi antaa tekoälyn astua kuvaan.

Se on minun maailmani, ei tekoälyn.

Mitä minulle merkitsee, jos kukka kukkii ja putoaa vuorilla? Se merkitsee hetken, kun menen katsomaan sitä itse.

Jos annan tekoälyn nähdä sen puolestani, sydämeni ja tuo kukka pysyvät yhtä hiljaisina. Se, etten edes liiku nähdäkseeni sitä, tarkoittaa, että tuo kukka ei koskaan ollut todella sydämessäni alun perinkään.

Jos elän näin liian kauan, eikö sydämeni tulisi tyhjäksi?

Vuosi on kulunut. Vihdoin voin kirjoittaa tämän esseen.

Kiitos, että luit tähän asti.