Pagod na sa banyagang mga subtitle, gumawa ako ng kasangkapang pagsasalin ng boses sa video para sa aking sarili

Isang gabi noong nakaraang taon, nanonood ako ng isang nakaka-inspire na video tungkol sa teknolohiya sa aking kompyuter. Nasa Ingles ito na may mga subtitle sa Intsik. Habang nanonood ako, may pumasok sa isip ko: Sana ay puwede ko na lang pakinggan ang bersyong Intsik. Hindi na kailangan tumingin sa mga subtitle buong oras. Maaari ko itong pakinggan habang nagko-commute, bago matulog, kahit saan.

Sa huli, talaga ko itong ginawa.

Panoorin ang clip ng pelikula na isinalin mula sa Intsik sa Ingles 👇

Ngunit mula sa sandaling sumagi sa aking isip ang ideya hanggang sa makalikha ng isang produktong maaaring gamitin ng lahat, mas matagal kaysa sa inaasahan ko.

Pagkatapos dumating ang ideya, sinubukan ko ang ilang kagamitan sa pagsasalin ng videos. Nandoon ang pagsasalin sa Tsino, pero may mali-palaging pakiramdam tuwing nakikinig ako.

Nandoon pa rin ang tao sa video, pero hindi na iyon ang kanilang boses. Nawala na rin ang damdamin sa paraan ng kanilang pagsasalita ng bawat pangungusap.

Isipin mo ang isang mukha na kilala mo nang mabuti, biglang nagsasalita sa ibang tono, ibang boses. Naiintindihan mo ang kahulugan, pero nagiging putol ang koneksyon. Parang nanonood ng isang pamilyar na tao habang naririnig ang isang estranghero na nagsasalita para sa kanila.

Ang talagang gusto ko ay simple. Isalin ang wika ng video, pero panatilihin ang orihinal na boses. Panatilihin ang emosyon, ang nuwansa sa paraan ng pagsabi nila ng bawat salita. Mahalaga ang maliliit na detalye na ito sa boses. Ang parehong pangungusap na sinasabi nang malumanay kumpara sa mabangis ay ibang-iba ang epekto sa iyo.

Naghahanap ako at nakakita ng isang modelong pamamaraan. Noon, limitado ang mga pagpipilian, ngunit ang kalidad ng pagpapanatili ng boses ng pamamaraang ito ay nagbigay sa akin ng pag-asa.

Ang pagkakaroon ng modelo ay isang bagay. Ang makakuha ng tapos na video ay isa pang bagay. Napakabagal ng inference, at hindi ko lang basta maibibigay ang buong video at maghihintay ng perpektong naisaling output na may audio na naka-synchronize sa video, habang pinapanatili ang background music. Kinailangan kong ikonekta ang lahat ng ito nang mag-isa.

Matapos kong magbahagi ng ilang mga halimbawa, maraming tao ang nagtanong kung maaari ko itong gawing isang kasangkapan na maaaring gamitin ng lahat.

Panoorin ang clip na ito na isinalin mula Chinese patungong Ingles 👇

Medyo kawili-wili na marinig ang isang pamilyar na karakter na nagsasalita ng ibang wika. Ang mas pinahahalagahan ko, gayunpaman, ay kung makikilala ko pa rin ang orihinal na vibe ng karakter na iyon pagkatapos ng pagpapalit ng wika.

Panuorin ang clip na ito na isinalin mula sa Hapon sa Tsino 👇

Ang pagpapahayag ng damdamin sa anime ay medyo kakaiba. Maaari mong pansinin ang tono ng mga karakter kapag sila ay nagsasalita.

Bumalik sa orihinal na pangangailangan, isalin ang Ingles na video sa Intsik.

Panuorin ang clip na ito na isinalin mula sa Ingles sa Tsino 👇

Balik tayo sa sinabi natin kanina. Pagkatapos kong magbahagi ng ilang mga halimbawa, maraming tao ang nagtanong kung maaari ko itong gawing isang tool na maaaring gamitin ng lahat. Ganun din ang iniisip ko. Sa totoo lang, sa tulong ng AI sa pag-coding, inakala ko na magiging mabilis ito, di ba? Gumagana na ang pangunahing pipeline ng pagsasalin. Ang iba pa? Kailangan lang gumawa ng website para sa pag-upload ng video.

Lumalabas, isang taon ang inabot.

Lumalabas na ang paggawa ng isang bagay na maipapakita at ang paggawa ng isang bagay na maaasahang magagamit ng mga tao ay magkaibang bagay. Sa paggamit ko nito mismo, ang kailangan ko lang ay tamang pagproseso ng video. Pero para sa iba, kailangan ko ng pagrerehistro, pag-login, at pagpapanatili ng data. Hindi pwedeng lumabas ang data ng isang user sa iba. Hindi pwedeng mag-crash ang sistema sa maraming sabay-sabay na pag-upload.

Paano kung bumagsak ang sistema? Paano kung dumami ang mga gumagamit at kailangan kong mag-scale? Maiintindihan ba agad ng mga gumagamit kung paano ito gamitin? Mga database, server, object storage, mga domain, DNS, isa-isa, kailangan mong ayusin ang mga ito ng tama. Ang bawat piraso ay tila maayos kapag mag-isa, pero paano mo sila pagsasamahin para magamit ng maayos ng mga tao ang iyong serbisyo? Laging may iba pang kailangan, at may iba pang kailangan pagkatapos nito.

Makakatulong ang AI. Pero kung tama ito, kung ano ang gagawin kapag may nasira, nasa sa iyo pa rin iyon.

Kaya bakit magpapatuloy? Dahil nangako ako. Nangako ako sa mga taong nais nito, nangako ako sa aking sarili. Ang kaisipang iyon ang nagpatuloy sa akin.

Ngayon, sa wakas, maaari na akong maghatid.

Tinatawag itong KaluluwaDub, pagdidubbing na may kaluluwa. Sinusuportahan nito ang 30 wika at ilang diyalekto.

Ang paggamit nito ay diretso lang:

Paraan sa web: Pumunta sa souldub.ai, mag-upload ng video, pumili ng wika, pindutin ang start. Iyon na.

Paraan ng Ahente: Hanapin ang github-souldub-skills sa iyong browser at i-install ito sa pamamagitan ng iyong nais na Ahente (ChatGPT, Claude, Gemini, atbp.) at ipa-install ang kasanayan nito.

Pagkatapos noon, maaaring isalin ng iyong Ahente ang iyong mga lokal na video. Ang isinaling video at mga subtitle ay awtomatikong madadownload sa folder ng orihinal na video.

Ang mga video mula sa parehong paraan ay makikita sa iyong SoulDub account.

Isang mahalagang bahagi pa: manu-manong pagsusuri at pag-edit.

Kung ang subtitle ay hindi tama, kung ang dub na boses ay kailangan ng pagsasaayos, inaayos mo ito nang direkta sa site. Ginagawa ng AI ang unang hakbang, pagkatapos ay pinapino mo ang mga bahagi na mahalaga sa iyo. Patuloy na tumataas ang kalidad.

Tungkol dito, gusto kong makipag-usap sa iyo tungkol sa kung ang paggamit ng SoulDub ay talagang may gastos.

Sa totoo lang: maaari mo itong gamitin nang libre bawat buwan, ngunit hindi ito walang limitasyong libre.

Ang kapangyarihan sa pag-compute ay inuupahan mula sa mga cloud server, ganoon din ang imbakan. Tuwing buwan kapag dumating ang bill mula sa provider ng cloud, kailangan namin itong bayaran upang patuloy na gumana ang mga server.

Maraming tao ang nag-iisip na mas mabuting isalin ang mga video nang hindi gumagastos ng kahit ano. Totoong naiintindihan ko ang pakiramdam na iyon. Ganito rin ang iniisip ko noon kapag naghahanap ako ng mga kagamitan para dito.

Ngunit kapag ikaw ang nagmamantine ng isang serbisyo, ikaw ang siyang nagbabayad ng bayarin. Kung hindi mo kaya, simpleng hindi magtatagal ang bagay na iyon.

Kung nagamit mo na ang SoulDub, mangyaring ibahagi ang iyong puna sa akin anumang oras. Gawin nating mas mahusay ito nang magkasama.

Salamat sa mga mambabasa na nagbigay sa akin ng puna isang taon na ang nakakaraan, nang ako ay nagsisimula pa lamang magkaroon ng ideya.

At salamat sa aking sarili, para sa pagtitiyaga sa nakaraang taon na ito.

Ngayon, hayaan ninyo akong ibahagi ang ilang mga pagninilay tungkol sa AI na aking nakalap ngayong taon.

Ang AI ay nagbago ng ilang bagay na dati ay maaari lamang isipin tungo sa realidad.

Tulad ng pagsasalin ng boses sa video, talagang naitayo ito. Ang ito lang ay sapat na para mapasaya ako.

Ngunit bukod sa pagkasabik, may isang bagay na lalong tumitibay ang aking paniniwala ngayong taon.

Ang AI, gaano man ito kapangyarihan, ay isang kasangkapan lamang.

Maaari natin itong panatilihing malapit sa lahat ng oras, ngunit hindi natin ito maaaring panatilihing nasa harap natin sa lahat ng oras, ginagawa ang lahat para sa atin.

Para itong paggamit ng martilyo upang patamaan ang pako. Kailangan ng iyong mga mata na bantayan ang pako at ang kahoy, at kailangan ng iyong mga kamay na maramdaman ang bawat panginginig na ibinabalik ng martilyo.

Kung ang mga mata mo ay nakatuon lamang sa martilyo at ang mga kamay mo ay hindi na humahawak sa kahoy, sa huli malilimutan mo na kung ano ang anyo ng pako, malilimutan mo ang pakiramdam ng kahoy, malilimutan mo kung ano ang ibig sabihin ng panginginig.

Ngunit ito ang dapat maramdaman sa buhay.

Kaya nang binubuo ang SoulDub, iginiit ko na ilagay ang pagsusuri at pag-edit ng tao mismo sa pangunahing bahagi. Kahit gaano pa kalakas ang AI, hindi ito makakagawa nang walang partisipasyon ng tao. Kung walang partisipasyon ng tao, walang personalidad. Kung walang personalidad, walang kaluluwa.

Ang mundo ay binubuo batay sa bawat maliit na bahagi sa mga ugnayan sa pagitan ng mga tao, sa pagitan ng mga tao at bagay, at sa pagitan ng mga tao at kalagayan.

Ang isang bulaklak ay tinatawag na bulaklak dahil tinatawag natin itong bulaklak. Ang isang puno ay tinatawag na puno dahil tinatawag natin itong puno.

Kaya nga walang mundo ang mga hayop, tanging tao lamang ang mayroong mundo. Mukhang malabo, pero pag-isipan mo. Totoo ito.

Hindi maaaring itayo ang aking mundo sa pamamagitan ng pakikitungo ko sa AI, at pagkatapos ay hayaan ang AI na makitungo sa mga tao, bagay, at kalagayan sa aking ngalan. Iyon ay mundo ng AI, hindi sa akin.

Ang aking mundo ay kailangang itayo ko sa pamamagitan ng direktang pakikisalamuha sa mga tao, sa mga bagay, sa mga pangyayari. Kailangan ko itong itayo sa aking sariling mga kamay. At tanging sa mga tiyak na tanong kung saan mayroon pa akong pagpapasya, doon ko lamang dapat hayaang tumulong ang AI.

Akin ang mundong iyon, hindi ng AI.

Ano ba ang pakialam ko kung ang isang bulaklak ay namumulaklak at nalalagas sa bundok? Nagkakaroon ito ng kahalagahan sa sandaling makita ko ito mismo.

Kung hahayaan kong makita ito ng AI para sa akin, mananatiling tahimik ang aking puso at ang bulaklak na iyon. Ang katotohanan na hindi ko man lang iikot ang aking sarili upang makita ito ay nangangahulugang ang bulaklak na iyon ay hindi talaga kailanman nasa aking puso mula sa simula.

Kung mamumuhay ako sa ganitong paraan nang matagal, hindi ba magiging walang laman ang aking puso?

Lumipas ang isang taon. Sa wakas, makakagawa na ako ng sanaysay na ito.

Salamat sa pagbabasa hanggang dito.