Novi jezik za velike jezičke modele AI

U vreme kada su veštačka inteligencija i jezički modeli sve prisutniji, većina od 7.000 govornih jezika sveta izgleda kao da su poslednje što je neko razmatrao. Obično se polje obrade prirodnih jezika fokusira samo na 20 jezika. Jezici sa malim resursima su zanemareni, jer razvojnici imaju manje podataka na kojima mogu da rade.

ogromni jezički modeli ili LLM (Large Language Models) nisu jednako vešti u drugim jezicima, posebno u manje poznatim jezicima poput malajaškog. LLM GPT-4 koji je pušten ranije ove godine je poboljšan, ali njegova tečnost u govoru malagaškog jezika još uvek ne može da se uporedi sa engleskim.

„Ti modeli prvenstveno razmišljaju na engleskom. U drugim jezicima ne funkcionišu dobro, a to odražava gde su razvijeni. Uvećani generativni modeli veštačke inteligencije su karakteristični za razvijene zemlje“, objašnjava Sara Hooker, šef Cohere For AI, neprofitnog laboratorijuma za istraživanje koji sarađuje sa torontoskom kompanijom za veštačku inteligenciju Cohere.

Sa ciljem da promeni ovu situaciju, Cohere For AI je započeo razvoj LLM-a pod nazivom Aya, koji može da komunicira na 101 jeziku, uključujući somalski, joruba, japanski, malajski, telugu i vijetnamski. Plan je da model i skup podataka budu dostupni za upotrebu od početka iduće godine.

Aya je otvoreni i javni projekat koji se zalaže za razmenu resursa, metoda i rezultata u vezi sa veštačkom inteligencijom. Više od 1.000 ljudi je već uključeno u ovaj projekat, a tim od oko 80 ljudi radi na njemu. Među saradnicima se nalaze nezavisni istraživači i studenti računarskih nauka. Modelu Aya potrebno je hiljade tekstualnih primera na različitim jezicima kako bi „učio“.

Međutim, postojeći višejezički skupovi podataka su loše prevedeni i neadekvatni za obuku modela veštačke inteligencije. Volonteri imaju zadatak da ocene kvalitet tekstualnih primera i da ih izmene kako bi bili koherentni i gramatički ispravni. Takođe, pozivaju se da doprinesu novim primerima u obliku pitanja i odgovora, pri čemu se ohrabruje prijava 4.000 unikatnih parova po jeziku.

Aya projekat je posebno značajan za govornike jezika sa malo pismenih ljudi. U zemlji kao što je Madagaskar, gde veliki broj ljudi nije smatran pismenim (prema Svetskoj banci, stopa pismenosti kod muškaraca iznosi 78.8%, a kod žena 75.8%), važno je obezbediti mogućnost interakcije sa modelom samo putem usmenog jezika.

Ovaj projekat takođe podržava razvoj zemalja poput Senegala, Nigerije i Indije, u kojima se govore jezici poput wolofa, jorube i telugua. Za ove jezičke ambasadore, poput Mouhamadane Mboupa i Olanrewaju Samuela, Aya predstavlja priliku za napredak njihove zajednice u oblasti veštačke inteligencije.

FAQ:

Šta su LLM?

LLM je skraćenica za velike jezičke modele ili Large Language Models. To su generativni modeli veštačke inteligencije koji obrađuju i generišu jezik.

Kako funkcioniše Aya projekat?

Aya projekat ima za cilj razvoj LLM modela koji može da komunicira na 101 jeziku. Projekat je otvoren i javan, a podaci i model će biti dostupni za upotrebu od početka iduće godine.

Koje jezike podržava Aya?

Aya podržava 101 jezik, uključujući jezike kao što su somalski, joruba, japanski, malajski, telugu i vijetnamski.

Ko stoji iza Aya projekta?

Projektom Aya rukovodi laboratorijum za istraživanje Cohere For AI, koji sarađuje sa kompanijom Cohere iz Toronta.

Da li će Aya biti korisna za manje poznate jezike?

Da, Aya će omogućiti napredak u razvoju veštačke inteligencije za jezike koji do sada nisu bili dovoljno zastupljeni.