Novi modeli veštačke inteligencije pružaju rešenje za rastuće probleme gigantskih modela

Veštačka inteligencija stalno napreduje i raste. Veliki jezički modeli koji pokreću poznate chatbotove, poput OpenAI-jevog ChatGPT i Google-ovog Bardo, sastoje se od više od 100 milijardi parametara – težina i promenljivih vrednosti koje određuju kako veštačka inteligencija reaguje na ulazne podatke. To je znatno više informacija i koda u odnosu na najnaprednije modele veštačke inteligencije pre samo nekoliko godina.

U osnovi, veća veštačka inteligencija je sposobnija. Sve veći jezički modeli i sve masovniji skupovi podataka za obuku rezultirali su chatbotovima koji mogu položiti ispite na univerzitetu, pa čak i prijemne ispite za medicinske fakultete. Međutim, postoji nekoliko problema sa ovakvim razvojem: kako su modeli postali veći, tako su postali sve teži za rukovanje, zahtevniji po pitanju energetskih resursa i teže se grade. Manji modeli i skupovi podataka mogli bi rešiti ovaj problem. Zbog toga se developeri veštačke inteligencije, čak i u najvećim tehnološkim kompanijama, počinju vraćati i ponovno procenjivati smanjene modele veštačke inteligencije.

Na primer, tim istraživača iz Microsoft-a je u septembru objavio tehnički izveštaj o novom jezičkom modelu pod imenom phi-1.5. phi-1.5 se sastoji od 1,3 milijarde parametara, što je otprilike stotinu puta manje od GPT-3.5, modela koji stoji iza besplatne verzije ChatGPT-a. GPT-3.5 i phi-1.5 takođe dele istu opštu arhitekturu: oba su bazirana na transformeru, neuralnim mrežama koje funkcionišu mapiranjem konteksta i odnosa jezika.

Međutim, uprkos svojoj relativnoj manjoj veličini, phi-1.5 „pokazuje mnoge karakteristike mnogo većih jezičkih modela“, pišu autori u svom radu, koji je objavljen kao preprint koji još nije prošao proces peer-review-a. U testovima izvođenja benchmark-a, model se pokazao bolje od mnogih modela slične veličine. Takođe je pokazao sposobnosti koje su uporedivi sa drugim veštačkim inteligencijama koje su pet do deset puta veće.

Ne postoji sumnja da su masivni jezički modeli poput Bardo, GPT-3.5 i GPT-4 sposobniji od modela phi. „Rekao bih da je uporediti phi-1.5 sa GPT-4 isto kao uspoređivati učenika srednje škole i studenta na diplomskim studijama“, kaže Ronen Eldan, glavni istraživač veštačke inteligencije u Microsoft Research-u i jedan od autora izveštaja iz septembra. Međutim, phi-1.5 i phi-2 su samo najnoviji dokazi da mali modeli veštačke inteligencije mogu biti moćni, što znači da mogu rešiti neke probleme koji se javljaju kod gigantskih modela veštačke inteligencije kao što je GPT-4.

FAQ:
1. Koje su prednosti manjih modela veštačke inteligencije?
Manji modeli veštačke inteligencije troše manje energetskih resursa i omogućavaju da se veštačka inteligencija pristupačnija i dostupnija širem spektru ljudi. Takođe, manji modeli se mogu koristiti na manjim uređajima i obezbeđuju veću privatnost i sigurnost podataka.

2. Da li manji modeli imaju slične performanse kao veći modeli?
Iako uopštena pravilo kaže da su veći modeli sposobniji, manji modeli veštačke inteligencije mogu pokazati slične performanse u određenim oblastima. Studije su pokazale da čak i masivne jezičke modele može se smanjiti za 60% bez gubitka performansi u svim oblastima.

3. Koje su moguće primene manjih modela veštačke inteligencije?
Manji modeli veštačke inteligencije mogu se koristiti na uređajima poput pametnih frižidera i pametnih narukvica, omogućavajući interakciju sa korisnicima bez slanja sirovih podataka preko cloud-a. Takođe, manje modele moguće je implementirati u senzore na dronovima, što omogućava naprednu tehnologiju za merenje i prikupljanje podataka u udaljenim područjima.