Automatizacija unapređenja modela jezika: OPRO program od Google-ovog DeepMind-a

Istraživači iz Google-ovog DeepMind-a razvili su program nazvan OPRO koji automatizuje proces unapređivanja naziva za velike jezičke modele, kao što je OpenAI ChatGPT. Ovaj program, koji se pokreće pomoću algoritma Meta-Prompt, generiše više naziva i meri njihovu efektivnost u rešavanju različitih zadataka. Umesto da eksplicitno programira idealno stanje, OPRO koristi uputstva na prirodnom jeziku koja omogućavaju AI programu da se prilagodi promenama u zahtevima za optimizaciju. Ovaj pristup pruža novu mogućnost za optimizaciju koristeći jezičku fleksibilnost velikih jezičkih modela.

Autori istraživačkog rada pod nazivom „Veliki jezički modeli kao optimizatori“ testirali su OPRO na linearnoj regresiji i evaluacijama referenci, poput rešavanja matematičkih problema iz osnovne škole i zadatka zaključivanja. Rezultati su pokazali da automatski generisani nazivi daju bolje rezultate u poređenju sa ručno kreiranim nazivima. Automatizacija unapređivanja naziva pomaže u olakšavanju procesa i potencijalno dovodi do optimalnijih naziva.

Unapređivanje naziva, proces kreiranja najboljih ulaznih fraza za generativni AI program, ključna je veština za maksimiziranje efikasnosti jezičkih modela. Međutim, sve veća automatizacija unapređivanja naziva donosi novu perspektivu polju. Google-ov DeepMind je razvio program OPRO koji koristi velike jezičke modele za automatizaciju procesa pokušaja i grešaka optimizacije naziva. Program koristi algoritam Meta-Prompt, koji generiše i testira više naziva kako bi identifikovao najefikasniji.

Umesto da eksplicitno definiše problem optimizacije, OPRO koristi uputstva na prirodnom jeziku kako bi se AI program prilagodio različitim zadacima optimizacije. Ovaj pristup koristi fleksibilnost jezičke obrade velikih jezičkih modela, omogućavajući im da iterativno generišu nove rešenja na osnovu opisa problema i prethodno pronađenih rešenja.

Efikasnost programa OPRO i Meta-Prompt je demonstrirana kroz različite testove, počevši od problema linearne regresije. OPRO je pokazao sposobnost pronalaska rešenja za matematičke probleme putem upućivanja jezičkog modela, eliminirajući potrebu za specifičnim rešavačima za određene probleme. Program je uspešno uhvatio smer optimizacije na osnovu prethodnih putanja optimizacije koje su bile dostavljene u meta-uputstvu.

Samo unapređivanje naziva može se posmatrati kao zadatak koji se može optimizovati. Prethodna istraživanja su predložila automatsku optimizaciju naziva izmenom postojećih naziva, ali Meta-Prompt ide korak dalje i generiše potpuno nove nazive. Ovaj automatizovani proces uključuje generisanje novih naziva na osnovu prethodno generisanih, s ciljem povećanja tačnosti testiranja bez potrebe za doslednošću semantičkog značenja.

Da bi se procenila efikasnost automatski generisanih naziva, OPRO je testiran na evaluacijama kao što su matematički problemi rečima iz osnovne škole (GSM8K) i zadaci zaključivanja (BIG-bench Hard). Automatski generisani nazivi pokazali su poboljšane performanse u poređenju s ručno pravljenim nazivima u ovim zadacima. Automatizacija unapređivanja naziva olakšava proces i otvara mogućnosti za unapređenje performansi AI jezičkih modela.

Zaključno, automatizacija unapređivanja naziva putem programa poput OPRO i algoritama poput Meta-Prompta pruža novi pristup za optimizaciju jezičkih modela. Koristeći velike jezičke modele i uputstva na prirodnom jeziku, proces postaje efikasniji i efektivniji. Mogućnost automatizacije naziva pokazala je obećavajuće rezultate u rešavanju različitih zadataka, otvarajući prostor za dalji napredak u AI jezičkim modelima.