Novi pristup upravljanju AI modelima obećava veću efikasnost i ekonomičnost

Generativna AI tehnologija je ubrzala razvoj novih modela veštačke inteligencije, ali mnogi od njih nisu generativni veliki jezički modeli (Large Language Models – LLM). AI platforma Hugging Face sada ima listu od 380.000 otvorenih modela, što je povećanje u odnosu na 80.000 modela pre godinu dana. Ovo ne uključuje hiljade vlasničkih modela koji se uvode u preduzeća.

Veliki izazov je taj što svaki model ima različite kompromise koji variraju u zavisnosti od zadatka i vrste podataka. Ti kompromisi se odnose na performanse, tačnost, cenu, transparentnost, pristrasnost i objašnjivost. Martian se nada da će ovaj haotični pejzaž urediti novom arhitekturom nazvanom modelni ruter, koji može dinamično usmeravati radne opterećenja veštačke inteligencije ka najboljem modelu u skladu sa zahtevima zadatka.

Ovaj novi pristup obećava povećanje performansi, smanjenje ukupnih vlasničkih troškova i olakšava migraciju na nove modele. U nekim slučajevima, postiže se slična performansa uz polovinu ili jedan stotinu manje troškova u odnosu na računarski intenzivne modele poput OpenAI-jevog GPT-4.

U proteklih nekoliko godina, pojavilo se mnogo alata za posmatranje, obezbeđivanje i upravljanje rizicima modela. Oni su kategorisani pod novim nazivima kao što su AI poverenje, upravljanje rizikom i bezbednost, AI posmatranje i operacije modela. Oni se obično fokusiraju na upravljanje pojedinačnim modelima, dok novi pristup razmatra pristup kolekciji modela. Etan Ginsberg, suosnivač i su-CEO iz Martian-a, kaže:

„Većina alata za upravljanje modelima bazirani su na korišćenju jednog modela. Na primer, mogu vam reći o prosečnim performansama modela u određenom zadatku. Martian nadopunjuje to omogućavajući upotrebu više modela, što omogućava povećanje performansi, smanjenje ukupnih vlasničkih troškova i štiti budućnost. Takođe omogućavamo veću bezbednost i otpornost omogućavajući kompanijama da biraju modele koje koriste i obezbeđujući rezervne kopije.“

Mapiranje pejzaža modela

Jedan od glavnih izazova u radu sa tako mnogo različitih modela je efikasno i automatsko izvlačenje prednosti različitih modela u odnosu na zadatke. Ključna inovacija Martian-a je pristup koji nazivaju modelnim mapiranjem, koji pruža opšti okvir za skup tehnika koje se koriste za razumevanje modela. Osnovna ideja je pretvoriti svaki model u druge formate koji efikasnije analiziraju ključna svojstva modela.

Istraživači i inženjeri već dugo eksperimentišu sa distilacijom modela, što je proces obuke manjeg modela da oponaša veći za određenu upotrebu. Mnogi inženjeri već distiluju otvorene modele iz većih zatvorenih modela. Kompanije takođe destiluju veće modele u manje kako bi poboljšale performanse ili smanjile troškove, pri čemu postižu potrebnu tačnost.

Ono što je novo kod Martian pristupa je da mogu destilovati reprezentaciju iz otvorenih modela koja se može direktno obraditi analizom ulazno-izlaznih parova iz API-ja u zatvoreni model koji se pruža kao usluga. Rezultat je da ova tehnika može pomoći u efikasnoj analizi kompromisa sa otvorenim AI modelima i vlasničkim uslugama. Shriyash Upadhyay, drugi suosnivač i su-CEO Martian-a, kaže da njihov pristup gradi na istraživanjima drugih u ovoj oblasti, na primer, Watchful je pionirao tehnikama razumevanja kako promene u zadacima mogu uticati na rezultate LLM-a, a Anthropic je izveo zanimljiv rad na razlaganju LLM-ova na razumljive komponente.

Dok su većina mapa obično manje od samog teritorijala, kod LLM-ova, veće mape za predstavljanje različitih uloga određenog neurona mogu biti lakše za tumačenje. Upadhyay kaže da idu korak dalje:

„Možemo mapirati modele u programe. Ova konverzija nam omogućava da pročitamo algoritme koje ovi modeli primenjuju i da primenimo sve alate koji se obično koriste za razumevanje programa (refaktorisanje, testiranje, dinamičku/statičku analizu, IDE-ove, formalnu verifikaciju itd.) u razumevanju AI modela umesto toga. Mislimo da je ovo pristup koji se više može skalirati i koji može omogućiti potpuno nove oblike alata za veštačku inteligenciju.“

Nekim od svojstava modela koja se trenutno mogu prikazati na ovim mapama modela uključuju cenu, brzinu i metrike performansi, poput tačnosti, pristrasnosti i nesigurnosti. Korisnici postavljaju kriterijume koji ih interesuju, poput performansi i koliko su spremni da troše za svako poboljšanje od 10%, a modelni ruter može dinamički usmeriti zahtev ka najboljem modelu za zadatak. Sistem za usmeravanje takođe može sarađivati sa postojećim naporima preduzeća da poboljša rezultate putem fino podešavanja, inženjeringa uputa i procesa generisanja sa obogaćenom pretragom.

Rani dani

Važno je napomenuti da je ovaj pristup još uvek u razvoju i da tim nastoji da ga unapredi u budućnosti. Trenutno, novi alati mogu pomoći u izboru modela koji prevazilaze GPT-4, jednog od trenutno vodećih, ali najskupljih modela, u pogledu specifičnih zadataka uz značajno smanjene troškove.

Još važnije je da novi alati za mapiranje modela u industriji mogu omogućiti preduzećima da imaju veću kontrolu nad svojim AI uslugama, podrže nove okvire upravljanja i poboljšaju mere bezbednosti. Ginsberg kaže:

„Ako pogledamo mnoge probleme u implementaciji i obezbeđivanju sigurnosti AI modela, oni proizlaze iz činjenice da su AI modeli crne kutije. Kada su preduzeća nesigurna u upotrebu AI u svojim sistemima od suštinske važnosti, to je zato što su crne kutije kojima niko ne može verovati. Kada LLM-ovi haluciniraju i daju neželjene izlaze, to je zato što su crne kutije koje niko ne može popraviti. Kada ljudi brinu o nebezbednosti veštačke inteligencije, o teškoćama u regulisanju ili zaštiti društva od nje, i o mogućoj pretnji postojanju čovečanstva – to je zato što su crne kutije koje niko ne može razumeti.“

Još jedan dugoročni cilj je inspirisati industriju veštačke inteligencije da razmišlja o upravljanju AI modelima na isti način na koji upravljamo tradicionalnim razvojem aplikacija. Upadhyay kaže:

„U svetu gde su modeli prozirni kao programi, možemo imati mnogo moćnije testiranje. Na primer, današnji programi mogu se formalno verifikovati, odnosno možemo napisati dokaze koji dokazuju da su ovi programi ispravni. Zamislite ako bi preduzeća mogla imati taj nivo sigurnosti i pouzdanosti u svoje modele.“

Moje mišljenje

Hajp oko generativne AI tehnologije brzo će dovesti do šoka zbog visokih troškova kada preduzeća otkriju da njihova nova bučna AI aplikacija značajno povećava troškove. Isto se desilo kada su preduzeća žurila da iskoriste nove cloud usluge bez predviđenih troškova.