Integracija veštačke inteligencije (AI) u alate za upravljanje aplikativnom izvedbom

Uvod

Danas je kompanija New Relic dodala mogućnost praćenja veštačke inteligencije (AI) modela svom alatu za upravljanje aplikativnom izvedbom (APM). Peter Pezaris, viši potpredsednik za strategiju i iskustvo u New Relic-u, ističe da će se većina naredne generacije aplikacija sastojati od više AI modela. New Relic proširuje svoju platformu APM kako bi pojednostavio praćenje ponašanja ovih AI modela u okviru aplikacije.

Integracija i optimizacija AI modela

Da bi postigao taj cilj, New Relic je dodao više od 50 integracija sa okruženjima i AI modelima kako bi otklanjao tehničke probleme i upoređivao i optimizovao reakcije AI modela na zadatke. Ove optimizacije pomoći će u rešavanju performansi, troškova, bezbednosti i kvaliteta, uključujući probleme poput halucinacija, pristrasnosti, toksičnosti i pravičnosti.

Recimo, praćenje reakcija velikih jezičkih modela (LLM) može se primeniti pomoću New Relic softvera za prikupljanje telemetrijskih podataka. Na osnovu tih rezultata može se uporediti kako različiti AI modeli izvršavaju zadatke i odgovaraju na upite. Ove informacije omogućiće potpunu vidljivost modela, aplikacija i infrastrukture i pružiti uvid u celokupan AI skup, izjavio je Pezaris.

Izazovi upravljanja AI modelima

Kako organizacije koriste mešavinu sopstvenih, open source i prilagođenih velikih jezičkih modela i drugih AI modela za izgradnju i implementaciju aplikacija, suočiće se sa izazovima upravljanja stotinama AI modela. Redosled u ovom potencijalno haotičnom procesu je ključan, jer, pored gubljenja resursa, predstavlja i značajan rizik za poslovanje zbog mogućih regulatornih kazni, naglašava Pezaris.

Svaka organizacija će morati da pronađe najbolji način za izgradnju procesa koji će obuhvatiti podatkovne naučnike, razvojni tim, softverske inženjere, timove za sajber bezbednost i stručnjake za usklađenost. Ubrzo će se organizacije suočiti sa upravljanjem stotinama AI modela koji će biti integrisani u hiljade aplikacija. New Relic zagovara proširenje postojeće APM platforme kako bi se rešio ovaj izazov, umesto da organizacije moraju nabaviti, implementirati i održavati dodatne platforme.

Izazovi za timove DevOps

Kako se AI modeli stalno unapređuju i menjanju, timovi DevOps-a suočavaju se sa velikim izazovima pri operacionalizaciji veštačke inteligencije. Potrebno je uskladiti performanse aplikacija i obezbediti da rezultati koje ovaj model pruža budu tačni i dosledni. Ovaj poslednji izazov je posebno važan u poslovnom okruženju, gde rezultati koje AI model generiše ne smeju da variraju između upita.

Iako se još uvek nalazimo u ranim fazama primene AI u aplikacijama, AI modeli postaju deo svakodnevnog posla. Upravljanje razvojem i implementacijom aplikacija postaje kompleksnije izazov za timove DevOps-a.