ChatGPT i detekcija veštačke inteligencije (AI)

Kada je u novembru 2022. godine kompanija Open AI objavila ChatGPT, javni pristup generativnoj veštačkoj inteligenciji (GAI) doživeo je dramatični napredak. Studenti su brzo usvojili ovu tehnologiju kako bi im pomogla u pisanju radova, a univerziteti su reagovali na različite načine, uključujući i traganje za načinima da otkriju da li su studenti koristili veštačku inteligenciju. Jedan od alata za otkrivanje plagijarizma koji koriste univerziteti je Turnitin, koji od aprila 2023. godine uključuje opciju za detekciju veštačke inteligencije.  

Tim sa Univerziteta u Adelejdu je testirao ovaj alat za detekciju veštačke inteligencije, kao i neke druge, kako bi utvrdio koliko je lako studentima da prevare sistem. Testiranje je počelo tako što je ChatGPT-u zatraženo da napiše kritiku filma „Kuća letećih udica“ iz 2004. godine. Turnitin-ov alat za detekciju veštačke inteligencije je uspešno otkrio da je tekst generisao veštačka inteligencija, vrativši rezultat od 100% sadržaja generisanog veštačkom inteligencijom.

Zatim je ChatGPT-u zatraženo da prepravi kritiku filma kako bi zvučala „više ljudski“. Rezultat i dalje nije uspeo da prevari Turnitin-ov alat za detekciju. Međutim, nakon što je ChatGPT-u zatraženo da kritiku napiše u stilu 14-godišnjeg đaka, a potom još jednom sa „više nasumičnih reči“, situacija se promenila. Sa završnom konstatacijom koja glasi: „Ovaj film je neverovatan. Ne želite da ga propustite, bro!“, Turnitin nije uspeo da otkrije veštački generisani sadržaj, dajući rezultat od 0% veštačkog sadržaja u poslednjem testu.

Drugi test je koristio ese probavnih materija od 500 reči koji je napisao ChatGPT na temu akademske integriteta. Esej je zatim modifikovan kako bi simulirao načine na koje bi student mogao pokušati da prevari alat za detekciju veštačke inteligencije: rečenice su preformulisane i restrukturisane, a nekoliko pravopisnih grešaka je namerno ubačeno. Rezultat Turnitin-ovog alata za detekciju veštačke inteligencije je pao sa 100% za ChatGPT-generisani uzorak na 39% za modifikovani ese.  

U trećem testu su ChatGPT-u bile date dve originalno napisane pasuse od strane ljudi i traženo je da ih unapredi kako bi zvučali „više akademski“. U oba slučaja, Turnitin nije uspeo da otkrije veštački generisani sadržaj.

Nakon toga, istraživački tim je testirao neke od besplatnih online alata za detekciju veštačke inteligencije koristeći iste testove i uzorke, sa različitim rezultatima. Neki alati su se pokazali relativno pouzdanim. Međutim, u drugim slučajevima, rezultati alata za detekciju veštačke inteligencije su bili niži za uzorke generisane veštačkom inteligencijom ili modifikovane od originalnih uzoraka pisanih od strane ljudi. Najpouzdaniji alat se pokazao Copyleaks, sa rezultatom od 85,2% verovatnoće veštačkog sadržaja za filmsku kritku napisanu u stilu 14-godišnjeg đaka i 73,1% verovatnoće veštačkog sadržaja za esej čak i nakon što je modifikovan od strane čoveka.

Važno je napomenuti da su ovi testovi sprovedeni u julu i avgustu 2023. godine. Kako se alati i ChatGPT razvijaju, ovi rezultati su vrlo verovatno podložni promenama. Nijedan od alata za detekciju veštačke inteligencije nije se pokazao ekstremno pouzdanim, čak i najbolji od njih se lako može prevariti. Alati za detekciju veštačke inteligencije su još uvek u povoju i naučiće da se poboljšavaju baš kao što će i generatori veštačkog sadržaja naučiti. Izveštaj sa Kornelskog univerziteta Can AI-Generated Text be Reliably Detected? nas podseća: „Kako je razvoj jezičkih modela sve sofisticiraniji i bolji u emuliranju ljudskog teksta, performanse čak i najboljeg mogućeg detektora se smanjuju.“ Nije poznato kako će se ova bitka između ove dve tehnologije odvijati.

Preporučuje se da edukatori testiraju sposobnost veštačke inteligencije da završe zadatke za procenu i razmotre načine na koje studenti mogu koristiti ChatGPT ili druge generatore veštačke inteligencije. Testiranje generatora veštačke inteligencije uz pomoć različitih alata za detekciju veštačke inteligencije pružiće edukatorima obilje korisnih informacija o dizajnu njihovih procena. Moći će da utvrde koliko je svaki zadatak za procenu lak za upotrebu od strane studenata kako bi generativna veštačka inteligencija pomogla u stvaranju radova. Takođe će dobiti vredne informacije o tome koji tipovi procena su najotporniji na veštačku inteligenciju.

Osim toga, kroz ovaj proces, edukatori će se upoznati sa upozoravajućim znakovima za veštački generisani sadržaj u okviru svojih portfolija ocene. Rezultati ove studije sugerišu da bi Copyleaks bio validan online alat za početak ovog procesa. Međutim, pravi zaključak je da treba pretpostaviti da će studenti moći da prevare svaki alat za detekciju veštačke inteligencije, bez obzira na njegovu sofisticiranost. Cilj za edukatore je sada da dizajniraju procene koje će podsticati i testirati učenje na rigorozan način u svetu veštačke inteligencije. To je izazovni zadatak koji je odavno trebao biti obavljen.

Daniel Lee je postdoktorski istraživač u Jedinici za digitalno učenje i društvo na Univerzitetu u Adelejdu, a Edward Palmer je vanredni profesor, obojica rade u školi za obrazovanje na Univerzitetu u Adelejdu.

Često postavljana pitanja (FAQ)

Šta je ChatGPT?

ChatGPT je generativna veštačka inteligencija (GAI) koju je razvio Open AI. To je tehnologija koja koristi velike jezičke modele da bi odgovarala na pitanja i generisala tekstualni sadržaj.

Kako funkcioniše Turnitin-ov alat za detekciju veštačke inteligencije?

Turnitin-ov alat za detekciju veštačke inteligencije koristi različite strategije i algoritme kako bi otkrio da li je određeni tekst generisan veštačkom inteligencijom. On analizira lingvističke karakteristike teksta i upoređuje ih sa poznatim obrascom generativne veštačke inteligencije.

Koja je pouzdanost alata za detekciju veštačke inteligencije?

Istraživanje je pokazalo da nijedan od testiranih alata za detekciju veštačke inteligencije nije ekstremno pouzdan. Čak i najbolji od njih se lako može prevariti. Alati za detekciju veštačke inteligencije su još uvek u razvoju i naučiće kako da se poboljšavaju kako bi otkrili što više generativnog veštačkog sadržaja.

Kako edukatori mogu prilagoditi procene kako bi uključili veštačku inteligenciju?

Preporučuje se da edukatori testiraju veštačku inteligenciju koristeći različite alate za detekciju kako bi saznali koliko je njihov zadatak otporan na generativnu veštačku inteligenciju. Na osnovu rezultata testiranja, mogu prilagoditi dizajn svojih procena kako bi podstakli i testirali učenje na rigorozan način u svetu veštačke inteligencije.

Kako se bori veštačka inteligencija sa alatima za detekciju?

Kako se jezički modeli veštačke inteligencije postaju sve sofisticiraniji u emuliranju ljudskog teksta, performanse čak i najboljeg alata za detekciju veštačke inteligencije se smanjuju. Ova bitka između dve tehnologije je još uvek nepoznanica i vreme će pokazati kako će se situacija razviti.

Koje su preporuke za edukatore u svetu veštačke inteligencije?

Preporučuje se da edukatori testiraju veštačku inteligenciju i koriste različite alate za detekciju kako bi stekli bolji uvid u dizajn svojih procena. Takođe se sugeriše upoznavanje sa upozoravajućim znakovima za generativni veštački sadržaj kako bi se stvorila procena koja će testirati učenje na rigorozan način u svetu veštačke inteligencije.