Novi detektor može identifikovati naučne radove nastale pomocu jezičkih modela

Kemija ima novog saveznika u borbi protiv nepravilne upotrebe veštačke inteligencije u naučnim časopisima. Heather Desaire, analitičarka hemičar sa Univerziteta u Kanzasu (KU) i njen tim, stvorili su detektor koji tvrde da je 98-100% efikasan u identifikaciji naučnih radova generisanih od strane jezičkih modela kao što je ChatGPT. Njihov alat može pomoći naučnim izdavačima da otkriju i spreče nepravilnu upotrebu veštačke inteligencije u akademskim časopisima.

Detektor KU-a je prvo predstavljen u junu ove godine, kada je testiran na naučnim radovima iz časopisa Science i pokazao tačnost prepoznavanja naučnog teksta generisanog od strane ChatGPT-a od preko 99%. Sada je tim značajno proširio delokrug alata testirajući ga na radovima iz oblasti hemije.

Detektor je treniran na 100 uvodnih dela iz 10 časopisa koje je objavilo Američko hemijsko društvo. Potom su ChatGPT-u zadali da napiše slične pasuse. Rezultati su bili impresivni – model za mašinsko učenje je tačno identifikovao ljudski napisane pasuse 100% vremena, kao i one generisane na osnovu naslova izveštaja. Kada je ChatGPT obučen na uvodnim pasusima, tačnost prepoznavanja je bila 98%.

Jedan od istraživača objašnjava da je glavna motivacija bila u tome da šire pogledaju izbor časopisa i izazovu pristup složenijim i raznovrsnijim tematskim polaznim tačkama.

Detektor je prošao i teži test. Stavljen je na probu sa uzorcima koji nisu korišćeni u obuci, ali su iste prirode kao obučavajući podaci – u ovom slučaju 150 uvoda iz tri druga hemijska časopisa koji nisu bili deo originalne obuke. Takođe je korišćeno i unapređeno izdanje ChatGPT-a radi poboljšanja generisanog teksta veštačke inteligencije. Detektor je i dalje uspešno klasifikovao novi tekst u rasponu od 92% do 98% za tri časopisa.

Ovaj alat bi mogao biti od pomoći u otkrivanju sumnjivih radova, koji bi zatim bili istraženi od strane recenzenata ili urednika časopisa kako bi se utvrdilo da li je rad lažan. Eksperti za prevare u naučnom istraživanju ističu značaj tog alata.

Elisabeth Bik, mikrobiolog i konsultant za naučnu integritet u SAD-u, svesrdno podržava ovu studiju. Ona smatra da je ovo koristan dodatak koji može pomoći urednicima naučnih časopisa da pregledaju pristigle radove generisane računarima, slično kao što se koristi softver za otkrivanje plagijarizma.

Saniat (John) Sohrawardi, doktorant sa Tehnološkog instituta u Ročesteru u Njujorku koji radi na detekciji „dubokih laži“, ima neke rezerve. „Ni jedan časopis ni naučno okupljanje ne bi trebalo da koristi ovaj alat kao jedini osnov za odbacivanje rada“, navodi. „Ipak, verujem da njihov rad ima zasluge kao prvo osmatranje, ukoliko je dovoljno efikasan i resursno pristupačan, ali mora da se naglasi da se ne koristi kao definitivni dokaz za odbacivanje rada.“

Brige oko preterivanja sa izjavama
Ipak, nekoliko stručnjaka iz ove oblasti skeptično gleda na tvrdnje o visokom stepenu pouzdanosti detektora veštačke inteligencije. Debby Cotton, direktor akademske prakse na Univerzitetu Plymouth Marjon u Velikoj Britaniji, ističe da su ranija ispitivanja ovih detektora pokazala visoku tačnost, ali se to retko potvrdilo kada su testirani u širem obimu.

Cotton, koja je autor nedavnog istraživanja koje je proučavalo upotrebu veštačke inteligencije u visokom obrazovanju, kaže da je u slučaju ovog najnovijeg alata model specifično obučen za uski opseg i da će ga to učiniti boljim od većine drugih. Ipak, ona sugeriše da je obično vrlo lako izbeći takve detektore s površnom ljudskom korekcijom, ističući čak da postoji čak i novo usluga pod nazivom Undetectable AI koja pomaže autorima koji žele da prikriju izvore veštačke inteligencije svog rada.

Desaire sad želi da utvrdi u kojoj meri je ChatGPT prodro u istraživačko preduzeće. „Imamo detektor koji je koristan za pronalaženje doprinosa ChatGPT-a u naučnom pisanju, pa bi sledeći korak bio da ga primenimo na akademsko naučno pisanje i vidimo“, kaže ona.

„I ne mislim da bilo ko stvarno zna koliko ChatGPT doprinosi naučnoj literaturi – da li je to nula, 20%?“, pita se Desaire. Ona ističe da će cilj njegovog budućeg istraživanja biti da se utvrdi koliko je česta neprihvatljiva upotreba ChatGPT-a u naučnoj literaturi.

FAQ:

1. Ko je stvorio novi detektor za prepoznavanje naučnih radova generisanih jezičkim modelima?
Odgovor: Detektor je stvorila Heather Desaire i njen tim sa Univerziteta u Kanzasu (KU).

2. Kako je detektor treniran i na kojim člancima je testiran?
Odgovor: Detektor je treniran na 100 uvodnih delova iz 10 časopisa koje je objavilo Američko hemijsko društvo. Testiran je na radovima iz oblasti hemije.

3. Kakvi su rezultati testiranja detektora?
Odgovor: Detektor je tačno prepoznao ljudski napisane pasuse 100% vremena, kao i one generisane na osnovu naslova izveštaja. Tačnost prepoznavanja je bila 98% kada je detektor treniran na uvodnim pasusima.

4. Koje koristi može imati ovaj detektor za naučne časopise?
Odgovor: Detektor može pomoći u otkrivanju i sprečavanju nepravilne upotrebe veštačke inteligencije u naučnim časopisima. On može služiti kao alat za otkrivanje sumnjivih radova, koji bi zatim bili istraživani od strane recenzenata ili urednika časopisa.

5. Da li postoji zabrinutost u vezi sa preteranim tvrdnjama o pouzdanosti ovog detektora?
Odgovor: Da, neki stručnjaci iz ove oblasti su skeptični u vezi sa tvrdnjama o visokom stepenu pouzdanosti detektora veštačke inteligencije. Navode da je do sada bilo malo primera gde su ovi detektori dokazali visoku tačnost u širem obimu testiranja. Takođe, ukazuju na mogućnost da se detektor zaobiđe sa površnom ljudskom korekcijom ili korišćenjem usluga koje pomažu autorima da prikriju korišćenje veštačke inteligencije.