Студија открива да АИ Цхатбот ЦхатГПТ пружа ограничену помоћ за припрему сертификације офталмолошког одбора

Недавна студија је процијенила учинак цхатбот-а са умјетном интелигенцијом (АИ) ЦхатГПТ у одговарању на питања високог приноса дизајнирана за припрему сертификације офталмолошког одбора. Под водством др Рајеева Х. Мунија са Универзитета у Торонту, истрага је открила да је ЦхатГПТ тачно одговорио на отприлике половину питања, са различитим стопама успјеха у различитим подспецијалностима.

Иако су признавали напредак АИ у медицини, истраживачи су нагласили да ЦхатГПТ није понудио значајну помоћ у припреми за сертификацију одбора током периода студије. Они су истакли важност одговорне употребе оваквих система вештачке интелигенције у медицинском образовању и клиничкој пракси, с обзиром на потенцијал за изношење нетачних информација.

Развијен од стране ОпенАИ-а, ЦхатГПТ је био укључен у различите научне и медицинске примене, подижући значајне друштвене импликације. Иако се наставни планови и програми за обуку засновани на вештачкој интелигенцији развијају у медицини, студија је нагласила потребу да студенти медицине препознају ограничења ЦхатГПТ-а.

Студија попречног пресека користила је узастопни узорак текстуалних питања са вишеструким избором из Програма за процену офталмолошког знања (ОКАП) и писменог квалификационог испита (ВКЕ) које је обезбедила банка питања за праксу ОпхтхоКуестионс. Од 166 доступних питања, 125 је анализирао ЦхатГПТ. Примарни резултат који је измерен био је број питања у пракси испита за сертификацију одбора на која је ЦхатГПТ тачно одговорио.

Студија је такође испитала секундарне исходе, укључујући пропорцију питања за која је АИ пружила додатна објашњења, дужину питања и одговора, учинак у одговарању на питања без опција вишеструког избора и промене у перформансама током времена. Секундарна анализа је спроведена да би се проценио учинак ЦхатГПТ-а у конверзацијским контекстима уклањањем опција вишеструког избора.

Током примарне анализе спроведене од 9. до 16. јануара 2023., ЦхатГПТ је тачно одговорио на 58 од 125 питања (46,4%). АИ систем се најбоље показао у категорији опште медицине, са тачном стопом одговора од 79%, док се највише мучио у категорији мрежњаче и стакластог тела, одговарајући на сва питања погрешно.

Штавише, анализа је показала да је ЦхатГПТ пружио додатна објашњења за 63% питања. Приметно је да је удео питања са објашњењима био сличан без обзира да ли је АИ на њих одговорио тачно или нетачно. Студија није пронашла значајну разлику у дужини питања и одговора између тачних и нетачних одговора.

У каснијој анализи спроведеној у фебруару 2023., учинак ЦхатГПТ-а се побољшао, одговарајући на 73 од 125 питања са вишеструким одговорима (58%). Систем вештачке интелигенције је такође показао сличну стопу успеха (54%) када је одговарао на самостална питања без опција вишеструког избора.

Др Нил М. Бреслер, главни уредник ЈАМА офталмологије, дао је уреднички коментар на студију. Изразио је опрез у вези са ослањањем на информације које генерише АИ цхатбот и нагласио потребу за пажљивим прегледом и верификацијом, с обзиром на потенцијал за дезинформације у офталмологији. Смернице Међународног комитета уредника медицинских часописа (ИЦМЈЕ) такође захтевају од аутора да буду одговорни за тачност и интегритет свог рада, што тренутно чини немогућим да се АИ цхатботови признају као аутори у рецензираној медицинској литератури.

Да би решили овај проблем, сви часописи у мрежи ЈАМА, укључујући ЈАМА офталмологију, ревидирали су своја упутства за ауторе, појашњавајући да се четботи не могу сматрати ауторима. Иако се признаје допринос вештачке интелигенције, смернице захтевају од аутора да испуне специфичне критеријуме за ауторство.

Како област вештачке интелигенције наставља да напредује, неопходна су даља истраживања и етичка разматрања како би се утврдила одговарајућа улога и ограничења АИ цхат-бота у медицинском образовању и пракси. Одговорно коришћење и критичка процена АИ система су од највеће важности да би се обезбедило тачно и поуздано ширење информација.