Kako obučiti veštačku inteligenciju da razume klinički jezik sa manje kliničkih podataka? Obučite drugu veštačku inteligenciju da sintetizuje obučavajuće podatke

Veštačka inteligencija sve više menja način na koji se obavlja medicina i sve se više koristi u različitim kliničkim zadacima. Ovo je omogućeno generativnom veštačkom inteligencijom i modelima poput GatorTronGPT-a, generativnim jezičkim modelom koji je obučen na univerzitetskom superkompjuteru HiPerGator veštačke inteligencije Univerziteta u Floridi i opisan je u radu objavljenom u časopisu Nature Digital Medicine u četvrtak.

GatorTronGPT pridružuje se sve većem broju velikih jezičkih modela koji su obučeni na kliničkim podacima. Istraživači su model obučili koristeći GPT-3 okvir, koji koristi i ChatGPT.

Za ovaj proces korišćen je ogroman korpus od 277 milijardi reči. Trening korpusa uključio je 82 milijarde reči iz deindentifikovanih kliničkih bilješki i 195 milijardi reči iz različitih engleskih tekstova.

Ali, tu postoji i isprepletanost: Tim istraživača takođe je koristio GatorTronGPT za generisanje sintetičkog korpusa kliničkih tekstova sa preko 20 milijardi reči sintetičkog kliničkog teksta, sa pažljivo pripremljenim uputama. Sintetički klinički tekst fokusira se na kliničke faktore i čita se baš kao prave kliničke beleške koje su napisali lekari.

Ovi sintetički podaci su zatim korišćeni za obuku BERT-based modela nazvanog GatorTron-S.

U uporednoj evaluaciji, GatorTron-S je pokazao izvanredne performanse na zadacima razumevanja prirodnog jezika u kliničkom okruženju kao što su izvlačenje kliničkih pojmova i izvlačenje medicinskih odnosa, oborivši rekorde postavljene od strane originalnog BERT-based modela, GatorTron-OG, koji je bio obučen na 82 milijarde reči kliničkih podataka.

Još impresivnije je što je to postignuto korišćenjem manje podataka.

Modeli GatorTron-OG i GatorTron-S obučeni su na 560 NVIDIA A100 Tensor Core GPUs koji rade NVIDIA-ovu Megatron-LM paket na superkompjuteru HiPerGator Univerziteta u Floridi. Tehnologija iz Megatron LM okvira, koja je korišćena u projektu, kasnije je integrisana u NVIDIA NeMo okvir, koji je centralan za najnovije radove na GatorTronGPT.

Upotreba sintetičkih podataka koje su kreirali veliki jezički modeli rešava nekoliko izazova. Veliki jezički modeli zahtevaju velike količine podataka, a kvalitetni medicinski podaci su ograničeni. Osim toga, sintetički podaci omogućavaju obuku modela u skladu sa regulativama o medicinskoj privatnosti, poput HIPAA.

Rad sa GatorTronGPT-om samo je najnoviji primer toga kako se veliki jezički modeli – koji su prošle godine brzo postali popularni sa usvajanjem ChatGPT-a – mogu prilagoditi da pomognu u sve većem broju oblasti. To je takođe primer napretka koje omogućavaju nove tehnike veštačke inteligencije koje koriste ubrzano računanje.

Napore oko GatorTronGPT-a predstavljaju najnoviji rezultat ambiciozne saradnje koja je najavljena 2020. godine, kada su Univerzitet u Floridi i NVIDIA objavili planove da uspostave najbrži AI superkompjuter u akademskom svetu. Ova inicijativa pokrenuta je donacijom od 50 miliona dolara, kao spoj doprinosa osnivača NVIDIA-e Khrisa Malahovskog i samog NVIDIA-e.

Korišćenje veštačke inteligencije za obučavanje druge veštačke inteligencije samo je jedan primer uticaja HiPerGatora, pri čemu ovaj superkompjuter obećava da će omogućiti još inovacija u medicinskim naukama i u različitim disciplinama širom Univerziteta u Floridi.