Deep learning je tema kojom se bavi najnovija iteracija OpenAI tvrtke poznate po ChatGPT-ju

Panel 2: Paket za "Lightning Cable" adapter sa slikom VGA konektora na njemu.

Ploča 3: krupni plan VGA konektora s malim Lightning konektorom (koji se koristi za punjenje iPhonea i drugih Apple uređaja) na kraju.

Humor na ovoj slici proizlazi iz apsurda spajanja velikog, zastarjelog VGA konektora u mali, moderan priključak za punjenje pametnog telefona.

U centru je dubinsko, strojno učenje

Prije nekoliko mjeseci ChatGPT je uzdrmao svijet, a tvrtka OpenAI došla je u centar pozornosti, nakon čega su uslijedile razne nove vrste i podvrste alata umjetne inteligencije.

Izvor: OpenAI

GPT-4 je najnovija prekretnica u naporima OpenAI-ja s kojima želi povećati dubinsko učenje. Na primjer, prolazi simulirani pravosudni ispit s ocjenom oko 10% najboljih ispitanika. Nasuprot tome, rezultat verzije GPT-3.5 bio je oko donjih 10%.

Proveli su 6 mjeseci iterativno usklađujući GPT-4 koristeći lekcije iz svojeg kontradiktornog programa testiranja, kao što je bilo i s ChatGPT, što je rezultiralo tvrtkinim najboljim rezultatima ikada (iako daleko od savršenih) o činjenicama, upravljivosti i odbijanju izlaska izvan zaštitne ograde.

Tijekom protekle dvije godine OpenAI stručnjaci su obnovili cijeli svoj skup za dubinsko učenje i, zajedno s Azureom, od temelja dizajnirali superračunalo za radno opterećenje. Prije godinu dana obučili su GPT-3.5 kao prvo "probno pokretanje" sustava. Pronašli su i popravili neke greške i poboljšali svoje teorijske osnove.

Kao rezultat toga GPT-4 trening bio je (barem za njih!) neviđeno stabilan postavši tvrtkin prvi veliki model čiju su izvedbu treninga mogli točno predvidjeti unaprijed. Dok se nastavljaju usredotočavati na pouzdano skaliranje cilj im je usavršiti metodologiju koja će im pomoći da predvide i pripreme se za buduće sposobnosti sve više unaprijed – to je nešto što smatraju ključnim za sigurnost.

S GPT-4 objavljuju mogućnost unosa teksta putem ChatGPT-a i API-ja (s listom čekanja). Kako bi pripremili mogućnost unosa slike za širu dostupnost za početak blisko surađuju s jednim partnerom. Također nude open-source OpenAI Evals, okvir za automatiziranu procjenu performansi modela umjetne inteligencije kako bi svima omogućili da prijave nedostatke u tvrtkinim modelima kako bi pomogli u daljnjim poboljšanjima.

Izvor: OpenAI

U ležernom razgovoru razlika između GPT-3.5 i GPT-4 može biti suptilna. Razlika dolazi do izražaja kada složenost zadatka dosegne dovoljan prag—GPT-4 je pouzdaniji, kreativniji i sposobniji obraditi mnogo više nijansiranih uputa od GPT-3.5.

Kako bi razumjeli razliku između ta dva modela testirali su ju na različitim mjerilima uključujući simulaciju ispita koji su izvorno bili dizajnirani za ljude. Nastavili su korištenjem najnovijih javno dostupnih testova (u slučaju olimpijada i AP pitanja s besplatnim odgovorom) ili kupnjom izdanja ispitnih rokova za 2022. – 2023.

Za te ispite nisu imali posebnu obuku. Manji dio problema u ispitima model je uočio tijekom treninga, ali vjeruju da su rezultati reprezentativni. Također su ocijenili GPT-4 na tradicionalnim mjerilima dizajniranim za modele strojnog učenja. GPT-4 znatno nadmašuje postojeće velike jezične modele, uz većinu najsuvremenijih (SOTA) modela koji mogu uključivati izradu specifičnu za referentnu vrijednost ili dodatne protokole obuke.

Izvor: OpenAI

Mnogi postojeći machine learning benchmarkovi napisani su na engleskom jeziku. Kako bi stekli početni osjećaj mogućnosti na drugim jezicima preveli su MMLU benchmark – skup od 14.000 problema s višestrukim izborom koji obuhvaćaju 57 tema – na različite jezike pomoću Azure Translate. U 24 od 26 testiranih jezika GPT-4 nadmašuje performanse GPT-3.5 i drugih LLM-ova na engleskom jeziku (Chinchilla, PaLM), uključujući jezike s malo resursa kao što su latvijski, velški i svahili.

GPT-4 bi mogao postati vrijedan alat za poboljšanje života ljudi pokretanjem mnogih aplikacija. Ima tu još puno posla za napraviti i poboljšanja ovog modela kroz kolektivne napore zajednice koja se nadograđuje, istražuje i doprinosi modelu.