Koliko je ChatGPT pouzdan? - Istraživanje pokazalo zabrinjavajući nivo netačnih informacija

ChatGPT i slični AI modeli često se doživljavaju kao izuzetno inteligentni, ali istovremeno nepouzdani izvori informacija.

Nedavno istraživanje koje je sproveo OpenAI, a o kome je pisao The New York Times, osvjetljava ovu kontradiktornost. Naime, OpenAI je otkrio da njihovi najnoviji modeli, uključujući GPT-o3 i o4-mini, imaju povećanu sklonost ka generisanju "halucinacija" – netačnih ili potpuno izmišljenih informacija.

Najnoviji vodeći modeli OpenAI, GPT o3 i o4‑mini, dizajnirani su da oponašaju ljudsku logiku. Za razliku od svojih prethodnika, koji su se uglavnom fokusirali na generisanje tečnog teksta, GPT o3 i o4‑mini bi trebalo da "razmišljaju korak po korak". OpenAI se hvalio da o3 može da parira ili nadmaši rezultate doktora nauka iz oblasti hemije, biologije i matematike. Ali izvještaj OpenAI-ja otkriva zastrašujuće podatke za svakoga ko odgovore na ChatGPT uzima kao nominalnu vrijednost, piše Index.hr.

OpenAI je otkrio da je GPT o3 halucinirao u trećini zadataka na benčmark testu o javnim ličnostima — duplo više od prošlogodišnjeg o1 modela. Kompaktniji o4‑mini bio je još gori, sa halucinacijama u 48% sličnih zadataka.

Kada su modeli testirani sa opštim pitanjima iz SimpleKA testa, udio halucinacija je skočio na 51% u o3 i 79% u o4‑mini. Ovo nije samo mala greška u sistemu, to je prava kriza identiteta. Pomislili biste da bi sistem koji se reklamira kao "razuman" barem dvaput provjerio prije nego što bilo šta izmisli, ali to jednostavno nije slučaj.

Jedna teorija koja kruži u zajednici vještačke inteligencije kaže da što više model "misli", to ima više mogućnosti za greške. Za razliku od jednostavnijih modela koji se drže veoma pouzdanih predviđanja, racionalni modeli ulaze u oblast gdje moraju da razmotre više puteva, povezuju udaljene činjenice i u suštini improvizuju – a improvizacija sa činjenicama često znači izmišljanje.

OpenAI je za Tajms rekao da povećan broj halucinacija možda ne potiče od greške u modelima inteligencije. Umjesto toga, mogli bi jednostavno biti ekspanzivniji i "slobodniji" u svojim odgovorima.

Budući da novi modeli ne ponavljaju samo predvidljive činjenice već spekulišu o mogućnostima, granica između teorije i izmišljenih činjenica za AI postaje zamagljena. Nažalost, neke od ovih "mogućnosti" su potpuno odvojene od stvarnosti.

Međutim, više halucinacija je suprotno od onoga što OpenAI ili konkurenti kao što su Google i Anthropic žele. Nazivanje AI chatbot-ova "pomoćnicima" ili "kopilotima" implicira da su korisni, a ne opasni. Advokati su već imali problema jer su koristili ChatGPT i nisu primijetili izmišljene sudske presedane. Ko zna koliko je ovakvih grešaka izazvalo teškoće u manje rizičnim situacijama?

Mogućnosti da halucinacije izazovu problem brzo se šire kako AI ulazi u učionice, kancelarije, bolnice i državne službe. Napredna vještačka inteligencija može pomoći u pisanju prijava za posao, rješavanju problema sa naplatom ili analizi tabela, ali paradoks je da što je AI korisnija, to ima manje prostora za greške.

Ne možete tvrditi da nekome štedite vrijeme i trud ako mora da provede isto toliko vremena provjeravajući sve što kažete. Ne zato što ovi modeli nisu impresivni – GPT o3 je pokazao nevjerovatne sposobnosti kodiranja i logike i u nekim stvarima nadmašuje mnoge ljude. Problem nastaje onog trenutka kada odluči da je Abraham Linkoln vodio podkast ili da voda ključa na 27°C; tada se raspršuje iluzija o pouzdanosti.

Dok se ovi problemi ne riješe, gledajte svaki odgovor AI modela sa ogromnom dozom skepticizma. Ponekad ChatGPT pomalo liči na osobu koja je puna samopouzdanja dok priča gluposti, zaključuje se u izvještaju.