Dlaczego AI halucynuje: OpenAI wyjaśnia podstawową przyczynę konfabulacji sieci neuronowych

Zespół badawczy w OpenAI opublikował szczegółowe badanie na temat tego, dlaczego modele językowe, takie jak ChatGPT, czasami pewnie wymyślają fakty. Ich odkrycia wskazują na fundamentalny błąd w sposobie, w jaki te modele są trenowane i testowane — system, który nagradza zgadywanie zamiast przyznawania się do braku wiedzy.

Badacze używają przekonującej analogii: student przystępujący do egzaminu wielokrotnego wyboru. Jeśli pusta odpowiedź zdobywa zero punktów, ale zgadywanie ma przynajmniej jakąś szansę na bycie poprawnym i zdobycie punktu, racjonalnym wyborem zawsze jest zgadywanie. To samo dotyczy AI. Standardowe benchmarki, takie jak MMLU (Massive Multilingual Language Understanding), działają na systemie punktacji binarnej: poprawny/błędny. Model, który mówi „nie wiem”, automatycznie oblewa, podczas gdy ten, który podejmuje ryzyko i zgaduje, czasami ma rację. To w istocie uczy algorytmy blefowania.

To problematyczne zachowanie zaczyna się podczas początkowej fazy wstępnego treningu na ogromnych zbiorach tekstów. Niektóre fakty, szczególnie te mało znane, są statystycznie niemal niemożliwe do przewidzenia z absolutną pewnością. Jednak wzór „zgadywania” staje się mocno zakorzeniony później, gdy deweloperzy dostosowują model, aby osiągał doskonałe wyniki w testach, które priorytetowo traktują wysokie wyniki dokładności ponad wszystko inne.

W swoim badaniu OpenAI proponuje zmianę w sposobie oceny wydajności AI. Autorzy sugerują, że modele powinny być surowo karane za pewne fałszywe twierdzenia, ale powinny otrzymywać częściowe punkty za poprawne wyrażanie niepewności lub mówienie „nie wiem”. To przekształciłoby wyścig rozwoju z tworzenia „najmądrzejszych” modeli w budowanie bardziej niezawodnych i prawdziwych asystentów.

Eksperci podkreślają, że te halucynacje nie są mistycznym błędem, ale systemowym, dobrze zrozumianym problemem. Nawet najbardziej zaawansowane nowoczesne modele nie są odporne. Przemyślenie naszych systemów oceny może być kluczem do zbudowania AI, która lepiej rozumie granice swojej własnej wiedzy.