OpenAI potwierdza: ChatGPT stało się leniwe. Problem w tym, że nikt nie wie dlaczego
Jeden z problemów, z którymi mamy do czynienia w przypadku dużych modeli językowych i oprogramowania przetwarzającego język naturalny to ocena ich skuteczności. Brakuje nowych wariacji testu Turinga, ram czy obiektywnych benchmarków. Mimo to OpenAI odpowiedzialne za rozwój ChatGPT właśnie przyznało, że ChatGPT stało się gorsze.
ChatGPT z czasem coraz mniej skuteczne?
Już od kilku miesięcy wobec ChatGPT padają oskarżenia, że wyniki są jakościowo gorsze niż w momencie premiery. Właśnie za sprawą braku ramowego programu oceny skuteczności tej klasy narzędzi ukuto nawet specjalne sformułowanie: ChatGPT stało się „leniwe”.
Kryje się pod tym obserwacja, że NLP nie działa już w sposób tak imponujący skutecznością, jak wcześniej. Odpowiedzi mają być bardziej pobieżne i częściej zdarzają się mniejsze lub większe wpadki. OpenAI było świadome zarzutów i ustosunkowało się do nich już w lipcu. Wówczas przedstawiciele firmy zaprzeczali, by doszło do degradacji.
Google prezentuje Gemini – duży model językowy, który powalczy z ChatGPTChatGPT faktycznie stało się leniwe
Teraz OpenAI zmienia zdanie. W serwisie X opublikowano krótki post, w którym znajdujemy swoiste potwierdzenie. Co prawda przedstawiciele firmy poinformowali jedynie, że dotarła do nich negatywna informacja zwrotna o skuteczności GPT-4, a także, że pracują nad rozwiązaniem problemu.
Co znamienne dla stanu naszej dzisiejszej wiedzy o LLM i NLP, OpenAI przyznaje, że nie wie, dlaczego GPT zaczęło być „leniwe”. Dodano jedynie, że stan modelu nie był aktualizowany od 11 listopada i z pewnością mniejsza skuteczność nie jest efektem zamierzonego działania.
„Subtelne” zmiany w modelu
Jedna z użytkowniczek X zwróciła uwagę, że sam model nie mógł stać się leniwy sam z siebie, zmiany musiały zajść w danych, które wykorzystuje. W odpowiedzi administracja ChatGPT zaprzeczyła, jakoby model w jakikolwiek sposób sam siebie zmodyfikował w związku z aktualizacją z 11 listopada. „Zmiany w zachowaniu mogą być subtelne” – podsumowali twórcy ChatGPT.
W OpenAI trwa więc dochodzenie przyczyn, przez które ChatGPT stało się bardziej leniwe, mimo że początkowo zaprzeczano, że tak się dzieje. Pewną rezerwą może też napawać kwestia, którą już niejednokrotnie podnoszono w komentarzach do obecnego wyścigu zbrojeń, jakim jest rozwój tzw. sztucznej inteligencji: wygląda na to, że administracja ChatGPT ma dość ograniczoną wiedzę na temat tego, jak działa ich produkt.
