ChatGPT słabo rozumie żarty. Zbadali to polscy naukowcy

Udostępniony przez twórców (OpenAI) ChatGPT stał się niedawno jednym z najpopularniejszych narzędzi bazujących na sztucznej inteligencji. Chatbot pozwala tworzyć artykuły, czym wspomaga badaczy czy media.  Tymczasem naukowcy z Politechniki Wrocławskiej postanowili przekonać się, czy sztuczna inteligencja potrafi zrozumieć żart albo stwierdzić, że ma do czynienia z agresywną wypowiedzią.

W tym celu zespół złożony z 20 osób, w tym Jana Koconia, Igora Cicheckiego, Oliwiera Kaszycy, Mateusza Kochanka i Dominiki Szydło poprosił ChatGPT o wykonanie ponad 38 tys. zadań. Spytali czatbota, czy zacytowany przez nich tekst jest spamem, zawiera sarkazm, jest humorystyczny, agresywny czy poprawny gramatycznie.

Czytaj też: Polscy naukowcy na tle Europy publikują dużo o sztucznej inteligencji. "Rzadko cytowani"

Zbadano 25 obszarów tematycznych powiązanych z bazami tekstów, z których każdy był wcześniej oceniony przez ludzi. Wykorzystano do tego dane z bazy projektu Wikipedia Detox (gdzie głosowano, czy dany komentarz jest agresywny, czy nie),serwisu Reddit, otagowanych przez ekspertów jako zawierające konkretne emocje, a także niemal 40 tys. tweetów (ocenianych jako sarkastycznych lub nie).

2 tys. zapytań na dobę

Skąd w ogóle wziął się pomysł na zbadanie, czy czatbot rozumie żarty, ironię czy agresywne wypowiedzi? - Jesteśmy twórcami wielkiej infrastruktury CLARIN-PL, w ramach której powstają elektroniczne zasoby językowe i narzędzia do pracy z dużymi zbiorami tekstów w języku polskim – opowiada w rozmowie z Wirtualnemedia.pl dr Jan Kocoń. - Z naszych usług korzystają zarówno naukowcy, jak i firmy. Dużą popularnością cieszą się nasze narzędzia do rozpoznawania wydźwięku, emocji i obraźliwości tekstów. Kiedy pojawił się ChatGPT, zaczęliśmy dostawać pytania, jak nasze usługi wypadają na tle tego systemu. Postanowiliśmy to sprawdzić. Jednak dla kompletności badań, zdecydowaliśmy się rozszerzyć je również na znane zbiory i modele dla języka angielskiego i możliwie szeroko zbadać możliwości nowego czatbota od OpenAI. Wśród tych zbiorów danych były także teksty anotowane ręcznie przez ekspertów takimi zjawiskami, jak humor, ironia, czy też agresja – dodaje.

Jak długo trwało badanie? - Planowanie badania rozpoczęliśmy w połowie stycznia 2023, czyli półtora miesiąca od pojawienia się ChatGPT. Publikacja podsumowująca prace ukazała się 21 lutego 2023 roku, zatem badanie oraz opisywanie wyników trwało miesiąc. W pracę zaangażowało się ponad 20 osób z zespołu, był to bardzo intensywny czas. Szczególnie trudnym wyzwaniem było opracowanie autorskiego systemu odpytywania ChatGPT, gdyż w tamtym czasie nie były dostępne żadne oficjalne interfejsy programistyczne (API). Z jednego konta można było zadać do systemu około 50 pytań na godzinę, później konto było czasowo blokowane. Stworzyliśmy na szybko system, który był zasilany tokenami autoryzacyjnymi od większości członków zespołu, dzięki czemu nasze nieoficjalne API było w stanie przetworzyć nawet około 2000 zapytań na dobę. Łącznie przetworzyliśmy ponad 38 tysięcy zapytań dla 25 różnych zadań przetwarzania języka naturalnego – opowiada naukowiec.

Jakie wnioski z niego płyną – zarówno dla firm zainteresowanych stosowaniem ChatGPT, jak i dla jego indywidualnych użytkowników? Jakie są najsilniejsze, a jakie najsłabsze strony tego czatbota? - Kluczowy wniosek płynący z badania dotyczy jakości ChatGPT dla wybranych przez nas zadań. Okazuje się, że ChatGPT był średnio gorszy o ok. 25 punktów procentowych od najlepszych rozwiązań na rynku (state-of-the-art, SOTA) dedykowanych do rozwiązywania analizowanych problemów. Dodatkowo model ten ma dużo więcej parametrów niż modele SOTA, przez co zużywa on dużo więcej energii do wygenerowania pojedynczego wyniku. Innymi słowy, w systemie produkcyjnym będzie on wolniejszy i/lub droższy niż modele SOTA. Jest to ważna informacja dla wielu firm, zwłaszcza tych, które zajmują się monitorowaniem mediów i które przetwarzają dziennie setki tysięcy artykułów, komentarzy, tweetów, postów itp. - podkreśla Kocoń.

- Nie oznacza to jednak, że system jest zły. Wręcz przeciwnie, byliśmy bardzo pozytywnie zaskoczeni tym, że ChatGPT osiąga tak dobre wyniki, nie będąc najprawdopodobniej trenowanym na większości testowanych zbiorach danych – dodaje badacz. - Oznacza to, że ChatGPT jest istotnym krokiem w stronę ogólnej sztucznej inteligencji (ang. Artificial General Intelligence, AGI), czyli modelu zdolnego do rozwiązywania dowolnych zadań intelektualnych, jakie może wykonać człowiek. W tym sensie możemy powiedzieć, że jesteśmy u progu kolejnej rewolucji, tym razem rewolucji sztucznej inteligencji, która będzie nam towarzyszyć w coraz większej liczbie aspektów życia codziennego – podkreśla Kocoń.

- Jako ludzie nie mamy potrzeby przetwarzania setek tysięcy tekstów dziennie pod określonym kątem (np. rozpoznawania emocji), natomiast mamy różne złożone, indywidualne problemy, w których rozwiązywaniu taki czatbot - nawet niedoskonały - może nam pomóc. Nie bez powodu OpenAI ma już setki milionów użytkowników ChatGPT, ten system naprawdę ma duży potencjał. W naszej pracy poświęciliśmy cały rozdział temu, jak ChatGPT może zmienić nasze życie – mówi naukowiec.

„ChatGPT może spowodować, że zaczniemy rozmawiać z komputerem tak, jak z drugim człowiekiem”

Przykłady? - Na pewno ułatwi bardzo pracę z tekstem, być może już niebawem duża część tekstów będzie powstawała częściowo automatycznie lub będzie automatycznie korygowana. Będzie to też rewolucja w edukacji. Jaki będzie sens zadawania prac domowych, które taki czatbot bez problemu jest w stanie rozwiązać? W jaki sposób powinniśmy zatem weryfikować efekty kształcenia? - pyta Kocoń.

- Kolejna rewolucja będzie dotyczyła wyszukiwania informacji. ChatGPT jest nie tylko sprawnym rozmówcą, ale również głęboką siecią neuronową, która została „nakarmiona” mnóstwem danych pochodzących z internetu. Jest zatem w stanie odpowiadać na różne pytania, i chociaż aktualna wersja ma pewne „problemy wieku dziecięcego”, takie jak zmyślanie odpowiedzi w sytuacji braku wiedzy czy też tzw. halucynowanie, to w zdecydowanej większości przypadków da nam od razu odpowiedź, którą sami znaleźlibyśmy przy pomocy Google dopiero po kilkudziesięciu sekundach. Może to być wyzwanie dla tradycyjnych wyszukiwarek, które również przez szereg uproszczeń wynikających z problemów wydajnościowych, upośledziły nasze sposoby komunikacji. Nikt nie rozmawia z wyszukiwarką jak z człowiekiem, wpisujemy tam słowa kluczowe. ChatGPT może spowodować, że zaczniemy rozmawiać z komputerem tak, jak z drugim człowiekiem. Jest to jednocześnie fascynujące i trochę przerażające, chociaż chciałbym dodać, że jesteśmy jeszcze bardzo daleko od jakiejkolwiek samoświadomości tego typu narzędzi – dodaje Kocoń.

ChatGPT "prawie" mógłby zostać lekarzem

- ChatGPT jest przede wszystkim dobrym modelem statystycznym, zgrabnie produkującym nowy tekst pod warunkiem zadanego wcześniej kontekstu (instrukcji człowieka) i niczym więcej. A ponieważ model ten „widział” setki terabajtów tekstów w sieci i był poprawiany przez setki ludzi (aktualnie miliony - wszyscy korzystający z ChatGPT są jego mimowolnymi trenerami), „wie”, jakie wyjście jest preferowane pod warunkiem zadanego wejścia. Może jeszcze nie zastąpi profesora na uczelni, czy chirurga przy stole operacyjnym, ale pracownika call center czy korepetytora z matematyki na poziomie podstawówki już owszem – dodaje naukowiec.

Sztuczna inteligencja w nowej wersji - OpenAI prezentuje GPT-4

Firma OpenAI przedstawiła właśnie najnowszą wersję swojego modelu sztucznej inteligencji, GPT-4. Model językowy ma być m.in. zdolny do zdania egzaminu prawniczego z bardzo dobrym wynikiem i udzielać bardziej poprawnych odpowiedzi niż jego poprzednie wersje, takie jak GPT-3 i ChatGPT. Microsoft poinformował, że na nowym systemie oparł swoją wyszukiwarkę Bing.

Jak ogłosiła w prezentacji firma, choć nowy model ma być "mniej zdolny od ludzi w wielu scenariuszach z prawdziwego świata", wykazuje zdolności na poziomie człowieka w różnych dziedzinach. GPT-4 ma być między innymi zdolny do zdania egzaminu do amerykańskiej izby adwokackiej czy standaryzowanych testów dla uczniów szkół średnich SAT z wynikiem wśród czołowych 10 proc. zdających. Poprzednia wersja systemu była klasyfikowana w końcowym decylu.

Elon Musk rekrutuje zespół do opracowania rywala dla ChatGPT

Co potrafi GPT-4  

W porównaniu do poprzedników, GPT-3 i ChatGPT opartym na modelu GPT-3.5, nowy system ma udzielać bardziej poprawnych, zniuansowanych i kreatywnych odpowiedzi. Ma też odpowiadać zarówno na tekstowe, jak i obrazowe zapytania oraz być dostępny w różnych językach, w tym polskim.

Według opublikowanych przez OpenAI statystyk, model w języku polskim osiągnął 82 proc. poprawnych odpowiedzi w teście wielokrotnego wyboru z 57 dziedzin, podczas gdy po angielsku zrobił to w ponad 85 proc. przypadków.

"On jest wciąż wadliwy, wciąż ograniczony i wciąż wydaje się bardziej imponujący przy pierwszym użyciu, niż po tym, gdy spędzisz z nim więcej czasu" - przekazał na Twitterze szef OpenAI Sam Altman.

here is GPT-4, our most capable and aligned model yet. it is available today in our API (with a waitlist) and in ChatGPT+.https://t.co/2ZFC36xqAJ

it is still flawed, still limited, and it still seems more impressive on first use than it does after you spend more time with it.

— Sam Altman (@sama) March 14, 2023

Firma przeprowadziła we wtorek test oprogramowania na żywo, m.in. każąc GPT-4 podsumować kilkuakapitowy tekst w jednym zdaniu złożonym ze słów zaczynających się na jedną literę. Model był też w stanie wyjaśnić, dlaczego wysłany mu obrazek wiewiórki z aparatem fotograficznym jest zabawny oraz poprawnie udzielić rady podatkowej.

Model będzie dostępny do użytkowników płacących abonament w serwisie ChatGPT Plus oraz dla badaczy, którzy złożą wniosek o dostęp. Równocześnie Microsoft, jeden z partnerów OpenAI, potwierdził wcześniejsze doniesienia, że GPT-4 stanowi bazę dla najnowszej wersji jego wyszukiwarki i chatbota Bing.

Softbank, Fujitsu i Panasonic zakazują pracownikom korzystania z ChatGPT w pracy

ChatGPT ma ponad 100 mln użytkowników

W styczniu tego roku liczba użytkowników aplikacji ChatGPT wyniosła  100 milionów, a dziennie odwiedza ją 13 mln osób - szacował bank inwestycyjny UBS. "Na przestrzeni 20 lat śledzenia przestrzeni internetowej nie możemy sobie przypomnieć szybszego wzrostu konsumenckiej aplikacji internetowej " - napisali analitycy instytucji.

Aplikację ChatGPT opracowała amerykańska firma OpenAI. Służy m.in. do tworzenia odpowiedzi na pytanie lub polecenia wprowadzane przez użytkownika. Potrafi też wykonać bardziej złożone zadania, na przykład napisać opowiadanie.

Według Reutersa w grudniu podczas prezentacji dla potencjalnych inwestorów przedstawiciele Open AI zapowiadali, że spółka w 2023 roku osiągnie 200 mln dolarów przychodów, a w przyszłym roku - miliard dolarów.