Przyglądamy się, dlaczego chatboty oparte na sztucznej inteligencji (AI) pokazują użytkownikom fałszywe lub wprowadzające w błąd informacje.
Nowa funkcja wyszukiwania Google, AI Reviews, spotyka się z coraz większą reakcją po tym, jak użytkownicy wskazywali na niektóre niezgodne z faktami i wprowadzające w błąd odpowiedzi na zapytania.
Przegląd AI, który został uruchomiony dwa tygodnie temu, pokazuje u góry strony podsumowanie odpowiedzi na najczęstsze pytania w wyszukiwarce Google, które otrzymuje z różnych źródeł w Internecie.
Jak wynika z wpisu na blogu Google, nowa funkcja ma pomóc użytkownikom odpowiedzieć na „bardziej złożone pytania”.
Zamiast tego generował fałszywe odpowiedzi, takie jak kazanie użytkownikowi, aby przykleił ser do pizzy, jeśli się odklei, aby jadł kamienie, aby zachować zdrowie, lub że były prezydent USA Barack Obama jest muzułmaninem, co jest teorią spiskową, która została obalona.
Odpowiedzi z przeglądu AI to najnowsze z serii przykładów niepoprawnych reakcji modeli chatbotów.
Jedno z badań przeprowadzonych przez Vectara, startup zajmujący się generatywną sztuczną inteligencją, wykazało, że chatboty wykorzystujące sztuczną inteligencję wymyślają informacje w od trzech do 27 procent przypadków.
Czym są halucynacje AI?
Duże modele językowe (LLM), które obsługują chatboty, takie jak ChatGPT firmy OpenAI i Gemini firmy Google, uczą się przewidywać reakcję na podstawie zaobserwowanych wzorców.
Według Hanana Ouazana, partnera i lidera generatywnej sztucznej inteligencji w Artefact, model oblicza najbardziej prawdopodobne następne słowo, aby odpowiedzieć na Twoje pytanie, na podstawie zawartości bazy danych.
„Dokładnie tak pracujemy jako istoty ludzkie, myślimy, zanim zaczniemy mówić” – powiedział TylkoGliwice.
Czasami jednak dane szkoleniowe modelu mogą być niekompletne lub stronnicze, co może prowadzić do błędnych odpowiedzi lub tworzenia „halucynacji” przez chatbota.
Zdaniem Alexandra Sukharevsky’ego, starszego partnera w QuantumBlack w McKinsey, trafniejsze będzie nazwanie sztucznej inteligencji „technologią hybrydową”, ponieważ odpowiedzi udzielane przez chatbota są „obliczane matematycznie” na podstawie obserwowanych danych.
Według Google nie ma jednego powodu halucynacji: mogą to być niewystarczające dane szkoleniowe wykorzystane przez model, nieprawidłowe założenia lub ukryte błędy w informacjach, z których korzysta chatbot.
{{powiązane wyrównanie=”center” size=”fullwidth” współczynnik=”auto” historiaIdList=”8461182″ dane=”
' }}
Google zidentyfikowało kilka typów halucynacji związanych ze sztuczną inteligencją, takich jak nieprawidłowe przewidywanie zdarzeń, które mogą w rzeczywistości nie nastąpić, fałszywie pozytywne wyniki w wyniku identyfikacji nieistniejących zagrożeń oraz fałszywie negatywne, które mogą niedokładnie wykryć guz nowotworowy.
Google przyznaje jednak, że halucynacje mogą mieć poważne konsekwencje, np. model sztucznej inteligencji w służbie zdrowia błędnie identyfikuje model łagodnej skóry jako złośliwy, co prowadzi do „niepotrzebnych interwencji medycznych”.
Według Igora Sevo, szefa AI w HTEC Group, globalnej firmie zajmującej się rozwojem produktów, nie wszystkie halucynacje są złe. Zależy to tylko od tego, do czego wykorzystywana jest sztuczna inteligencja.
„W kreatywnych sytuacjach halucynacje są dobre” – powiedział Sevo, zauważając, że modele AI mogą pisać nowe fragmenty tekstu lub e-maili określonym głosem i stylem. „Teraz pytanie brzmi, jak przekonać modele, aby różniły się między sobą kreatywnością a prawdą” – powiedział.
{{powiązane wyrównanie=”centrum” rozmiar=”fullwidth” współczynnik=”auto” historiaIdList=”8437058″ dane=”
” }}
Wszystko zależy od danych
Ouazan powiedział, że dokładność chatbota zależy od jakości zbioru danych, którym jest zasilany.
„Jeśli jedno źródło (danych) nie jest w 100% pewne… (chatbot) może powiedzieć coś, co jest nieprawidłowe” – powiedział. „To jest główny powód, dla którego mamy halucynacje”.
Na razie Ouazan powiedział, że modele sztucznej inteligencji do szkolenia swoich modeli wykorzystują wiele danych internetowych i open source.
{{quotation_v2 Align=”center” size=”fullwidth” Ratio=”auto” quote=””W ostatecznym rozrachunku jest to podróż. Firmy też nie mają dobrej obsługi klienta od pierwszego dnia.”” autor=”Alexander Sukharevsky, starszy partner w QuantumBlack w McKinsey” }}
W szczególności OpenAI zawiera również umowy z organizacjami masowego przekazu, takimi jak Axel Springer i News Corp, oraz publikacjami takimi jak Le Monde w sprawie licencjonowania ich treści, aby mogły one szkolić swoje modele w oparciu o bardziej wiarygodne dane.
Zdaniem Ouazana nie chodzi o to, że sztuczna inteligencja potrzebuje więcej danych, aby sformułować dokładne odpowiedzi, ale o to, że modele potrzebują wysokiej jakości danych źródłowych.
Sukharevsky powiedział, że nie jest zaskoczony faktem, że chatboty AI popełniają błędy – muszą to robić, aby obsługujący je ludzie mogli na bieżąco udoskonalać technologię i jej zbiory danych.
„Myślę, że ostatecznie jest to podróż” – powiedział Sukharevsky. „Firmy też nie mają dobrej obsługi klienta od pierwszego dnia” – powiedział.
{{powiązane wyrównanie=”center” size=”fullwidth” współczynnik=”auto” historiaIdList=”8433946″ dane=”
” }}
Rzecznik Google powiedział TylkoGliwice Next, że do przeglądu AI wpłynęło wiele „nietypowych zapytań”, które albo zostały sfabrykowane, albo których nie można było dokładnie odtworzyć, co prowadziło do fałszywych lub halucynacyjnych odpowiedzi.
Utrzymują, że firma przeprowadziła „szeroko zakrojone testy” przed uruchomieniem przeglądu sztucznej inteligencji i podejmuje „szybkie działania”, aby ulepszyć swoje systemy.
W jaki sposób firmy AI mogą powstrzymać halucynacje?
Istnieje kilka technik, które Google zaleca, aby spowolnić ten problem, np. regularyzacja, która karze model za dokonywanie ekstremalnych przewidywań.
„Sposób na osiągnięcie tego polega na ograniczeniu liczby możliwych wyników, które model sztucznej inteligencji jest w stanie przewidzieć” – kontynuował Google. Trenerzy mogą również przekazywać swoim modelom opinie, informując ich, co się podobało, a co nie w odpowiedzi, co pomoże chatbotowi dowiedzieć się, czego szukają użytkownicy.
Sztuczną inteligencję należy również szkolić, korzystając z informacji „istotnych” dla tego, co będzie robić, np. wykorzystując zbiór danych obrazów medycznych na potrzeby sztucznej inteligencji, która pomoże w diagnozowaniu pacjentów.
Firmy posiadające modele językowe AI mogłyby rejestrować najczęstsze zapytania, a następnie zebrać zespół składający się z osób o różnych umiejętnościach, aby dowiedzieć się, jak udoskonalić swoje odpowiedzi, powiedział Sukharevksy.
Na przykład Sukharevsky powiedział, że eksperci od języka angielskiego mogliby dobrze nadawać się do dostrajania sztucznej inteligencji w zależności od tego, jakie są najpopularniejsze pytania.
{{quotation_v2lay=”center” size=”fullwidth” współczynnik =auto” quote=”„Myślę, że zostanie to rozwiązane, ponieważ jeśli nie zwiększysz niezawodności (czatbotów AI), nikt nie będzie z nich korzystał. „” autor=”Igor Sevo, szef AI w Grupie HTEC” }}
Według Sevo duże firmy posiadające dużą moc obliczeniową również mogłyby zaryzykować i stworzyć własne algorytmy ewolucyjne, aby poprawić niezawodność swoich modeli.
W tym przypadku modele sztucznej inteligencji wywoływałyby halucynacje lub uzupełniały dane szkoleniowe dla innych modeli prawdziwymi informacjami, które zostały już zidentyfikowane za pomocą równań matematycznych – kontynuował Sevo.
Jeśli tysiące modelek będzie ze sobą konkurować w poszukiwaniu prawdziwości, wyprodukowane modele będą mniej podatne na halucynacje – dodał.
„Myślę, że zostanie to rozwiązane, ponieważ jeśli nie zwiększysz niezawodności chatbotów AI, nikt nie będzie z nich korzystał” – powiedział Sevo.
„W interesie wszystkich leży, aby te rzeczy zostały wykorzystane”.
Mniejsze firmy mogą spróbować ręcznie dostroić, jakie dane ich modele uznają za wiarygodne lub prawdziwe w oparciu o własny zestaw standardów, powiedział Sevo, ale takie rozwiązanie jest bardziej pracochłonne i droższe.
Użytkownicy powinni również mieć świadomość, że mogą wystąpić halucynacje – twierdzą eksperci AI.
„Zdobyłbym wiedzę na temat tego, czym (czatboty AI) są, a czym nie, więc jako użytkownik mam podstawową wiedzę o jego ograniczeniach” – powiedział Sukharevksy.
„Jeśli zobaczę, że coś nie działa, pozwoliłbym narzędziu ewoluować”.
