Eksperci ostrzegają, że „odciski palców” generatywnej sztucznej inteligencji (GenAI) można znaleźć w artykułach naukowych, w tym recenzowanych.
Czy niektórzy badacze w swoich artykułach naukowych wykorzystują zbyt dużo sztucznej inteligencji (AI)? Eksperci twierdzą, że „odciski palców” generatywnej sztucznej inteligencji (GenAI) można znaleźć w coraz większej liczbie badań.
W niedawnym artykule przygotowanym do druku, który nie został jeszcze zrecenzowany, oszacowano, że co najmniej 60 000 artykułów prawdopodobnie „dopracowano” przy użyciu sztucznej inteligencji, analizując styl pisania.
„Nie oznacza to, że wiedzieliśmy, ile pracy wymagało LLM (model dużego języka), ale z pewnością są to niezwykle duże zmiany z dnia na dzień” – powiedział TylkoGliwice Next Andrew Gray, bibliotekarz z University College London, dodając, że te można się spodziewać typów „odcisków palców”, nawet jeśli narzędzia zostały użyte do zwykłego kopiowania.
Chociaż pewne zmiany można powiązać ze zmianami w sposobie pisania ludzi, ewolucja niektórych słów jest „zdumiewająca”.
„Na podstawie tego, co widzimy, liczby te wyglądają, jakby stale rosły” – powiedział Gray.
Już zaczęło powodować fale. Recenzowane badanie zawierające zdjęcia wygenerowane przez sztuczną inteligencję, które autorzy otwarcie przypisali narzędziu Midjourney, zostało opublikowane w czasopiśmie Frontiers in Cell Development and Biology, a w lutym zyskało ogromną popularność w mediach społecznościowych.
Od tego czasu czasopismo wycofało badanie i przeprosiło „społeczność naukową”.
„Bardzo niewiele z nich wyraźnie wspomina o korzystaniu z ChatGPT i podobnych narzędzi” – Gray powiedział o analizowanych dokumentach.
Nowe narzędzia stwarzają problemy z zaufaniem
Chociaż GenAI może przyspieszyć proces edycji, na przykład gdy autor nie jest rodzimym użytkownikiem języka, w którym pisze, zdaniem ekspertów niepokojący jest brak przejrzystości w zakresie korzystania z tych narzędzi.
„Istnieją obawy, że na przykład eksperymenty nie są przeprowadzane właściwie lub że dochodzi do oszukiwania na wszystkich poziomach” – powiedział TylkoGliwice Next Guillaume Cabanac, profesor informatyki na Uniwersytecie w Tuluzie.
Nazywany przez naturę „oszukańczym detektywem”, Cabanac tropi fałszywą naukę i wątpliwe dokumenty.
„Społeczeństwo przyznaje nauce uznanie, ale uznanie to można w każdej chwili cofnąć” – dodał, wyjaśniając, że niewłaściwe wykorzystanie narzędzi sztucznej inteligencji może nadszarpnąć zaufanie społeczeństwa do badań naukowych.
Cabanac wraz ze współpracownikami opracował narzędzie o nazwie Problematic Paper Screener, służące do wykrywania „torturowanych fraz” – takich, które są wykrywane podczas używania narzędzia do parafrazowania, na przykład w celu uniknięcia wykrycia plagiatu.
Jednak odkąd narzędzia GenAI weszły na giełdę, Cabanac zaczął zauważać tendencję do pojawiania się w artykułach nowych odcisków palców, takich jak termin „regeneruj”, przycisk pojawiający się na końcu odpowiedzi chatbotów AI lub zdania rozpoczynające się od „Jako model języka AI”. .
Są to charakterystyczne znaki tekstowe pobrane z narzędzia AI.
„Wykrywam jedynie niewielki ułamek tego, co według mnie zostało dzisiaj wyprodukowane, ale to wystarczy, aby udowodnić słuszność koncepcji” – powiedział Cabanac.
Jednym z problemów jest to, że w miarę postępu technologii treści generowane przez sztuczną inteligencję będą prawdopodobnie coraz trudniejsze do wykrycia.
„Dzięki tym narzędziom bardzo łatwo jest subtelnie zmieniać rzeczy lub zmieniać rzeczy w sposób, którego być może nie do końca przewidywałeś, mając drugorzędne znaczenie. Jeśli więc nie sprawdzisz go dokładnie po przejściu przez narzędzie, istnieje realne ryzyko wkradania się błędów” – powiedział Gray.
Trudniej to dostrzec w przyszłości
Proces recenzowania ma na celu zapobieganie pojawianiu się w czasopismach rażących błędów, ale nie zdarza się to często, jak Cabanac wskazuje w mediach społecznościowych.
Niektórzy wydawcy opublikowali wytyczne dotyczące wykorzystania sztucznej inteligencji w przesyłanych publikacjach.
W 2023 r. w czasopiśmie Nature napisano, że narzędzie AI nie może być autorem artykułu badawczego i że każdy badacz korzystający z narzędzi AI musi udokumentować ich użycie.
Gray obawia się, że w przyszłości te dokumenty będą trudniejsze do wykrycia.
„W miarę udoskonalania narzędzi spodziewalibyśmy się mniejszej liczby naprawdę oczywistych (przypadków)” – stwierdził, dodając, że wydawcy powinni „poważnie przemyśleć” wytyczne i oczekiwane ujawnienia.
Zarówno Gray, jak i Cabanac namawiali autorów, aby zachowali ostrożność, a Cabanac nawoływał do oznaczania podejrzanych dokumentów i regularnego sprawdzania, czy nie zostały wycofane.
„Nie możemy sobie pozwolić na cytowanie na przykład badania lub artykułu naukowego, który został wycofany” – powiedział Cabanac.
„Zawsze musisz jeszcze raz sprawdzić, na czym opierasz swoją pracę”.
Zakwestionował także prawidłowość procesu wzajemnej oceny, który w niektórych przypadkach okazał się niewystarczający.
„Złe, zbyt szybkie dokonywanie ocen lub korzystanie z pomocy ChatGPT bez ponownego przeczytania nie jest dobre dla nauki” – stwierdził.
