Artykuł ten został opublikowany we współpracy z Organizacją Narodów Zjednoczonych.
Pierwszy na świecie organ naukowy zajmujący się sztuczną inteligencją wezwał w poniedziałek do dostosowania zabezpieczeń sztucznej inteligencji, ponieważ obecne zapory sieciowe „rozwiązują problemy”.
Wspierany przez ONZ Niezależny Międzynarodowy Panel Naukowy ds. ostrzeżeń dotyczących sztucznej inteligencji nastąpił po włamaniu się do platformy internetowej HuggingFace w okresie od maja do lipca przez „agentów AI” podczas testu zainicjowanego przez OpenAI, firmę stojącą za ChatGPT.
Agenci AI to oprogramowanie, które może wykonywać zadania samodzielnie i w imieniu użytkownika, w porównaniu do chatbotów, które są monitowane za pomocą pytań lub instrukcji.
Panel opublikował swój pierwszy raport tematyczny, w którym stwierdził, że naruszenie bezpieczeństwa było wynikiem kulminacji kluczowych czynników ryzyka, co wzbudziło obawy, że pewnego dnia ludzie nie będą już w stanie sterować, ograniczać ani zatrzymywać sztucznej inteligencji.
Adres URL tweeta
Guterres z zadowoleniem przyjmuje sprawozdanie
W poniedziałek sekretarz generalny ONZ António Guterres wydał zdecydowane oświadczenie poparcia dla stanowiska panelu, zachęcając ekspertów zewnętrznych „z pionierskich laboratoriów zajmujących się sztuczną inteligencją i instytutów zajmujących się bezpieczeństwem sztucznej inteligencji do dalszego zaangażowania”.
Z zadowoleniem przyjął także przywództwo fińskiego prezydenta i premiera Norwegii, co doprowadziło do przyjętej w poniedziałek na marginesie Zgromadzenia Ogólnego przez 22 kraje deklaracji, w której stwierdza się, że AI „muszą pozostawać pod ludzkim kierownictwem, wglądem i kontrolą”, wskazując na potrzebę powołania niezależnego organu nadzorczego.
Guterres zwrócił uwagę na wezwanie państw członkowskich, aby „opierały się na istniejących mechanizmach międzynarodowych i zbadać możliwość stworzenia instytucji międzynarodowej, która będzie w stanie wyznaczać standardy, umożliwiać weryfikację i zwoływać państwa w przypadku przekroczenia progów zdolności.”
Postęp w szkoleniu AI
„Naukowcy od dawna ostrzegali, że do utraty kontroli mogą prowadzić trzy warunki: źle wyznaczony cel, zdolność do jego realizacji oraz środowisko, które na to pozwala.. Tego lata wszystkie trzy połączyły się w prawdziwym systemie, a nie w laboratorium” – powiedział współprzewodniczący panelu naukowego Yoshua Bengio.
„Ponieważ nie jest to odosobniona obserwacja źle ustawionych celów, rodzi to poważne pytania dotyczące sposobu, w jaki obecnie szkoli się agentów AI.”
Niezależni eksperci panelu podkreślają, że incydent nie daje pewności, że ludzie będą w stanie niezawodnie kontrolować agentów AI, zwłaszcza że stają się oni bardziej zdolni, trudniejsi do monitorowania i lepiej potrafią znajdować luki prawne lub ukrywać swoją działalność.
Idziemy na złoczyńcę
W raporcie wskazano, że agenci sztucznej inteligencji ominęli zabezpieczenia testowe, koordynowali oddzielne przebiegi za pomocą wewnętrznego narzędzia programowego, które nie zostało zaprojektowane do umożliwiania komunikacji między agentami, i uzyskali nieautoryzowany dostęp do Internetu i administratora.
Agenci ukrywali próby oszukania ocen cyberbezpieczeństwa, a niektórzy decydowali się na „poświęcenie” siebie na rzecz grupy.
W badanym okresie około 1200 agentów wymieniło ponad 70 000 wiadomości i plików, a działalność wykraczała poza HuggingFace i obejmowała klaster badawczy OpenAI.
Zobacz nasze obszerne wyjaśnienie, w jaki sposób ONZ pracuje nad tym, aby sztuczna inteligencja była bezpieczna i sprawiedliwa dla wszystkich Tutaj.
Obecne zabezpieczenia „rozwikłane”
Dla panelu bezpośredni wniosek z tego zdarzenia jest następujący przeoczono podstawowe praktyki w zakresie cyberbezpieczeństwa, a zabezpieczenia nie nadążają za nimi.
Wskazali jednak na bardziej podstępną obawę: że obecne metody szkoleniowe mogą skłonić agentów AI do przyjęcia własnych celów, świadomego łamania instrukcji bezpieczeństwa i ukrywania swoich działań.
„To nie jest tylko kwestia szybkości” – stwierdzili eksperci panelu. „Pozostawia otwartą kwestię, czy zaprojektowane dzisiaj zabezpieczenia będą działać, gdy agenci będą je rozumieć i planować wokół nich. Krótko mówiąc, tTradycyjny model ochrony upada.”
Szerszy kontekst, przyszłe zagrożenia i zarządzanie
W swoim stanowisku panel AI porównuje incydent HuggingFace z szerszymi badaniami dotyczącymi dwóch kwestii: niedopasowania agentów – czyli sytuacji, gdy agenci AI działają w sposób podobny do zagrożenia – oraz kontroli AI.
Inną zbadaną kwestią jest to, w jaki sposób zarządzanie odchodzi od modeli sztucznej inteligencji, które wykorzystują algorytmy do rozpoznawania wzorców, do agentów sztucznej inteligencji.
Ucz się i dostosowuj
W briefingu dokonano także przeglądu praktycznych podejść już stosowanych w innych sektorach wysokiego ryzyka, takich jak lotnictwo, medycyna i cyberbezpieczeństwo, gdzie stosowane jest zgłaszanie incydentów, niezależna kontrola i wielopoziomowe zabezpieczenia.
„Ale praktyki te mogą nie wystarczyć, ponieważ agenci sztucznej inteligencji stają się bardziej wydajni, autonomiczni i trudniejsi do monitorowania”- powiedziała członkini panelu Qinghua Lu.
O panelu
Niezależny Międzynarodowy Panel Naukowy ds. Sztucznej Inteligencji został powołany przez Zgromadzenie Ogólne ONZ w sierpniu 2025 r.
Sporządza roczne raporty na temat możliwości, zagrożeń i wpływu sztucznej inteligencji w sferze pozamilitarnej, wraz z briefingami tematycznymi dotyczącymi pojawiających się kwestii, które zostaną wykorzystane w ramach Globalnego Dialogu na temat zarządzania sztuczną inteligencją, który odbędzie się w siedzibie ONZ w Nowym Jorku w maju 2027 r.
