Artykuł 55 — Ocena i testy z negatywnym nastawieniem modeli AI ogólnego przeznaczenia o ryzyku systemowym (Akt o AI UE)

Artykuł 55 Rozporządzenia (UE) 2024/1689 — Ocena i testy z negatywnym nastawieniem modeli AI ogólnego przeznaczenia o ryzyku systemowym. Oficjalny tekst, praktyczna interpretacja, kluczowe obowiązki i implikacje dotyczące zgodności.

Podsumowanie oficjalnego tekstu

Artykuł 55 Rozporządzenia (UE) 2024/1689 ustanawia szczegółowe obowiązki dotyczące oceny i testów z negatywnym nastawieniem dla dostawców modeli AI ogólnego przeznaczenia (GPAI), które stwarzają ryzyko systemowe. Bazując na szerszym zbiorze obowiązków określonych w artykule 53 i kryteriach klasyfikacji ryzyka systemowego w artykule 51, artykuł 55 wymaga od takich dostawców przeprowadzania ocen modeli zgodnie ze znormalizowanymi protokołami oraz regularnego przeprowadzania testów z negatywnym nastawieniem — powszechnie określanych jako red-teaming.

Oceny wymagane na podstawie ustępu 1 lit. a) muszą być zgodne ze znormalizowanymi protokołami i narzędziami odzwierciedlającymi stan techniki, w tym tymi opracowanymi lub zatwierdzonymi przez Urząd ds. AI. W przypadku braku znormalizowanych protokołów dostawcy muszą opracować i zastosować odpowiednie metodologie w celu identyfikacji i oceny charakteru oraz zakresu ryzyk systemowych.

Ustęp 1 lit. b) nakazuje przeprowadzanie testów z negatywnym nastawieniem, realizowanych wewnętrznie lub poprzez zaangażowanie akredytowanych zewnętrznych ekspertów, w celu identyfikacji ryzyk nieuwzględnionych przez standardowe procedury oceny. Dostawcy muszą dokumentować metodologię, zakres i wyniki zarówno ocen, jak i ćwiczeń z testami z negatywnym nastawieniem, oraz zgłaszać znaczące wyniki Urzędowi ds. AI. Sam Urząd ds. AI zachowuje na podstawie ustępu 2 uprawnienia do organizowania lub zlecania niezależnych testów z negatywnym nastawieniem w dowolnym czasie. Artykuł zobowiązuje również dostawców do udostępniania wyników ocen i sprawozdań z testów właściwym organom na żądanie.

Co to oznacza w praktyce

Dla organizacji rozwijających lub wdrażających graniczne modele GPAI artykuł 55 nakłada ustrukturyzowany i udokumentowany proces zapewnienia jakości skupiony specjalnie na identyfikacji szkód systemowych. W praktyce oznacza to, że przed udostępnieniem kwalifikującego modelu — i na bieżąco po jego udostępnieniu — dostawcy muszą przeprowadzać zarówno znormalizowane oceny zdolności, jak i ukierunkowane ćwiczenia z negatywnym nastawieniem, zaprojektowane w celu badania katastroficznych lub rozległych ryzyk, takich jak manipulacja na masową skalę, generowanie treści związanych z bronią, wielkoskalowe cyberataki lub zakłócenie infrastruktury krytycznej.

Z operacyjnego punktu widzenia zgodność wymaga zebrania lub zakontraktowania wielodyscyplinarnego potencjału red-team z wiedzą specjalistyczną obejmującą bezpieczeństwo AI, cyberbezpieczeństwo, dezinformację, biobezpieczeństwo i inne odpowiednie dziedziny. Oceny muszą być przeprowadzane w oparciu o benchmarki i protokoły odzwierciedlające aktualny stan techniki; dostawcy nie mogą opierać się wyłącznie na własnych, niepublikowanych metodologiach, jeżeli istnieją znormalizowane alternatywy.

Dokumentacja jest kluczowa. Dostawcy muszą prowadzić szczegółowe rejestry każdego cyklu oceny — w tym zakresu, składu zespołu, testowanych scenariuszy, zaobserwowanych wyników i zastosowanych środków ograniczających — i muszą być w stanie przedstawić te rejestry Urzędowi ds. AI na żądanie. W przypadku gdy testy ujawnią nowe lub zaaostrzone ryzyka systemowe, dostawcy są zobowiązani do wdrożenia środków naprawczych i, jeżeli ryzyko jest poważne, do niezwłocznego powiadomienia Urzędu ds. AI.

Na przykład dostawca udostępniający duży model multimodalny przekraczający próg 10^25 FLOP szkolenia powinien zaplanować ćwiczenia red-team przed uruchomieniem obejmujące co najmniej: wywoływanie wiedzy naukowej o podwójnym zastosowaniu, generowanie perswazyjnych treści na dużą skalę oraz ułatwianie zautomatyzowanych cyberataków. Po uruchomieniu ćwiczenia te muszą być powtarzane za każdym razem, gdy model poddawany jest znaczącemu dostrajaniu lub aktualizacjom zdolności.

Kluczowe obowiązki

• Znormalizowane oceny: Przeprowadzanie ocen modeli z wykorzystaniem najnowocześniejszych znormalizowanych protokołów i narzędzi, w tym opracowanych lub zatwierdzonych przez Urząd ds. AI, przed wprowadzeniem na rynek i na bieżąco.
• Testy z negatywnym nastawieniem (red-teaming): Przeprowadzanie ustrukturyzowanych ćwiczeń testów z negatywnym nastawieniem — wewnętrznie lub za pośrednictwem wykwalifikowanych zewnętrznych podmiotów trzecich — zaprojektowanych w celu ujawnienia ryzyk systemowych nieidentyfikowanych przez standardową ocenę.
• Dokumentacja i prowadzenie rejestrów: Prowadzenie szczegółowych rejestrów metodologii oceny, zakresu, testowanych scenariuszy, wyników i wszelkich podjętych środków naprawczych, z rejestrami dostępnymi dla Urzędu ds. AI na żądanie.
• Zgłaszanie znaczących wyników: Niezwłoczne powiadamianie Urzędu ds. AI o poważnych lub nowo zidentyfikowanych ryzykach systemowych odkrytych podczas ocen lub testów z negatywnym nastawieniem.
• Współpraca z testami zleconymi przez Urząd ds. AI: Ułatwianie i współpraca przy niezależnych testach z negatywnym nastawieniem organizowanych lub zlecanych bezpośrednio przez Urząd ds. AI w ramach jego uprawnień nadzorczych.
• Ciągła zgodność po udostępnieniu: Powtarzanie ocen i testów z negatywnym nastawieniem po znaczących aktualizacjach modelu, dostrajaniu lub zmianach zamierzonych przypadków użycia, które mogą zmienić profil ryzyka modelu.

Relacja z innymi artykułami

Artykuł 55 funkcjonuje jako operacyjny odpowiednik klasyfikacji ryzyka systemowego ustanowionej w artykule 51 i ogólnych obowiązków GPAI określonych w artykule 53. Należy go czytać łącznie z artykułem 52, który definiuje próg i kryteria wyznaczenia ryzyka systemowego, oraz artykułem 54, który dotyczy obowiązków związanych z dokumentacją techniczną modeli GPAI o ryzyku systemowym. Obowiązek zgłaszania incydentów w artykule 73 przecina się z artykułem 55 tam, gdzie testy z negatywnym nastawieniem ujawniają poważny incydent lub prawie-incydent wymagający powiadomienia. Na poziomie nadzoru uprawnienie Urzędu ds. AI do zlecania testów na podstawie artykułu 55 ust. 2 opiera się na szerszych uprawnieniach nadzorczych przyznanych przez artykuły 88 i 89. Dostawcy powinni również zapoznać się z motywem 110, który wyjaśnia uzasadnienie dla rozróżnienia modeli o ryzyku systemowym i znaczenie oceny bezpieczeństwa przed wprowadzeniem na rynek jako uzupełnienie bieżącego monitorowania.

Harmonogram zgodności

• 1 sierpnia 2024 r. — Rozporządzenie (UE) 2024/1689 weszło w życie, uruchamiając zegar stopniowego stosowania.
• 2 lutego 2025 r. — Zakazane praktyki w zakresie AI (Tytuł II) stały się obowiązujące.
• 2 sierpnia 2025 r. — Przepisy Tytułu V regulujące modele AI ogólnego przeznaczenia, w tym artykuł 55, stały się w pełni obowiązujące. Dostawcy kwalifikujących modeli GPAI będących już na rynku byli zobowiązani do osiągnięcia zgodności do tej daty.
• 2 grudnia 2026 r. — Obowiązki dotyczące systemów AI wysokiego ryzyka na podstawie załącznika I (systemy składowych bezpieczeństwa) stają się obowiązujące.
• 2 sierpnia 2027 r. — Pozostałe obowiązki dotyczące systemów AI wysokiego ryzyka (systemy z załącznika III) stają się obowiązujące.

Artykuł 55 jest zatem już w mocy. Dostawcy modeli GPAI o ryzyku systemowym, którzy nie ustanowili jeszcze programów oceny i testów z negatywnym nastawieniem, naruszają bieżące obowiązki i powinni traktować naprawę jako natychmiastowy priorytet.