Artykuł 9 — System zarządzania ryzykiem (Rozporządzenie UE w sprawie AI)

Artykuł 9 Rozporządzenia (UE) 2024/1689 — System zarządzania ryzykiem. Oficjalny tekst, interpretacja praktyczna, kluczowe obowiązki i implikacje dla zgodności.

Streszczenie oficjalnego tekstu

Artykuł 9 Rozporządzenia (UE) 2024/1689 nakłada obowiązkowy, ciągły system zarządzania ryzykiem na dostawców systemów AI wysokiego ryzyka przez cały cykl życia systemu. Przepis wymaga, aby system zarządzania ryzykiem składał się z iteracyjnego procesu zintegrowanego z rozwojem i działaniem systemu AI wysokiego ryzyka, regularnie aktualizowanego w świetle nowych informacji zebranych podczas monitorowania po wprowadzeniu do obrotu.

Konkretnie, Artykuł 9 wymaga od dostawców: (a) identyfikacji i analizy wszystkich znanych i racjonalnie przewidywalnych ryzyk związanych z systemem AI wysokiego ryzyka; (b) szacowania i oceny ryzyk, które mogą się zmaterializować podczas używania systemu zgodnie z jego zamierzonym przeznaczeniem i w warunkach racjonalnie przewidywalnego niewłaściwego użycia; (c) oceny ryzyk wynikających z dostępnych danych i zachowania osób wchodzących w interakcję z systemem; oraz (d) przyjęcia odpowiednich środków zarządzania ryzykiem na podstawie tej analizy.

Środki zarządzania ryzykiem muszą być takie, aby każde ryzyko szczątkowe związane z każdym zagrożeniem, jak również ogólne ryzyko szczątkowe systemu AI wysokiego ryzyka, było uznawane za akceptowalne. Artykuł 9 określa również, że należy przeprowadzać testy w celu identyfikacji odpowiednich środków, a testy te muszą być przeprowadzane zgodnie z określonymi wskaźnikami i progami probabilistycznymi. Szczególna uwaga jest wymagana w przypadkach, gdy system prawdopodobnie będzie wchodzić w interakcję z dziećmi lub innymi grupami wrażliwymi. Informacje wynikające z doświadczenia podmiotów stosujących systemy muszą być przekazywane z powrotem do procesu zarządzania ryzykiem dostawcy.

Co to oznacza w praktyce

Artykuł 9 jest jednym z najbardziej operacyjnie wymagających wymogów w Tytule III Rozporządzenia UE w sprawie AI. Odnosi się do każdej osoby prawnej kwalifikującej się jako dostawca systemu AI wysokiego ryzyka — czyli podmiotu, który opracowuje system lub zleca jego opracowanie i wprowadza go na rynek lub oddaje do użytku pod własną nazwą lub znakiem towarowym.

W praktyce zgodność wymaga ustanowienia udokumentowanych ram zarządzania ryzykiem przed wprowadzeniem systemu na rynek. Nie jest to formalne ćwiczenie: rozporządzenie wymaga iteracyjnego procesu, który trwa przez cały czas życia produktu, co oznacza, że dokumentacja zarządzania ryzykiem musi ewoluować w miarę aktualizacji, ponownego szkolenia lub wdrażania systemu w nowych kontekstach.

Zgodny system zarządzania ryzykiem będzie zazwyczaj obejmować: ustrukturyzowaną procedurę identyfikacji ryzyka obejmującą zarówno zamierzone użycie, jak i wiarygodne scenariusze niewłaściwego użycia; macierz szacowania ryzyka oceniającą prawdopodobieństwo i dotkliwość szkody; katalog środków łagodzących z udokumentowanym uzasadnieniem ich wyboru; formalne testy przed wprowadzeniem na rynek zgodnie z określonymi wskaźnikami; oraz mechanizm wchłaniania informacji zwrotnych po wprowadzeniu do obrotu — w tym danych o incydentach dostarczanych przez podmioty stosujące systemy — z powrotem do bieżącej analizy ryzyka.

Na przykład dostawca narzędzia do oceny zdolności kredytowej opartego na AI, sklasyfikowanego jako wysokie ryzyko na podstawie Załącznika III, musi dokumentować, w jaki sposób model może generować dyskryminacyjne wyniki, jakie środki techniczne i organizacyjne zmniejszają to ryzyko oraz w jaki sposób dane dotyczące wyników w rzeczywistym świecie spowodują ponowną ocenę. System AI stosowany w kontekście medycznym musi dodatkowo uwzględniać podwyższony obowiązek staranności wobec wrażliwych użytkowników. Wyniki zarządzania ryzykiem są bezpośrednio powiązane z dokumentacją techniczną wymaganą przez Art. 11 i oceną zgodności na podstawie Art. 43-44.

Kluczowe obowiązki

• Ustanowienie i utrzymywanie ciągłego systemu zarządzania ryzykiem obejmującego cały cykl życia systemu AI wysokiego ryzyka, od projektowania do wycofania z eksploatacji, aktualizowanego w świetle danych z monitorowania po wprowadzeniu do obrotu.
• Identyfikacja wszystkich znanych i racjonalnie przewidywalnych ryzyk, w tym ryzyk wynikających z racjonalnie przewidywalnego niewłaściwego użycia, z interakcji z innymi systemami i z społeczno-technicznego kontekstu wdrożenia.
• Szacowanie i ocena ryzyk pod względem prawdopodobieństwa ich wystąpienia i dotkliwości potencjalnej szkody, z uwzględnieniem zamierzonego celu i kategorii osób, których prawdopodobnie dotknięte, w tym grup wrażliwych i dzieci.
• Przyjęcie środków zarządzania ryzykiem ograniczających zidentyfikowane ryzyka do akceptowalnego poziomu szczątkowego; tam, gdzie środki techniczne są niewystarczające, muszą je uzupełniać środki organizacyjne lub informacyjne.
• Przeprowadzanie testów przed wprowadzeniem na rynek przy użyciu zdefiniowanych wskaźników i progów probabilistycznych odpowiednich do zamierzonego celu, w celu potwierdzenia, że wybrane środki są skuteczne i że ryzyko szczątkowe jest akceptowalne.
• Integracja informacji zwrotnych z monitorowania po wprowadzeniu do obrotu od podmiotów stosujących i użytkowników końcowych w bieżący proces zarządzania ryzykiem, zapewniając, że system pozostaje responsywny na dowody ze świata rzeczywistego dotyczące szkód lub zdarzeń poprzedzających wypadki.

Związek z innymi artykułami

Artykuł 9 stoi w centrum ram wymagań Rozdziału 2 i jest strukturalnie powiązany z kilkoma innymi przepisami. Zależy od Art. 6 i Załącznika III w zakresie swojego zakresu stosowania: tylko systemy kwalifikujące się jako wysokie ryzyko podlegają jego obowiązkom. Wyniki procesu z Artykułu 9 bezpośrednio zasilają Art. 11 (dokumentacja techniczna), który wymaga od dostawców wykazania, że istnieje i został zastosowany zgodny system zarządzania ryzykiem.

Artykuł 9 jest również ściśle powiązany z Art. 10 (dane i zarządzanie danymi), ponieważ jakość danych szkoleniowych, walidacyjnych i testowych istotnie wpływa na profil ryzyka, którym należy zarządzać. Art. 13 (przejrzystość i dostarczanie informacji) wymaga, aby określone informacje związane z ryzykiem były przekazywane podmiotom stosującym, a Art. 14 (nadzór człowieka) określa środki, które często służą jako narzędzia pierwszej linii ograniczania ryzyka na podstawie Artykułu 9. Art. 26 nakłada dalsze obowiązki na podmioty stosujące w zakresie monitorowania rzeczywistego użycia i raportowania stosownych informacji z powrotem do dostawców, zamykając pętlę informacji zwrotnych, której wymaga Artykuł 9. Wreszcie Art. 72 (monitorowanie po wprowadzeniu do obrotu) formalizuje mechanizmy gromadzenia danych, które podtrzymują iteracyjny proces zarządzania ryzykiem w czasie.

Harmonogram zgodności

Rozporządzenie UE w sprawie AI weszło w życie 1 sierpnia 2024 r. Artykuł 9, jako podstawowy wymóg Rozdziału 2 mający zastosowanie do systemów AI wysokiego ryzyka, podąża za ogólnym harmonogramem zgodności dla obowiązków z Tytułu III:

• 1 sierpnia 2024 r. — Rozporządzenie wchodzi w życie; 24-miesięczny zegar przejściowy zaczyna biec dla większości obowiązków dotyczących wysokiego ryzyka.
• 2 lutego 2025 r. — Zakazy dotyczące praktyk AI niedopuszczalnego ryzyka (Art. 5) stają się stosowane. Artykuł 9 jeszcze nie obowiązuje.
• 2 sierpnia 2025 r. — Zasady dotyczące modeli AI ogólnego przeznaczenia (Tytuł VIII) stają się stosowane. Artykuł 9 nadal nie jest obowiązkowy dla większości systemów wysokiego ryzyka.
• 2 grudnia 2026 r. — Artykuł 9 staje się w pełni stosowany do systemów AI wysokiego ryzyka wymienionych w Załączniku III (systemy AI w obszarach takich jak edukacja, zatrudnienie, usługi podstawowe, egzekwowanie prawa, migracja i wymiar sprawiedliwości). Dostawcy muszą mieć do tej daty wdrożony zgodny system zarządzania ryzykiem.
• 2 sierpnia 2027 r. — Przedłużony termin dla systemów AI wysokiego ryzyka będących elementami bezpieczeństwa produktów już objętych istniejącym unijnym ustawodawstwem harmonizacyjnym wymienionym w Załączniku I (np. maszyny, wyroby medyczne, lotnictwo cywilne).

Dostawcy opracowujący lub nabywający systemy AI wysokiego ryzyka powinni traktować 2 grudnia 2026 r. jako ostateczny termin gotowości do zgodności z Artykułem 9, wbudowując ramy zarządzania ryzykiem w swoje procesy rozwojowe z odpowiednim wyprzedzeniem, aby umożliwić czas na testowanie, dokumentację i ocenę zgodności.