Sektor publiczny i wymiar sprawiedliwości — zgodność z EU AI Act

Obowiązki wynikające z EU AI Act dla systemów AI stosowanych w administracji publicznej, organach ścigania, kontroli granicznej i wymiarze sprawiedliwości. Obejmuje kategorie 5–8 z Annex III oraz obowiązkowe oceny skutków dla praw podstawowych.

Sektor publiczny a EU AI Act — dlaczego administracja jest podmiotem stosującym AI o najwyższym ryzyku

EU AI Act (rozporządzenie (UE) 2024/1689) stosuje się horyzontalnie we wszystkich sektorach, jednak największy ciężar obowiązkowych zobowiązań spoczywa na podmiotach publicznych. Agencje rządowe, organy ścigania, instytucje wymiaru sprawiedliwości oraz organy zarządzania granicami są zarazem największymi podmiotami stosującymi AI w sprawach o istotnych konsekwencjach, jak i podmiotami, których działalność z wykorzystaniem AI stwarza największe systemowe ryzyko dla praw podstawowych. Akt prawny odzwierciedla tę asymetrię w dwojaki sposób strukturalny.

Po pierwsze, cztery z ośmiu kategorii wysokiego ryzyka wymienionych w Annex III odnoszą się bezpośrednio do AI w sektorze publicznym — kategorie 5–8 obejmują podstawowe usługi publiczne, organy ścigania, migrację i kontrolę graniczną oraz wymiar sprawiedliwości. Kategorie te nie są ogólnymi kategoriami rezydualnych zagrożeń: enumerują konkretne zastosowania AI powszechnie stosowane w administracji rządowej, które ze swojej definicji niosą ryzyko kwalifikujące je do tej kategorii.

Po drugie, Art. 27 nakłada na podmioty publiczne obowiązkową ocenę skutków dla praw podstawowych (FRIA) przed wdrożeniem systemów AI wysokiego ryzyka. W przypadku podmiotów stosujących AI z sektora prywatnego FRIA jest zdecydowanie zalecana; w przypadku podmiotów publicznych stanowi ona obowiązek prawny. Ocena musi zbadać wpływ systemu AI na prawa jednostek wynikające z Karty Praw Podstawowych UE, w tym prawo do godności (Art. 1), ochronę danych osobowych (Art. 8), prawo do skutecznego środka prawnego (Art. 47) oraz domniemanie niewinności (Art. 48).

Krajobraz compliance dla podmiotów publicznych jest dodatkowo skomplikowany przez nakładanie się obowiązków wynikających z EU AI Act na istniejące sektorowe reżimy prawne: Dyrektywę o ochronie danych w sprawach karnych 2016/680, Rozporządzenie o Systemie Informacyjnym Schengen, Rozporządzenie Frontex 2019/1896, Ogólne Rozporządzenie o Ochronie Danych oraz wymogi konstytucyjne Europejskiej Konwencji Praw Człowieka w interpretacji Europejskiego Trybunału Praw Człowieka. Każdy z tych reżimów tworzy niezależne obowiązki, które muszą być spełniane równolegle z wymogami EU AI Act.

Systemy AI wysokiego ryzyka — kategorie 5–8

Annex III, Kategoria 5 — Podstawowe usługi publiczne i ocena uprawnień do świadczeń

Annex III, pkt 5(b) klasyfikuje jako systemy wysokiego ryzyka wszelkie systemy AI stosowane do oceny uprawnień osób fizycznych do podstawowych publicznych świadczeń i podejmowania decyzji w tym zakresie. Kategoria ta obejmuje pełne spektrum AI państwa opiekuńczego:

• Zautomatyzowana ocena uprawnień do zasiłków dla bezrobotnych: Systemy AI ustalające, czy wnioskodawca spełnia kryteria uprawniające na podstawie rejestrów zatrudnienia, aktywności w poszukiwaniu pracy lub dochodów.
• Decyzje w sprawie pomocy mieszkaniowej i zasiłków dla osób z niepełnosprawnościami: Narzędzia algorytmiczne oceniające wnioski o przyznanie priorytetu w dostępie do mieszkań komunalnych, prawa do świadczeń z tytułu niepełnosprawności lub zasiłków pielęgnacyjnych.
• Wykrywanie nadużyć w świadczeniach społecznych: Systemy profilowania AI generujące wyniki ryzyka w zakresie podejrzenia nadużyć świadczeń, które mogą powodować wszczęcie postępowań lub zawieszenie płatności.

Pkt 5(b) obejmuje również AI oceniającą zdolność kredytową i w zakresie ubezpieczeń w odniesieniu do osób fizycznych, choć główna ekspozycja sektora publicznego dotyczy uprawnień do świadczeń i usług. We wszystkich przypadkach klasyfikacja ma zastosowanie, gdy system AI wywiera istotny wpływ na dostęp do usługi publicznej — niezależnie od tego, czy ostateczna decyzja jest podejmowana przez urzędnika.

Annex III, Kategoria 6 — Organy ścigania

Kategoria 6 obejmuje AI stosowaną przez organy ścigania w trzech obszarach:

Ocena ryzyka i profilowanie: Systemy AI oceniające prawdopodobieństwo, że dana osoba popełni przestępstwo, ponownie wejdzie w kolizję z prawem lub stanowi zagrożenie dla bezpieczeństwa — w tym narzędzia do oceny recydywy stosowane w sprawach dotyczących tymczasowego aresztowania, decyzji o warunkowym zwolnieniu i rekomendacji wymiaru kary. Systemy te są systemami wysokiego ryzyka na podstawie Annex III, pkt 6(a).

Wykrywanie i analiza w toku dochodzeń: AI wykrywająca stany emocjonalne, cechy osobowości lub zachowania świadczące o kłamstwie na podstawie wyrazu twarzy, głosu lub wskaźników fizjologicznych stosowanych w postępowaniach karnych. Art. 5(1)(f) odrębnie zakazuje systemów AI wnioskujących o stanach emocjonalnych osób w kontekście organów ścigania i zarządzania granicami, z wyjątkiem szczególnych celów związanych z bezpieczeństwem, zakreślając tym samym wyraźną zewnętrzną granicę dla tego zastosowania.

Wykrywanie deepfake'ów i fałszywych dokumentów: AI stosowana do wykrywania zmanipulowanych treści cyfrowych lub oceny autentyczności dokumentów w postępowaniach karnych — sklasyfikowana jako wysokiego ryzyka na podstawie Annex III, pkt 6(c).

Annex III, Kategoria 7 — Migracja, azyl i kontrola graniczna

Kategoria 7 ma zastosowanie do AI wdrażanej w kontekście migracji i zarządzania granicami:

Ocena ryzyka na granicach: Systemy AI oceniające ryzyko nielegalnej migracji lub generujące wyniki zagrożenia dla osób przekraczających granice — w tym narzędzia profilowania zintegrowane z SIS oraz systemy analizy ryzyka Frontex działające na podstawie Rozporządzenia 2019/1896.

Weryfikacja dokumentów i tożsamości: Systemy AI oceniające autentyczność dokumentów podróży, wiz, zezwoleń na pobyt lub dokumentów tożsamości na potrzeby przekraczania granicy lub postępowań imigracyjnych.

Rozpatrywanie wniosków azylowych: AI badająca wnioski azylowe, oceniająca wiarygodność indywidualnych zeznań lub profilująca wnioskodawców dla potrzeb procedur przyspieszonych.

Wszystkie systemy kategorii 7 muszą być ocenione pod kątem zgodności nie tylko z EU AI Act, ale również z Konwencją dotyczącą statusu uchodźców (1951), Art. 18 Karty UE (prawo do azylu) oraz zasadą non-refoulement w interpretacji orzecznictwa ETPC — ograniczenie konstytucyjne, które FRIA na podstawie Art. 27 musi uwzględniać expressis verbis.

Annex III, Kategoria 8 — Wymiar sprawiedliwości i procesy demokratyczne

Kategoria 8 dotyczy AI wdrażanej w obrębie samego systemu wymiaru sprawiedliwości:

AI wspomagająca pracę sądów: Systemy wspomagające badanie orzecznictwa, identyfikowanie mających zastosowanie przepisów prawnych lub strukturyzowanie rozumowania prawnego dla sędziów, prokuratorów lub pracowników sądów — systemy wysokiego ryzyka na podstawie Annex III, pkt 8(a).

Narzędzia predykcji sądowej: Systemy AI przewidujące prawdopodobny wynik sporów, wymiar kary lub decyzje sądowe na podstawie historycznych danych spraw. Systemy te budzą poważne obawy w świetle Art. 47 Karty UE dotyczącego prawa do rzetelnego procesu, jako że ich stosowanie w procesie podejmowania decyzji przez sądy może strukturalnie stawiać w niekorzystnej sytuacji strony, których profile odbiegają od historycznych norm.

Kategoria 8 nie zakazuje pracy sądów z wykorzystaniem AI; poddaje ją reżimowi compliance dla systemów wysokiego ryzyka i wymaga, aby sądy i ministerstwa sprawiedliwości zapewniły, że wyniki działania systemów AI zawsze podlegają merytorycznej kontroli przez człowieka — sędzia lub decydent musi być w stanie, i w praktyce musi, pominąć wynik AI w sytuacji, gdy nie jest on właściwy.

Obowiązkowe zobowiązania podmiotów publicznych stosujących systemy AI

Podmioty publiczne działające jako podmioty stosujące systemy AI wysokiego ryzyka w rozumieniu EU AI Act ponoszą określony, nie podlegający delegowaniu zestaw obowiązków wynikających z Art. 26 i Art. 27.

Ocena skutków dla praw podstawowych (Art. 27)

FRIA jest najbardziej charakterystycznym obowiązkiem dla podmiotów publicznych stosujących AI. Musi być przeprowadzona przed wdrożeniem i musi obejmować: szczegółowe cele systemu wpływające na prawa jednostek; kategorie osób, których prawa mogą być naruszane; przewidywalne ryzyko szkody oraz prawdopodobieństwo i wagę tych ryzyk; sposób, w jaki istniejące zabezpieczenia prawne łagodzą te ryzyka; oraz środki podjęte w celu monitorowania systemu po jego wdrożeniu. Ukończona FRIA musi być udostępniana krajowemu organowi nadzorczemu ds. AI na żądanie i musi być aktualizowana w przypadku modyfikacji systemu lub jego wdrożenia w nowym kontekście.

Nadzór ludzki i wyznaczenie odpowiedzialności

Art. 26(1) wymaga od podmiotów stosujących AI powierzenia nadzoru ludzkiego nad systemami AI wysokiego ryzyka osobom fizycznym posiadającym niezbędne kompetencje, uprawnienia i zasoby do interwencji. W administracji publicznej oznacza to, że każdy zautomatyzowany proces dotykający jednostek — czy to ocena uprawnień do świadczeń, ocena ryzyka granicznego, czy wynik systemu wspomagającego wymiar sprawiedliwości — musi mieć przypisanego urzędnika, który może zastąpić wynik systemu i który nie jest strukturalnie zachęcany do bezkrytycznego stosowania się do tego wyniku.

Przejrzystość wobec osób, których dotyczą decyzje

Art. 13 wymaga od podmiotów stosujących AI zapewnienia, że osoby podlegające decyzjom wspomaganym przez AI są wyraźnie informowane o stosowaniu systemu AI. W administracji publicznej obowiązek ten wymaga zazwyczaj wprowadzenia klauzul informacyjnych o stosowaniu AI do pism decyzyjnych, komunikatów administracyjnych i procedur przesłuchań. Art. 86 chroni poufność danych przekazywanych organom nadzorczym w kontekście monitorowania compliance, zapewniając drogę do ujawnienia wrażliwej dokumentacji wewnętrznej bez narażenia jej na publiczny dostęp.

Rejestrowanie, prowadzenie dokumentacji i zgłaszanie incydentów

Podmioty stosujące AI muszą prowadzić dzienniki operacyjne działania systemu AI przez minimalny okres — co najmniej sześć miesięcy dla większości systemów wysokiego ryzyka, z wydłużonym terminem przechowywania w przypadkach, gdy ramy prawne regulujące leżący u podstaw proces administracyjny tego wymagają. Poważne incydenty — zdarzenia powodujące śmierć, poważne obrażenia ciała, znaczne szkody majątkowe lub naruszenia praw podstawowych — muszą być zgłaszane właściwemu krajowemu organowi nadzorczemu ds. AI bez zbędnej zwłoki.

Zabronione praktyki w administracji publicznej

Niektóre praktyki stosowania AI są bezwzględnie zakazane na podstawie Art. 5 EU AI Act. W przypadku organów publicznych trzy zakazy mają bezpośrednie znaczenie operacyjne.

Art. 5(1)(c) — Ocena społeczna przez organy publiczne: Zakazane są systemy AI, które oceniają lub klasyfikują osoby na podstawie ich zachowania społecznego lub cech osobowości w celu generowania wyniku służącego do określenia dostępu do usług publicznych, świadczeń lub traktowania prawnego. Zakaz ten jest skierowany specyficznie do organów publicznych i obejmuje tak zwane mechanizmy kredytu społecznego niezależnie od tego, jak są one oznaczane lub konstruowane.

Art. 5(1)(d) — Zdalna biometryczna identyfikacja w czasie rzeczywistym w przestrzeniach publicznych: Stosowanie przez organy ścigania systemów AI dokonujących zdalnej biometrycznej identyfikacji w czasie rzeczywistym (rozpoznawanie twarzy, analiza chodu lub inne narzędzia biometryczne) w publicznie dostępnych przestrzeniach jest zakazane, z zastrzeżeniem trzech wąskich wyjątków: ukierunkowanych poszukiwań zaginionych dzieci; zapobiegania konkretnym, bezpośrednim zagrożeniom terrorystycznym; oraz identyfikacji podejrzanych w poważnych przestępstwach za uprzednią autoryzacją sądową lub niezależną autoryzacją administracyjną. Wyjątki te mają charakter wyczerpujący; żaden ogólny program inwigilacji nie spełnia ich warunków.

Art. 5(1)(e) — Techniki podprogowe i manipulacyjne: Zakazane są dla wszystkich podmiotów stosujących AI, w tym dla organów publicznych, systemy AI stosujące techniki działające poniżej progu świadomej percepcji w celu manipulowania zachowaniem jednostki lub wykorzystujące podatności określonych grup.

Egzekwowanie prawa — organy nadzorcze i mechanizmy kontroli

Architektura egzekwowania EU AI Act w sektorze publicznym obejmuje wiele warstw właściwych organów.

Krajowe organy nadzorcze ds. AI wyznaczone na podstawie Art. 70 są głównymi organami egzekwującymi przepisy Aktu w każdym państwie członkowskim. W większości jurysdykcji są lub będą zintegrowane z istniejącymi organami ochrony danych lub ściśle z nimi powiązane. Posiadają uprawnienia do przeprowadzania audytów, żądania dokumentacji technicznej i wyników FRIA, wydawania nakazów naprawczych oraz nakładania administracyjnych kar pieniężnych.

Kary finansowe dla podmiotów publicznych podlegają uznaniu państw członkowskich na podstawie Art. 99(6): państwa członkowskie mogą postanowić, że organy publiczne nie podlegają karom pieniężnym, lecz muszą zapewnić dostępność alternatywnych mechanizmów nadzoru i naprawczych — w tym obowiązkowych audytów, publikacji ustaleń o niezgodności oraz zawieszenia stosowania systemu AI. Uznanie to nie rozciąga się na zezwolenie na niezgodność; dotyczy wyłącznie mechanizmu kar pieniężnych.

Organy ochrony danych (DPA) i Europejska Rada Ochrony Danych (EROD) zachowują równoległą właściwość w zakresie wymiaru przetwarzania danych osobowych przez AI sektora publicznego na gruncie GDPR i LED. Niezgodność z obowiązkami wynikającymi z GDPR lub LED w kontekście działania systemu AI podlega egzekwowaniu przez DPA niezależnie od organu nadzorczego ds. EU AI Act.

Europejski Trybunał Praw Człowieka stanowi zewnętrzne ograniczenie konstytucyjne: decyzje podejmowane na podstawie procesów algorytmicznych — w szczególności w sprawach karnych i imigracyjnych — muszą spełniać standardy Konwencji wynikające z Art. 6 (rzetelny proces) i Art. 8 (życie prywatne) w interpretacji rozwijającego się orzecznictwa ETPC dotyczącego zautomatyzowanego podejmowania decyzji.

Plan wdrożenia dla agencji rządowych

Etap 1 — Inwentaryzacja i klasyfikacja systemów AI (miesiące 1–3)

Podmioty publiczne muszą w pierwszej kolejności sporządzić kompleksowy inwentarz wszystkich systemów AI aktualnie stosowanych lub będących w toku zamówienia. Każdy system musi być oceniony pod kątem kategorii 5–8 z Annex III oraz przepisów zakazujących z Art. 5. Systemy obejmujące przetwarzanie danych osobowych powinny być jednocześnie oceniane pod kątem wymogów GDPR i LED. Wynikiem tego etapu jest sklasyfikowany inwentarz — zakazany, wysokiego ryzyka, ograniczonego ryzyka lub minimalnego ryzyka — który stanowi podstawę programu compliance.

Etap 2 — Oceny skutków dla praw podstawowych (miesiące 3–6)

Dla każdego zidentyfikowanego systemu wysokiego ryzyka podmioty publiczne muszą zlecić i przeprowadzić FRIA na podstawie Art. 27. Wymaga to wkładu prawnego, technicznego i politycznego: analizy prawnej zagrożonych praw; dokumentacji technicznej dotyczącej działania systemu, danych treningowych i znanych trybów błędów; oraz oceny politycznej dostępnych środków łagodzących. FRIA muszą być udokumentowane i gotowe do przekazania organom nadzorczym.

Etap 3 — Weryfikacja dostawców i reforma zamówień (miesiące 3–9)

Procesy zamówień publicznych muszą zostać zaktualizowane tak, aby wymagać od dostawców AI wykazania zgodności z EU AI Act jako warunku zawarcia umowy. Podmioty stosujące AI muszą zweryfikować oznakowanie CE, Deklarację Zgodności, dokumentację techniczną oraz zobowiązania w zakresie monitorowania po wprowadzeniu do obrotu przed wdrożeniem. Podmioty publiczne działające jako wspólni operatorzy lub współtwórcy z dostawcami technologicznymi muszą wyjaśnić umownie podział odpowiedzialności za obowiązki związane z oceną zgodności.

Etap 4 — Zabezpieczenia operacyjne i szkolenia personelu (miesiące 6–12)

Wyznaczeni urzędnicy sprawujący nadzór ludzki muszą zostać wskazani dla każdego systemu AI wysokiego ryzyka, przeszkoleni w zakresie możliwości i ograniczeń systemu oraz wyposażeni w procedury nadpisania decyzji systemu. Klauzule informacyjne dla osób, których decyzje dotyczą, muszą zostać opracowane i wkomponowane w istniejące procedury administracyjne. Infrastruktura rejestrowania musi zostać zweryfikowana lub ustanowiona. Protokoły zgłaszania incydentów muszą zostać zintegrowane z istniejącymi procesami zarządzania incydentami administracyjnymi i dotyczącymi ochrony danych.

Etap 5 — Ciągłe monitorowanie i przegląd roczny

Compliance systemów AI wysokiego ryzyka nie jest jednorazowym ćwiczeniem certyfikacyjnym. Obowiązki monitorowania po wprowadzeniu do obrotu wymagają od podmiotów publicznych aktywnego śledzenia wydajności systemu, dokumentowania wszelkich zmian w zakresie dokładności, stronniczości lub zachowania systemu oraz aktualizowania FRIA w przypadku wystąpienia istotnych zmian. Roczna sprawozdawczość wobec organów nadzorczych, tam gdzie jest to wymagane przez prawo krajowe, musi być wspierana dokumentacją wygenerowaną w ramach programu monitorowania.