Javni sektor in pravosodje — skladnost z EU AI Act

Obveznosti iz EU AI Act za umetno inteligenco v javni upravi, organih pregona, nadzoru meja in pravosodnem sistemu. Zajema kategorije 5–8 iz Annexa III in obvezne ocene vplivov na temeljne pravice.

Javni sektor in AI Act — zakaj je država namestnik z največjim tveganjem

EU AI Act (Uredba (EU) 2024/1689) se horizontalno uporablja v vseh sektorjih, toda njegova najbolj skoncentrirana bremena obveznih zahtev padajo na javne organe. Vladne agencije, organi pregona, pravosodne institucije in organi upravljanja meja so hkrati najpomembnejši namestniki posledičnih sistemov UI in subjekti, katerih uporaba UI ustvarja največje strukturno tveganje za temeljne pravice. Uredba to asimetrijo odraža na dva strukturna načina.

Prvič, štiri od osmih visokorizičnih kategorij iz Annexa III se neposredno nanašajo na UI v javnem sektorju — kategorije 5 do 8 zajemajo bistvene javne storitve, izvrševanje zakona, migracije in nadzor meja ter upravljanje pravosodja. Te kategorije niso ostanki brez določene vsebine: naštevajo specifične aplikacije UI, ki se pogosto uporabljajo v vladnih operacijah in že po definiciji nosijo tveganje na ravni klasifikacije.

Drugič, čl. 27 nalaga javnim organom obvezno oceno vplivov na temeljne pravice (FRIA) pred uvedbo visokorizičnih sistemov UI. Za namestniki iz zasebnega sektorja je FRIA močno priporočena; za javne organe je pravna obveznost. Ocena mora preučiti vpliv sistema UI na pravice posameznikov po Listini EU o temeljnih pravicah, vključno s pravico do dostojanstva (čl. 1), varstvom osebnih podatkov (čl. 8), pravico do učinkovitega pravnega sredstva (čl. 47) in domnevo nedolžnosti (čl. 48).

Pokrajino skladnosti za javne organe dodatno zapleta prekrivanje obveznosti iz AI Act z obstoječimi sektorsko specifičnimi okviri: Direktiva o varstvu podatkov v kazenskih zadevah 2016/680, Uredba o schengenskem informacijskem sistemu, Uredba o Frontexu 2019/1896, Splošna uredba o varstvu podatkov in ustavne zahteve Evropske konvencije o človekovih pravicah v razlagi Evropskega sodišča za človekove pravice. Vsak od teh okvirov ustvarja neodvisne obveznosti, ki jih je treba izpolnjevati vzporedno z zahtevami EU AI Act.

Visokorizični sistemi UI — kategorije 5 do 8

Annex III, kategorija 5 — bistvene javne storitve in ocenjevanje dajatev

Annex III, točka 5(b) kot visokorizično klasificira vsak sistem UI, ki se uporablja za oceno upravičenosti fizičnih oseb do bistvenih javnih dajatev in sprejemanje odločitev v tem okviru. Ta kategorija zajema celoten spekter UI v okviru socialne države:

• Avtomatizirano ocenjevanje nadomestila za brezposelnost: sistemi UI, ki ugotavljajo, ali vlagatelj izpolnjuje pogoje za upravičenost na podlagi evidenc o zaposlitvi, aktivnosti iskanja zaposlitve ali premoženjskih ocen.
• Odločitve o stanovanjskih in invalidskih dodatkih: algoritmični orodji, ki točkujejo vloge za prednostno dodelitev socialnih stanovanj, pravice do invalidskih dajatev ali plačil za osebno neodvisnost.
• Odkrivanje goljufij pri socialnih dajatvah: sistemi za profiliranje z UI, ki ustvarjajo ocene tveganja za sum goljufij pri dajatvah in lahko sprožijo preiskave ali začasno ustavitev izplačil.

Točka 5(b) zajema tudi UI za kreditno sposobnost in zavarovalništvo v razmerju do fizičnih oseb, čeprav je primarna izpostavljenost javnega sektorja pri upravičenosti do dajatev in storitev. V vseh primerih se klasifikacija nanaša takrat, ko ima sistem UI bistveni vpliv na dostop do javne storitve — ne glede na to, ali končno odločitev sprejme človeški uradnik.

Annex III, kategorija 6 — izvrševanje zakona

Kategorija 6 zajema UI, ki jo organi pregona uporabljajo na treh področjih:

Ocenjevanje tveganja in profiliranje: sistemi UI, ki ocenjujejo verjetnost, da bo posameznik storil kaznivo dejanje, ponavljal kazniva dejanja ali predstavljal varnostno grožnjo — vključno z orodji za točkovanje recidivizma, ki se uporabljajo na obravnavah pred sojenjem, pri odločitvah o pogojnem odpustu in priporočilih za izrekanje kazni. Ti sistemi so visokorizični v skladu z Annexom III, točka 6(a).

Odkrivanje in analiza med preiskavami: UI za zaznavanje čustvenih stanj, osebnostnih lastnosti ali zavajajočega vedenja iz obraznih izrazov, glasu ali fizioloških kazalnikov v kazenskih preiskavah. Čl. 5(1)(f) posebej prepoveduje sisteme UI, ki sklepajo o čustvih posameznikov v kontekstu izvrševanja zakona in upravljanja meja, razen za specifične varnostne namene, s čimer se vzpostavi jasna zunanja meja te uporabe.

Zaznavanje ponaredkov in preverjanje dokumentov: UI za zaznavanje manipuliranih digitalnih vsebin ali ocenjevanje pristnosti dokumentov v kazenskih postopkih — razvrščena kot visokorizična v skladu z Annexom III, točka 6(c).

Annex III, kategorija 7 — migracije, azil in nadzor meja

Kategorija 7 se nanaša na UI, ki se uvaja v okviru migracij in upravljanja meja:

Ocenjevanje tveganja na mejah: sistemi UI, ki ocenjujejo tveganje nedovoljenih migracij ali ustvarjajo ocene groženj za posameznike pri prehajanju meja — vključno z orodji za profiliranje, integriranimi v SIS in sistemi za analizo tveganja Frontex, ki delujejo na podlagi Uredbe 2019/1896.

Preverjanje dokumentov in identitete: sistemi UI, ki ocenjujejo pristnost potnih listov, vizumov, dovoljenj za bivanje ali osebnih dokumentov za namene prehajanja meja ali priseljevanja.

Obdelava prošenj za azil: UI, ki preučuje prošnje za azil, ocenjuje verodostojnost posameznih trditev ali profilira vlagatelje za pospešene ali skrajšane postopke.

Vsi sistemi iz kategorije 7 morajo biti ocenjeni za skladnost ne le z AI Act, temveč tudi z Ženevsko konvencijo o beguncih (1951), čl. 18 Listine EU (pravica do azila) in načelom non-refoulement, kot je razloženo v sodni praksi ESČP — ustavna omejitev, ki jo mora FRIA na podlagi čl. 27 izrecno obravnavati.

Annex III, kategorija 8 — upravljanje pravosodja in demokratični procesi

Kategorija 8 obravnava UI, ki se uvaja znotraj samega pravosodnega sistema:

UI za podporo sodstvu: sistemi, ki sodnikoma, tožilcem ali sodnim uradnikom pomagajo pri iskanju sodne prakse, prepoznavanju veljavnih pravnih določb ali strukturiranju pravnega razmišljanja — visokorizični v skladu z Annexom III, točka 8(a).

Orodja za napovedno pravosodje: sistemi UI, ki napovedujejo verjetni izid sodnih postopkov, razpone kazni ali sodne odločitve na podlagi zgodovinnih podatkov o primerih. Ti sistemi vzbujajo resne pomisleke po čl. 47 Listine EU glede pravice do poštenega sojenja, saj bi njihova uporaba pri sodnem odločanju lahko strukturno oškodovala stranke, katerih profili se razlikujejo od zgodovinnih norm.

Kategorija 8 ne prepoveduje z UI podprtega sodnega dela; ga pa podreja postopku skladnosti za visokorizične sisteme in zahteva, da sodišča in pravosodna ministrstva zagotovijo, da so izhodi UI vedno predmet vsebinskega pregleda s strani človeka — sodnik ali odločevalec mora biti zmožen in mora v praksi tudi zanemariti izhod UI, kadar ni primeren.

Obvezne zahteve za javne organe kot namestnike

Javni organi, ki delujejo kot namestniki visokorizičnih sistemov UI v skladu z AI Act, nosijo določen, neprenosljiv sklop obveznosti po čl. 26 in čl. 27.

Ocena vplivov na temeljne pravice (čl. 27)

FRIA je najpomembnejša obveznost za javne namestnike. Izvesti jo je treba pred uvedbo in mora obravnavati: specifične namene sistema, ki vplivajo na pravice; kategorije posameznikov, katerih pravice so lahko prizadete; predvidljiva tveganja škode ter verjetnost in resnost teh tveganj; kako obstoječe pravne zaščitne ukrepe te tveganja blažijo; ter ukrepe za spremljanje sistema po uvedbi. Dokončano FRIA je treba na zahtevo predložiti nacionalnemu nadzornemu organu za umetno inteligenco in jo posodobiti ob spremembi sistema ali njegovi uvedbi v novem okviru.

Nadzor s strani človeka in določena odgovornost

Čl. 26(1) zahteva, da namestniki dodelijo nadzor nad visokorizičnimi sistemi UI fizičnim osebam z ustrezno usposobljenostjo, pristojnostjo in viri za posredovanje. V javni upravi to pomeni, da mora imeti vsak avtomatizirani postopek, ki vpliva na posameznike — bodisi ocenjevanje upravičenosti do dajatev, točkovanje mejnega tveganja ali izhod orodja za podporo sodstvu — identificiranega uradnika, ki lahko preglasi izhod sistema in ki ni strukturno spodbujen k temu, da se mu podreja.

Preglednost do prizadetih posameznikov

Čl. 13 zahteva, da namestniki zagotovijo, da so posamezniki, na katere se nanašajo odločitve z UI, jasno obveščeni o tem, da se uporablja sistem umetne inteligence. V javni upravi ta obveznost praviloma zahteva vključitev razkritij o uporabi UI v odločbe, upravna sporočila in postopke zaslišanj. Čl. 86 varuje zaupnost podatkov, predloženih nadzornim organom v okviru nadzora skladnosti, in tako omogoča razkritje občutljive interne dokumentacije brez javne izpostavljenosti.

Vodenje dnevnikov, hramba evidenc in poročanje o incidentih

Namestniki morajo voditi operativne dnevnike dejavnosti sistema UI za minimalno obdobje — vsaj šest mesecev za večino visokorizičnih sistemov, z daljšim rokom hrambe, kjer to zahteva pravni okvir, ki ureja temeljni upravni postopek. O resnih incidentih — incidentih, ki povzročijo smrt, hudo telesno poškodbo, znatno škodo na premoženju ali kršitve temeljnih pravic — je treba pristojnemu nacionalnemu nadzornemu organu za umetno inteligenco poročati brez nepotrebnega odlašanja.

Prepovedane prakse v javni upravi

Nekatere prakse UI so po čl. 5 EU AI Act absolutno prepovedane. Za javne organe so operativno neposredno relevantne tri prepovedi.

Čl. 5(1)(c) — socialno točkovanje s strani javnih organov: prepovedani so sistemi UI, ki ocenjujejo ali razvrščajo posameznike na podlagi njihovega družbenega vedenja ali osebnostnih lastnosti z namenom ustvarjanja rezultata, ki se uporablja za določanje dostopa do javnih storitev, dajatev ali pravne obravnave. Ta prepoved je specifično usmerjena na javne organe in je namenjena mehanizmom tako imenovanega socialnega kredita, ne glede na to, kako so poimenovani ali strukturirani.

Čl. 5(1)(d) — biometrijska identifikacija na daljavo v realnem času na javnih mestih: uporaba sistemov UI za biometrijsko identifikacijo na daljavo v realnem času (prepoznavanje obrazov, analiza hoje ali druga biometrijska orodja) na javno dostopnih mestih s strani organov pregona je prepovedana, pri čemer so dovoljene tri ozke izjeme: iskanje pogrešanih otrok; preprečevanje specifičnih, neposrednih terorističnih groženj; in identifikacija osumljencev resnih kaznivih dejanj, kadar je pridobljeno predhodno sodno ali neodvisno upravno pooblastilo. Te izjeme so izčrpne; noben splošni nadzorni program ne izpolnjuje pogojev.

Čl. 5(1)(e) — podpragovno delovanje in manipulativne tehnike: sistemi UI, ki uporabljajo tehnike, ki delujejo pod pragom zavestnega zavedanja, z namenom manipuliranja posameznikovega vedenja, ali ki izkoriščajo ranljivosti določenih skupin, so prepovedani za vse namestnike, vključno z javnimi organi.

Izvrševanje — nadzorni organi in mehanizmi nadzora

Arhitektura izvrševanja AI Act v javnem sektorju vključuje več ravni pristojnih organov.

Nacionalni nadzorni organi za umetno inteligenco, določeni na podlagi čl. 70, so v vsaki državi članici primarni organi izvrševanja Uredbe. V večini pristojnosti so ali bodo integrirani z obstoječimi organi za varstvo podatkov ali tesno usklajeni z njimi. Imajo pooblastila za izvajanje revizij, zahtevanje tehnične dokumentacije in rezultatov FRIA, izdajanje korektivnih odredb in nalaganje upravnih glob.

Globe za javne organe so predmet diskrecije držav članic po čl. 99(6): države članice lahko določijo, da javni organi niso predmet denarnih kazni, morajo pa zagotoviti, da so na voljo alternativni nadzorni in korektivni mehanizmi — vključno z obveznimi revizijami, objavo ugotovitev neskladnosti in začasno prepovedjo uporabe sistema UI. Ta diskrecija se ne razteza na dopustitev neskladnosti; nanaša se le na mehanizem finančnih kazni.

Organi za varstvo podatkov (DPA) in EDPB ohranijo vzporedno pristojnost nad dimenzijami obdelave osebnih podatkov v sistemih UI javnega sektorja v skladu z GDPR in LED. Neskladnost z obveznostmi GDPR ali LED v okviru delovanja sistema UI je predmet izvrševanja DPA, neodvisno od nadzornega organa za AI Act.

Evropsko sodišče za človekove pravice predstavlja zunanjo ustavno omejitev: odločitve, sprejete na podlagi algoritmičnih postopkov — zlasti v kazenskem pravosodju in priseljevanju — morajo izpolnjevati konvencijske standarde za čl. 6 (pravično sojenje) in čl. 8 (zasebno življenje), kot so razloženi v razvijajoči se sodni praksi ESČP o avtomatiziranem odločanju.

Načrt izvedbe za vladne agencije

Faza 1 — inventar sistemov UI in klasifikacija (meseci 1–3)

Javni organi morajo najprej vzpostaviti celovit inventar vseh sistemov UI, ki se trenutno uporabljajo ali so v postopku javnega naročanja. Vsak sistem je treba oceniti glede na kategorije 5–8 iz Annexa III in določbe o prepovedih iz čl. 5. Sistemi, ki vključujejo obdelavo osebnih podatkov, je treba hkrati oceniti glede na zahteve GDPR in LED. Rezultat te faze je klasificiran inventar — prepovedano, visokorizično, omejeno tveganje ali minimalno tveganje — ki poganja program skladnosti.

Faza 2 — ocene vplivov na temeljne pravice (meseci 3–6)

Za vsak identificiran visokorizični sistem morajo javni organi naročiti in dokončati FRIA na podlagi čl. 27. To zahteva pravne, tehnične in politične prispevke: pravno analizo ogroženih pravic; tehnično dokumentacijo delovanja sistema, podatkov za usposabljanje in znanih načinov odpovedi; ter politično oceno razpoložljivih blažilnih ukrepov. FRIA morajo biti dokumentirane in pripravljene za predložitev nadzornim organom.

Faza 3 — preverjanje ponudnikov in reforma javnega naročanja (meseci 3–9)

Postopke javnega naročanja je treba posodobiti tako, da se od ponudnikov UI zahteva dokazilo o skladnosti z EU AI Act kot pogoj za oddajo naročila. Namestniki morajo pred uvedbo preveriti oznako CE, Izjavo o skladnosti, tehnično dokumentacijo in zaveze glede spremljanja po dajanju na trg. Javni organi, ki delujejo kot skupni operaterji ali sorazvijalci s tehnološkimi dobavitelji, morajo z njimi pogodbeno razjasniti porazdelitev odgovornosti za obveznosti ocene skladnosti.

Faza 4 — operativni zaščitni ukrepi in usposabljanje osebja (meseci 6–12)

Za vsak visokorizični sistem UI je treba določiti in usposobiti uradnike, odgovorne za nadzor s strani človeka, ter jim zagotoviti postopke za preglasitev sistema. Obvestila o preglednosti za prizadete posameznike je treba sestaviti in vgraditi v obstoječe upravne postopke. Infrastrukturo za vodenje dnevnikov je treba preveriti ali vzpostaviti. Protokole za poročanje o incidentih je treba vključiti v obstoječe procese upravljanja upravnih in podatkovnozastitnih incidentov.

Faza 5 — stalno spremljanje in letni pregled

Skladnost visokorizičnih sistemov UI ni enkratna certifikacijska vaja. Obveznosti spremljanja po dajanju na trg zahtevajo, da javni organi aktivno sledijo uspešnosti sistema, dokumentirajo morebitne spremembe v natančnosti, pristranskosti ali vedenju ter posodabljajo FRIA ob bistvenih spremembah. Letno poročanje nadzornemu organu, kjer je to zahtevano z nacionalno zakonodajo, mora biti podprto z dokumentacijo, ustvarjeno v okviru programa spremljanja.