Javni sektor i pravosuđe — Usklađenost s EU AI Aktom

Obveze iz EU AI Akta za primjenu umjetne inteligencije u javnoj upravi, provedbi zakona, nadzoru granica i pravosudnom sustavu. Obuhvaća kategorije 5-8 Annex III i obvezne procjene učinka na temeljna prava.

Javni sektor i AI Akt — Zašto je vlada raspolagatelj s najvećim rizikom

EU AI Akt (Uredba (EU) 2024/1689) primjenjuje se horizontalno u svim sektorima, no najkoncentrovaniji teret obveznih obveza pada na tijela javne vlasti. Vladine agencije, tijela za provedbu zakona, pravosudne institucije i tijela za upravljanje granicama i najintenzivniji su raspolagatelji konsekvencijalnom AI i entiteti čija upotreba AI stvara najveći strukturni rizik za temeljna prava. Akt odražava tu asimetriju na dva strukturna načina.

Prvo, četiri od osam visokorizičnih kategorija Annex III izravno se bave AI u javnom sektoru — kategorije 5 do 8 obuhvaćaju ključne javne usluge, provedbu zakona, migracije i nadzor granica te upravljanje pravosuđem. Te kategorije nisu rezidualne odredbe opće namjene: nabrajaju konkretne AI aplikacije koje se redovito koriste u državnim operacijama i koje po definiciji nose rizik klasifikacijske razine.

Drugo, čl. 27 nameće obveznu procjenu učinka na temeljna prava (FRIA) tijelima javne vlasti prije puštanja u rad visokorizičnih AI sustava. Za raspolagatelje iz privatnog sektora FRIA je snažno preporučena; za tijela javne vlasti ona je pravna obveza. Procjena mora ispitati učinak AI sustava na prava pojedinaca zajamčena Poveljom EU o temeljnim pravima, uključujući pravo na dostojanstvo (čl. 1), zaštitu osobnih podataka (čl. 8), pravo na djelotvoran pravni lijek (čl. 47) i presumpciju nevinosti (čl. 48).

Krajolik usklađenosti za tijela javne vlasti dodatno je kompliciran slojevanjem obveza iz AI Akta na postojeće sektorske režime: Direktiva o provedbi zakona 2016/680, Uredba o Schengenskom informacijskom sustavu, Uredba o Frontexu 2019/1896, Opća uredba o zaštiti podataka te ustavni zahtjevi Europske konvencije o ljudskim pravima u tumačenju Europskog suda za ljudska prava. Svaki od tih okvira stvara neovisne obveze koje moraju biti ispunjene paralelno s obvezama iz EU AI Akta.

Visokorizični AI sustavi — Kategorije 5 do 8

Annex III, Kategorija 5 — Ključne javne usluge i procjena prava na naknade

Annex III, točka 5(b) klasificira kao visokorizičan svaki AI sustav koji se koristi za procjenu prava fizičkih osoba na ključne usluge javne socijalne skrbi i donošenje odluka u tom kontekstu. Ta kategorija obuhvaća čitav spektar AI u sustavu socijalne države:

• Automatizirana procjena prava na naknadu za nezaposlenost: AI sustavi koji utvrđuju ispunjava li podnositelj zahtjeva uvjete prava na temelju podataka o zaposlenju, aktivnostima traženja posla ili imovinskih procjena.
• Odluke o stambenoj pomoći i invalidnini: Algoritmički alati koji boduju zahtjeve za prioritet u socijalnom stanovanju, pravo na invalidninu ili naknade za osobnu neovisnost.
• Otkrivanje prijevare u socijalnoj skrbi: AI sustavi profiliranja koji generiraju bodovne procjene rizika za sumnju na prijevaru u sustavu naknada, što potencijalno pokreće istrage ili obustavu isplata.

Točka 5(b) također obuhvaća AI za kreditnu sposobnost i osiguranje u odnosu na fizičke osobe, premda je primarna izloženost javnog sektora u pravu na naknade i usluge. U svim slučajevima klasifikacija se primjenjuje kada AI sustav materijalno utječe na pristup javnoj usluzi — bez obzira donosi li konačnu odluku službenik.

Annex III, Kategorija 6 — Provedba zakona

Kategorija 6 obuhvaća AI koji tijela za provedbu zakona koriste u tri domene:

Procjena rizika i profiliranje: AI sustavi koji procjenjuju vjerojatnost počinjenja kaznenog djela, recidivizma ili sigurnosne prijetnje od strane pojedinca — uključujući alate za bodovanje recidivizma koji se koriste na ročištima o pritvoru, odlukama o uvjetnom otpustu i preporukama o kazni. Ti su sustavi visokorizični prema Annex III, točki 6(a).

Otkrivanje i analiza u istragama: AI za otkrivanje emocionalnih stanja, osobina ličnosti ili obmanjujućeg ponašanja na temelju izraza lica, glasa ili fizioloških pokazatelja koji se koriste u kaznenim istragama. Čl. 5(1)(f) zasebno zabranjuje AI sustave koji zaključuju o emocijama pojedinaca u kontekstu provedbe zakona i upravljanja granicama, osim za specifične sigurnosne svrhe, postavljajući čvrstu vanjsku granicu oko te primjene.

Otkrivanje deepfakeova i provjera dokumenata: AI koji se koristi za otkrivanje manipuliranih digitalnih sadržaja ili procjenu autentičnosti dokumenata u kaznenim postupcima — klasificiran kao visokorizičan prema Annex III, točki 6(c).

Annex III, Kategorija 7 — Migracije, azil i nadzor granica

Kategorija 7 primjenjuje se na AI primjenjen u kontekstu migracija i upravljanja granicama:

Procjena rizika na granicama: AI sustavi koji procjenjuju rizik od neregularnih migracija ili generiraju bodovne procjene prijetnje za pojedince koji prelaze granice — uključujući alate profiliranja integriranih sa SIS-om i sustave analize rizika Frontexa koji djeluju prema Uredbi 2019/1896.

Provjera dokumenata i identiteta: AI sustavi koji procjenjuju autentičnost putnih dokumenata, viza, dozvola boravka ili osobnih dokumenata za potrebe prelaska granice ili imigracijskog postupka.

Obrada zahtjeva za azil: AI koji ispituje zahtjeve za azil, procjenjuje vjerodostojnost pojedinačnih navoda ili profilira podnositelje zahtjeva za ubrzane ili ekspeditivne postupke.

Svi sustavi iz kategorije 7 moraju biti procijenjeni s obzirom na usklađenost ne samo s AI Aktom nego i s Konvencijom o izbjeglicama (1951.), čl. 18 Povelje EU (pravo na azil) i načelom non-refoulementa u tumačenju sudske prakse ESLJP-a — ustavnim ograničenjem koje FRIA prema čl. 27 mora izričito razmatrati.

Annex III, Kategorija 8 — Upravljanje pravosuđem i demokratski procesi

Kategorija 8 bavi se AI primijenjenim unutar samog pravosudnog sustava:

AI za potporu pravosuđu: Sustavi koji pomažu u istraživanju sudske prakse, identificiranju primjenjivih pravnih odredbi ili strukturiranju pravnog obrazloženja za suce, državne odvjetnike ili administratore sudova — visokorizični prema Annex III, točki 8(a).

Alati prediktivnog pravosuđa: AI sustavi koji predviđaju vjerojatni ishod parnica, raspon kazni ili sudske odluke na temelju povijesnih podataka o predmetima. Ti sustavi izazivaju ozbiljne zabrinutosti prema čl. 47 Povelje EU o pravu na pošteno suđenje, budući da njihova primjena u sudskom odlučivanju može strukturno staviti u nepovoljniji položaj stranke čiji profili odstupaju od povijesnih normi.

Kategorija 8 ne zabranjuje AI-potpomognuti sudski rad; podvrgava ga režimu usklađenosti za visokorizične sustave i zahtijeva da sudovi i pravosudna ministarstva osiguraju da rezultati AI uvijek podliježu sadržajnom preispitivanju od strane čovjeka — sudac ili donositelj odluke mora biti u mogućnosti, i u praksi mora, zanemariti rezultat AI kada nije primjeren.

Obvezne obveze raspolagatelja iz tijela javne vlasti

Tijela javne vlasti koja djeluju kao raspolagatelji visokorizičnih AI sustava prema AI Aktu nose definirani, nedelegabilni skup obveza prema čl. 26 i čl. 27.

Procjena učinka na temeljna prava (čl. 27)

FRIA je najdistinktivnija obveza za raspolagatelje iz javnog sektora. Mora se provesti prije puštanja u rad i mora razmatrati: konkretne svrhe sustava koje utječu na prava; kategorije pojedinaca čija prava mogu biti pogođena; predvidive rizike štete te vjerojatnost i ozbiljnost tih rizika; način na koji postojeće pravne zaštitne mjere ublažavaju te rizike; te mjere poduzete za nadzor sustava nakon puštanja u rad. Dovršena FRIA mora biti dostavljena nacionalnom nadzornom tijelu za AI na zahtjev i mora se ažurirati kada se sustav izmijeni ili primijeni u novom kontekstu.

Nadzor od strane čovjeka i određena odgovornost

Čl. 26(1) zahtijeva od raspolagatelja da nadzor visokorizičnih AI sustava od strane čovjeka povjere fizičkim osobama s neophodnim kompetencijama, ovlastima i resursima za intervenciju. U javnoj upravi to znači da svaki automatizirani postupak koji se tiče pojedinaca — bilo da je riječ o pravu na naknade, bodovanju graničnog rizika ili rezultatima potpore pravosuđu — mora imati identificiranog službenika koji može nadjačati rezultat sustava i koji strukturno nije potaknut da mu se podvrgne.

Transparentnost prema pogođenim pojedincima

Čl. 13 zahtijeva od raspolagatelja da osiguraju da su pojedinci na koje se odnose AI-potpomognute odluke jasno obaviješteni da se koristi AI sustav. U javnoj upravi ta obveza obično zahtijeva umetanje obavijesti o primjeni AI u odluke, upravne dopise i postupke saslušanja. Čl. 86 štiti povjerljivost podataka dostavljenih nadzornim tijelima u kontekstu nadzora usklađenosti, pružajući mogućnost otkrivanja osjetljive interne dokumentacije bez javne izloženosti.

Zapisnici, čuvanje evidencija i izvješćivanje o incidentima

Raspolagatelji moraju voditi operativne zapisnike aktivnosti AI sustava kroz minimalno razdoblje — najmanje šest mjeseci za većinu visokorizičnih sustava, s produženim čuvanjem tamo gdje to zahtijeva pravni okvir koji uređuje temeljni upravni postupak. Ozbiljni incidenti — incidenti koji rezultiraju smrću, teškim ozljedama, značajnom materijalnom štetom ili povredama temeljnih prava — moraju se prijaviti nadležnom nacionalnom nadzornom tijelu za AI bez nepotrebnog odgađanja.

Zabranjene prakse u javnoj upravi

Određene AI prakse apsolutno su zabranjene prema čl. 5 EU AI Akta. Za tijela javne vlasti tri su zabrane od izravne operativne važnosti.

Čl. 5(1)(c) — Društveno bodovanje od strane tijela javne vlasti: AI sustavi koji ocjenjuju ili klasificiraju pojedince na temelju njihovog društvenog ponašanja ili osobnih karakteristika radi generiranja bodovne ocjene koja se koristi za određivanje pristupa javnim uslugama, naknadama ili pravnom tretmanu su zabranjeni. Ta je zabrana posebno usmjerena na tijela javne vlasti i cilja mehanizme tzv. društvenog kredita bez obzira na to kako su označeni ili strukturirani.

Čl. 5(1)(d) — Daljinska biometrijska identifikacija u stvarnom vremenu na javnim mjestima: Upotreba AI sustava za daljinsku biometrijsku identifikaciju u stvarnom vremenu (prepoznavanje lica, analiza hoda ili drugi biometrijski alati) na javno dostupnim mjestima od strane tijela za provedbu zakona je zabranjena, uz tri uska iznimka: ciljana pretraživanja nestale djece; sprečavanje konkretnih, neposrednih terorističkih prijetnji; i identifikacija osumnjičenih za teška kaznena djela uz prethodno sudsko ili neovisno upravno odobrenje. Te su iznimke iscrpne; nijedan opći program nadzora ne ispunjava uvjete.

Čl. 5(1)(e) — Podsvjesne i manipulativne tehnike: AI sustavi koji primjenjuju tehnike koje djeluju ispod praga svjesne percepcije radi manipuliranja ponašanjem pojedinaca, ili koji iskorištavaju ranjivosti specifičnih skupina, zabranjeni su za sve raspolagatelje, uključujući tijela javne vlasti.

Provedba — Nadzorna tijela i mehanizmi nadzora

Arhitektura provedbe AI Akta u javnom sektoru uključuje više razina nadležnih tijela.

Nacionalna nadzorna tijela za AI određena prema čl. 70 primarna su provedbena tijela za Akt u svakoj državi članici. U većini nadležnosti jesu ili će biti integrirana s postojećim tijelima za zaštitu podataka ili usko usklađena s njima. Imaju ovlasti provoditi revizije, zahtijevati tehničku dokumentaciju i rezultate FRIA-e, izdavati korektivne naloge i izricati upravne novčane kazne.

Novčane kazne za tijela javne vlasti podliježu diskreciji država članica prema čl. 99(6): države članice mogu predvidjeti da tijela javne vlasti ne podliježu novčanim kaznama, ali moraju osigurati da su dostupni alternativni nadzorni i korektivni mehanizmi — uključujući obvezne revizije, objavu nalaza o nesukladnosti i obustavu upotrebe AI sustava. Ta diskrecija ne proteže se na dopuštanje nesukladnosti; odnosi se samo na mehanizam novčane kazne.

Tijela za zaštitu podataka (DPA-ovi) i EDPB zadržavaju paralelnu nadležnost nad dimenzijama obrade osobnih podataka AI u javnom sektoru prema GDPR-u i LED-u. Nesukladnost s obvezama iz GDPR-a ili LED-a u kontekstu rada AI sustava podliježe provedbi od strane DPA-a neovisno o nadzornom tijelu za AI Akt.

Europski sud za ljudska prava čini vanjsko ustavno ograničenje: odluke donesene na temelju algoritmičkih postupaka — posebno u kaznenom pravosuđu i imigracijskom postupku — moraju zadovoljiti konvencijske standarde za čl. 6 (pošteno suđenje) i čl. 8 (privatni život) u tumačenju razvojne sudske prakse ESLJP-a o automatiziranom odlučivanju.

Plan implementacije za vladine agencije

Faza 1 — Inventura i klasifikacija AI sustava (Mjeseci 1-3)

Tijela javne vlasti moraju najprije uspostaviti sveobuhvatnu inventuru svih AI sustava koji su trenutno u upotrebi ili se nabavljaju. Svaki sustav mora biti procijenjen u odnosu na kategorije 5-8 Annex III i odredbe o zabranama iz čl. 5. Sustavi koji uključuju obradu osobnih podataka trebaju se istovremeno procijeniti prema zahtjevima GDPR-a i LED-a. Rezultat te faze je klasificirana inventura — zabranjeni, visokorizični, ograničenog rizika ili minimalnog rizika — koja pokreće program usklađenosti.

Faza 2 — Procjene učinka na temeljna prava (Mjeseci 3-6)

Za svaki identificirani visokorizični sustav tijela javne vlasti moraju naručiti i dovršiti FRIA-u prema čl. 27. To zahtijeva pravni, tehnički i politički doprinos: pravnu analizu prava koja su u pitanju; tehničku dokumentaciju o radu sustava, podacima za obuku i poznatim načinima otkazivanja; te politički pristup o dostupnim mjerama ublažavanja. FRIA-e moraju biti dokumentirane i spremne za podnošenje nadzornim tijelima.

Faza 3 — Provjera pružatelja i reforma javne nabave (Mjeseci 3-9)

Postupci javne nabave moraju se ažurirati kako bi se od pružatelja AI zahtijevalo dokazivanje usklađenosti s EU AI Aktom kao uvjeta za sklapanje ugovora. Raspolagatelji moraju provjeriti CE oznaku, Izjavu o sukladnosti, tehničku dokumentaciju i obveze post-tržišnog nadzora prije puštanja u rad. Tijela javne vlasti koja djeluju kao zajednički operateri ili suizvođači s tehnološkim dobavljačima moraju ugovorom razjasniti raspodjelu odgovornosti za obveze ocjene sukladnosti.

Faza 4 — Operativne zaštitne mjere i osposobljavanje osoblja (Mjeseci 6-12)

Određeni službenici za nadzor od strane čovjeka moraju biti identificirani za svaki visokorizični AI sustav, osposobljeni za mogućnosti i ograničenja sustava te opremljeni postupcima za nadjačavanje. Obavijesti o transparentnosti za pogođene pojedince moraju biti izrađene i ugrađene u postojeće upravne postupke. Infrastruktura za vođenje zapisnika mora biti verificirana ili uspostavljena. Protokoli za izvješćivanje o incidentima moraju biti integrirani s postojećim procesima upravljanja upravnim i podatkovnim incidentima.

Faza 5 — Kontinuirani nadzor i godišnji pregled

Usklađenost visokorizičnih AI sustava nije jednokratna certifikacijska vježba. Obveze post-tržišnog nadzora zahtijevaju od tijela javne vlasti aktivno praćenje učinka sustava, dokumentiranje svih promjena u točnosti, pristranosti ili ponašanju te ažuriranje FRIA-a kada dođe do materijalne promjene. Godišnje izvješćivanje nadzornom tijelu, tamo gdje to zahtijeva nacionalno pravo, mora biti potkrijepljeno dokumentacijom generiranom kroz program nadzora.