Članak 5. — Zabranjene prakse UI (Uredba EU o umjetnoj inteligenciji)

Članak 5. Uredbe (EU) 2024/1689 — Zabranjene prakse UI. Službeni tekst, praktično tumačenje, ključne obveze i implikacije usklađenosti.

Sažetak službenog teksta

Članak 5. Uredbe (EU) 2024/1689 (Uredba EU o UI) čini cjelokupni Naslov II. i uspostavlja apsolutni popis praksi UI koje su zabranjene u cijeloj Europskoj uniji. Zabrane ciljaju sustave UI čiji je potencijal za štetu toliko ozbiljan da nikakva mjera upravljanja rizicima ni ocjena sukladnosti ih ne mogu učiniti prihvatljivima.

Članak zabranjuje: (1) sustave UI koji primjenjuju podpražne tehnike izvan svijesti osobe ili namjerno iskorištavaju psihološke slabosti ili ranjivosti kako bi materijalno iskrivili ponašanje na način koji uzrokuje ili je vjerojatno da uzrokuje značajnu štetu; (2) sustave UI koji iskorištavaju dob, invaliditet ili socioekonomske okolnosti za štetno iskrivljavanje ponašanja; (3) sustave UI koje koriste javna tijela ili entiteti koji djeluju u njihovo ime za socijalno bodovanje — vrednovanje ili razvrstavanje fizičkih osoba na temelju društvenog ponašanja ili zaključenih osobnih karakteristika — kada to dovodi do štetnog ili nepovoljnog tretmana; (4) sustave UI koji procjenjuju rizik od počinjenja kaznenog djela od strane pojedinca isključivo na temelju profiliranja ili osobnih karakteristika; (5) daljinsku biometrijsku identifikaciju fizičkih osoba u stvarnom vremenu na javno dostupnim mjestima u svrhe provedbe zakona, uz ograničene i strogo kontrolirane iznimke; (6) daljinske biometrijske sustave u stvarnom vremenu ili post-hoc koji se koriste za zaključivanje o osjetljivim atributima poput rase, političkog mišljenja, članstva u sindikatu, vjerskih uvjerenja ili seksualne orijentacije; (7) sustave UI koji stvaraju ili proširuju baze podataka za prepoznavanje lica putem neciljanog prikupljanja s interneta ili CCTV snimaka; te (8) sustave UI koji zaključuju o emocijama fizičkih osoba na radnim mjestima i u obrazovnim okruženjima, osim iz sigurnosnih razloga.

Što to znači u praksi

Članak 5. povlači tvrdu granicu usklađenosti koja utječe na svaku organizaciju koja razvija, primjenjuje ili uvozi sustave UI na tržište EU, bez obzira na veličinu ili sektor.

Za tehnološke pružatelje i programere UI, zabrane znače da se određene kategorije proizvoda jednostavno ne mogu zakonito staviti na tržište EU. Prodavač koji trguje alatom za produktivnost radne snage koji uključuje prepoznavanje emocija za praćenje angažiranosti zaposlenika — signalizirajući stresne ili nezainteresirane radnike rukovoditeljima — mora ukloniti ili redizajnirati tu funkciju prije 2. veljače 2025. Slično tome, startup za analitiku maloprodaje čiji sustav zaključuje o raspoloženju kupaca iz izraza lica u trgovini potpada pod zabranu zaključivanja o emocijama izvan sigurnosnog konteksta.

Za organizacije koje koriste alate UI trećih strana, dužna pažnja je jednako obvezatna. Odjel za ljudske resurse koji primjenjuje platformu za zapošljavanje koja provodi prikriveno psihografsko profiliranje za provjeru kandidata rizikuje zajednički liability kao primatelj.

Za javna tijela, zabrana socijalnog bodovanja posebno je značajna. Svaki sustav UI koji agregira bihevioralne podatke — povijest plaćanja, obrasce kretanja, online aktivnost — kako bi stvorio ocjenu građana koja zatim ograničava pristup javnim uslugama ili beneficijama je nezakonit, bez obzira na to je li sustav tehnički sofisticiran.

Za tijela za provedbu zakona, uska iznimka od zabrane biometrijske identifikacije u stvarnom vremenu zahtijeva robusne postupke prethodnog odobravanja, geografska i vremenska ograničenja, obvezno evidentiranje i naknadno izvješćivanje nacionalnim nadzornim tijelima. Ad hoc ili kontinuirana primjena bez prethodnog sudskog ili administrativnog odobrenja je nezakonita čak i unutar opsega iznimke.

Organizacije trebaju provesti popis svih sustava UI koji su u upotrebi ili u razvoju, mapirati svaki prema kriterijima iz članka 5. i bez odlaganja prestati sa zabranjenim operacijama.

Ključne obveze

• Prestati ili nikad ne primjenjivati bilo koji sustav UI koji koristi podpražne, manipulativne ili tehnike iskorištavanja ranjivosti za iskrivljavanje ljudskog ponašanja na načine koji vjerojatno uzrokuju značajnu štetu, bez ikakve iznimke ili balansiranja proporcionalnosti.
• Zabraniti socijalno bodovanje od strane javnih tijela ili entiteta koji djeluju u njihovo ime: ne koristiti UI za vrednovanje ili razvrstavanje fizičkih osoba prema društvenom ponašanju ili zaključenim osobnim karakteristikama kada ishod dovodi do štetnog ili diskriminatornog tretmana.
• Rashodovati alate za prediktivno policijsko djelovanje koji procjenjuju individualni kazneni rizik isključivo na temelju profiliranja, osobnih karakteristika ili prošlih asocijacija bez konkretnih bihevioralnih dokaza.
• Suzdržati se od prikupljanja biometrijskih podataka s interneta, CCTV-a ili drugih izvora za stvaranje ili proširivanje baza podataka za prepoznavanje lica; postojeće baze podataka izgrađene na takav način se ne smiju koristiti.
• Ne primjenjivati sustave UI koji zaključuju o osjetljivim osobnim atributima — rasnom ili etničkom podrijetlu, političkim mišljenjima, članstvu u sindikatu, vjerskim ili filozofskim uvjerenjima, seksualnoj orijentaciji — iz biometrijskih ili bihevioralnih podataka.
• Primijeniti stroge kontrole prethodnog odobrenja i evidentiranja ako djelujete kao tijelo za provedbu zakona i oslanjate se na usku iznimku iz članka 5. stavaka 2.–5. za daljinsku biometrijsku identifikaciju u stvarnom vremenu; svaka primjena mora biti vremenski ograničena, geografski određena i podlijegati ex-post izvješćivanju.

Odnos prema drugim člancima

Članak 5. mora se čitati kao vrhunac hijerarhije temeljene na riziku Uredbe EU o UI. Funkcionira u sprezi s definicijama iz članka 3., koji utvrđuje što čini 'sustav UI', 'pružatelja' i 'primatelja' — aktere koji podliježu zabranama. Razlikovanje između zabranjenih praksi prema članku 5. i visokorizičnih sustava UI prema članku 6. i Prilogu III. je temeljno: zabranjeni sustavi ne mogu se zakonito koristiti ni pod kojim uvjetima, dok se visokorizični sustavi mogu primjenjivati uz ocjene sukladnosti, registraciju i tekuće obveze nadzora.

Članak 9. (sustavi upravljanja rizicima) i članci 10.–15. (upravljanje podacima, transparentnost, ljudski nadzor) primjenjuju se nizvodno na dopuštene visokorizične sustave, ali nemaju sanatornu ulogu za zabrane iz članka 5. Članak 99. uspostavlja strukturu kazni, uključujući novčanu kaznu najvišeg razreda primjenjivu na kršenja članka 5. Članak 85. i odredbe o nadzoru tržišta (članci 74.–78.) uređuju provedbu. Nacionalna nadležna tijela određena prema članku 70. odgovorna su za nadzor usklađenosti sa zabranama na razini države članice.

Vremenski okvir usklađenosti

• 1. kolovoza 2024. — Uredba (EU) 2024/1689 stupila je na snagu, dvadeset dana nakon objave u Službenom listu Europske unije.
• 2. veljače 2025. — Zabrane iz članka 5. postale su izravno primjenjive u svim državama članicama EU. Ovo je bio prvi sadržajni datum primjene prema faznom rasporedu utvrđenom u članku 113. Od ovog datuma, svako postavljanje, stavljanje na tržište ili puštanje u upotrebu zabranjenog sustava UI predstavlja regulatorni prekršaj koji podliježe kaznama prema članku 99.
• 2. kolovoza 2025. — Pravila o modelima UI opće namjene (Naslov VIII., članci 51.–56.) postala su primjenjiva.
• 2. kolovoza 2026. — Obveze za većinu visokorizičnih sustava UI navedenih u Prilogu III. primjenjuju se, zajedno s odredbama o upravljanju i nadzoru tržišta.
• 2. kolovoza 2027. — Produženi rok za visokorizične sustave UI koji su već na tržištu prije kolovoza 2024. i potpadaju pod Prilog I. (sigurnosna komponenta u reguliranim proizvodima).

Za članak 5. konkretno, nema prijelaznog razdoblja ni privremenog uređenja: rok je bio 2. veljače 2025. i usklađenost je sada zakašnjela za svaku organizaciju koja još nije djelovala.