Članak 15. — Točnost, robusnost i kibersigurnost (Akt EU-a o umjetnoj inteligenciji)

Članak 15. Uredbe (EU) 2024/1689 — Točnost, robusnost i kibersigurnost. Službeni tekst, praktično tumačenje, ključne obveze i implikacije za usklađenost.

Sažetak službenog teksta

Članak 15. Uredbe (EU) 2024/1689 utvrđuje tehničke zahtjeve za točnost, robusnost i kibersigurnost koje visokorizični sustavi UI moraju ispunjavati tijekom cijelog životnog ciklusa. Članak je strukturiran oko triju međusobno povezanih obveza.

Prvo, visokorizični sustavi UI moraju biti dizajnirani i razvijeni tako da postignu odgovarajuću razinu točnosti za svoju namijenjenu svrhu. Od pružatelja se zahtijeva da navedu relevantne mjerne pokazatelje točnosti u pratećoj tehničkoj dokumentaciji, čime se omogućuje naknadna provjera i regulatorni nadzor.

Drugo, sustavi moraju pokazati robusnost — sposobnost upravljanja pogreškama, kvarovima i nedosljednostima koje nastaju unutar samog sustava, iz njegova operativnog okruženja ili namjernom adversarijskom manipulacijom. Uredba izričito navodi potrebu rješavanja rizika od nenamjernih povratnih petlji, posebice tamo gdje visokorizični sustav UI utječe na vlastite podatke za treniranje ili izlazne podatke.

Treće, sustavi moraju ugrađivati mjere kibersigurnosti razmjerne rizicima koje predstavljaju. Te mjere moraju štititi od pokušaja trećih strana da iskoriste ranjivosti sustava koje bi mogle uzrokovati da se sustav ponaša na štetan, pristrasan ili na drugi način nesukladan način. Uredba prepoznaje da kibersigurnosna otpornost nije statičan uvjet, već mora biti održavana kako se razvija krajoliku prijetnji.

Zajedno uzevši, članak 15. operacionalizira šire načelo — artikulirano u uvodnim izjavama 51. i 52. — da je tehnička pouzdanost preduvjet za primjenu UI u domenama s posljedičnim učincima.

Što to znači u praksi

Članak 15. stvara konkretne inženjerske i upravljačke obveze za svaku organizaciju koja stavlja visokorizični sustav UI na tržište EU-a ili ga pušta u upotrebu.

Za pružatelje, neposredna implikacija je da točnost nije samo komercijalna tvrdnja, već regulatorna obveza koja se mora dokumentirati, mjeriti i održavati. Proizvođač medicinskih uređaja koji integrira AI dijagnostički alat mora navesti mjeri li se točnost kao osjetljivost, specifičnost, AUC ili neki drugi pokazatelj — i taj odabir mora biti usklađen s namijenjenom svrhom sustava i profilom rizika. Nejasne ili aspiracijske izjave o točnosti neće zadovoljiti zahtjev.

Testiranje robusnosti mora ići dalje od standardnog osiguranja kvalitete. Pružatelji trebaju provoditi stresna testiranja, testiranja izvan raspodjele i — gdje je sustav izložen ulaznim podacima pod kontrolom korisnika — adversarijsko "crveno timovanje". Tamo gdje sustav ugrađuje povratne petlje (primjerice, algoritam za zapošljavanje koji uči iz odluka regrutera), pružatelji moraju mapirati i ublažiti rizik da pristranski izlazni podaci kvaruju buduće cikluse treniranja.

Kibersigurnosne obveze prema članku 15. trebaju se čitati u kontekstu šire politike informacijske sigurnosti pružatelja. Visokorizični sustavi UI koji obrađuju osobne podatke ili se povezuju na kritičnu infrastrukturu suočavaju se s kombiniranim obvezama prema ovoj Uredbi i Direktivi NIS 2. Praktični koraci uključuju kontrole pristupa modelima, sanitizaciju ulaznih podataka, otkrivanje anomalija u zahtjevima za inferenciju i postupke otkrivanja ranjivosti.

Za korisnike, usklađenost s člankom 15. uvelike ovisi o očuvanju validiranih operativnih uvjeta koje opisuje pružatelj. Implementacija sustava na distribucijama podataka koje se materijalno razlikuju od onih korištenih u validaciji — primjerice, primjena modela za kreditno bodovanje treniranog na jednom nacionalnom tržištu na drugu jurisdikciju — može narušiti svojstva točnosti i robusnosti na temelju kojih je dodijeljeno CE označavanje.

Ključne obveze

• Deklariranje mjernih pokazatelja točnosti: Pružatelji moraju navesti relevantne mjerne pokazatelje točnosti za visokorizični sustav UI i uključiti ih u tehničku dokumentaciju koja se zahtijeva prema članku 11. i Prilogu IV. Pokazatelji moraju biti primjereni namijenjenoj svrsi sustava.
• Postizanje i održavanje odgovarajuće točnosti: Sustav mora biti dizajniran i razvijen tako da postigne deklariranu razinu točnosti; točnost se ne smije tretirati kao jednokratni rezultat validacije, već mora biti praćena nakon implementacije kroz sustav praćenja nakon stavljanja na tržište koji se zahtijeva prema članku 72.
• Osiguravanje robusnosti u odnosu na pogreške i nedosljednosti: Tehničke i organizacijske mjere moraju biti uspostavljene kako bi sustav mogao upravljati pogreškama, kvarovima i nedosljednostima — bez obzira potječu li od unutarnjih kvarova, varijabilnosti okruženja ili namjernih adversarijskh ulaznih podataka — bez uzrokovanja nesigurnih ili nesukladnih izlaznih podataka.
• Zaštita od adversarijsih napada: Tamo gdje je sustav izložen ulaznim podacima trećih strana, pružatelji moraju implementirati mjere za otkrivanje i otpornost na adversarijsku manipulaciju, uključujući ubacivanje upita, inverziju modela ili napade trovanjem podataka, gdje je primjenjivo.
• Rješavanje rizika povratnih petlji: Tamo gdje izlazni podaci sustava mogu utjecati na buduće podatke za treniranje ili ponašanje modela, pružatelji moraju identificirati ovaj rizik u tehničkoj dokumentaciji i implementirati zaštitne mjere kako bi se spriječilo pogoršanje performansi ili pojačavanje pristranosti kroz vrijeme.
• Implementacija razmjernih kibersigurnosnih mjera: Tehnička rješenja — uključujući kontrole pristupa, nadzor i postupke odgovora na incidente — moraju biti razmjerna kibersigurnosnim rizicima koje predstavlja sustav, uzimajući u obzir njegovu namijenjenu svrhu, kontekst implementacije i izloženost vanjskim mrežama ili ulaznim podacima pod kontrolom korisnika.

Odnos prema ostalim člancima

Članak 15. ne može se čitati izolirano. Nalazi se u srcu tehničkih zahtjeva za visokorizične sustave UI i presijeca se s nekoliko drugih odredbi Uredbe.

Članak 9. (sustav upravljanja rizicima) pruža sveobuhvatni okvir unutar kojeg se rizici točnosti, robusnosti i kibersigurnosti moraju identificirati, procijeniti i ublažiti. Sustav upravljanja rizicima je proceduralni mehanizam za ispunjavanje mnogih materijalnih zahtjeva koje nameće članak 15.

Članak 10. (podaci i upravljanje podacima) temeljan je za točnost: sustav treniran na podacima niske kvalitete, nereprezentativnim ili pristranim podacima ne može postići smislena jamstva točnosti. Obveze kvalitete podataka izravno omogućuju usklađenost s člankom 15.

Članak 11. i Prilog IV. specificiraju što mora biti sadržano u tehničkoj dokumentaciji, uključujući mjerne pokazatelje točnosti koji se zahtijevaju člankom 15. stavkom 1.

Članak 17. (sustav upravljanja kvalitetom) zahtijeva od pružatelja da ugrade usklađenost s člankom 15. u organizacijske procese, uključujući kontrole dizajna, protokole testiranja i postupke upravljanja promjenama.

Članak 72. (praćenje nakon stavljanja na tržište) stvara trajnu obvezu verifikacije da se razine točnosti i robusnosti održavaju nakon implementacije, zatvarajući krug životnog ciklusa koji članak 15. otvara u fazi dizajna.

Za sustave koji su ujedno i medicinski uređaji ili sigurnosne komponente, članak 15. mora se čitati uz primjenjivo zakonodavstvo Unije o usklađivanju navedeno u Prilogu I.

Vremenski okvir usklađenosti

Članak 15. slijedi fazni raspored primjene utvrđen člankom 113. Uredbe (EU) 2024/1689, koja je stupila na snagu 1. kolovoza 2024.

Pružatelji koji razvijaju ili stavljaju visokorizične sustave UI na tržište prije primjenjivog datuma ipak moraju unaprijed pripremiti dokumentaciju, protokole testiranja i kibersigurnosne arhitekture — procjene regulatorne spremnosti i ocjenjivanje sukladnosti prema člancima 43.–47. zahtijevaju znatan predujam. Zaostatci prijavljenih tijela i složenost adversarijskog testiranja znače da bi organizacije koje ciljaju na lansiranje u 2026. trebale početi s procjenama nedostataka prema članku 15. najkasnije sredinom 2025.