Člen 15 — Natančnost, robustnost in kibernetska varnost (Uredba EU o UI)

Člen 15 Uredbe (EU) 2024/1689 — Natančnost, robustnost in kibernetska varnost. Uradni besedilo, praktična razlaga, ključne obveznosti in posledice za skladnost.

Povzetek uradnega besedila

Člen 15 Uredbe (EU) 2024/1689 določa tehnične zahteve za natančnost, robustnost in kibernetsko varnost, ki jih morajo visokorizični sistemi UI izpolnjevati skozi celoten življenjski cikel. Člen je strukturiran okrog treh medsebojno povezanih obveznosti.

Prvič, visokorizični sistemi UI morajo biti zasnovani in razviti za doseganje ustrezne ravni natančnosti za njihov predvideni namen. Ponudniki so dolžni navesti ustrezne metrike natančnosti v spremljajoči tehnični dokumentaciji, kar omogoča naknadno preverjanje in regulatorni nadzor.

Drugič, sistemi morajo izkazovati robustnost — zmožnost obvladovanja napak, okvar in neskladnosti, ki izhajajo iz samega sistema, njegovega operativnega okolja ali namernega nasprotnikovega manipuliranja. Uredba izrecno omenja potrebo po obravnavanju tveganja nenamernih povratnih zank, zlasti kadar visokorizični sistem UI vpliva na lastne podatke za usposabljanje ali izhode.

Tretjič, sistemi morajo vključevati ukrepe kibernetske varnosti, ki so sorazmerni tveganjem, ki jih predstavljajo. Ti ukrepi morajo varovati pred poskusi tretjih oseb, da izkoristijo ranljivosti sistema, ki bi lahko povzročile, da se sistem obnaša škodljivo, pristransko ali drugače neskladujoče. Uredba ugotavlja, da odpornost na področju kibernetske varnosti ni statično stanje, temveč jo je treba ohranjati z razvojem grožbenega okolja.

Skupaj Člen 15 operacionalizira širše načelo — izraženo v Uvodnih izjavah 51 in 52 — da je tehnična zanesljivost predpogoj za uvajanje UI na področjih s posledicami.

Kaj to pomeni v praksi

Člen 15 ustvarja konkretne inženirske in upravljavske obveznosti za vsako organizacijo, ki daje visokorizični sistem UI na trg EU ali ga daje v uporabo.

Za ponudnike je neposredna posledica, da natančnost ni zgolj tržna trditev, temveč regulatorna zaveza, ki jo je treba dokumentirati, meriti in vzdrževati. Proizvajalec medicinskih pripomočkov, ki vgrajuje orodje za diagnostiko UI, mora navesti, ali se natančnost meri kot občutljivost, specifičnost, AUC ali druga metrika — in ta izbira mora biti usklajena s predvidenim namenom sistema in profilom tveganja. Nejasne ali aspiracijske izjave o natančnosti ne bodo izpolnile zahteve.

Testiranje robustnosti mora presegati standardno zagotavljanje kakovosti. Ponudniki bi morali izvajati testiranje v skrajnih razmerah, testiranje izven porazdelitve in — kadar je sistem izpostavljen vhodom pod nadzorom uporabnika — nasprotniško rdečo ekipo. Kjer sistem vključuje povratne zanke (na primer algoritem zaposlovanja, ki se uči iz odločitev kadrovnikov), morajo ponudniki kartirati in blažiti tveganje, da pristranski izhodi pokvarijo prihodnje cikle usposabljanja.

Obveznosti kibernetske varnosti po Členu 15 je treba brati skupaj s širšim varnostnim položajem ponudnika na področju informacijske varnosti. Visokorizični sistemi UI, ki obdelujejo osebne podatke ali se povezujejo s kritično infrastrukturo, se soočajo s kombiniranimi obveznostmi po tej Uredbi in Direktivi NIS 2. Praktični koraki vključujejo kontrole dostopa do modela, čiščenje vhodov, zaznavanje anomalij pri zahtevah za sklepanje in postopke razkritja ranljivosti.

Za upravljavce skladnost s Členom 15 bistveno odvisna od ohranjanja validiranih operativnih pogojev, ki jih je opisal ponudnik. Uvajanje sistema na porazdelitvah podatkov, ki se bistveno razlikujejo od tistih, ki so bili uporabljeni pri validaciji — na primer uporaba modela za kreditno ocenjevanje, usposobljenega na enem nacionalnem trgu, za drugo jurisdikcijo — lahko ogrozi lastnosti natančnosti in robustnosti, na podlagi katerih je bila podeljena oznaka CE.

Ključne obveznosti

• Izjava o metrikah natančnosti: Ponudniki morajo navesti ustrezne metrike natančnosti za visokorizični sistem UI in jih vključiti v tehnično dokumentacijo, ki jo zahtevata Člen 11 in Priloga IV. Metrike morajo biti primerne za predvideni namen sistema.
• Doseganje in vzdrževanje ustrezne natančnosti: Sistem mora biti zasnovan in razvit za doseganje deklarirane ravni natančnosti; natančnost se ne sme obravnavati kot enkratni rezultat validacije, temveč jo je treba po uvedbi spremljati prek sistema za nadzor po dajanju na trg, ki ga zahteva Člen 72.
• Zagotavljanje robustnosti proti napakam in neskladnostim: Vzpostavljeni morajo biti tehnični in organizacijski ukrepi, da sistem lahko obvladuje napake, okvare in neskladnosti — ne glede na to, ali izhajajo iz notranjih okvar, okoljske variabilnosti ali namernih nasprotniških vhodov — brez povzročanja nevarnih ali neskladnih izhodov.
• Varovanje pred nasprotniškimi napadi: Kadar je sistem izpostavljen vhodom tretjih oseb, morajo ponudniki izvajati ukrepe za odkrivanje in odpornost na nasportniško manipulacijo, vključno z injiciranjem pozivov, inverzijo modela ali napadi zastrupitve podatkov, kjer je to primerno.
• Obravnavanje tveganj povratnih zank: Kadar bi izhodi sistema lahko vplivali na prihodnje podatke za usposabljanje ali vedenje modela, morajo ponudniki to tveganje opredeliti v tehnični dokumentaciji in izvajati zaščitne ukrepe za preprečevanje poslabšanja zmogljivosti ali ojačanja pristranskosti sčasoma.
• Izvajanje sorazmernih ukrepov kibernetske varnosti: Tehnične rešitve — vključno s kontrolami dostopa, nadzorom in postopki odzivanja na incidente — morajo biti sorazmerne tveganjem kibernetske varnosti, ki jih predstavlja sistem, ob upoštevanju njegovega predvidenega namena, konteksta uvajanja in izpostavljenosti zunanjim omrežjem ali vhodom pod nadzorom uporabnika.

Razmerje do drugih členov

Člena 15 ni mogoče brati ločeno. Nahaja se v središču tehničnih zahtev za visokorizične sisteme UI in se prepleta z več drugimi določbami Uredbe.

Člen 9 (sistem upravljanja tveganj) zagotavlja splošni okvir, v katerem je treba opredeliti, oceniti in blažiti tveganja natančnosti, robustnosti in kibernetske varnosti. Sistem upravljanja tveganj je postopkovno sredstvo za izpolnjevanje številnih vsebinskih zahtev, ki jih nalaga Člen 15.

Člen 10 (podatki in upravljanje podatkov) je temeljnega pomena za natančnost: sistem, usposobljen na podatkih nizke kakovosti, nereprezentativnih ali pristranskih podatkih, ne more zagotoviti smiselnih jamstev natančnosti. Obveznosti glede kakovosti podatkov neposredno omogočajo skladnost s Členom 15.

Člen 11 in Priloga IV določata, kaj mora biti navedeno v tehnični dokumentaciji, vključno z metrikami natančnosti, ki jih zahteva Člen 15(1).

Člen 17 (sistem vodenja kakovosti) od ponudnikov zahteva, da vgradijo skladnost s Členom 15 v svoje organizacijske procese, vključno z nadzori zasnove, testnimi protokoli in postopki upravljanja sprememb.

Člen 72 (nadzor po dajanju na trg) ustvarja stalno obveznost preverjanja, da se ravni natančnosti in robustnosti ohranjajo po uvedbi, s čimer se zaključi življenjska zanka, ki jo Člen 15 odpira v fazi zasnove.

Za sisteme, ki so hkrati medicinski pripomočki ali varnostne komponente, je treba Člen 15 brati skupaj z veljavno harmonizacijsko zakonodajo Unije, navedeno v Prilogi I.

Časovni načrt za skladnost

Člen 15 sledi faznimu urniku za uporabo, ki ga določa Člen 113 Uredbe (EU) 2024/1689, ki je začela veljati 1. avgusta 2024.

Ponudniki, ki razvijajo ali dajejo na trg visokorizične sisteme UI pred veljavnim datumom, morajo kljub temu vnaprej pripraviti dokumentacijo, testne protokole in arhitekture kibernetske varnosti — ocenjevanja pripravljenosti na regulativo in ugotavljanja skladnosti po Členih 43–47 zahtevajo znatno vnaprejšnji čas. Zamude pri priglašenih organih in zapletenost nasprotniških testiranj pomenijo, da bi organizacije, ki ciljajo na lansiranje leta 2026, morale začeti ocene vrzeli za Člen 15 najpozneje sredi leta 2025.