Člen 9 — Sistem upravljanja tveganj (Uredba EU o umetni inteligenci)

Člen 9 Uredbe (EU) 2024/1689 — Sistem upravljanja tveganj. Uradno besedilo, praktična razlaga, ključne obveznosti in posledice za skladnost.

Povzetek uradnega besedila

Člen 9 Uredbe (EU) 2024/1689 ponudnikom sistemov umetne inteligence z visokim tveganjem nalaga obvezen, stalen sistem upravljanja tveganj skozi celoten življenjski cikel sistema. Določba zahteva, da sistem upravljanja tveganj sestoji iz iterativnega postopka, ki je vključen v razvoj in delovanje sistema umetne inteligence z visokim tveganjem, redno posodobljenega glede na nove informacije, zbrane med poizvedovanjem po dajanju v promet.

Konkretno člen 9 zahteva od ponudnikov, da: (a) identificirajo in analizirajo vsa znana in razumno predvidljiva tveganja, povezana s sistemom umetne inteligence z visokim tveganjem; (b) ocenijo tveganja, ki se lahko materializirajo, ko je sistem uporabljen v skladu z njegovim namenom in v razmerah razumno predvidljive napačne uporabe; (c) ocenijo tveganja, ki izhajajo iz razpoložljivih podatkov in vedenja oseb, ki interagirajo s sistemom; in (d) sprejmejo ustrezne ukrepe za obvladovanje tveganj na podlagi te analize.

Ukrepi upravljanja tveganj morajo biti takšni, da je vsako preostalo tveganje, povezano z vsakim nevarnostnim virom, pa tudi splošno preostalo tveganje sistema umetne inteligence z visokim tveganjem, ocenjeno kot sprejemljivo. Člen 9 določa tudi, da je treba izvajati testiranja za identifikacijo ustreznih ukrepov, in da morajo biti taka testiranja izvedena glede na določene metrike in verjetnostne pragove. Posebna pozornost je potrebna, kadar bo sistem verjetno v interakciji z otroki ali drugimi ranljivimi skupinami. Informacije, ki izhajajo iz izkušenj upravljavcev, je treba vnesti nazaj v postopek upravljanja tveganj ponudnika.

Kaj to pomeni v praksi

Člen 9 je ena izmed operativno najzahtevnejših zahtev v Naslovu III Uredbe EU o umetni inteligenci. Velja za vsako pravno osebo, ki se kvalificira kot ponudnik sistema umetne inteligence z visokim tveganjem — torej za subjekt, ki sistem razvija ali ga da razviti ter ga da na trg ali začne uporabljati pod lastnim imenom ali blagovno znamko.

Praktično gledano skladnost zahteva vzpostavitev dokumentiranega okvira upravljanja tveganj pred dajanjem sistema na trg. To ni formalno opravilo: uredba zahteva iterativen postopek, ki traja skozi celotno življenjsko dobo izdelka, kar pomeni, da mora dokumentacija upravljanja tveganj evoluirati, ko se sistem posodablja, ponovno uči ali uvaja v novih kontekstih.

Skladen sistem upravljanja tveganj bo tipično vključeval: strukturiran postopek identifikacije tveganj, ki zajema tako namerno uporabo kot verjetne scenarije napačne uporabe; matriko ocenjevanja tveganj, ki ocenjuje verjetnost in resnost škode; katalog ublažitvenih ukrepov z dokumentiranim utemeljitvijo njihove izbire; formalno testiranje pred dajanjem na trg glede na določene metrike; in mehanizem za vključevanje povratnih informacij po dajanju v promet — vključno s podatki o incidentih, ki jih zagotovijo upravljavci — v tekočo analizo tveganj.

Na primer, ponudnik orodja za kreditno ocenjevanje, ki temelji na umetni inteligenci in je razvrščeno kot visoko tveganje v skladu s Prilogo III, mora dokumentirati, kako bi model lahko produciral diskriminatorne rezultate, kateri tehnični in organizacijski ukrepi zmanjšujejo to tveganje, in kako bodo podatki o delovanju v resničnem svetu sprožili ponovno ocenjevanje. Sistem umetne inteligence, ki se uporablja v medicinskem kontekstu, mora poleg tega obravnavati povečano dolžnost skrbnosti, kadar so vključeni ranljivi uporabniki. Rezultati upravljanja tveganj se neposredno vključijo v tehnično dokumentacijo, ki jo zahteva čl. 11, in oceno skladnosti v skladu s čl. 43-44.

Ključne obveznosti

• Vzpostavitev in vzdrževanje stalnega sistema upravljanja tveganj, ki zajema celoten življenjski cikel sistema umetne inteligence z visokim tveganjem, od zasnove do razgradnje, posodobljenega glede na podatke iz poizvedovanja po dajanju v promet.
• Identifikacija vseh znanih in razumno predvidljivih tveganj, vključno s tveganji, ki izhajajo iz razumno predvidljive napačne uporabe, iz interakcije z drugimi sistemi in iz sociotehničnega konteksta uvajanja.
• Ocena tveganj glede na verjetnost njihovega nastanka in resnost morebitne škode, ob upoštevanju namenjenega namena in kategorij oseb, ki bodo verjetno prizadete, vključno z ranljivimi skupinami in otroki.
• Sprejetje ukrepov upravljanja tveganj, ki zmanjšajo identificirana tveganja na sprejemljivo preostalo raven; kadar tehnični ukrepi niso zadostni, jih morajo dopolniti organizacijski ali informacijski ukrepi.
• Izvajanje testiranja pred dajanjem na trg z uporabo določenih metrik in verjetnostnih pragov, primernih za nameravani namen, da bi potrdili, da so izbrani ukrepi učinkoviti in da je preostalo tveganje sprejemljivo.
• Vključevanje povratnih informacij iz poizvedovanja po dajanju v promet od upravljavcev in končnih uporabnikov v tekoč postopek upravljanja tveganj, da bi zagotovili, da sistem ostane odziven na dejanske dokaze o škodi ali skorajšnjih nesrečah.

Razmerje do drugih členov

Člen 9 je v središču okvira zahtev Poglavja 2 in je strukturno povezan z več drugimi določbami. Za obseg svojega področja uporabe je odvisen od čl. 6 in Priloge III: le sistemi, ki se kvalificirajo kot visoko tveganje, so predmet njegovih obveznosti. Rezultati postopka iz člena 9 se neposredno vključijo v čl. 11 (tehnična dokumentacija), ki zahteva, da ponudniki dokažejo, da obstaja in je bil uporabljen skladen sistem upravljanja tveganj.

Člen 9 je prav tako tesno povezan s čl. 10 (podatki in upravljanje podatkov), saj kakovost podatkov za usposabljanje, validacijo in testiranje bistveno vpliva na profil tveganja, ki ga je treba upravljati. Čl. 13 (preglednost in zagotavljanje informacij) zahteva, da se upravljavcem sporočijo določene informacije, povezane s tveganji, čl. 14 (človeški nadzor) pa določa ukrepe, ki pogosto služijo kot orodja za primarno ublažitev tveganj v skladu s členom 9. Čl. 26 nalaga upravljavcem obveznosti, da spremljajo dejansko uporabo in poročajo ponudnikom o ustreznih informacijah, s čimer se zapre zanka povratnih informacij, ki jo zahteva člen 9. Nazadnje čl. 72 (poizvedovanje po dajanju v promet) formalizira mehanizme zbiranja podatkov, ki vzdržujejo iterativen postopek upravljanja tveganj skozi čas.

Časovni okvir za skladnost

Uredba EU o umetni inteligenci je začela veljati 1. avgusta 2024. Člen 9 kot osrednja zahteva Poglavja 2, ki velja za sisteme umetne inteligence z visokim tveganjem, sledi splošnemu časovnemu okviru za skladnost z obveznostmi iz Naslova III:

• 1. avgust 2024 — Uredba začne veljati; 24-mesečni prehodni rok začne teči za večino obveznosti visokega tveganja.
• 2. februar 2025 — Prepovedi glede praks umetne inteligence z nesprejemljivim tveganjem (čl. 5) postanejo veljavne. Člen 9 se še ne uporablja.
• 2. avgust 2025 — Pravila o modelih umetne inteligence splošnega namena (Naslov VIII) postanejo veljavna. Člen 9 za večino sistemov z visokim tveganjem še vedno ni obvezen.
• 2. december 2026 — Člen 9 postane v celoti veljaven za sisteme umetne inteligence z visokim tveganjem, navedene v Prilogi III (sistemi umetne inteligence na področjih, kot so izobraževanje, zaposlovanje, bistvene storitve, izvrševanje zakonov, migracije in upravljanje pravosodja). Ponudniki morajo do tega datuma imeti vzpostavljen skladen sistem upravljanja tveganj.
• 2. avgust 2027 — Podaljšan rok za sisteme umetne inteligence z visokim tveganjem, ki so varnostne komponente izdelkov, za katere že velja obstoječa harmonizacijska zakonodaja Unije, navedena v Prilogi I (npr. stroji, medicinski pripomočki, civilno letalstvo).

Ponudniki, ki razvijajo ali nabavljajo sisteme umetne inteligence z visokim tveganjem, bi morali 2. december 2026 obravnavati kot trd rok za pripravljenost na skladnost s členom 9, z vgradnjo okvirov upravljanja tveganj v svoje razvojne procese dovolj vnaprej, da si zagotovijo čas za testiranje, dokumentacijo in oceno skladnosti.