Articolul 9 — Sistemul de gestionare a riscurilor (Regulamentul UE privind IA)

Articolul 9 din Regulamentul (UE) 2024/1689 — Sistemul de gestionare a riscurilor. Text oficial, interpretare practică, obligații cheie și implicații pentru conformitate.

Rezumatul textului oficial

Articolul 9 din Regulamentul (UE) 2024/1689 impune un sistem obligatoriu și continuu de gestionare a riscurilor furnizorilor de sisteme de IA cu risc ridicat pe tot parcursul ciclului de viață al sistemului. Dispoziția prevede că sistemul de gestionare a riscurilor trebuie să constea dintr-un proces iterativ integrat în dezvoltarea și funcționarea sistemului de IA cu risc ridicat, actualizat în mod regulat în lumina noilor informații culese în cursul monitorizării post-comercializare.

Concret, Articolul 9 impune furnizorilor să: (a) identifice și să analizeze toate riscurile cunoscute și previzibile în mod rezonabil asociate sistemului de IA cu risc ridicat; (b) estimeze și să evalueze riscurile care se pot materializa atunci când sistemul este utilizat în conformitate cu scopul său intenționat și în condiții de utilizare necorespunzătoare previzibilă în mod rezonabil; (c) evalueze riscurile rezultate din datele disponibile și din comportamentul persoanelor care interacționează cu sistemul; și (d) adopte măsuri adecvate de gestionare a riscurilor pe baza acestei analize.

Măsurile de gestionare a riscurilor trebuie să fie de așa natură încât orice risc rezidual asociat fiecărui pericol, precum și riscul rezidual global al sistemului de IA cu risc ridicat, să fie considerat acceptabil. Articolul 9 specifică, de asemenea, că trebuie efectuate teste pentru a identifica măsurile adecvate și că astfel de teste trebuie realizate în raport cu valori definite și praguri probabilistice. O atenție specială este necesară atunci când sistemul este susceptibil să interacționeze cu copii sau cu alte grupuri vulnerabile. Informațiile rezultate din experiența operatorilor trebuie retroalimentate în procesul de gestionare a riscurilor al furnizorului.

Ce înseamnă aceasta în practică

Articolul 9 este unul dintre cele mai solicitante cerințe operaționale din Titlul III al Regulamentului UE privind IA. Se aplică oricărei persoane juridice care se califică drept furnizor al unui sistem de IA cu risc ridicat — adică entitatea care dezvoltă sistemul sau îl face să fie dezvoltat și îl introduce pe piață sau îl pune în funcțiune sub propriul nume sau marcă comercială.

În termeni practici, conformitatea impune stabilirea unui cadru documentat de gestionare a riscurilor înainte ca sistemul să fie introdus pe piață. Aceasta nu este un exercițiu de bifat: regulamentul impune un proces iterativ care persistă pe toată durata de viață a produsului, ceea ce înseamnă că documentația de gestionare a riscurilor trebuie să evolueze pe măsură ce sistemul este actualizat, re-antrenat sau implementat în noi contexte.

Un sistem de gestionare a riscurilor conform va include de obicei: o procedură structurată de identificare a riscurilor care acoperă atât utilizarea intenționată, cât și scenariile plauzibile de utilizare necorespunzătoare; o matrice de estimare a riscurilor care evaluează probabilitatea și gravitatea daunelor; un catalog de măsuri de atenuare cu justificarea documentată a selecției lor; teste formale pre-comercializare în raport cu valori definite; și un mecanism de asimilare a feedback-ului post-comercializare — inclusiv datele despre incidente furnizate de operatori — în analiza continuă a riscurilor.

De exemplu, un furnizor al unui instrument de scorare a creditului bazat pe IA, clasificat ca risc ridicat în temeiul Anexei III, trebuie să documenteze modul în care modelul poate produce rezultate discriminatorii, ce măsuri tehnice și organizatorice reduc acel risc și modul în care datele de performanță din lumea reală vor declanșa o reevaluare. Un sistem de IA utilizat într-un context medical trebuie să abordeze în plus obligația sporită de diligență față de utilizatorii vulnerabili. Rezultatele gestionării riscurilor alimentează direct documentația tehnică impusă de Art. 11 și evaluarea conformității în temeiul Art. 43-44.

Obligații cheie

• Stabilirea și menținerea unui sistem continuu de gestionare a riscurilor care acoperă întregul ciclu de viață al sistemului de IA cu risc ridicat, de la proiectare până la scoatere din funcțiune, actualizat în lumina datelor de monitorizare post-comercializare.
• Identificarea tuturor riscurilor cunoscute și previzibile în mod rezonabil, inclusiv a riscurilor rezultate din utilizarea necorespunzătoare previzibilă în mod rezonabil, din interacțiunea cu alte sisteme și din contextul sociotehnic al implementării.
• Estimarea și evaluarea riscurilor în ceea ce privește probabilitatea lor de apariție și gravitatea daunelor potențiale, ținând seama de scopul intenționat și de categoriile de persoane susceptibile să fie afectate, inclusiv grupurile vulnerabile și copiii.
• Adoptarea de măsuri de gestionare a riscurilor care reduc riscurile identificate la un nivel rezidual acceptabil; acolo unde măsurile tehnice sunt insuficiente, acestea trebuie completate cu măsuri organizatorice sau informaționale.
• Efectuarea de teste pre-comercializare folosind valori definite și praguri probabilistice adecvate scopului intenționat, pentru a valida că măsurile selectate sunt eficace și că riscul rezidual este acceptabil.
• Integrarea feedback-ului din monitorizarea post-comercializare de la operatori și utilizatorii finali în procesul continuu de gestionare a riscurilor, asigurând că sistemul rămâne receptiv la dovezile din lumea reală privind daunele sau evenimentele aproape-accident.

Relația cu alte articole

Articolul 9 se află în centrul cadrului de cerințe din Capitolul 2 și este structural legat de mai multe alte dispoziții. Depinde de Art. 6 și Anexa III pentru sfera sa de aplicare: numai sistemele care se califică drept risc ridicat sunt supuse obligațiilor sale. Rezultatele procesului din Articolul 9 alimentează direct Art. 11 (documentația tehnică), care impune furnizorilor să demonstreze că există un sistem de gestionare a riscurilor conform și că a fost aplicat.

Articolul 9 se conectează, de asemenea, strâns la Art. 10 (date și guvernanța datelor), deoarece calitatea datelor de antrenare, validare și testare afectează în mod semnificativ profilul de risc care trebuie gestionat. Art. 13 (transparență și furnizarea de informații) impune ca anumite informații legate de riscuri să fie comunicate operatorilor, iar Art. 14 (supravegherea umană) specifică măsuri care servesc frecvent drept instrumente de prim nivel de atenuare a riscurilor în temeiul Articolului 9. Art. 26 impune obligații în aval operatorilor de a monitoriza utilizarea în lumea reală și de a raporta informații relevante înapoi la furnizori, închizând bucla de feedback pe care o impune Articolul 9. În fine, Art. 72 (monitorizarea post-comercializare) formalizează mecanismele de colectare a datelor care susțin procesul iterativ de gestionare a riscurilor în timp.

Calendarul de conformitate

Regulamentul UE privind IA a intrat în vigoare la 1 august 2024. Articolul 9, ca cerință esențială a Capitolului 2 aplicabilă sistemelor de IA cu risc ridicat, urmează calendarul general de conformitate pentru obligațiile din Titlul III:

• 1 august 2024 — Regulamentul intră în vigoare; ceasul de tranziție de 24 de luni începe să curgă pentru majoritatea obligațiilor de risc ridicat.
• 2 februarie 2025 — Interdicțiile privind practicile de IA cu risc inacceptabil (Art. 5) devin aplicabile. Articolul 9 nu se aplică încă.
• 2 august 2025 — Normele privind modelele de IA de uz general (Titlul VIII) devin aplicabile. Articolul 9 nu este încă obligatoriu pentru majoritatea sistemelor cu risc ridicat.
• 2 decembrie 2026 — Articolul 9 devine pe deplin aplicabil sistemelor de IA cu risc ridicat enumerate în Anexa III (sisteme de IA în domenii precum educația, ocuparea forței de muncă, serviciile esențiale, aplicarea legii, migrația și administrarea justiției). Furnizorii trebuie să aibă un sistem de gestionare a riscurilor conform până la această dată.
• 2 august 2027 — Termen prelungit pentru sistemele de IA cu risc ridicat care sunt componente de siguranță ale produselor deja reglementate de legislația de armonizare a Uniunii existentă, enumerată în Anexa I (de exemplu, mașini, dispozitive medicale, aviație civilă).

Furnizorii care dezvoltă sau achiziționează sisteme de IA cu risc ridicat ar trebui să trateze data de 2 decembrie 2026 ca termenul final pentru pregătirea conformității cu Articolul 9, integrând cadrele de gestionare a riscurilor în procesele lor de dezvoltare cu mult timp înainte pentru a permite timp suficient pentru testare, documentare și evaluarea conformității.