Nadzor post-tržišta EU AI akta (Čl. 72): Obveze za pružatelje visokorizičnog AI-ja

Usklađenost ne završava stavljanjem na tržište. Čl. 72 zahtijeva od pružatelja visokorizičnih AI sustava održavanje aktivnog sustava nadzora post-tržišta, prikupljanje podataka o performansama i prijavu ozbiljnih incidenata. Evo što morate učiniti — i kada.

Što je nadzor post-tržišta?

Ocjena sukladnosti i CE oznaka ulazna su karta na EU tržište za visokorizični AI sustav — ne ciljana linija. Članak 72 EU AI akta nameće kontinuiranu obvezu: pružatelji moraju uspostaviti i voditi sustav nadzora post-tržišta (NPT) koji aktivno prikuplja, analizira i djeluje na podatke o performansama u stvarnom svijetu kroz operativni životni vijek sustava.

Obrazloženje je jednostavno. AI sustav validiran na fiksnom skupu podataka može se zamagliti kako se ulazi u stvarnom svijetu mijenjaju, kako se korisnička populacija mijenja ili kako se mijenja okruženje u kojem djeluje. Statičke snimke usklađenosti ne mogu to uhvatiti. NPT je mehanizam koji pretvara usklađenost u kontinuirani proces, a ne jednokratni događaj.

Sustav NPT mora biti proporcionalan prirodi i rizicima dotičnog visokorizičnog AI sustava. Model kreditnog bodovanja raspoređen u velikom opsegu za milijune potrošača zahtijevat će intenzivnije praćenje od uskog alata za klasifikaciju dokumenata koji interno koristi regulirana tvrtka.

Tko mora uspostaviti sustav NPT?

Obvezno za:

• Pružatelje samostalnih visokorizičnih AI sustava prema Prilogu III — sustave navedene u Prilogu III koji nisu sigurnosne komponente proizvoda (npr. AI koji se koristi u odlukama o zapošljavanju, pristupu obrazovanju, kaznenom pravosuđu, procjeni kreditne sposobnosti, upravljanju kritičnom infrastrukturom)
• Pružatelje AI sustava ugrađenih u Prilog I — AI sigurnosne komponente integrirane u proizvode obuhvaćene postojećim EU usklađenim zakonodavstvom (medicinski uređaji, strojevi, vozila)

Nije potrebno za:

• Pružatelje minimalno rizičnih AI sustava (nema formalne obveze NPT-a, iako se primjenjuje dobra praksa)
• Pružatelje AI sustava samo s transparentnošću (obveze Čl. 50 ne proširuju se na NPT)
• Pružatelje GPAI modela — ovi su podložni zasebnom režimu prema Čl. 61–62, koji uključuje prijavu incidenata za modele sustavnog rizika ali je strukturiran drugačije od NPT-a prema Čl. 72

Uloga korisnika je podrška, ali nije opcionalna. Korisnici moraju koristiti AI sustav u skladu s uputama pružatelja, aktivirati i zadržati funkcionalnost bilježenja ugrađenu u sustav te — kritično — prijaviti sve ozbiljne incidente kojih postanu svjesni pružatelju bez nepotrebnog odlaganja. Korisnik koji uoči ozbiljni incident i ne obavijesti pružatelja nije usklađen.

Plan nadzora post-tržišta (Prilog IV, Točka 12)

Plan NPT je obvezna komponenta tehničke dokumentacije (Prilog IV). Ne može biti generički dokument: mora biti specifičan za sustav, njegov kontekst raspoređivanja i identificirane rizike. Minimalno mora definirati:

1. Prikupljanje podataka — koje metrike performansi se bilježe (točnost, stopa pogrešaka, ishodi odluka), kako se podaci prikupljaju (automatska telemetrija, izvještaji korisnika, povratne informacije korisnika) i s kojom učestalošću
2. Petlje povratnih informacija — mehanizam kojim korisnici mogu prijavljivati probleme s performansama, anomalije ili incidente pružatelju na strukturiran i pravodoban način
3. Praćenje točnosti — kako se performanse sustava prate prema validiranoj referentnoj vrijednosti korištenoj tijekom ocjene sukladnosti, uključujući metodologiju otkrivanja drifta
4. Praćenje pristranosti — za sustave gdje su demografski ishodi materijalni (zapošljavanje, kredit, kazneno pravosuđe), kontinuirano praćenje statističkih nejednakosti između zaštićenih skupina, s definiranom metodologijom i pragovima
5. Okidači ažuriranja — specifični kvantitativni ili kvalitativni pragovi koji pokreću korektivne radnje, uključujući ponovnu obuku modela, prilagodbu parametara ili suspenziju raspoređivanja
6. Raspored pregleda — koliko često se sam plan NPT pregledava i ažurira, osiguravajući da ostane primjeren kako se kontekst raspoređivanja razvija

Plan NPT mora biti ažuriran. Zastarjeli plan koji više ne odražava stvarnu metodologiju praćenja ne zadovoljava Čl. 72.

Prijava ozbiljnih incidenata (Čl. 73)

Što čini ozbiljni incident?

Članak 73 definira ozbiljni incident kao svaki incident ili kvar visokorizičnog AI sustava koji izravno ili neizravno dovodi do:

• Smrti ili ozbiljne štete po zdravlje (fizičke ili psihološke)
• Ozbiljnog i nepopravljive smetnje u upravljanju ili radu kritične infrastrukture
• Ozbiljnog kršenja temeljnih prava (privatnosti, nediskriminacije, dužnog postupka)
• Situacije u kojoj je osoba jedva izbjegla bilo koje od navedenog

Važno je napomenuti da AI akt ne zahtijeva uspostavljanje uzročne veze s AI sustavom prije prijave. Razumna sumnja da je AI sustav doprinijeo ili propustio spriječiti štetu dovoljna je za pokretanje obveze. Pružatelji koji čekaju na sigurnost prije prijave riskiraju neusklađenost.

Vremenski rokovi prijave

Rok od 15 dana počinje kada pružatelj sazna za incident — što u praksi znači kada ih korisnik obavijesti. Pružatelji bi trebali dizajnirati postupke obavještavanja korisnika tako da informacije dospiju do njih dovoljno brzo da ispune downstream rok prijave.

Što mora sadržavati izvještaj o incidentu

Usklađeni izvještaj o incidentu nacionalnom tijelu za nadzor tržišta trebao bi uključivati:

• Identifikacija sustava: naziv, verzija, broj registracije u bazi podataka AI EU
• Opis incidenta: što se dogodilo, kakva se šteta dogodila ili je jedva izbjegnuta, datum i mjesto
• Pogođene osobe: broj i kategorije pogođenih korisnika ili trećih strana (anonimiziran gdje se zahtijeva prema GDPR-u)
• Preliminarna uzročna analiza: trenutačno razumijevanje pružatelja o nastanku incidenta, jasno označeno kao preliminarno
• Poduzete neposredne korektivne ili sigurnosne mjere: svi koraci već poduzeti za ograničenje daljnje štete ili rizika (npr. suspenzija pogođene funkcionalnosti, obavještavanja korisnika)
• Kontaktna točka: osoba ili tim odgovoran za kasniju korespondenciju s tijelom

Izvještaj trebao bi biti činjenično utemeljen i proporcionalan. Preliminarni izvještaji mogu se dopunjavati naknadnim izvještajima kako istraga napreduje.

Obvezno bilježenje (Čl. 12)

Članak 12 zahtijeva da visokorizični AI sustavi budu dizajnirani i izgrađeni s mogućnošću automatskog generiranja zapisa na razini granularnosti dovoljnoj da se omogući:

• Nadzor post-tržišta u skladu s Čl. 72
• Praćenje događaja koji su doveli do ozbiljnog incidenta
• Istraga nacionalnih tijela

Ovo je zahtjev za dizajn koji se nameće pružatelju. Pružatelj mora ugraditi mogućnost bilježenja u sustav prije nego što se stavi na tržište.

Obveza aktiviranja i zadržavanja tih zapisa pada na korisnika. Korisnici ne smiju onemogućavati funkcionalnost bilježenja i moraju zadržavati zapise za period koji je naveden u uputama pružatelja i tehničkoj dokumentaciji. Gdje nije definiran specifičan period zadržavanja, zapisi bi se trebali zadržati za period proporcionalan operativnom životnom vijeku sustava i svim primjenjivim sektorski specifičnim zahtjevima (npr. pravila vođenja evidencija u financijskim uslugama prema DORA-i ili MiFID II-u).

Bitne modifikacije i ponovna procjena

Nije svaka promjena raspoređenog AI sustava aktivira novu ocjenu sukladnosti. Akt razlikuje između manjih ažuriranja i bitnih modifikacija.

Modifikacija je bitna — i zahtijeva novu ocjenu sukladnosti i ažuriranu tehničku dokumentaciju — kada:

• Mijenja namijenjenu svrhu sustava (čak i djelomično)
• Uključuje značajnu promjenu arhitekture ili metodologije obuke
• Koristi nove podatke za obuku koji materijalno utječu na performanse sustava na načine koji mogu utjecati na ponašanje relevantno za usklađenost
• Degradira performanse iznad pragova definiranih u dokumentaciji upravljanja rizicima na načine koji utječu na sigurnost ili temeljna prava

Manja ažuriranja — sigurnosne zakrpe, ispravke programskih grešaka koje ispravljaju jasno identificirane nedostatke bez promjene ponašanja relevantnog za usklađenost, kozmetičke promjene sučelja — ne zahtijevaju potpunu ponovnu procjenu. Međutim, moraju biti dokumentirani, a pružatelj mora zadržati pisanu procjenu koja potvrđuje da modifikacija ne čini bitnu modifikaciju. Ta evidencija podložna je inspekciji od strane tijela za nadzor tržišta.

Praktični kontrolni popis za implementaciju

Sljedeći kontrolni popis odražava minimalne operativne zahtjeve prema Čl. 72, Čl. 73 i Čl. 12. Nije zamjena za pravni savjet, ali pruža polazišnu točku za analizu nedostataka.

• [ ] Plan NPT dokumentiran u tehničkoj datoteci (Prilog IV, točka 12), specifičan za sustav i njegov kontekst raspoređivanja
• [ ] Automatska mogućnost bilježenja dizajnirana i ugrađena u sustav prije stavljanja na tržište
• [ ] Upute za korisnike uključuju jasan, pisani postupak prijave incidenata s kontaktom za eskalaciju
• [ ] Kontaktna točka za prijavu incidenata interno uspostavljena i prijavljena relevantnom nacionalnom tijelu za nadzor tržišta
• [ ] Procesi ili nadzorne ploče za praćenje pristranosti i točnosti definirani, s dokumentiranom metodologijom i pragovima
• [ ] Pragovi eskalacije za korektivne radnje dokumentirani i povezani sa sustavom upravljanja rizicima
• [ ] Postupak procjene bitnih modifikacija na snazi, s predloškom zapisa odluke za svako ažuriranje
• [ ] Politika zadržavanja zapisa definirana, priopćena korisnicima i usklađena sa sektorski specifičnim pravilima zadržavanja

Unakrsne reference: Tehnička dokumentacija — Visokorizični AI sustavi prema Prilogu III — Pružatelji vs. korisnici