Zdravstvo i bioznanosti — usklađenost s EU AI aktom

Obveze iz EU AI akta za AI u medicinskim uređajima, dijagnostičkim sustavima i podršci kliničkom odlučivanju. Obuhvaća interakciju s MDR/IVDR-om i dvostruku usklađenost prema Prilogu I.

Zašto EU AI akt ima posebno značenje u zdravstvu

EU AI akt (Uredba (EU) 2024/1689) nameće najzahtjevnije obveze usklađenosti upravo u područjima gdje pogreške AI sustava mogu imati životno kritične posljedice. Zdravstvo i bioznanosti nalaze se na raskrižju dvaju takvih zahtjeva: strukturalne klasifikacije AI u medicinskim uređajima kao visokorizičnih prema čl. 6(1), te postojeće regulatorne gustoće sektora prema MDR (EU) 2017/745, IVDR (EU) 2017/746, GDPR čl. 9 i Uredbi o kliničkim ispitivanjima (EU) 536/2014.

Za pružatelje i primjenjivaoce zdravstvenog AI ovo preklapanje nije puko zbrajanje obveza. Ono stvara slojevite skupove zahtjeva koje treba zajednički projektirati, dokumentirati i nadzirati. AI sustav ugrađen u uređaj za dijagnostičko snimanje mora proći ocjenu sukladnosti od strane prijavljenog tijela prema MDR-u i zasebnu ocjenu sukladnosti prema EU AI aktu. Bolnica koja primjenjuje AI alat za trijažu postaje primjenjivaoc prema čl. 26 s neovisnim obvezama koje ne može ispuniti samo pozivanjem na CE oznaku dobavljača.

Rizici neusklađenosti razmjerno su visoki. Nacionalna nadzorna tijela mogu izreći novčane kazne do 30 milijuna EUR ili 6 % ukupnog godišnjeg prihoda zbog stavljanja nesukladnog visokorizičnog AI na tržište. Osim financijskih kazni, nalozi za povlačenje s tržišta, obustava kliničke primjene i obvezne korektivne mjere mogu poremetiti pružanje zdravstvene zaštite pacijentima u velikom opsegu.

Dvostruki regulatorni put

Ključno strukturalno obilježje usklađenosti zdravstvenog AI jest istovremena primjena propisa o sigurnosti proizvoda i propisa specifičnih za AI. Tamo gdje AI sustav čini sigurnosnu komponentu medicinskog uređaja kako je definirano u Prilogu I EU AI akta (s uputom na Novi zakonodavni okvir), automatski se klasificira kao visokorizičan prema čl. 6(1) bez ikakvog daljnjeg ocjenjivanja vjerojatnosti ili ozbiljnosti štete. Klasifikacija je kategorička.

To znači da organizacije moraju voditi dva paralelna postupka ocjene sukladnosti — jedan prema MDR-u ili IVDR-u, drugi prema EU AI aktu — te moraju dokazati sukladnost s obama u EU bazi podataka za visokorizične AI sustave (EUAI DB) prije stavljanja na tržište.

Visokorizične primjene AI — medicinski uređaji i pružanje zdravstvene zaštite

AI u dijagnostičkom snimanju

AI sustavi koji se primjenjuju u radiologiji, patologiji i oftalmologiji te analiziraju slike radi otkrivanja, klasificiranja ili karakteriziranja lezija, abnormalnosti ili patoloških stanja gotovo su u svim klinički relevantnim konfiguracijama sigurnosne komponente medicinskih uređaja klase IIa ili više prema MDR-u. Stoga su visokorizični prema čl. 6(1) i moraju biti usklađeni s Poglavljem III, Odjeljkom 2 EU AI akta, koji uređuje upravljanje podacima (čl. 10), tehničku dokumentaciju (čl. 11, Prilog IV), automatsku evidenciju (čl. 12), transparentnost (čl. 13), ljudski nadzor (čl. 14) te točnost, robusnost i kibersigurnost (čl. 15).

Sustavi za podršku kliničkom odlučivanju

Alati za podršku kliničkom odlučivanju (CDS) obuhvaćaju širok spektar rizika ovisno o njihovoj funkcionalnoj ulozi. Ključna regulatorna distinkcija jest zamjenjuje li sustav kliničku prosudbu ili joj pomaže:

• Autonomni ili gotovo autonomni rezultati: CDS sustav koji generira preporuku o propisivanju lijeka, određuje dozu lijeka za pacijenta ili klasificira pacijenta kao onoga koji treba hitnu intervenciju, a da ne zahtijeva pregled kliničara prije nego što se rezultat primijeni, vjerojatno je visokorizičan prema Prilogu III i potencijalno predstavlja medicinski uređaj prema MDR-u.
• Filtrirani rezultati za pregled kliničara: CDS koji prikazuje rangirane diferencijalne dijagnoze ili označava nalaze laboratorija kao abnormalne, a pri čemu kvalificirani kliničar pregledava i odobrava svaku preporuku prije nego što utječe na upravljanje pacijentom, možda neće biti klasificiran kao visokorizičan, pod uvjetom da neovisno ne ispunjava kriterije iz Priloga III na drugoj osnovi.

Ova razlika mora biti dokumentirana u izjavi AI sustava o namjeravanoj svrsi, koja čini dio tehničke dokumentacije prema AI aktu i tehničkog dosijea prema MDR-u.

Prioritizacija trijažiranja pacijenata u hitnim situacijama

AI sustavi koji određuju redoslijed u kojemu hitni pacijenti primaju pozornost — uključujući modele predviđanja sepse i sustave nadzora na JIL-u koji aktiviraju protokole eskalacije — djeluju u uvjetima vremenskog pritiska i kliničke složenosti koji ljudski nadzor prema čl. 14 čine posebno zahtjevnim. Organizacije koje ih primjenjuju moraju osigurati da je mehanizam nadzora stvarno učinkovit: kliničar koji je odgovoran za nadzor mora imati tehničko razumijevanje, pristup obrazloženju AI sustava i dovoljno vremena u radnom tijeku da intervenira prije nego što rezultat sustava utječe na ishode pacijenata.

AI za probir mentalnog zdravlja

AI alati koji se koriste za probir populacija ili pojedinih pacijenata u pogledu stanja mentalnog zdravlja — ocjene rizika od depresije, stratifikacija rizika od suicida, probir na sindrom izgaranja — tiču se i visokorizičnih odredbi AI akta (gdje utječu na pristup zdravstvenoj zaštiti ili raspodjelu resursa) i GDPR čl. 9 u posebno osjetljivoj dimenziji. Podaci o mentalnom zdravlju jesu zdravstveni podaci u smislu GDPR-a; njihova obrada za obuku AI ili zaključivanje zahtijeva zakonitu osnovu prema čl. 9(2) i odgovarajuće zaštitne mjere prema čl. 22 (automatizirano individualno odlučivanje).

Kirurška robotika i AI-vođeni zahvati

AI komponente integrirane u kirurške robotičke sustave koje u realnom vremenu prilagođavaju parametre zahvata — pozicioniranje instrumenata, modulaciju haptičke povratne sprege, klasifikaciju tkiva — sigurnosne su komponente aktivnih implantabilnih uređaja ili medicinskih uređaja klase III prema MDR-u. Teret ocjene sukladnosti sukladno tome je najviši dostupan: ocjena prijavljenog tijela prema MDR Prilogu IX ili X, u kombinaciji s ocjenom sukladnosti prema EU AI aktu iz čl. 43. Obveze postmarketinškog nadzora prema oba okvira moraju biti integrirane u jedinstveni sustav kliničkog praćenja i praćenja performansi.

Kategorija 5(a) Priloga III — Pristup ključnim zdravstvenim uslugama

Osim puta kroz medicinske uređaje, Prilog III, točka 5(a) EU AI akta zasebno klasificira kao visokorizične AI sustave koji se koriste za određivanje pristupa ključnim javnim uslugama, uključujući zdravstvenu zaštitu. AI sustav koji određuje je li pacijent podoban za refundiranu terapiju, je li uvršten na popis čekanja za transplantaciju ili je podoban za kliničko ispitivanje visokorizičan je prema ovoj odredbi čak i ako nije ugrađen u medicinski uređaj.

Obveze pružatelja i primjenjivaoca u zdravstvu

Obveze pružatelja

Organizacije koje razvijaju, stavljaju na tržište ili u upotrebu visokorizičan zdravstveni AI sustav kao pružatelji prema čl. 16 moraju:

• Uspostaviti i provoditi sustav upravljanja kvalitetom (QMS) prema čl. 17, koji obuhvaća kontrole dizajna, upravljanje rizicima usklađeno s ISO 14971 (usklađenim s MDR-om) i postupke postmarketinškog nadzora.
• Pripremiti tehničku dokumentaciju prema Prilogu IV, uključujući namjeravanu svrhu, dosije za upravljanje rizicima, opise podataka za obuku, rezultate validacije i testiranja te plan postmarketinškog nadzora.
• Registrirati sustav u EU bazi podataka prije stavljanja na tržište (čl. 49).
• Osigurati da sustav nosi CE oznaku i dostaviti EU izjavu o sukladnosti.
• Imenovati ovlaštenog predstavnika u EU ako je sjedište izvan EU-a.
• Čuvati tehničku dokumentaciju i evidencije 10 godina od stavljanja na tržište (čl. 18).

Obveze primjenjivaoca

Bolnice, klinike, mreže ljekarni i druge zdravstvene ustanove koje nastupaju kao primjenjivaoci visokorizičnih AI sustava trećih strana snose obveze prema čl. 26 koje su neovisne od sukladnosti pružatelja:

• Primjenjivati sustav unutar opsega koji je pružatelj odredio uputama za uporabu — svaka primjena izvan tog opsega potencijalno prekvalificira ustanovu u pružatelja.
• Dodijeliti odgovornost za ljudski nadzor osoblju koje ima potrebnu kompetenciju, ovlasti i alate za praćenje rada sustava i intervenciju.
• Čuvati operativne evidencije najmanje šest mjeseci, ili dulje ako to zahtijeva primjenjivo sektorsko zakonodavstvo (vigilancija prema MDR-u, propisi o čuvanju bolničke dokumentacije).
• Odmah prijaviti pružatelju ozbiljne incidente ili kvarove, a tamo gdje je ugrožena sigurnost pacijenata, i relevantnim zdravstvenim tijelima sukladno postupcima vigilancije prema MDR čl. 87.
• Provoditi procjene učinka na temeljna prava (FRIA) prema čl. 27 tamo gdje se AI sustav koristi za donošenje ili potporu odlukama koje u velikom opsegu utječu na pojedine pacijente.

Interakcija s MDR-om, IVDR-om i GDPR-om

MDR i IVDR: Režim dvostruke ocjene sukladnosti

Čl. 6(1) EU AI akta, u vezi s Prilogom I, uspostavlja put sigurnosne komponente. Tamo gdje je AI sustav sigurnosna komponenta proizvoda koji je reguliran prema MDR-u ili IVDR-u, ocjena sukladnosti prema EU AI aktu mora biti integrirana u postojeći postupak prema MDR-u/IVDR-u. Čl. 8(1) EU AI akta daje prednost sektorski specifičnim pravilima MDR-a/IVDR-a gdje ona nameću istovrsne ili strože obveze, ali ne ukida obveze AI akta — prilagođava postupak, a ne zahtjev.

Za medicinske uređaje klase IIb i klase III s ugrađenim AI, obvezna je ocjena prijavljenog tijela prema MDR Prilogu IX (upravljanje kvalitetom) ili Prilogu X (pregled tipa). Isto prijavljeno tijelo, ako je za to ovlašteno prema AI aktu, može provesti ocjenu sukladnosti prema AI aktu u okviru integriranog postupka. Za SaMD (softver kao medicinski uređaj) klase I, proizvođači moraju neovisno procijeniti ispunjava li AI sustav uvjete za visokorizičnu klasifikaciju prema AI aktu na osnovi koja nije čl. 6(1).

GDPR čl. 9 i podaci za obuku

Zdravstveni podaci koji se koriste za obuku, validaciju ili testiranje AI modela posebna su kategorija osobnih podataka prema GDPR čl. 9(1). Obrada je zabranjena bez jedne od iznimaka iz čl. 9(2), a najrelevantnije su:

• Čl. 9(2)(a): izričita privola ispitanika
• Čl. 9(2)(h): obrada nužna za medicinsku dijagnozu ili pružanje zdravstvene zaštite, uz obvezu čuvanja profesionalne tajne
• Čl. 9(2)(j): znanstveno istraživanje, uz zaštitne mjere prema čl. 89

Obveze upravljanja podacima iz čl. 10 EU AI akta — koje zahtijevaju dokumentiranje porijekla, metoda prikupljanja, reprezentativnosti i poznatih ograničenja skupova podataka — moraju biti ispunjene na način koji je dosljedan primjenjivoj pravnoj osnovi prema GDPR-u. Retrospektivna primjena kliničkih skupova podataka bez izričite privole zahtijeva iznimku za istraživanje i, tipično, odobrenje etičkog povjerenstva prema Uredbi o kliničkim ispitivanjima ili primjenjivom nacionalnom zakonodavstvu o istraživanjima.

Integracija postmarketinškog nadzora

I MDR (čl. 83, Postmarketinško kliničko praćenje) i EU AI akt (čl. 72, postmarketinško praćenje) zahtijevaju trajno prikupljanje i analizu podataka o performansama u stvarnim uvjetima. Tamo gdje se oba okvira primjenjuju, jedinstven integrirani sustav postmarketinškog nadzora može zadovoljiti oba, pod uvjetom da obuhvaća podatkovne točke koje svaki od njih zahtijeva — uključujući zahtjeve MDR-a glede kliničkih dokaza i zahtjeve AI akta glede automatske evidencije rada AI sustava.

Nadzorna tijela

Europska agencija za lijekove i nacionalne agencije za lijekove

Europska agencija za lijekove (EMA) nema izravnu nadzornu ulogu prema EU AI aktu za AI koji nije dio medicinskih proizvoda, ali su njezine smjernice o AI u razvoju lijekova i farmakovigilanciji mjerodavne za kompanije u bioznanostima. Nacionalne agencije za lijekove — uključujući ANSM (Francuska), BfArM (Njemačka) i njihove pandane — izvršavaju ovlasti tržišnog nadzora prema MDR-u i IVDR-u te mogu istraživati AI sustave ugrađene u medicinske uređaje u okviru svog mandata za postmarketinški nadzor.

Prijavljena tijela

Za visokorizične AI sustave koji su sigurnosne komponente medicinskih uređaja, prijavljena tijela ovlaštena prema MDR-u/IVDR-u i, zasebno ili zajednički, prema EU AI aktu provode ocjene sukladnosti. Njihovi certifikati preduvjet su za CE oznaku. Prijavljena tijela mogu suspendirati ili povući certifikate ako postmarketinški nadzor otkrije nesukladnosti.

Nacionalna nadzorna tijela za AI

Svaka država članica EU-a imenovala je ili imenuje nacionalno nadzorno tijelo za AI (nadležno tijelo prema čl. 70 EU AI akta). U zdravstvenom sektoru potrebna je koordinacija između nadzornog tijela za AI i nacionalne agencije za lijekove tamo gdje se nadležnosti preklapaju. Nadzorno tijelo za AI ovlašteno je zahtijevati dokumentaciju, provoditi revizije, izricati korektivne mjere i upućivati predmete na izricanje financijskih kazni.

Plan usklađenosti — prioriteti za zdravstveni AI

Korak 1: Klasifikacija i procjena opsega

Svrstajte sve AI sustave u razvoju ili primjeni prema čl. 6(1) (sigurnosna komponenta medicinskog uređaja) i Prilogu III, točki 5(a) (pristup ključnim uslugama). Dokumentirajte namjeravanu svrhu svakog sustava s dovoljnom preciznošću da podupre odluke o klasifikaciji prema AI aktu i MDR-u/IVDR-u. Angažirajte regulatorne savjetnike za procjenu graničnih CDS alata.

Korak 2: Planiranje dvostruke ocjene sukladnosti

Za svaki visokorizičan AI sustav koji je ujedno i medicinski uređaj, identificirajte primjenjivi put ocjene sukladnosti prema MDR-u/IVDR-u i utvrdite je li ovlašteno prijavljeno tijelo i akreditirano prema EU AI aktu. Planirajte ocjenu sukladnosti kao integrirani postupak gdje god je to moguće radi smanjenja udvajanja.

Korak 3: Upravljanje podacima i usklađenost s GDPR-om

Revidirajte skupove podataka za obuku i validaciju zdravstvenih AI sustava. Dokumentirajte pravne osnove prema GDPR čl. 9(2) za sve zdravstvene podatke korištene u razvoju modela. Uspostavite postupke upravljanja podacima prema čl. 10 EU AI akta i osigurajte da su odraženi u tehničkoj dokumentaciji prema Prilogu IV.

Korak 4: Protokoli za ljudski nadzor

Oblikujte i provedite mehanizme ljudskog nadzora prema čl. 14 za svaku visokorizičnu primjenu AI. Nadzor mora biti operativno realističan: zahtijeva obučeno osoblje, dostupne mehanizme intervencije i integraciju u radni tijek — a ne formalnu kvačicu. Za hitne situacije s vremenskim pritiskom, dizajn nadzora zahtijeva posebnu pažnju.

Korak 5: Integracija postmarketinškog nadzora

Oblikujte sustav postmarketinškog nadzora koji zadovoljava zahtjeve MDR Priloga III (PMCF) i EU AI akta čl. 72. Uspostavite postupke prijavljivanja incidenata koji su usklađeni s rokovima vigilancije prema MDR-u (čl. 87: ozbiljni incidenti prijavljuju se u roku 15 dana) i prijavljivanjem ozbiljnih incidenata prema AI aktu iz čl. 73.

Korak 6: Dužna pažnja primjenjivaoca

Zdravstvene ustanove koje nabavljaju dijagnostičke AI alate ili CDS alate trećih strana trebaju od pružatelja zahtijevati EU izjavu o sukladnosti, upute za uporabu i sažetak tehničke dokumentacije. Ugovori o nabavi trebaju specificirati obveze čuvanja evidencija, odgovornosti za prijavljivanje incidenata i granice dopuštenog opsega korištenja kako bi se izbjegla nenamjerna prekvalifikacija u pružatelja.