Zdravotníctvo a vedy o živote — súlad s nariadením EU AI Act

Povinnosti vyplývajúce z EU AI Act pre umelú inteligenciu v zdravotníckych pomôckach, diagnostických systémoch a systémoch podpory klinického rozhodovania. Zahŕňa interakciu s MDR/IVDR a dvojitý súlad podľa Annex I.

Prečo má EU AI Act osobitný význam v zdravotníctve

EU AI Act (Nariadenie (EÚ) 2024/1689) vytvára svoje najnáročnejšie povinnosti v oblasti súladu presne v tých oblastiach, kde chyby umelej inteligencie môžu mať fatálne následky. Zdravotníctvo a vedy o živote sa nachádzajú na priesečníku dvoch takýchto požiadaviek: štrukturálnej klasifikácie umelej inteligencie v zdravotníckych pomôckach ako vysokorizikové podľa Art. 6(1) a existujúcej regulačnej hustoty odvetvia podľa MDR (EÚ) 2017/745, IVDR (EÚ) 2017/746, GDPR Art. 9 a Nariadenia o klinických skúšaniach (EÚ) 536/2014.

Pre poskytovateľov a prevádzkovateľov zdravotnej umelej inteligencie tento priesečník nie je len aditívny. Vytvára vrstvené súbory povinností, ktoré musia byť navrhnuté, zdokumentované a monitorované spoločne. Systém umelej inteligencie zabudovaný do zariadenia na diagnostické zobrazovanie musí prejsť posudzovaním zhody notifikovaným orgánom podľa MDR aj samostatným posudzovaním zhody podľa EU AI Act. Nemocnica nasadzujúca nástroj triedenia pacientov riadený umelou inteligenciou sa stáva prevádzkovateľom podľa Art. 26 s nezávislými povinnosťami, ktoré nemožno splniť len odkazom na označenie CE dodávateľa.

Dôsledky nesúladu sú zodpovedajúco závažné. Národné dozorné orgány môžu uložiť pokuty až do výšky 30 miliónov EUR alebo 6 % celosvetového ročného obratu za umiestnenie nevyhovujúcej vysokorizikové umelej inteligencie na trh. Okrem finančných sankcií môžu príkazy na stiahnutie z trhu, pozastavenie klinického používania a povinné nápravné opatrenia prerušiť starostlivosť o pacientov vo veľkom rozsahu.

Dvojitý regulačný postup

Definujúcim štrukturálnym znakom súladu zdravotnej umelej inteligencie je súčasné uplatňovanie práva bezpečnosti výrobkov a práva špecifického pre umelú inteligenciu. Ak systém umelej inteligencie predstavuje bezpečnostnú komponentu zdravotníckej pomôcky v zmysle Annex I EU AI Act (s odkazom na Nový legislatívny rámec), je automaticky klasifikovaný ako vysokorizikový podľa Art. 6(1) bez akéhokoľvek ďalšieho posúdenia pravdepodobnosti alebo závažnosti ujmy. Klasifikácia je kategorická.

To znamená, že organizácie musia udržiavať dva paralelné postupy posudzovania zhody — jeden podľa MDR alebo IVDR, jeden podľa EU AI Act — a musia preukázať súlad s oboma v databáze EÚ pre vysokorizikové systémy umelej inteligencie (EUAI DB) pred umiestnením na trh.

Vysokorizikové prípady použitia umelej inteligencie — zdravotnícke pomôcky a poskytovanie starostlivosti

Umelá inteligencia v diagnostickom zobrazovaní

Systémy umelej inteligencie nasadené v rádiológii, patológii a oftalmológii, ktoré analyzujú obrazy za účelom detekcie, klasifikácie alebo charakterizácie lézií, abnormalít alebo stavov chorôb, sú v prakticky všetkých klinicky relevantných konfiguráciách bezpečnostnými komponentami zdravotníckych pomôcok podľa MDR triedy IIa alebo vyššej. Sú preto vysokorizikové podľa Art. 6(1) a musia spĺňať Kapitolu III Sekciu 2 EU AI Act, ktorá zahŕňa správu dát (Art. 10), technickú dokumentáciu (Art. 11, Annex IV), automatické zaznamenávanie (Art. 12), transparentnosť (Art. 13), ľudský dohľad (Art. 14) a presnosť, robustnosť a kybernetickú bezpečnosť (Art. 15).

Systémy podpory klinického rozhodovania

Nástroje podpory klinického rozhodovania (CDS) zahŕňajú široké spektrum rizík v závislosti od ich funkčnej úlohy. Kľúčovým regulačným rozlíšením je to, či systém klinický úsudok nahrádza, alebo mu asistuje:

• Autonómny alebo takmer autonómny výstup: Systém CDS, ktorý generuje odporúčanie na predpis, určuje dávkovanie liekov pacienta alebo klasifikuje pacienta ako vyžadujúceho núdzový zásah bez toho, aby pred tým, ako je výstup aplikovaný, vyžadoval preskúmanie klinickým pracovníkom, bude s najväčšou pravdepodobnosťou vysokorizikový podľa Annex III a potenciálne predstavuje zdravotnícku pomôcku podľa MDR.
• Filtrovaný výstup na preskúmanie klinickým pracovníkom: Systém CDS, ktorý prezentuje zoradené diferenciálne diagnózy alebo označuje výsledky laboratórnych testov ako abnormálne, pričom kvalifikovaný klinický pracovník preskúma a schváli každé odporúčanie pred tým, ako ovplyvní manažment pacienta, nemusí byť kvalifikovaný ako vysokorizikový, ak nezávisle nespĺňa kritériá Annex III z iných dôvodov.

Toto rozlíšenie musí byť zdokumentované vo vyhlásení o zamýšľanom účele systému umelej inteligencie, ktoré tvorí súčasť technickej dokumentácie podľa AI Act aj technického súboru MDR.

Triedenie pacientov v núdzových situáciách

Systémy umelej inteligencie, ktoré určujú poradie, v akom núdzoví pacienti dostávajú pozornosť — vrátane prediktívnych modelov sepsy a monitorovacích systémov na jednotkách intenzívnej starostlivosti, ktoré spúšťajú eskalačné protokoly — fungujú v podmienkach časového tlaku a klinickej zložitosti, čo robí ľudský dohľad podľa Art. 14 obzvlášť náročným. Nasadzujúce organizácie musia zabezpečiť, aby bol mechanizmus dohľadu skutočne účinný: klinický pracovník poverený dohľadom musí mať technické porozumenie, prístup k uvažovaniu umelej inteligencie a čas v pracovnom postupe na zásah predtým, ako výstup systému ovplyvní výsledky pacienta.

Umelá inteligencia na skríning duševného zdravia

Nástroje umelej inteligencie používané na skríning populácií alebo jednotlivých pacientov na podmienky duševného zdravia — skóre rizika depresie, stratifikácia rizika samovraždy, skríning syndrómu vyhorenia — sa dotýkajú vysokorizikových ustanovení AI Act (kde ovplyvňujú prístup k starostlivosti alebo alokáciu zdrojov) aj GDPR Art. 9 v obzvlášť citlivom rozmere. Údaje o duševnom zdraví sú zdravotnými údajmi na účely GDPR; ich spracúvanie na účely trénovania alebo inferencie umelej inteligencie vyžaduje zákonný základ podľa Art. 9(2) a primerané záruky podľa Art. 22 (automatizované individuálne rozhodovanie).

Chirurgická robotika a procedúry vedené umelou inteligenciou

Komponenty umelej inteligencie integrované do chirurgických robotických systémov, ktoré v reálnom čase prispôsobujú procedurálne parametre — polohovanie nástrojov, modulácia haptickej spätnej väzby, klasifikácia tkaniva — sú bezpečnostnými komponentami aktívnych implantovateľných zariadení alebo zdravotníckych pomôcok triedy III podľa MDR. Záťaž posudzovania zhody je zodpovedajúco najvyššia dostupná: posúdenie notifikovaným orgánom podľa MDR Annex IX alebo X v kombinácii s posudzovaním zhody podľa EU AI Act v súlade s Art. 43. Povinnosti post-trhového sledovania v rámci oboch regulačných rámcov musia byť integrované do jednotného systému klinického sledovania a monitorovania výkonnosti.

Kategória 5(a) Annex III — prístup k základným zdravotníckym službám

Okrem cesty cez zdravotnícke pomôcky Annex III, bod 5(a) EU AI Act samostatne klasifikuje ako vysokorizikové systémy umelej inteligencie používané na určovanie prístupu k základným verejným službám, vrátane zdravotnej starostlivosti. Systém umelej inteligencie, ktorý určuje, či pacient spĺňa podmienky na uhradenú liečbu, je zaradený na čakaciu listinu na transplantáciu alebo je oprávnený zúčastniť sa klinického skúšania, je vysokorizikový podľa tohto ustanovenia, aj keď nie je zabudovaný do zdravotníckej pomôcky.

Povinnosti poskytovateľov a prevádzkovateľov v zdravotníctve

Povinnosti poskytovateľov

Organizácie, ktoré vyvíjajú, uvádzajú na trh alebo do prevádzky vysokorizikový systém zdravotnej umelej inteligencie ako poskytovatelia podľa Art. 16, musia:

• Zaviesť a implementovať systém riadenia kvality (QMS) podľa Art. 17, zahŕňajúci kontroly návrhu, riadenie rizík zosúladené s ISO 14971 (harmonizované pre MDR) a postupy post-trhového monitorovania.
• Pripraviť technickú dokumentáciu podľa Annex IV, vrátane zamýšľaného účelu, súboru riadenia rizík, opisov tréningových dát, výsledkov validácie a testovania a plánu post-trhového monitorovania.
• Zaregistrovať systém v databáze EÚ pred umiestnením na trh (Art. 49).
• Zabezpečiť, aby systém niesol označenie CE a poskytnúť vyhlásenie o zhode EÚ.
• Vymenovať splnomocneného zástupcu EÚ, ak má sídlo mimo EÚ.
• Uchovávať technickú dokumentáciu a záznamy po dobu 10 rokov od umiestnenia na trh (Art. 18).

Povinnosti prevádzkovateľov

Nemocnice, kliniky, siete lekární a iné zdravotnícke zariadenia konajúce ako prevádzkovatelia vysokorizikových systémov umelej inteligencie tretích strán nesú povinnosti podľa Art. 26, ktoré sú nezávislé od súladu poskytovateľa:

• Implementovať systém v rozsahu pokynov poskytovateľa na použitie — akékoľvek použitie mimo tohto rozsahu potenciálne reklasifikuje zariadenie ako poskytovateľa.
• Prideliť zodpovednosti za ľudský dohľad personálu s kompetenciou, právomocou a nástrojmi na monitorovanie a zasahovanie do prevádzky systému.
• Uchovávať prevádzkové záznamy minimálne šesť mesiacov, alebo dlhšie, ak si to vyžaduje príslušná odvetvová legislatíva (vigilancia MDR, zákony o vedení nemocničných záznamov).
• Bezodkladne hlásiť závažné incidenty alebo poruchy poskytovateľovi a — ak je dotknutá bezpečnosť pacientov — príslušným zdravotným orgánom podľa vigilančných postupov MDR Art. 87.
• Vykonávať posúdenia vplyvu na základné práva (FRIA) podľa Art. 27, ak je systém umelej inteligencie používaný na prijímanie alebo asistovanie pri rozhodnutiach ovplyvňujúcich individuálnych pacientov vo veľkom rozsahu.

Interakcia s MDR, IVDR a GDPR

MDR a IVDR: Režim dvojitého posudzovania zhody

Art. 6(1) EU AI Act, čítaný s Annex I, ustanovuje cestu cez bezpečnostnú komponentu. Ak je systém umelej inteligencie bezpečnostnou komponentou výrobku regulovaného podľa MDR alebo IVDR, posúdenie zhody podľa EU AI Act musí byť integrované do existujúceho postupu MDR/IVDR. Art. 8(1) EU AI Act dáva prednosť sektorovo špecifickým pravidlám MDR/IVDR tam, kde ukladajú rovnocenné alebo prísnejšie povinnosti, ale neodstraňuje povinnosti podľa AI Act — upravuje postup, nie požiadavku.

Pre zdravotnícke pomôcky triedy IIb a triedy III so zabudovanou umelou inteligenciou je povinné posúdenie notifikovaným orgánom podľa MDR Annex IX (riadenie kvality) alebo Annex X (skúšanie typu). Rovnaký notifikovaný orgán, ak je určený podľa AI Act, môže vykonať posúdenie zhody podľa AI Act v rámci integrovaného postupu. Pre SaMD triedy I (softvér ako zdravotnícka pomôcka) musia výrobcovia nezávisle posúdiť, či systém umelej inteligencie spĺňa podmienky pre vysokorizikový z dôvodov iných ako Art. 6(1).

GDPR Art. 9 a tréningové dáta

Zdravotné údaje používané na trénovanie, validáciu alebo testovanie modelov umelej inteligencie sú údajmi osobitnej kategórie podľa GDPR Art. 9(1). Spracúvanie je zakázané, ak nie je splnená jedna z výnimiek v Art. 9(2), predovšetkým:

• Art. 9(2)(a): výslovný súhlas dotknutej osoby
• Art. 9(2)(h): spracúvanie nevyhnutné na lekársku diagnostiku alebo poskytovanie zdravotnej starostlivosti, s výhradou profesijnej mlčanlivosti
• Art. 9(2)(j): vedecký výskum, s výhradou záruk podľa Art. 89

Povinnosti správy dát podľa Art. 10 EU AI Act — ktoré vyžadujú dokumentáciu pôvodu, metód zhromažďovania, reprezentatívnosti a známych obmedzení datasetov — musia byť splnené spôsobom konzistentným s príslušným právnym základom GDPR. Retrospektívne použitie klinických datasetov bez výslovného súhlasu vyžaduje výnimku na výskum a spravidla schválenie etickou komisiou podľa Nariadenia o klinických skúšaniach alebo príslušného národného výskumného práva.

Integrácia post-trhového sledovania

MDR (Art. 83, Post-trhové klinické sledovanie) aj EU AI Act (Art. 72, post-trhové monitorovanie) vyžadujú priebežný zber a analýzu údajov o výkonnosti v reálnom svete. Ak sa uplatňujú oba, jeden integrovaný systém post-trhového sledovania môže splniť oba regulačné rámce, za predpokladu, že zachytáva dátové body požadované každým z nich — vrátane požiadaviek MDR na klinické dôkazy a požiadaviek AI Act na automatické zaznamenávanie prevádzky systému umelej inteligencie.

Orgány presadzovania

Európska agentúra pre lieky a národné agentúry pre lieky

Európska agentúra pre lieky (EMA) nemá priamu úlohu v presadzovaní podľa EU AI Act pre umelú inteligenciu nesúvisiacu s liečivými prípravkami, avšak jej usmernenia k umelej inteligencii vo vývoji liečiv a farmakovigilancii sú smerodajné pre spoločnosti v oblasti vied o živote. Národné agentúry pre lieky — vrátane ANSM (Francúzsko), BfArM (Nemecko) a ich ekvivalentov — vykonávajú právomoc trhového dohľadu podľa MDR a IVDR a môžu v rámci svojho mandátu post-trhového sledovania preverovať systémy umelej inteligencie zabudované v zdravotníckych pomôckach.

Notifikované orgány

Pre vysokorizikové systémy umelej inteligencie, ktoré sú bezpečnostnými komponentami zdravotníckych pomôcok, vykonávajú posúdenia zhody notifikované orgány určené podľa MDR/IVDR a — samostatne alebo spoločne — podľa EU AI Act. Ich certifikáty sú predpokladom pre označenie CE. Notifikované orgány môžu pozastaviť alebo odobrať certifikáty, ak post-trhové sledovanie odhalí nezhody.

Národné dozorné orgány pre umelú inteligenciu

Každý členský štát EÚ určil alebo určuje národný dozorný orgán pre umelú inteligenciu (príslušný orgán podľa Art. 70 EU AI Act). V zdravotníckom odvetví je vyžadovaná koordinácia medzi dozorným orgánom pre umelú inteligenciu a národnou agentúrou pre lieky v prípadoch, kde sa právomoci prekrývajú. Dozorný orgán pre umelú inteligenciu má právomoci požadovať dokumentáciu, vykonávať audity, ukladať nápravné opatrenia a postúpiť prípady na finančné sankcie.

Plán súladu — priority pre zdravotnú umelú inteligenciu

Krok 1: Klasifikácia a posúdenie rozsahu pôsobnosti

Zmapujte všetky systémy umelej inteligencie vo vývoji alebo nasadení oproti Art. 6(1) (bezpečnostná komponenta zdravotníckej pomôcky) a Annex III, bod 5(a) (prístup k základným službám). Zdokumentujte zamýšľaný účel každého systému s dostatočnou presnosťou na podporu rozhodnutí o klasifikácii podľa AI Act aj MDR/IVDR. Zapojte regulačného poradcu na posúdenie hraničných nástrojov CDS.

Krok 2: Plánovanie dvojitého posudzovania zhody

Pre každý vysokorizikový systém umelej inteligencie, ktorý je zároveň zdravotníckou pomôckou, identifikujte príslušnú cestu posudzovania zhody podľa MDR/IVDR a určte, či je určený notifikovaný orgán akreditovaný aj podľa EU AI Act. Naplánujte posúdenie zhody ako integrovaný postup, kde je to možné, aby sa znížila duplicita.

Krok 3: Správa dát a zosúladenie s GDPR

Auditujte tréningové a validačné datasety pre systémy zdravotnej umelej inteligencie. Zdokumentujte právne základy podľa GDPR Art. 9(2) pre všetky zdravotné údaje používané pri vývoji modelu. Zaveďte postupy správy dát podľa Art. 10 EU AI Act a zabezpečte, aby boli zohľadnené v technickej dokumentácii požadovanej Annex IV.

Krok 4: Protokoly ľudského dohľadu

Navrhnite a implementujte mechanizmy ľudského dohľadu podľa Art. 14 pre každé nasadenie vysokorizikové umelej inteligencie. Dohľad musí byť prevádzkovo realistický: vyžaduje vyškolený personál, dostupné mechanizmy zásahu a integráciu do pracovného postupu — nie len formálne zaškrtnutie políčka. Pre núdzové situácie s časovým tlakom si návrh dohľadu vyžaduje osobitnú starostlivosť.

Krok 5: Integrácia post-trhového sledovania

Navrhnite systém post-trhového sledovania, ktorý spĺňa požiadavky MDR Annex III (PMCF) aj EU AI Act Art. 72. Zaveďte postupy hlásenia incidentov zosúladené s termínmi vigilancie MDR (Art. 87: závažné incidenty hlásené do 15 dní) a hlásením závažných incidentov podľa AI Act v súlade s Art. 73.

Krok 6: Náležitá starostlivosť prevádzkovateľov

Zdravotnícke zariadenia obstarávajúce diagnostické nástroje umelej inteligencie alebo nástroje CDS tretích strán by mali od poskytovateľov požadovať predloženie vyhlásenia o zhode EÚ, pokynov na použitie a súhrnu technickej dokumentácie. Obstarávacie zmluvy by mali špecifikovať povinnosti uchovávania záznamov, zodpovednosti za hlásenie incidentov a hranice povoleného rozsahu použitia, aby sa predišlo neúmyselnému reklasifikovaniu na poskytovateľa.