Gezondheidszorg & Life Sciences — Naleving van de EU AI Act

Verplichtingen van de EU AI Act voor AI in medische hulpmiddelen, diagnostische systemen en klinische beslissingsondersteuning. Behandelt de wisselwerking met MDR/IVDR en duale naleving van Annex I.

Waarom de EU AI Act bijzondere betekenis heeft in de gezondheidszorg

De EU AI Act (Verordening (EU) 2024/1689) legt de zwaarste nalevingsverplichtingen op in domeinen waar fouten van AI leven en dood kunnen betekenen. Gezondheidszorg en life sciences bevinden zich op het snijvlak van twee van die domeinen: de structurele classificatie door de Act van AI in medische hulpmiddelen als hoog-risico op grond van Art. 6(1), en de bestaande regelgevingsdichtheid in de sector op grond van MDR (EU) 2017/745, IVDR (EU) 2017/746, GDPR Art. 9 en de Verordening klinische proeven (EU) 536/2014.

Voor aanbieders en gebruiksverantwoordelijken van gezondheids-AI is dit snijvlak niet louter additief. Het creëert gelaagde verplichtingensets die samen moeten worden ontworpen, gedocumenteerd en gemonitord. Een AI-systeem dat is geïntegreerd in een diagnostisch beeldvormingsapparaat moet zowel de conformiteitsbeoordeling door een aangemelde instantie op grond van MDR als een afzonderlijke conformiteitsbeoordeling op grond van de EU AI Act doorlopen. Een ziekenhuis dat een AI-gestuurd triagetools inzet, wordt een gebruiksverantwoordelijke onder Art. 26 met zelfstandige verplichtingen die niet kunnen worden nagekomen door uitsluitend te vertrouwen op de CE-markering van de leverancier.

De gevolgen van niet-naleving zijn navenant groot. Nationale toezichthoudende autoriteiten kunnen boetes opleggen van maximaal € 30 miljoen of 6% van de wereldwijde jaarlijkse omzet voor het op de markt brengen van niet-conform hoog-risico AI. Naast financiële sancties kunnen marktterugroepingen, schorsingen van klinisch gebruik en verplichte corrigerende maatregelen de patiëntenzorg op grote schaal verstoren.

Het duale regelgevingsspoor

Het bepalende structurele kenmerk van naleving op het gebied van gezondheids-AI is de gelijktijdige toepassing van productveiligheidswetgeving en AI-specifieke wetgeving. Waar een AI-systeem een veiligheidscomponent vormt van een medisch hulpmiddel zoals gedefinieerd in Annex I van de EU AI Act (met verwijzing naar het Nieuwe Wetgevingskader), wordt het automatisch als hoog-risico geclassificeerd op grond van Art. 6(1), zonder verdere beoordeling van de kans of ernst van schade. De classificatie is categorisch.

Dit betekent dat organisaties twee parallelle conformiteitsbeoordelingssporen moeten onderhouden — één op grond van MDR of IVDR en één op grond van de EU AI Act — en naleving van beide moeten aantonen in de EU-database voor hoog-risico AI-systemen (EUAI DB) voorafgaand aan het op de markt brengen.

Hoog-risico AI-toepassingen — Medische hulpmiddelen en zorgverlening

AI voor diagnostische beeldvorming

AI-systemen die worden ingezet in radiologie, pathologie en oogheelkunde en beelden analyseren om laesies, afwijkingen of ziektebeelden te detecteren, classificeren of te karakteriseren, zijn in vrijwel alle klinisch relevante configuraties veiligheidscomponenten van medische hulpmiddelen van MDR-klasse IIa of hoger. Ze zijn daarmee hoog-risico op grond van Art. 6(1) en moeten voldoen aan Hoofdstuk III Afdeling 2 van de EU AI Act, met betrekking tot gegevensbeheer (Art. 10), technische documentatie (Art. 11, Annex IV), automatische registratie (Art. 12), transparantie (Art. 13), menselijk toezicht (Art. 14) en nauwkeurigheid, robuustheid en cyberbeveiliging (Art. 15).

Systemen voor klinische beslissingsondersteuning

Hulpmiddelen voor klinische beslissingsondersteuning (CDS) bestrijken een breed risicospectrum afhankelijk van hun functionele rol. Het cruciale regelgevingsonderscheid is of het systeem het klinisch oordeel vervangt dan wel ondersteunt:

• Autonome of nagenoeg autonome uitvoer: Een CDS-systeem dat een voorschriftaanbeveling genereert, de medicatiedosering van een patiënt bepaalt, of een patiënt als spoedgeval classificeert zonder dat een clinicus de uitvoer beoordeelt voordat ernaar gehandeld wordt, kwalificeert waarschijnlijk als hoog-risico op grond van Annex III en vormt mogelijk tevens een medisch hulpmiddel onder MDR.
• Gefilterde uitvoer ter beoordeling door een clinicus: Een CDS-systeem dat gerangschikte differentiaaldiagnoses presenteert of labresultaten als afwijkend markeert, waarbij een bevoegde clinicus elke aanbeveling beoordeelt en goedkeurt voordat deze gevolgen heeft voor het patiëntmanagement, kwalificeert mogelijk niet als hoog-risico, op voorwaarde dat het ook niet op andere gronden zelfstandig aan de criteria van Annex III voldoet.

Dit onderscheid moet worden vastgelegd in de verklaring van het beoogde doel van het AI-systeem, die deel uitmaakt van zowel de technische documentatie op grond van de AI Act als het technisch dossier op grond van MDR.

Prioritering van patiënttriage in spoedeisende situaties

AI-systemen die de volgorde bepalen waarin spoedeisende patiënten aandacht ontvangen — waaronder sepsis-voorspellingsmodellen en ICU-bewakingssystemen die escalatieprotocollen activeren — opereren in omstandigheden van tijdsdruk en klinische complexiteit die het menselijk toezicht onder Art. 14 bijzonder veeleisend maken. Organisaties die dergelijke systemen inzetten, moeten ervoor zorgen dat het toezichtmechanisme daadwerkelijk effectief is: de clinicus aan wie de toezichtsverantwoordelijkheid is toegewezen, moet over het technisch begrip, de toegang tot de redenering van de AI en de tijd in het werkproces beschikken om in te grijpen voordat de uitvoer van het systeem gevolgen heeft voor patiëntuitkomsten.

AI voor screening van geestelijke gezondheid

AI-hulpmiddelen die worden gebruikt voor de screening van populaties of individuele patiënten op aandoeningen van de geestelijke gezondheid — risicoscores voor depressie, risicostratificatie voor suïcide, screening op burn-out — raken zowel de hoog-risicobepalingen van de AI Act (waar zij de toegang tot zorg of de toewijzing van middelen beïnvloeden) als GDPR Art. 9 op een bijzonder gevoelige manier. Gegevens over geestelijke gezondheid zijn gezondheidsgegevens in de zin van de GDPR; de verwerking ervan voor AI-training of inferentie vereist een rechtmatige grondslag op grond van Art. 9(2) en passende waarborgen op grond van Art. 22 (geautomatiseerde individuele besluitvorming).

Chirurgische robotica en AI-gestuurde ingrepen

AI-componenten die zijn geïntegreerd in chirurgische robotsystemen en procedurele parameters in realtime aanpassen — positionering van instrumenten, modulatie van haptische terugkoppeling, weefselclassificatie — zijn veiligheidscomponenten van actieve implanteerbare hulpmiddelen of medische hulpmiddelen van klasse III onder MDR. De conformiteitsbeoordelingsbelasting is dienovereenkomstig de zwaarst mogelijke: beoordeling door een aangemelde instantie op grond van MDR Annex IX of X, gecombineerd met een conformiteitsbeoordeling op grond van de EU AI Act overeenkomstig Art. 43. Verplichtingen op het gebied van bewaking na het in de handel brengen op grond van beide kaders moeten worden geïntegreerd in één systeem voor klinische follow-up en prestatiebewaking.

Annex III Categorie 5(a) — Toegang tot essentiële gezondheidsdiensten

Naast het pad via medische hulpmiddelen classificeert Annex III, punt 5(a) van de EU AI Act afzonderlijk als hoog-risico die AI-systemen die worden gebruikt om toegang te bepalen tot essentiële openbare diensten, waaronder gezondheidszorg. Een AI-systeem dat bepaalt of een patiënt in aanmerking komt voor een vergoede behandeling, wordt opgenomen op een wachtlijst voor transplantaties of in aanmerking komt voor een klinische proef, is hoog-risico op grond van deze bepaling, ook als het niet is geïntegreerd in een medisch hulpmiddel.

Verplichtingen van aanbieders versus gebruiksverantwoordelijken in de gezondheidszorg

Verplichtingen van aanbieders

Organisaties die een hoog-risico gezondheids-AI-systeem ontwikkelen, op de markt brengen of in gebruik stellen als aanbieder op grond van Art. 16 moeten:

• Een kwaliteitsmanagementsysteem (KMS) vaststellen en implementeren op grond van Art. 17, met inbegrip van ontwerpcontroles, risicobeheer overeenkomstig ISO 14971 (geharmoniseerd voor MDR) en procedures voor bewaking na het in de handel brengen.
• Technische documentatie opstellen op grond van Annex IV, inclusief het beoogde doel, het risicobeheersdossier, beschrijvingen van trainingsdata, validatie- en testresultaten en het plan voor bewaking na het in de handel brengen.
• Het systeem registreren in de EU-database vóór het op de markt brengen (Art. 49).
• Ervoor zorgen dat het systeem een CE-markering draagt en een EU-conformiteitsverklaring verstrekken.
• Een EU-gemachtigde vertegenwoordiger aanstellen indien buiten de EU gevestigd.
• De technische documentatie en logbestanden gedurende 10 jaar na het op de markt brengen bewaren (Art. 18).

Verplichtingen van gebruiksverantwoordelijken

Ziekenhuizen, klinieken, apotheeknetwerken en andere zorginstellingen die optreden als gebruiksverantwoordelijken van hoog-risico AI-systemen van derden, dragen zelfstandige verplichtingen op grond van Art. 26 die losstaan van de naleving door de aanbieder:

• Het systeem inzetten binnen het toepassingsgebied van de gebruiksaanwijzing van de aanbieder — gebruik buiten dat toepassingsgebied kan de instelling mogelijk herclassificeren als aanbieder.
• Verantwoordelijkheden voor menselijk toezicht toewijzen aan personeel met de competentie, bevoegdheid en hulpmiddelen om het systeemgebruik te bewaken en daarin in te grijpen.
• Operationele logbestanden minimaal zes maanden bewaren, of langer indien van toepassing zijnde sectorwetgeving (MDR-vigilantie, wetgeving inzake ziekenhuisdossiers) dit vereist.
• Ernstige incidenten of storingen onverwijld melden aan de aanbieder en, waar de patiëntveiligheid in het geding is, aan de relevante gezondheidsautoriteiten op grond van de vigilantieprocedures van MDR Art. 87.
• Beoordelingen van de impact op grondrechten (FRIA's) uitvoeren op grond van Art. 27 wanneer het AI-systeem wordt gebruikt om beslissingen te nemen of te ondersteunen die individuele patiënten op grote schaal betreffen.

Wisselwerking met MDR, IVDR en GDPR

MDR en IVDR: Het duale conformiteitsbeoordelingsregime

Art. 6(1) van de EU AI Act, gelezen in samenhang met Annex I, legt het pad van de veiligheidscomponent vast. Waar een AI-systeem een veiligheidscomponent vormt van een product dat is gereguleerd op grond van MDR of IVDR, moet de conformiteitsbeoordeling op grond van de EU AI Act worden geïntegreerd in de bestaande MDR/IVDR-procedure. Art. 8(1) van de EU AI Act geeft voorrang aan sectorspecifieke regels van MDR/IVDR waar deze gelijkwaardige of strengere verplichtingen opleggen, maar schrapt de verplichtingen van de AI Act niet — het past de procedure aan, niet de vereiste.

Voor medische hulpmiddelen van klasse IIb en klasse III met geïntegreerde AI is een beoordeling door een aangemelde instantie op grond van MDR Annex IX (kwaliteitsmanagement) of Annex X (typeonderzoek) verplicht. Dezelfde aangemelde instantie, indien aangewezen onder de AI Act, kan de conformiteitsbeoordeling op grond van de AI Act uitvoeren als onderdeel van een geïntegreerde procedure. Voor klasse I SaMD (software als medisch hulpmiddel) moeten fabrikanten zelfstandig beoordelen of het AI-systeem als hoog-risico kwalificeert op grond van de AI Act op andere gronden dan Art. 6(1).

GDPR Art. 9 en trainingsdata

Gezondheidsgegevens die worden gebruikt voor het trainen, valideren of testen van AI-modellen zijn bijzondere categorieën persoonsgegevens op grond van GDPR Art. 9(1). Verwerking is verboden bij afwezigheid van een van de uitzonderingen in Art. 9(2), meest relevant:

• Art. 9(2)(a): uitdrukkelijke toestemming van de betrokkene
• Art. 9(2)(h): verwerking noodzakelijk voor medische diagnose of het verlenen van gezondheidszorg, onderworpen aan beroepsgeheim
• Art. 9(2)(j): wetenschappelijk onderzoek, onderworpen aan de waarborgen van Art. 89

De gegevensbeheersverplichtingen van Art. 10 van de EU AI Act — die documentatie vereisen van de herkomst, verzamelingsmethoden, representativiteit en bekende beperkingen van datasets — moeten worden nagekomen op een wijze die in overeenstemming is met de toepasselijke GDPR-rechtsgrondslag. Retrospectief gebruik van klinische datasets zonder uitdrukkelijke toestemming vereist een onderzoeksuitzondering en doorgaans goedkeuring van een ethische commissie op grond van de Verordening klinische proeven of toepasselijk nationaal onderzoeksrecht.

Integratie van bewaking na het in de handel brengen

Zowel MDR (Art. 83, klinische follow-up na het in de handel brengen) als de EU AI Act (Art. 72, bewaking na het in de handel brengen) vereisen doorlopende verzameling en analyse van gegevens over prestaties in de praktijk. Waar beide van toepassing zijn, kan één geïntegreerd systeem voor bewaking na het in de handel brengen aan beide kaders voldoen, mits het de gegevenspunten vastlegt die elk kader vereist — waaronder de klinische bewijsvereisten van MDR en de vereisten van de AI Act voor automatische registratie van de werking van het AI-systeem.

Handhavende autoriteiten

Europees Geneesmiddelenbureau en nationale geneesmiddelenautoriteiten

Het Europees Geneesmiddelenbureau (EMA) heeft geen directe handhavingsbevoegdheid op grond van de EU AI Act voor AI buiten het domein van geneesmiddelen, maar zijn richtsnoeren over AI bij de ontwikkeling van geneesmiddelen en geneesmiddelenbewaking zijn gezaghebbend voor bedrijven in de life sciences. Nationale geneesmiddelenautoriteiten — waaronder ANSM (Frankrijk), BfArM (Duitsland) en hun equivalenten — oefenen markttoezichtbevoegdheden uit op grond van MDR en IVDR en kunnen AI-systemen die zijn geïntegreerd in medische hulpmiddelen onderzoeken als onderdeel van hun mandaat voor bewaking na het in de handel brengen.

Aangemelde instanties

Voor hoog-risico AI-systemen die veiligheidscomponenten zijn van medische hulpmiddelen, voeren aangemelde instanties die zijn aangewezen op grond van MDR/IVDR en, afzonderlijk of gezamenlijk, op grond van de EU AI Act, conformiteitsbeoordelingen uit. Hun certificaten zijn een voorwaarde voor CE-markering. Aangemelde instanties kunnen certificaten schorsen of intrekken wanneer bewaking na het in de handel brengen niet-conformiteiten aan het licht brengt.

Nationale AI-toezichthoudende autoriteiten

Elke EU-lidstaat heeft een nationale AI-toezichthoudende autoriteit aangewezen of is bezig deze aan te wijzen (bevoegde autoriteit op grond van Art. 70 van de EU AI Act). In de gezondheidszorgsector is coördinatie tussen de AI-toezichthoudende autoriteit en de nationale geneesmiddelenautoriteit vereist waar de bevoegdheden overlappen. De AI-toezichthoudende autoriteit heeft bevoegdheden om documentatie op te vragen, audits uit te voeren, corrigerende maatregelen op te leggen en zaken door te verwijzen voor financiële sancties.

Nalevingsroadmap — Prioriteiten voor gezondheids-AI

Stap 1: Classificatie- en toepassingsgebiedsbeoordeling

Breng alle AI-systemen in ontwikkeling of gebruik in kaart aan de hand van Art. 6(1) (veiligheidscomponent van een medisch hulpmiddel) en Annex III, punt 5(a) (toegang tot essentiële diensten). Documenteer het beoogde doel van elk systeem met voldoende nauwkeurigheid om classificatiebeslissingen op grond van zowel de AI Act als MDR/IVDR te onderbouwen. Schakel regelgevend juridisch advies in om grensgevallen van CDS-hulpmiddelen te beoordelen.

Stap 2: Planning van de duale conformiteitsbeoordeling

Identificeer voor elk hoog-risico AI-systeem dat ook een medisch hulpmiddel is, de toepasselijke MDR/IVDR-conformiteitsbeoordelingsroute en ga na of de aangewezen aangemelde instantie ook geaccrediteerd is onder de EU AI Act. Plan de conformiteitsbeoordeling waar mogelijk als een geïntegreerde procedure om duplicatie te verminderen.

Stap 3: Gegevensbeheer en afstemming op GDPR

Voer een audit uit van de trainings- en validatiedatasets voor gezondheids-AI-systemen. Documenteer de rechtsgrondslagen op grond van GDPR Art. 9(2) voor alle gezondheidsgegevens die worden gebruikt bij modelontwikkeling. Stel gegevensbeheersprocedures in op grond van Art. 10 van de EU AI Act en zorg ervoor dat deze zijn opgenomen in de technische documentatie die vereist is door Annex IV.

Stap 4: Protocollen voor menselijk toezicht

Ontwerp en implementeer mechanismen voor menselijk toezicht op grond van Art. 14 voor elke hoog-risico AI-inzet. Toezicht moet operationeel realistisch zijn: het vereist opgeleid personeel, toegankelijke interventiemechanismen en integratie in het werkproces — geen pro-formaafvinklijst. Voor situaties met tijdsdruk in spoedeisende omgevingen vereist het toezichtsontwerp bijzondere aandacht.

Stap 5: Integratie van bewaking na het in de handel brengen

Ontwerp een systeem voor bewaking na het in de handel brengen dat voldoet aan zowel MDR Annex III (PMCF) als EU AI Act Art. 72. Stel incidentrapportageprocedures in die zijn afgestemd op de vigilantietijdlijnen van MDR (Art. 87: ernstige incidenten te melden binnen 15 dagen) en de rapportage van ernstige incidenten op grond van de AI Act onder Art. 73.

Stap 6: Due diligence voor gebruiksverantwoordelijken

Zorginstellingen die AI-diagnostische hulpmiddelen of CDS-hulpmiddelen van derden aanschaffen, dienen van aanbieders te verlangen dat zij de EU-conformiteitsverklaring, de gebruiksaanwijzing en een samenvatting van de technische documentatie overleggen. Aanbestedingscontracten dienen verplichtingen inzake logbewaring, verantwoordelijkheden voor incidentrapportage en de grenzen van het toegestane gebruiksdomein te specificeren, ter voorkoming van onbedoelde herclassificatie als aanbieder.