Gesundheitswesen & Biowissenschaften — EU AI Act Compliance

Pflichten nach dem EU AI Act für KI in Medizinprodukten, Diagnosesystemen und klinischen Entscheidungsunterstützungssystemen. Behandelt die Wechselwirkung mit MDR/IVDR und die duale Compliance nach Anhang I.

Warum der EU AI Act im Gesundheitswesen besondere Bedeutung hat

Der EU AI Act (Verordnung (EU) 2024/1689) schafft seine anspruchsvollsten Compliance-Verpflichtungen genau in den Bereichen, in denen KI-Fehler lebensbedrohliche Folgen haben können. Das Gesundheitswesen und die Biowissenschaften befinden sich an der Schnittstelle zweier solcher Anforderungen: die strukturelle Einstufung von KI in Medizinprodukten als hochriskant nach Art. 6(1) sowie die bestehende regulatorische Dichte des Sektors unter MDR (EU) 2017/745, IVDR (EU) 2017/746, GDPR Art. 9 und der Verordnung über klinische Prüfungen (EU) 536/2014.

Für Anbieter und Betreiber von Gesundheits-KI ist diese Überschneidung nicht bloß additiv. Sie erzeugt geschichtete Pflichtensätze, die gemeinsam konzipiert, dokumentiert und überwacht werden müssen. Ein KI-System in einem diagnostischen Bildgebungsgerät muss sowohl die Konformitätsbewertung durch eine benannte Stelle nach MDR als auch eine separate Konformitätsbewertung nach dem EU AI Act bestehen. Ein Krankenhaus, das ein KI-gestütztes Triagesystem einsetzt, wird zum Betreiber im Sinne von Art. 26 mit eigenständigen Pflichten, die nicht allein durch das Vertrauen auf die CE-Kennzeichnung des Anbieters erfüllt werden können.

Die Konsequenzen einer Nichteinhaltung sind entsprechend schwerwiegend. Nationale Aufsichtsbehörden können Geldbußen von bis zu 30 Millionen Euro oder 6 % des weltweiten Jahresumsatzes für das Inverkehrbringen nicht konformer Hochrisiko-KI verhängen. Neben finanziellen Sanktionen können Marktrücknahmen, Aussetzungen des klinischen Einsatzes und obligatorische Korrekturmaßnahmen die Patientenversorgung in großem Maßstab unterbrechen.

Der duale Regulierungspfad

Das prägende strukturelle Merkmal der KI-Compliance im Gesundheitswesen ist die gleichzeitige Anwendung des Produktsicherheitsrechts und des KI-spezifischen Rechts. Stellt ein KI-System eine Sicherheitskomponente eines Medizinprodukts im Sinne von Anhang I des EU AI Act dar (unter Verweis auf den Neuen Rechtsrahmen), wird es automatisch als hochriskant nach Art. 6(1) eingestuft — ohne weitere Prüfung von Eintrittswahrscheinlichkeit oder Schwere des Schadens. Die Einstufung erfolgt kategorisch.

Dies bedeutet, dass Organisationen zwei parallele Konformitätsbewertungsverfahren aufrechterhalten müssen — eines nach MDR oder IVDR, eines nach dem EU AI Act — und die Einhaltung beider in der EU-Datenbank für Hochrisiko-KI-Systeme (EUAI DB) vor dem Inverkehrbringen nachweisen müssen.

Hochriskante KI-Anwendungsfälle — Medizinprodukte und Patientenversorgung

KI in der diagnostischen Bildgebung

KI-Systeme, die in der Radiologie, Pathologie und Ophthalmologie zur Analyse von Bildern zum Einsatz kommen, um Läsionen, Anomalien oder Krankheitszustände zu erkennen, zu klassifizieren oder zu charakterisieren, sind in nahezu allen klinisch relevanten Konfigurationen Sicherheitskomponenten von Medizinprodukten der MDR-Klasse IIa oder höher. Sie sind daher nach Art. 6(1) hochriskant und müssen Kapitel III Abschnitt 2 des EU AI Act einhalten, das Datenverwaltung (Art. 10), technische Dokumentation (Art. 11, Anhang IV), automatische Protokollierung (Art. 12), Transparenz (Art. 13), menschliche Aufsicht (Art. 14) sowie Genauigkeit, Robustheit und Cybersicherheit (Art. 15) abdeckt.

Klinische Entscheidungsunterstützungssysteme

Klinische Entscheidungsunterstützung (CDS) umfasst ein breites Risikospektrum, das von der funktionalen Rolle des Systems abhängt. Die entscheidende regulatorische Unterscheidung ist, ob das System das klinische Urteil ersetzt oder unterstützt:

• Autonomer oder nahezu autonomer Output: Ein CDS-System, das eine Verschreibungsempfehlung generiert, die Medikamentendosis eines Patienten festlegt oder einen Patienten als notfallbedürftig einstuft, ohne dass vor der Umsetzung des Outputs eine klinische Prüfung erforderlich ist, ist wahrscheinlich hochriskant nach Anhang III und kann als Medizinprodukt nach MDR gelten.
• Gefilterter Output zur klinischen Prüfung: Ein CDS-System, das eine Rangliste von Differenzialdiagnosen präsentiert oder Laborergebnisse als auffällig kennzeichnet, wobei ein qualifizierter Kliniker jede Empfehlung prüft und genehmigt, bevor sie das Patientenmanagement beeinflusst, kann möglicherweise nicht als hochriskant eingestuft werden, sofern es die Anhang-III-Kriterien aus anderen Gründen nicht erfüllt.

Diese Unterscheidung muss in der Zweckbestimmung des KI-Systems dokumentiert werden, die sowohl Teil der technischen Dokumentation nach dem AI Act als auch der technischen Dokumentation nach MDR ist.

Priorisierung der Patientenselektion in Notaufnahmen

KI-Systeme, die die Reihenfolge festlegen, in der Notfallpatienten versorgt werden — einschließlich Sepsis-Prognosemodellen und ITS-Überwachungssystemen, die Eskalationsprotokolle auslösen — operieren unter Zeitdruck und klinischer Komplexität, die die menschliche Aufsicht nach Art. 14 besonders anspruchsvoll machen. Einsetzende Organisationen müssen sicherstellen, dass der Überwachungsmechanismus tatsächlich wirksam ist: Der mit der Aufsicht beauftragte Kliniker muss das technische Verständnis, den Zugang zur Begründung des KI-Systems und die Zeit im Arbeitsablauf haben, um einzugreifen, bevor der Output des Systems die Patientenergebnisse beeinflusst.

KI zur psychischen Gesundheitsvorsorge

KI-Instrumente, die Bevölkerungsgruppen oder einzelne Patienten auf psychische Erkrankungen screenen — Depressions-Risikoscores, Suizidrisiko-Stratifizierung, Burnout-Screening — berühren sowohl die Hochrisikobestimmungen des AI Act (soweit sie den Zugang zur Versorgung oder die Ressourcenzuteilung beeinflussen) als auch GDPR Art. 9 in einer besonders sensiblen Dimension. Psychische Gesundheitsdaten sind im Sinne der GDPR Gesundheitsdaten; ihre Verarbeitung für das KI-Training oder die Inferenz erfordert eine Rechtsgrundlage nach Art. 9(2) und angemessene Schutzmaßnahmen nach Art. 22 (automatisierte Einzelentscheidungen).

Chirurgische Robotik und KI-gestützte Eingriffe

KI-Komponenten, die in chirurgische Robotersysteme integriert sind und Verfahrensparameter in Echtzeit anpassen — Instrumentenpositionierung, Modulation des haptischen Feedbacks, Gewebeklassifizierung — sind Sicherheitskomponenten aktiver implantierbarer Produkte oder Medizinprodukte der Klasse III nach MDR. Die Konformitätsbewertungslast ist entsprechend die höchste: Bewertung durch eine benannte Stelle nach MDR Anhang IX oder X, kombiniert mit der Konformitätsbewertung nach dem EU AI Act gemäß Art. 43. Die Verpflichtungen zur Überwachung nach dem Inverkehrbringen aus beiden Rahmenwerken müssen in ein einziges System zur klinischen Nachbeobachtung und Leistungsüberwachung integriert werden.

Anhang III Kategorie 5(a) — Zugang zu wesentlichen Gesundheitsleistungen

Über den Medizinproduktepfad hinaus stuft Anhang III, Punkt 5(a) des EU AI Act gesondert KI-Systeme als hochriskant ein, die zur Bestimmung des Zugangs zu wesentlichen öffentlichen Diensten, einschließlich der Gesundheitsversorgung, eingesetzt werden. Ein KI-System, das darüber entscheidet, ob ein Patient Anspruch auf eine erstattungsfähige Behandlung hat, auf eine Transplantationswarteliste aufgenommen wird oder für eine klinische Prüfung in Frage kommt, ist nach dieser Bestimmung hochriskant — auch wenn es nicht in einem Medizinprodukt eingebettet ist.

Pflichten von Anbietern und Betreibern im Gesundheitswesen

Pflichten der Anbieter

Organisationen, die ein hochriskantes Gesundheits-KI-System als Anbieter im Sinne von Art. 16 entwickeln, in Verkehr bringen oder in Betrieb nehmen, müssen:

• Ein Qualitätsmanagementsystem (QMS) nach Art. 17 einrichten und umsetzen, das Designkontrollen, ein Risikomanagement in Übereinstimmung mit ISO 14971 (harmonisiert für MDR) und Verfahren zur Überwachung nach dem Inverkehrbringen umfasst.
• Eine technische Dokumentation nach Anhang IV erstellen, einschließlich Zweckbestimmung, Risikomanagementakte, Beschreibungen der Trainingsdaten, Validierungs- und Testergebnissen sowie einem Plan zur Überwachung nach dem Inverkehrbringen.
• Das System vor dem Inverkehrbringen in der EU-Datenbank registrieren (Art. 49).
• Sicherstellen, dass das System eine CE-Kennzeichnung trägt, und eine EU-Konformitätserklärung bereitstellen.
• Einen EU-Bevollmächtigten benennen, wenn das Unternehmen außerhalb der EU ansässig ist.
• Die technische Dokumentation und Protokolle 10 Jahre nach dem Inverkehrbringen aufbewahren (Art. 18).

Pflichten der Betreiber

Krankenhäuser, Kliniken, Apothekennetzwerke und andere Gesundheitseinrichtungen, die als Betreiber von Hochrisiko-KI-Systemen Dritter handeln, tragen nach Art. 26 eigenständige Verpflichtungen, die unabhängig von der Compliance des Anbieters sind:

• Das System innerhalb des Geltungsbereichs der Gebrauchsanweisung des Anbieters einsetzen — jede Nutzung außerhalb dieses Bereichs kann die Einrichtung als Anbieter neu einstufen.
• Die Verantwortung für die menschliche Aufsicht Personal mit der erforderlichen Kompetenz, Befugnis und den notwendigen Mitteln zur Überwachung und zum Eingriff in den Systembetrieb übertragen.
• Betriebsprotokolle für mindestens sechs Monate aufbewahren oder länger, soweit anwendbare Sektorgesetzgebung (MDR-Vigilanz, krankenhausbezogene Aufbewahrungsvorschriften) dies erfordert.
• Schwerwiegende Vorfälle oder Fehlfunktionen unverzüglich dem Anbieter melden sowie — soweit die Patientensicherheit betroffen ist — den zuständigen Gesundheitsbehörden gemäß den Vigilanzverfahren nach MDR Art. 87.
• Grundrechte-Folgenabschätzungen (FRIA) nach Art. 27 durchführen, wenn das KI-System dazu eingesetzt wird, Entscheidungen zu treffen oder zu unterstützen, die einzelne Patienten in großem Maßstab betreffen.

Wechselwirkung mit MDR, IVDR und GDPR

MDR und IVDR: Das duale Konformitätsbewertungssystem

Art. 6(1) des EU AI Act, gelesen zusammen mit Anhang I, begründet den Sicherheitskomponenten-Pfad. Ist ein KI-System eine Sicherheitskomponente eines nach MDR oder IVDR regulierten Produkts, muss die Konformitätsbewertung nach dem EU AI Act in das bestehende MDR/IVDR-Verfahren integriert werden. Art. 8(1) des EU AI Act räumt sektorspezifischen MDR/IVDR-Regeln Vorrang ein, soweit diese gleichwertige oder strengere Anforderungen stellen, hebt jedoch die Anforderungen des AI Act nicht auf — er passt das Verfahren an, nicht die Anforderung selbst.

Für Medizinprodukte der Klasse IIb und III mit eingebetteter KI ist eine Bewertung durch eine benannte Stelle nach MDR Anhang IX (Qualitätsmanagement) oder Anhang X (Baumusterprüfung) obligatorisch. Dieselbe benannte Stelle kann, sofern sie nach dem AI Act benannt ist, die Konformitätsbewertung nach dem AI Act im Rahmen eines integrierten Verfahrens durchführen. Bei SaMD der Klasse I (Software als Medizinprodukt) müssen Hersteller eigenständig prüfen, ob das KI-System aus anderen Gründen als Art. 6(1) als hochriskant nach dem AI Act einzustufen ist.

GDPR Art. 9 und Trainingsdaten

Gesundheitsdaten, die zum Training, zur Validierung oder zum Testen von KI-Modellen verwendet werden, sind besondere Kategorien personenbezogener Daten im Sinne von GDPR Art. 9(1). Die Verarbeitung ist untersagt, sofern keine der Ausnahmen in Art. 9(2) greift — am relevantesten:

• Art. 9(2)(a): ausdrückliche Einwilligung der betroffenen Person
• Art. 9(2)(h): Verarbeitung, die für die medizinische Diagnose oder die Gesundheitsversorgung erforderlich ist, vorbehaltlich der Wahrung des Berufsgeheimnisses
• Art. 9(2)(j): wissenschaftliche Forschung, vorbehaltlich der Schutzmaßnahmen nach Art. 89

Die Datenverwaltungspflichten aus Art. 10 des EU AI Act — die eine Dokumentation von Herkunft, Erhebungsmethoden, Repräsentativität und bekannten Einschränkungen der Datensätze erfordern — müssen in einer Weise erfüllt werden, die mit der anwendbaren GDPR-Rechtsgrundlage vereinbar ist. Die rückwirkende Nutzung klinischer Datensätze ohne ausdrückliche Einwilligung erfordert eine Forschungsausnahme sowie in der Regel die Genehmigung durch eine Ethikkommission nach der Verordnung über klinische Prüfungen oder dem anwendbaren nationalen Forschungsrecht.

Integration der Überwachung nach dem Inverkehrbringen

Sowohl MDR (Art. 83, klinische Nachbeobachtung nach dem Inverkehrbringen) als auch der EU AI Act (Art. 72, Überwachung nach dem Inverkehrbringen) erfordern die laufende Erhebung und Analyse von Daten zur Leistung im realen Einsatz. Sind beide anwendbar, kann ein einziges integriertes System zur Überwachung nach dem Inverkehrbringen beide Rahmenwerke erfüllen, sofern es die von jedem geforderten Datenpunkte erfasst — einschließlich der klinischen Evidenzanforderungen der MDR und der Anforderungen des AI Act an die automatische Protokollierung des KI-Systembetriebs.

Durchsetzungsbehörden

Europäische Arzneimittel-Agentur und nationale Arzneimittelbehörden

Die Europäische Arzneimittel-Agentur (EMA) hat keine direkte Durchsetzungsrolle nach dem EU AI Act für KI außerhalb von Arzneimitteln, aber ihre Leitlinien zur KI in der Arzneimittelentwicklung und Pharmakovigilanz sind für Life-Sciences-Unternehmen maßgebend. Nationale Arzneimittelbehörden — darunter ANSM (Frankreich), BfArM (Deutschland) und entsprechende Behörden anderer Staaten — üben die MDR- und IVDR-Marktüberwachungsbefugnis aus und können KI-Systeme in Medizinprodukten im Rahmen ihres Mandats zur Überwachung nach dem Inverkehrbringen untersuchen.

Benannte Stellen

Für hochriskante KI-Systeme, die Sicherheitskomponenten von Medizinprodukten sind, führen benannte Stellen, die nach MDR/IVDR und — gesondert oder gemeinsam — nach dem EU AI Act benannt wurden, Konformitätsbewertungen durch. Ihre Zertifikate sind Voraussetzung für die CE-Kennzeichnung. Benannte Stellen können Zertifikate aussetzen oder entziehen, wenn die Überwachung nach dem Inverkehrbringen Nichtkonformitäten aufdeckt.

Nationale KI-Aufsichtsbehörden

Jeder EU-Mitgliedstaat hat eine nationale KI-Aufsichtsbehörde benannt oder ist dabei, eine zu benennen (zuständige Behörde nach Art. 70 des EU AI Act). Im Gesundheitssektor ist eine Koordinierung zwischen der KI-Aufsichtsbehörde und der nationalen Arzneimittelbehörde erforderlich, wenn sich die Zuständigkeiten überschneiden. Die KI-Aufsichtsbehörde hat die Befugnis, Dokumentationen anzufordern, Prüfungen durchzuführen, Korrekturmaßnahmen anzuordnen und Fälle zur Verhängung von Geldbußen weiterzuleiten.

Compliance-Fahrplan — Prioritäten für Gesundheits-KI

Schritt 1: Klassifizierung und Geltungsbereichsprüfung

Erfassen Sie alle KI-Systeme in Entwicklung oder Betrieb und gleichen Sie diese mit Art. 6(1) (Sicherheitskomponente eines Medizinprodukts) und Anhang III, Punkt 5(a) (Zugang zu wesentlichen Diensten) ab. Dokumentieren Sie die Zweckbestimmung jedes Systems mit ausreichender Präzision, um sowohl AI Act- als auch MDR/IVDR-Klassifizierungsentscheidungen zu unterstützen. Ziehen Sie Rechtsberatung für die Beurteilung von CDS-Systemen an der Grenze hinzu.

Schritt 2: Planung der dualen Konformitätsbewertung

Identifizieren Sie für jedes hochriskante KI-System, das auch ein Medizinprodukt ist, den anwendbaren MDR/IVDR-Konformitätsbewertungsweg und stellen Sie fest, ob die benannte Stelle auch nach dem EU AI Act akkreditiert ist. Planen Sie die Konformitätsbewertung möglichst als integriertes Verfahren, um Doppelarbeit zu vermeiden.

Schritt 3: Datenverwaltung und GDPR-Abgleich

Prüfen Sie Trainings- und Validierungsdatensätze für Gesundheits-KI-Systeme. Dokumentieren Sie die Rechtsgrundlagen nach GDPR Art. 9(2) für alle im Rahmen der Modellentwicklung verwendeten Gesundheitsdaten. Etablieren Sie Datenverwaltungsverfahren nach Art. 10 des EU AI Act und stellen Sie sicher, dass diese in der nach Anhang IV erforderlichen technischen Dokumentation abgebildet sind.

Schritt 4: Protokolle zur menschlichen Aufsicht

Konzipieren und implementieren Sie Mechanismen zur menschlichen Aufsicht nach Art. 14 für jeden hochriskanten KI-Einsatz. Die Aufsicht muss operational realistisch sein: Sie erfordert geschultes Personal, zugängliche Eingriffsmechanismen und eine Einbindung in den Arbeitsablauf — kein bloßes Pro-forma-Abhaken. Bei Notfalleinsätzen mit Zeitdruck erfordert das Aufsichtsdesign besondere Sorgfalt.

Schritt 5: Integration der Überwachung nach dem Inverkehrbringen

Konzipieren Sie ein System zur Überwachung nach dem Inverkehrbringen, das sowohl die MDR Anhang III (PMCF)- als auch die EU AI Act Art. 72-Anforderungen erfüllt. Etablieren Sie Verfahren zur Meldung von Vorfällen, die mit den MDR-Vigilanzfristen übereinstimmen (Art. 87: schwerwiegende Vorfälle innerhalb von 15 Tagen zu melden) sowie mit der Meldung schwerwiegender Vorfälle nach AI Act Art. 73.

Schritt 6: Sorgfaltspflichten der Betreiber

Gesundheitseinrichtungen, die KI-Diagnose- oder CDS-Werkzeuge Dritter beschaffen, sollten von den Anbietern die EU-Konformitätserklärung, die Gebrauchsanweisung und eine Zusammenfassung der technischen Dokumentation einfordern. Beschaffungsverträge sollten Aufbewahrungspflichten für Protokolle, Verantwortlichkeiten für die Meldung von Vorfällen und die Grenzen des zulässigen Nutzungsbereichs festlegen, um eine unbeabsichtigte Neueinstufung als Anbieter zu vermeiden.