EU-AI-Act-Marktüberwachung nach Inverkehrbringen (Art. 72): Pflichten für Hochrisiko-KI-Anbieter

Compliance endet nicht beim Markteintritt. Art. 72 verpflichtet Anbieter hochriskanter KI-Systeme, ein aktives Marktüberwachungssystem zu betreiben, Leistungsdaten zu sammeln und schwerwiegende Vorfälle zu melden. Hier erfahren Sie, was Sie tun müssen — und wann.

Was ist die Marktüberwachung nach Inverkehrbringen?

Die Konformitätsbewertung und die CE-Kennzeichnung sind das Eintrittsbillet für den EU-Markt für ein hochriskantes KI-System — nicht die Ziellinie. Artikel 72 des EU AI Act legt eine fortlaufende Pflicht fest: Anbieter müssen ein Marktüberwachungssystem nach Inverkehrbringen (PMM-System) einrichten und betreiben, das aktiv Echtzeit-Leistungsdaten über die gesamte Betriebslebenszeit des Systems sammelt, analysiert und darauf reagiert.

Die Begründung ist einfach. Ein KI-System, das auf einem festen Datensatz validiert wurde, kann driften, wenn sich reale Eingaben verschieben, wenn sich die Nutzerpopulation ändert oder wenn sich die Umgebung, in der es betrieben wird, entwickelt. Statische Compliance-Momentaufnahmen können dies nicht erfassen. PMM ist der Mechanismus, der Compliance in einen kontinuierlichen Prozess statt eines einmaligen Ereignisses verwandelt.

Das PMM-System muss proportional zur Art und den Risiken des betreffenden hochriskanten KI-Systems sein. Ein Kreditwürdigkeitsmodell, das in großem Maßstab über Millionen von Verbrauchern eingesetzt wird, erfordert intensiveres Monitoring als ein eng gefasstes Dokumentenklassifizierungstools, das intern von einem regulierten Unternehmen verwendet wird.

Wer muss ein PMM-System einrichten?

Obligatorisch für:

• Anbieter von eigenständigen hochriskanten Anhang-III-KI-Systemen — in Anhang III aufgeführte Systeme, die keine Sicherheitskomponenten eines Produkts sind (z. B. KI für Beschäftigungsentscheidungen, Zugang zur Bildung, Strafverfolgung, Kreditwürdigkeitsbewertung, Management kritischer Infrastrukturen)
• Anbieter von in Anhang-I-Produkten eingebetteten KI-Systemen — KI-Sicherheitskomponenten, die in Produkte nach bestehenden EU-Harmonisierungsgesetzgebung integriert sind (Medizinprodukte, Maschinen, Fahrzeuge)

Nicht erforderlich für:

• Anbieter von KI-Systemen mit minimalem Risiko (keine formelle PMM-Pflicht, obwohl Good Practice gilt)
• Anbieter von nur-Transparenz-KI-Systemen (Art.-50-Pflichten erstrecken sich nicht auf PMM)
• GPAI-Modellanbieter — diese unterliegen einem separaten Regime nach Art. 61–62, das Vorfallmeldung für Modelle mit systemischem Risiko umfasst, aber anders als Art.-72-PMM strukturiert ist

Die Rolle des Betreibers ist unterstützend, aber nicht optional. Betreiber müssen das KI-System gemäß den Anweisungen des Anbieters betreiben, die in das System eingebaute Protokollierungsfunktion aktivieren und aufbewahren und — entscheidend — alle schwerwiegenden Vorfälle, von denen sie Kenntnis erhalten, dem Anbieter ohne unangemessene Verzögerung melden. Ein Betreiber, der einen schwerwiegenden Vorfall beobachtet und den Anbieter nicht benachrichtigt, ist nicht konform.

Der Marktüberwachungsplan nach Inverkehrbringen (Anhang IV, Punkt 12)

Der PMM-Plan ist ein obligatorischer Bestandteil der technischen Dokumentation (Anhang IV). Er kann kein generisches Dokument sein: Er muss spezifisch für das System, seinen Einsatzkontext und seine identifizierten Risiken sein. Er muss mindestens Folgendes definieren:

1. Datenerhebung — welche Leistungsmetriken erfasst werden (Genauigkeit, Fehlerquoten, Entscheidungsergebnisse), wie Daten gesammelt werden (automatisierte Telemetrie, Betreiberberichte, Nutzer-Feedback) und in welcher Häufigkeit
2. Feedback-Schleifen — der Mechanismus, durch den Betreiber Leistungsprobleme, Anomalien oder Vorfälle strukturiert und zeitnah an den Anbieter zurückmelden können
3. Genauigkeits-Monitoring — wie die Systemleistung gegen den bei der Konformitätsbewertung verwendeten validierten Benchmark verfolgt wird, einschließlich einer etwaigen Drift-Erkennungsmethodik
4. Bias-Monitoring — für Systeme, bei denen demografische Ergebnisse wesentlich sind (Einstellung, Kredit, Strafverfolgung), laufendes Monitoring statistischer Disparitäten zwischen geschützten Gruppen, mit definierter Methodik und Schwellenwerten
5. Aktualisierungsauslöser — die spezifischen quantitativen oder qualitativen Schwellenwerte, die Korrekturmaßnahmen auslösen, einschließlich Modell-Retraining, Parameter-Anpassung oder Aussetzung des Einsatzes
6. Überprüfungsplan — wie oft der PMM-Plan selbst überprüft und aktualisiert wird, um sicherzustellen, dass er für den sich entwickelnden Einsatzkontext geeignet bleibt

Der PMM-Plan muss aktuell gehalten werden. Ein veralteter Plan, der die tatsächliche Monitoring-Methodik nicht mehr widerspiegelt, erfüllt Art. 72 nicht.

Meldung schwerwiegender Vorfälle (Art. 73)

Was gilt als schwerwiegender Vorfall?

Artikel 73 definiert einen schwerwiegenden Vorfall als jeden Vorfall oder Fehler eines hochriskanten KI-Systems, der direkt oder indirekt zu Folgendem führt:

• Tod oder schwerwiegendem Gesundheitsschaden (physisch oder psychologisch)
• Einer schwerwiegenden und irreversiblen Störung der Verwaltung oder des Betriebs kritischer Infrastrukturen
• Einer schwerwiegenden Verletzung von Grundrechten (Datenschutz, Nichtdiskriminierung, ordnungsgemäßes Verfahren)
• Einer Situation, in der eine Person eines der oben Genannten knapp vermieden hat

Wichtig ist, dass der AI Act nicht verlangt, dass ein Kausalzusammenhang mit dem KI-System nachgewiesen wird, bevor Meldung erfolgt. Ein begründeter Verdacht, dass das KI-System zum Schaden beigetragen hat oder ihn nicht verhindert hat, reicht aus, um die Pflicht auszulösen. Anbieter, die auf Gewissheit warten, bevor sie melden, riskieren Nichtkonformität.

Meldefristen

Die 15-Tage-Frist beginnt, wenn der Anbieter von dem Vorfall Kenntnis erlangt — was in der Praxis bedeutet, wenn der Betreiber ihn benachrichtigt. Anbieter sollten ihre Betreiber-Benachrichtigungsverfahren so gestalten, dass Informationen sie schnell genug erreichen, um die nachgelagerte Meldefrist einzuhalten.

Was ein Vorfallsbericht enthalten muss

Ein konformer Vorfallsbericht an die nationale Marktüberwachungsbehörde sollte enthalten:

• Systemidentifikation: Name, Version, EU-Datenbankregistrierungsnummer
• Beschreibung des Vorfalls: Was passierte, welcher Schaden eintrat oder knapp vermieden wurde, Datum und Ort
• Betroffene Personen: Anzahl und Kategorien betroffener Nutzer oder Dritter (anonymisiert wo nach DSGVO erforderlich)
• Vorläufige Ursachenanalyse: das aktuelle Verständnis des Anbieters, wie der Vorfall entstand, klar als vorläufig bezeichnet
• Sofortige Korrektur- oder Sicherheitsmaßnahmen: alle bereits ergriffenen Schritte, um weiteren Schaden oder ein weiteres Risiko zu begrenzen (z. B. Aussetzung betroffener Funktionalität, Betreiber-Benachrichtigungen)
• Kontaktstelle: die für die Nachverfolgungskorrespondenz mit der Behörde verantwortliche Person oder Team

Der Bericht sollte sachlich und verhältnismäßig sein. Vorläufige Berichte können durch Folgeberichte ergänzt werden, wenn die Untersuchung fortschreitet.

Obligatorische Protokollierung (Art. 12)

Artikel 12 erfordert, dass hochriskante KI-Systeme so konzipiert und gebaut werden, dass sie in der Lage sind, automatisch Protokolle zu erstellen mit einem Granularitätsgrad, der Folgendes ermöglicht:

• Marktüberwachung nach Art. 72
• Nachverfolgung von Ereignissen, die zu einem schwerwiegenden Vorfall führen
• Untersuchung durch nationale Behörden

Dies ist eine Designanforderung, die dem Anbieter auferlegt wird. Der Anbieter muss die Protokollierungsfähigkeit in das System einbauen, bevor es auf dem Markt in Verkehr gebracht wird.

Die Pflicht zur Aktivierung und Aufbewahrung dieser Protokolle liegt beim Betreiber. Betreiber dürfen die Protokollierungsfunktion nicht deaktivieren und müssen Protokolle für den in den Anweisungen und der technischen Dokumentation des Anbieters angegebenen Zeitraum aufbewahren. Wenn kein spezifischer Aufbewahrungszeitraum definiert ist, sollten Protokolle für einen Zeitraum aufbewahrt werden, der dem Betriebslebenszyklus des Systems und etwaigen sektorspezifischen Anforderungen entspricht (z. B. Aufbewahrungsregeln für Finanzdienstleistungsunterlagen nach DORA oder MiFID II).

Wesentliche Änderungen und erneute Bewertung

Nicht jede Änderung an einem eingesetzten KI-System löst eine neue Konformitätsbewertung aus. Das Gesetz unterscheidet zwischen kleinen Updates und wesentlichen Änderungen.

Eine Änderung ist wesentlich — und erfordert eine neue Konformitätsbewertung und aktualisierte technische Dokumentation — wenn sie:

• Den Verwendungszweck des Systems ändert (auch teilweise)
• Eine wesentliche Änderung der Architektur oder Trainingsmethodik beinhaltet
• Neue Trainingsdaten verwendet, die die Systemleistung in compliance-relevanter Weise wesentlich beeinflussen
• Die Leistung über in der Risikomanagement-Dokumentation definierten Schwellenwerten in einer die Sicherheit oder Grundrechte beeinträchtigenden Weise verschlechtert

Kleinere Updates — Sicherheits-Patches, Bugfixes, die klar identifizierte Defekte korrigieren, ohne compliance-relevantes Verhalten zu ändern, kosmetische Interface-Änderungen — erfordern keine vollständige erneute Bewertung. Sie müssen jedoch dokumentiert werden, und der Anbieter muss eine schriftliche Bewertung aufbewahren, die bestätigt, dass die Änderung keine wesentliche Änderung darstellt. Dieser Nachweis unterliegt der Inspektion durch Marktüberwachungsbehörden.

Praktische Implementierungs-Checkliste

Die folgende Checkliste spiegelt die Mindestbetriebsanforderungen nach Art. 72, Art. 73 und Art. 12 wider. Sie ist kein Ersatz für Rechtsberatung, bietet aber einen Ausgangspunkt für die Lückenanalyse.

• [ ] PMM-Plan in der technischen Akte dokumentiert (Anhang IV, Punkt 12), spezifisch für das System und seinen Einsatzkontext
• [ ] Automatische Protokollierungsfähigkeit vor der Marktplatzierung in das System eingebaut
• [ ] Betreiberanweisungen enthalten ein klares, schriftliches Vorfallmeldevorgang mit Eskalationskontakt
• [ ] Vorfallmeldungs-Kontaktstelle intern eingerichtet und der zuständigen nationalen Marktüberwachungsbehörde mitgeteilt
• [ ] Bias- und Genauigkeits-Monitoring-Prozesse oder Dashboards definiert, mit dokumentierter Methodik und Schwellenwerten
• [ ] Eskalationsschwellenwerte für Korrekturmaßnahmen dokumentiert und mit dem Risikomanagementsystem verknüpft
• [ ] Wesentliche Änderungs-Bewertungsverfahren eingerichtet, mit einer Entscheidungsnachweis-Vorlage für jedes Update
• [ ] Protokoll-Aufbewahrungsrichtlinie definiert, Betreibern mitgeteilt und mit sektorspezifischen Aufbewahrungsregeln abgestimmt

Querverweise: Technische Dokumentation — Anhang-III-hochriskante KI-Systeme — Anbieter vs. Betreiber