Artikel 15 — Genauigkeit, Robustheit und Cybersicherheit (EU-KI-Gesetz)

Artikel 15 der Verordnung (EU) 2024/1689 — Genauigkeit, Robustheit und Cybersicherheit. Offizieller Text, praktische Auslegung, wesentliche Pflichten und Compliance-Auswirkungen.

Zusammenfassung des offiziellen Textes

Artikel 15 der Verordnung (EU) 2024/1689 legt technische Anforderungen an Genauigkeit, Robustheit und Cybersicherheit fest, die von Hochrisiko-KI-Systemen über ihren gesamten Lebenszyklus hinweg zu erfüllen sind. Der Artikel ist um drei ineinandergreifende Pflichten strukturiert.

Erstens müssen Hochrisiko-KI-Systeme so gestaltet und entwickelt werden, dass sie für ihren Verwendungszweck ein angemessenes Maß an Genauigkeit erreichen. Anbieter sind verpflichtet, die relevanten Genauigkeitsmetriken in der begleitenden technischen Dokumentation anzugeben und damit eine nachgelagerte Überprüfung und behördliche Kontrolle zu ermöglichen.

Zweitens müssen Systeme Robustheit nachweisen — die Fähigkeit, mit Fehlern, Störungen und Inkonsistenzen umzugehen, die aus dem System selbst, seiner Betriebsumgebung oder absichtlicher feindlicher Manipulation entstehen. Die Verordnung erwähnt ausdrücklich die Notwendigkeit, das Risiko unbeabsichtigter Rückkopplungsschleifen zu adressieren, insbesondere wenn ein Hochrisiko-KI-System seine eigenen Trainingsdaten oder Ausgaben beeinflusst.

Drittens müssen Systeme Cybersicherheitsmaßnahmen einbeziehen, die den von ihnen ausgehenden Risiken angemessen sind. Diese Maßnahmen müssen vor Versuchen Dritter schützen, Systemschwachstellen auszunutzen, die dazu führen könnten, dass das System schädlich, verzerrt oder anderweitig nicht konform handelt. Die Verordnung erkennt an, dass Cybersicherheitsresilienz kein statischer Zustand ist, sondern aufrechterhalten werden muss, wenn sich die Bedrohungslandschaft weiterentwickelt.

Zusammengenommen operationalisiert Artikel 15 das übergeordnete Prinzip — das in den Erwägungsgründen 51 und 52 formuliert ist — dass technische Vertrauenswürdigkeit eine Voraussetzung für den Einsatz von KI in folgenreichen Bereichen ist.

Praktische Bedeutung

Artikel 15 begründet konkrete Ingenieurs- und Governance-Pflichten für jede Organisation, die ein Hochrisiko-KI-System auf dem EU-Markt in Verkehr bringt oder in Betrieb nimmt.

Für Anbieter bedeutet dies unmittelbar, dass Genauigkeit nicht nur eine kommerzielle Behauptung ist, sondern eine regulatorische Verpflichtung, die dokumentiert, gemessen und aufrechterhalten werden muss. Ein Medizingerätehersteller, der ein KI-Diagnosewerkzeug integriert, muss angeben, ob Genauigkeit als Sensitivität, Spezifität, AUC oder eine andere Metrik gemessen wird — und diese Wahl muss mit dem Verwendungszweck und dem Risikoprofil des Systems übereinstimmen. Vage oder anspruchsvolle Genauigkeitsaussagen werden die Anforderung nicht erfüllen.

Robustheitstests müssen über die standardmäßige Qualitätssicherung hinausgehen. Anbieter sollten Stresstests, Tests außerhalb der Verteilung und — wenn das System nutzergesteuerten Eingaben ausgesetzt ist — feindliches Red-Teaming durchführen. Wenn ein System Rückkopplungsschleifen enthält (zum Beispiel ein Einstellungsalgorithmus, der aus Recruiterentscheidungen lernt), müssen Anbieter das Risiko kartografieren und mindern, dass verzerrte Ausgaben künftige Trainingszyklen korrumpieren.

Cybersicherheitspflichten gemäß Artikel 15 sollten in Verbindung mit der allgemeinen Informationssicherheitslage des Anbieters gelesen werden. Hochrisiko-KI-Systeme, die personenbezogene Daten verarbeiten oder mit kritischen Infrastrukturen verbunden sind, sehen sich sowohl nach dieser Verordnung als auch nach der NIS-2-Richtlinie kumulierten Pflichten gegenüber. Praktische Schritte umfassen Modellzugriffskontrollen, Eingabebereinigung, Anomalieerkennung bei Inferenzanfragen und Verfahren zur Offenlegung von Schwachstellen.

Für Betreiber hängt die Einhaltung von Artikel 15 wesentlich davon ab, die validierten Betriebsbedingungen, die der Anbieter beschrieben hat, aufrechtzuerhalten. Das Einsetzen eines Systems auf Datenverteilungen, die sich wesentlich von den bei der Validierung verwendeten unterscheiden — beispielsweise die Anwendung eines Kreditbewertungsmodells, das auf einem nationalen Markt trainiert wurde, auf eine andere Jurisdiktion — kann die Genauigkeits- und Robustheitseigenschaften gefährden, auf deren Grundlage die CE-Kennzeichnung erteilt wurde.

Wesentliche Pflichten

• Genauigkeitsmetriken deklarieren: Anbieter müssen die relevanten Genauigkeitsmetriken für das Hochrisiko-KI-System angeben und in die nach Artikel 11 und Annex IV erforderliche technische Dokumentation aufnehmen. Die Metriken müssen dem Verwendungszweck des Systems angemessen sein.
• Angemessene Genauigkeit erreichen und aufrechterhalten: Das System muss so gestaltet und entwickelt sein, dass es das deklarierte Genauigkeitsniveau erreicht; Genauigkeit darf nicht als einmaliges Validierungsergebnis behandelt werden, sondern muss nach der Bereitstellung durch das nach Artikel 72 erforderliche Marktüberwachungssystem überwacht werden.
• Robustheit gegenüber Fehlern und Inkonsistenzen sicherstellen: Technische und organisatorische Maßnahmen müssen vorhanden sein, damit das System mit Fehlern, Störungen und Inkonsistenzen umgehen kann — unabhängig davon, ob sie aus internen Ausfällen, Umgebungsvariabilität oder absichtlichen feindlichen Eingaben entstehen — ohne unsichere oder nicht konforme Ausgaben zu erzeugen.
• Schutz vor feindlichen Angriffen: Wenn das System Eingaben Dritter ausgesetzt ist, müssen Anbieter Maßnahmen implementieren, um feindliche Manipulation zu erkennen und abzuwehren, einschließlich Prompt-Injection, Model-Inversion oder Data-Poisoning-Angriffe, sofern anwendbar.
• Risiken von Rückkopplungsschleifen adressieren: Wenn die Ausgaben eines Systems künftige Trainingsdaten oder das Modellverhalten beeinflussen könnten, müssen Anbieter dieses Risiko in der technischen Dokumentation identifizieren und Schutzmaßnahmen einführen, um die Leistungsverschlechterung oder die Verstärkung von Verzerrungen im Laufe der Zeit zu verhindern.
• Verhältnismäßige Cybersicherheitsmaßnahmen implementieren: Technische Lösungen — einschließlich Zugriffskontrollen, Überwachung und Verfahren zur Reaktion auf Vorfälle — müssen den Cybersicherheitsrisiken des Systems angemessen sein, unter Berücksichtigung seines Verwendungszwecks, des Einsatzkontexts und der Exposition gegenüber externen Netzwerken oder nutzergesteuerten Eingaben.

Beziehung zu anderen Artikeln

Artikel 15 kann nicht isoliert gelesen werden. Er steht im Mittelpunkt der technischen Anforderungen für Hochrisiko-KI-Systeme und überschneidet sich mit mehreren anderen Bestimmungen der Verordnung.

Artikel 9 (Risikomanagementsystem) bietet den übergeordneten Rahmen, in dem Genauigkeits-, Robustheits- und Cybersicherheitsrisiken identifiziert, bewertet und gemindert werden müssen. Das Risikomanagementsystem ist das prozedurale Instrument zur Erfüllung vieler der materiellen Anforderungen, die Artikel 15 auferlegt.

Artikel 10 (Daten und Datenverwaltung) ist grundlegend für die Genauigkeit: Ein System, das mit qualitativ minderwertigen, nicht repräsentativen oder verzerrten Daten trainiert wurde, kann keine sinnvollen Genauigkeitsgarantien liefern. Datenverpflichtungen ermöglichen unmittelbar die Einhaltung von Artikel 15.

Artikel 11 und Annex IV legen fest, was in der technischen Dokumentation erscheinen muss, einschließlich der nach Artikel 15(1) erforderlichen Genauigkeitsmetriken.

Artikel 17 (Qualitätsmanagementsystem) verlangt von Anbietern, die Einhaltung von Artikel 15 in ihre organisatorischen Prozesse einzubetten, einschließlich Designkontrollen, Testprotokollen und Änderungsmanagementverfahren.

Artikel 72 (Marktüberwachung nach dem Inverkehrbringen) begründet die fortlaufende Pflicht, sicherzustellen, dass Genauigkeits- und Robustheitsniveaus nach der Bereitstellung aufrechterhalten werden, und schließt damit den Lebenszyklus-Kreislauf, den Artikel 15 in der Gestaltungsphase öffnet.

Für Systeme, die auch Medizinprodukte oder Sicherheitskomponenten sind, muss Artikel 15 zusammen mit den in Annex I aufgeführten anwendbaren Unionsharmonisierungsrechtsvorschriften gelesen werden.

Zeitplan für die Compliance

Artikel 15 folgt dem gestaffelten Anwendungszeitplan, der durch Artikel 113 der Verordnung (EU) 2024/1689 festgelegt wurde, die am 1. August 2024 in Kraft trat.

Anbieter, die Hochrisiko-KI-Systeme vor dem anwendbaren Datum entwickeln oder in Verkehr bringen, müssen dennoch vorab Dokumentation, Testprotokolle und Cybersicherheitsarchitekturen vorbereiten — Bereitschaftsbewertungen zur Regulierungskonformität und Konformitätsbewertungen gemäß den Artikeln 43–47 erfordern erhebliche Vorlaufzeit. Rückstände bei notifizierten Stellen und die Komplexität von adversarialen Tests bedeuten, dass Organisationen, die auf eine Markteinführung 2026 abzielen, spätestens Mitte 2025 mit Lückenanalysen gemäß Artikel 15 beginnen sollten.