Artikel 14 der Verordnung (EU) 2024/1689 — Menschliche Aufsicht. Offizieller Text, praktische Auslegung, wesentliche Pflichten und Compliance-Auswirkungen.
Zusammenfassung des offiziellen Textes
Artikel 14 der Verordnung (EU) 2024/1689 legt verbindliche Anforderungen an die menschliche Aufsicht über Hochrisiko-KI-Systeme fest und bildet eine zentrale Säule des Regulierungsrahmens gemäß Titel III, Kapitel 2. Der Artikel verlangt, dass Hochrisiko-KI-Systeme so gestaltet und entwickelt werden, dass sie während des Nutzungszeitraums wirksam von natürlichen Personen beaufsichtigt werden können.
Konkret schreibt Artikel 14(1) vor, dass Anbieter, soweit technisch machbar, sicherstellen, dass Maßnahmen zur menschlichen Aufsicht vor dem Inverkehrbringen oder der Inbetriebnahme in das System integriert werden. Diese Maßnahmen müssen es den mit der Aufsicht beauftragten Personen ermöglichen, die Fähigkeiten und Grenzen des Systems zu verstehen (Artikel 14(4)(a)), den Betrieb auf Anzeichen von Anomalien, Fehlfunktionen oder unerwarteter Leistung zu überwachen (Artikel 14(4)(b)), sich des Risikos von Automatisierungsverzerrungen bewusst zu sein (Artikel 14(4)(c)), Ausgaben korrekt zu interpretieren (Artikel 14(4)(d)) und zu entscheiden, das System in jeder Situation nicht zu verwenden oder es außer Kraft zu setzen, zu ignorieren oder anzuhalten (Artikel 14(4)(e)).
Artikel 14(3) verlangt, dass die mit der Aufsicht beauftragten natürlichen Personen über die notwendige Kompetenz, Befugnis und Ressourcen zur Erfüllung ihrer Aufgabe verfügen. Soweit ein System für die Nutzung durch natürliche Personen bestimmt ist, müssen die Aufsichtsmaßnahmen im technisch machbaren Umfang direkt in die Systemschnittstelle eingebaut werden. Artikel 14(5) adressiert Systeme mit einer Sicherheitskomponentenfunktion und stellt erhöhte Erwartungen auf, wenn KI-Ausgaben in sicherheitskritische Entscheidungen einfließen.
Praktische Bedeutung
Artikel 14 begründet Pflichten sowohl für Anbieter als auch für Betreiber, wobei die Art dieser Pflichten in jeder Phase des KI-System-Lebenszyklus unterschiedlich ist.
Für Anbieter ist die Pflicht in erster Linie eine Gestaltungspflicht: Menschliche Aufsicht darf nicht als nachträglicher Gedanke nach der Entwicklung angehängt werden, sondern muss von Anfang an als Merkmal in das System eingebaut werden. Dies bedeutet, Schnittstellen zu bauen, die aussagekräftige Konfidenzindikatoren anzeigen, Ausgaben mit geringer Sicherheit kennzeichnen, eine Unterbrechung oder Außerkraftsetzung ohne technische Hürden ermöglichen und eine Dokumentation bereitstellen, die Betreibern das Verständnis ermöglicht, welche Aufsicht realistischerweise erreichbar ist.
Für Betreiber ist die Pflicht operativer Natur: Sie müssen qualifizierte Personen zur Systemüberwachung einsetzen, sicherstellen, dass diese Personen über die Grenzen des Systems geschult und informiert sind, Verfahren für Eskalation und Eingreifen festlegen und Aufzeichnungen über Aufsichtstätigkeiten führen. Ein Betreiber, der ein KI-gestütztes Screening-Tool für die Personalrekrutierung einsetzt, muss beispielsweise sicherstellen, dass menschliche Personalverantwortliche markierte Kandidaten überprüfen, die vom Modell angewendeten Kriterien verstehen und die Befugnis behalten, Rankings ohne Strafe oder verfahrensmäßige Behinderung außer Kraft zu setzen.
Ein kritisches praktisches Problem ist die Automatisierungsverzerrung — die dokumentierte Tendenz menschlicher Aufseher, KI-Ausgaben unkritisch zu folgen. Artikel 14(4)(c) verlangt ausdrücklich, dass Aufsichtspersonen sich dieses Risikos bewusst sind. In der Praxis bedeutet dies, dass Schulungsprogramme kognitive Verzerrungen ansprechen müssen und Arbeitsabläufe so strukturiert sein sollten, dass echte Überlegung erforderlich ist und kein bloßes Durchwinken stattfindet.
Betreiber in regulierten Sektoren wie Gesundheitswesen, Strafverfolgung und Kreditbewertung sehen sich erhöhten Erwartungen gegenüber, angesichts der Schwere der Schäden, die aus unkontrollierten KI-Empfehlungen in diesen Kontexten resultieren können.
Wesentliche Pflichten
- Integration in der Gestaltungsphase: Anbieter müssen menschliche Aufsichtsfähigkeiten in Hochrisiko-KI-Systeme vor der Marktplatzierung einbauen und sicherstellen, dass diese technisch realisierbar und nicht nur nominell vorhanden sind.
- Verständlichkeit: Aufsichtsmaßnahmen müssen beauftragten Personen ermöglichen, die Fähigkeiten, den Verwendungszweck und die Grenzen des Systems zu verstehen, einschließlich der Bedingungen, unter denen die Leistung nachlassen kann.
- Anomalieüberwachung: Beauftragte Personen müssen in der Lage sein, Fehlfunktionen, unerwartete Ausgaben und Abweichungen vom erwarteten Systemverhalten während des Betriebs zu erkennen.
- Bewusstsein für Verzerrungen: Für die Aufsicht verantwortliche Personen müssen auf das Risiko von Automatisierungsverzerrungen und die Tendenz hingewiesen werden, KI-generierte Ausgaben ohne unabhängige Überprüfung zu stark zu vertrauen.
- Außerkraftsetzungsbefugnis: Aufsichtspersonen müssen die echte, ungehinderte Möglichkeit haben, das KI-System jederzeit während der Nutzung zu ignorieren, außer Kraft zu setzen oder anzuhalten, ohne dass technische oder organisatorische Barrieren ein Eingreifen verhindern.
- Kompetenz- und Ressourcenanforderungen: Betreiber müssen sicherstellen, dass mit der Aufsicht beauftragte Personen über ausreichende Kompetenz, Ausbildung, Befugnis und Zeit verfügen, um eine sinnvolle Überwachung durchzuführen — die Aufsicht kann nicht an Personen delegiert werden, denen die notwendigen Qualifikationen oder Kapazitäten fehlen.
Beziehung zu anderen Artikeln
Artikel 14 funktioniert nicht isoliert. Er setzt die Einhaltung von Artikel 9 (Risikomanagementsystem) voraus, da eine wirksame Aufsicht davon abhängt, dass die Risiken des Systems und die Bedingungen, unter denen die Aufsicht kritisch wird, identifiziert wurden. Er steht in engem Zusammenhang mit Artikel 13 (Transparenz und Bereitstellung von Informationen für Betreiber), der von Anbietern verlangt, die Informationen bereitzustellen, die Betreiber benötigen, um das System zu verstehen und zu beaufsichtigen — ohne diese Informationen kann die in Artikel 14 vorgesehene Aufsicht nicht funktionieren.
Artikel 16 und Artikel 26 legen die allgemeinen Pflichten von Anbietern bzw. Betreibern fest, in die die Pflichten aus Artikel 14 eingebettet sind. Artikel 17 (Qualitätsmanagementsystem) verlangt, dass Verfahren zur menschlichen Aufsicht als Teil des Qualitätsrahmens des Anbieters dokumentiert werden.
Bei Systemen mit Sicherheitskomponentenfunktion überschneidet sich Artikel 14(5) mit der in Annex I genannten Produktsicherheitsgesetzgebung und mit sektorspezifischen Anforderungen, die zusätzliche oder spezifischere Aufsichtspflichten auferlegen können. Schließlich erweitert Artikel 72 (Marktüberwachung nach dem Inverkehrbringen) die Logik der Aufsicht über die Bereitstellung hinaus auf den laufenden operativen Lebenszyklus des Systems.
Zeitplan für die Compliance
Die Verordnung (EU) 2024/1689 trat am 1. August 2024, zwanzig Tage nach der Veröffentlichung im Amtsblatt, in Kraft. Ihre Bestimmungen gelten nach einem gestaffelten Zeitplan:
- 2. Februar 2025: Verbote von KI-Praktiken mit inakzeptablem Risiko (Artikel 5) wurden anwendbar.
- 2. August 2025: Regeln für Allzweck-KI-Modelle (Titel VIII) und Governance-Pflichten (Titel III, Kapitel 4) wurden anwendbar.
- 2. August 2026: Pflichten für Hochrisiko-KI-Systeme, die in Annex III aufgeführt sind — einschließlich Artikel 14 — werden für die meisten Kategorien vollständig anwendbar. Dies ist die primäre Compliance-Frist für Anbieter und Betreiber von Hochrisiko-KI-Systemen, die menschlichen Aufsichtsanforderungen unterliegen.
- 2. August 2027: Verlängerte Frist für bestimmte Hochrisiko-KI-Systeme, die bereits sektorspezifischen Unionsharmonisierungsrechtsvorschriften unterliegen (Annex-I-Systeme), um diesen Lieferketten zusätzliche Zeit für die Anpassung der Konformitätsbewertungsverfahren zu geben.
Anbieter und Betreiber von Hochrisiko-KI-Systemen sollten den 2. August 2026 als maßgebliche Frist für die Einhaltung von Artikel 14 betrachten, wobei vorbereitende Gestaltungs- und Governance-Arbeiten weit im Voraus zu beginnen sind, um ausreichend Zeit für Konformitätsbewertung und Dokumentation zu lassen.
Official AI Act Compliance Deadline Calendar
Updated · Sources: Regulation (EU) 2024/1689 and the 2026 Digital Omnibus on AI.
| Obligation | Applies to | Original date | New date | Status | Countdown | Legal basis |
|---|---|---|---|---|---|---|
| Prohibited Practices (Art. 5) | All providers and deployers | active | — | AI Act Art. 5 | ||
| GPAI Rules (Chapter 5) | GPAI model providers | active | — | AI Act Art. 51-56 | ||
| AI-Generated Content Marking | Providers of generative GPAI systems | active | — | AI Act Art. 50(2) | ||
| Regulatory Sandboxes | National competent authorities | active | — | AI Act Art. 57 | ||
| High-risk AI — Annex III (standalone) | Providers of standalone Annex III systems | deferred | — | AI Omnibus 2026 Art. 6(2) | ||
| High-risk AI — Annex I (embedded) | AI embedded in Annex I regulated products | deferred | — | AI Omnibus 2026 Art. 6(1) |
⬇ Download JSON · CC BY 4.0
AI Act meets DORA and NIS2
Is your organisation subject to both the AI Act and DORA? The two regulations intersect on the operational resilience of financial AI systems. Our sister site regulation-dora.eu covers DORA in depth — including what the AI Act adds on top of an existing DORA programme.
The AI Act for financial institutions ↗ Explore regulation-dora.eu ↗Frequently Asked Questions
Anbieter von Hochrisiko-KI-Systemen tragen die primäre Verantwortung dafür, menschliche Aufsichtsfähigkeiten in ihre Systeme einzubauen, bevor diese in Verkehr gebracht werden. Betreiber sind dann dafür verantwortlich, diese Maßnahmen in der Praxis umzusetzen, geeignete natürliche Personen zur Überwachung des Systembetriebs einzusetzen und sicherzustellen, dass diese Personen die notwendige Befugnis und Kompetenz zum Eingreifen besitzen.
Wirksame Aufsicht bedeutet, dass die mit der Überwachung eines Hochrisiko-KI-Systems beauftragten natürlichen Personen in der Lage sein müssen, die Fähigkeiten und Grenzen des Systems vollständig zu verstehen, Fehler oder unerwartetes Verhalten zu erkennen und zu beheben, seine Ausgaben korrekt zu interpretieren und das System bei Bedarf zu ignorieren, außer Kraft zu setzen oder anzuhalten. Es reicht nicht aus, nominell eine Person zu benennen — diese Person muss über eine echte Handlungsfähigkeit und -befugnis verfügen.
Nein. Artikel 14 schreibt keine menschliche Genehmigung jeder einzelnen Ausgabe vor. Er verlangt, dass menschliche Aufsicht in das System und seinen Einsatzkontext eingebaut wird, sodass eine verantwortliche Person den Betrieb überwachen, Anomalien erkennen und eingreifen kann. Die Intensität der Aufsicht muss dem Risiko angemessen sein; in einigen Hochrisiko-Kontexten kann eine engere, häufigere menschliche Überprüfung erforderlich sein als in anderen.
Artikel 14(4) erkennt an, dass bei bestimmten Systemen, die für die Nutzung durch natürliche Personen bestimmt sind, die Maßnahmen zur menschlichen Aufsicht insoweit in das System eingebaut werden müssen, wie dies angesichts des Verwendungszwecks technisch machbar ist. Kann eine vollständige Aufsicht nicht eingebettet werden, müssen Anbieter diese Einschränkung dokumentieren und Betreiber müssen durch organisatorische und verfahrensmäßige Schutzmaßnahmen kompensieren.
Ja. Artikel 14 gilt für alle Hochrisiko-KI-Systeme im Sinne von Annex III und Artikel 6, unabhängig davon, ob das System vollständig autonome Entscheidungen trifft oder lediglich menschliche Entscheidungsträger unterstützt. Auch unterstützende Systeme können Ergebnisse in einer Weise beeinflussen, die eine strukturierte Aufsicht erfordert, insbesondere wenn Ausgaben unkritisch verwertet werden könnten.
Stay ahead of AI Act changes
Get compliance alerts when deadlines or obligations change.
No spam. One-click unsubscribe.
Take compliance further with the AI Act Academy
Templates, training modules, and live Q&A — everything needed to implement AI Act compliance.