Verwendung von Drittanbieter-KI-Systemen und LLMs: Betreiberpflichten nach dem EU AI Act

90 % der Organisationen, die KI verwenden, sind Betreiber, die Drittanbieter-Modelle — OpenAI, Anthropic, Azure AI oder KI-SaaS-Tools — integrieren. Verstehen Sie Ihre Pflichten: Was der Anbieter Ihnen geben muss, was Sie tun müssen und wann Sie selbst zum Anbieter werden.

Die Realität von Drittanbieter-KI: Die meisten Organisationen sind Betreiber

Die Mehrheit der europäischen Organisationen, die KI verwenden, sind weder OpenAI, noch Mistral, noch ein Forschungslabor. Sie integrieren bestehende Modelle — über eine API, eine SaaS-Plattform, eine Azure-AI-Komponente oder ein Business-Tool-Plugin. Salesforce Einstein, Copilot für Microsoft 365, ein HR-Chatbot, der von einem großen Sprachmodell betrieben wird, eine von einem Spezialanbieter gekaufte Kreditwürdigkeitslösung: In all diesen Fällen sind Sie ein Betreiber eines von jemandem anderen gebauten KI-Systems.

Diese Position wird von der überwiegenden Mehrheit der vom EU AI Act betroffenen Organisationen eingenommen. Sie trägt präzise Pflichten — unterschiedlich von denen des Anbieters, aber nicht vernachlässigbar. Sie kann sich auch entwickeln: Wenn Sie das System ändern oder weiterverkaufen, ändert sich Ihr rechtlicher Status.

Das Verstehen Ihrer Position in der KI-Wertschöpfungskette ist der erste Schritt in jedem Compliance-Aufwand.

Ihre Pflichten als Betreiber

Betreiberpflichten unterscheiden sich je nach dem Risikoniveau des KI-Systems, das Sie verwenden.

Für hochriskante KI-Systeme (Anhang III)

Wenn Sie ein Drittanbieter-KI-System einsetzen, das als hochriskant qualifiziert (Kreditwürdigkeitsbewertung, biometrische Identifizierung, Recruiting-Screening, Management kritischer Infrastrukturen usw.), sind Ihre Pflichten nach Art. 26:

1. Gebrauchsanweisungen einhalten Das System nur für seinen beabsichtigten Zweck und gemäß den Anweisungen verwenden, die der Anbieter bereitstellen muss. Ein hochriskantes KI-System außerhalb seines validierten Anwendungsbereichs zu verwenden, ist ein Compliance-Versagen, auch wenn Sie nur ein Betreiber sind.

2. Menschliche Aufsicht zuweisen Eine natürliche Person mit der Kompetenz, Autorität und den Ressourcen benennen, um sinnvolle menschliche Aufsicht über die Ausgaben des KI-Systems durchzuführen. Diese Person muss verstehen können, was das System tut, Anomalien erkennen und das System bei Bedarf überschreiben oder stoppen können.

3. Eingabedatenqualität sicherstellen Sicherstellen, dass Daten, die Sie in das System einspeisen, für den beabsichtigten Zweck in Ihrem spezifischen Einsatzkontext relevant, ausreichend repräsentativ und angemessen sind. Ein auf einer Population validiertes System kann auf Ihrer anders performen — das ist Ihr Risiko zu managen.

4. Betrieb überwachen und Anomalien erkennen Den Systembetrieb aktiv auf Anomalien, unerwartete Ausgaben oder Leistungsverschlechterung überwachen. Dies liegt nicht in der Verantwortung des Anbieters beim Einsatz — es ist Ihre.

5. Protokolle aufbewahren Die vom System erzeugten automatischen Protokolle für den vom Gesetz geforderten Zeitraum aktivieren und aufbewahren (und alle sektoralen Regulierungen, die gelten können). Schalten Sie die Protokollierung nicht aus, um Speicherkosten zu sparen.

6. Schwerwiegende Vorfälle melden Wenn Sie von einem schwerwiegenden Vorfall oder Fehler Kenntnis erhalten — einem, der Tod, schwerwiegenden Schaden, Grundrechtsverletzungen oder erheblichen Sachschaden verursacht hat oder verursachen könnte — den Anbieter ohne unangemessene Verzögerung benachrichtigen. In einigen Fällen (insbesondere wenn der Einsatz öffentliche Dienste oder strafverfolgungsnahe Aktivitäten beinhaltet) kann auch eine direkte Meldung an die nationale Marktüberwachungsbehörde erforderlich sein.

7. Grundrechte-Folgenabschätzung (öffentliche Stellen) Wenn Sie eine öffentliche Stelle sind oder ein privates Unternehmen, das KI-Systeme in Bereichen einsetzt, die wahrscheinlich Grundrechte betreffen (Gesundheitsversorgung, Sozialdienste, Bildung, Strafverfolgung), müssen Sie vor dem Einsatz eine Grundrechte-Folgenabschätzung durchführen (Art. 27).

Für nur-Transparenz-KI-Systeme (Art. 50)

Wenn Sie einen Chatbot, ein KI-generiertes Inhaltssystem oder ein Emotionserkennungstool einsetzen, das nicht hochriskant ist, aber Art.-50-Transparenzpflichten unterliegt, müssen Sie:

• Nutzer informieren, dass sie mit einem KI-System interagieren (Art. 50(1))
• Sicherstellen, dass KI-generierte Inhalte technisch gekennzeichnet sind (Art. 50(4)), wo anwendbar
• Betroffene Personen informieren, wenn Emotionserkennung oder biometrische Kategorisierung verwendet wird (Art. 50(2)–(3))

Diese Pflichten gelten auch bei Verwendung einer Drittanbieter-API oder eines SaaS-Tools. Der Anbieter ist für den Einbau der technischen Fähigkeit verantwortlich; Sie sind verantwortlich dafür, sie zu aktivieren und sicherzustellen, dass die Offenlegung tatsächlich die Nutzer erreicht.

Für KI-Systeme mit minimalem Risiko

Keine spezifischen rechtlichen Pflichten nach dem AI Act. Freiwillige Verhaltenskodizes gelten. Good-Governance-Praxis empfiehlt trotzdem eine grundlegende Dokumentation der verwendeten KI-Systeme und periodische Überprüfung ihrer Leistung.

Was Sie von Ihrem Drittanbieter-KI-Anbieter fordern müssen

Ihre Fähigkeit, Betreiberpflichten zu erfüllen, hängt direkt davon ab, was der Anbieter Ihnen gibt. Der EU AI Act verpflichtet Anbieter hochriskanter KI-Systeme, spezifische Informationen bereitzustellen — und GPAI-Modellanbieter haben parallele Dokumentationspflichten. Verwenden Sie diese Checkliste bei der Beschaffung von Drittanbieter-KI:

Für jedes KI-System

• Systembeschreibung: Was macht das System, welche Eingaben nimmt es, welche Ausgaben produziert es und welche Entscheidungen kann es beeinflussen?
• Verwendungszweck: Für welche Anwendungsfälle wurde das System genau konzipiert, validiert und genehmigt?
• Bekannte Einschränkungen: Unter welchen Bedingungen schneidet das System schlecht ab? Welche Populationen, Sprachen oder Datentypen liegen außerhalb seines validierten Anwendungsbereichs?
• Gebrauchsanweisungen: Der vollständige Satz von Anweisungen, die der Anbieter nach Art. 13 für hochriskante Systeme bereitstellen muss

Speziell für hochriskante Systeme

• Konformitätserklärung oder Zusammenfassung der Konformitätsbewertungsergebnisse
• Risikomanagemtationsdokumentation — welche Risiken wurden identifiziert und wie wurden sie gemindert?
• Bias- und Fairness-Test-Ergebnisse — welche geschützten Merkmale wurden getestet, welche Metriken wurden verwendet und welche Ergebnisse wurden gefunden?
• Leistungsmetriken — Genauigkeit, Falsch-Positiv-/Negativ-Raten und disaggregierte Leistung nach relevanten demografischen Gruppen
• Protokollierungsfähigkeit — Bestätigung, dass das System die von Art. 12 geforderten Protokolle generiert, und Anweisungen zum Zugriff und zur Aufbewahrung
• Vorfallmeldevorgang — wen zu kontaktieren, in welchem Zeitraum und über welchen Kanal bei einem schwerwiegenden Vorfall
• Update-Richtlinie — wie informiert der Anbieter Sie über wesentliche Updates und welche erneute Validierung ist nach Updates erforderlich?

Für GPAI-Modelle (APIs und Basismodell-Zugang)

• Modellkarte oder technische Zusammenfassung — Fähigkeiten, Einschränkungen, Trainingsdaten-Zusammenfassung, Bewertungsergebnisse
• Urheberrechts-Konformitätserklärung — wie geht der Anbieter mit dem Urheberrecht für Trainingsdaten und Ausgaben um?
• Acceptable-Use-Policy — welche Anwendungsfälle sind vom Anbieter verboten und was passiert, wenn Sie dagegen verstoßen?
• Datenverarbeitungsbedingungen — wie geht der Anbieter mit Ihren Eingabedaten um? Werden sie für weiteres Training verwendet?

Wenn Sie zum Anbieter werden

Art. 25 des EU AI Act ist entscheidend für Drittanbieter-KI-Nutzer: Es definiert, wann ein Betreiber zum Anbieter übergeht und alle Anbieterpflichten übernimmt.

Sie werden zum Anbieter, wenn Sie:

1. Ein hochriskantes KI-System wesentlich ändern

Wenn Sie ein hochriskantes KI-System nehmen und wesentliche Änderungen vornehmen, die über das vom Anbieter Beabsichtigte hinausgehen — das Modell ändern, auf Ihren Daten neu trainieren, Kernlogik ändern — sind Sie jetzt Anbieter eines neuen oder wesentlich geänderten Systems. Alle Anbieterpflichten gelten: Konformitätsbewertung, technische Dokumentation, CE-Kennzeichnung, EU-Datenbankregistrierung.

Schlüsselfrage: Ist Ihre Anpassung „Verwendung innerhalb der vorgesehenen Parameter" oder „Entwicklung einer neuen Fähigkeit"? Die Feinabstimmung eines Modells auf Ihre Domaindaten kann je nach Änderungsgrad und ob es das Risikoprofil beeinflusst wesentliche Änderung sein oder nicht.

2. Den Verwendungszweck auf hochriskant ändern

Wenn Sie ein System, das nicht als hochriskant klassifiziert ist, für einen hochriskanten Anwendungsfall einsetzen — z. B. einen allgemeinen Textklassifizierer für Beschäftigungsentscheidungen verwenden —, haben Sie den Verwendungszweck so geändert, dass die Hochrisiko-Klassifizierung ausgelöst wird. Sie werden Anbieter eines hochriskanten KI-Systems und müssen alle Anbieterpflichten für diesen Einsatz einhalten.

3. Das System unter eigenem Namen auf den Markt bringen

Wenn Sie ein KI-System kaufen oder lizenzieren und es an andere weiterverkaufen oder als Ihr eigenes Produkt anbieten (White-Labeling), bringen Sie es unter eigenem Namen auf den Markt und werden Anbieter. Dies ist im SaaS-Sektor häufig: Die Integration eines Drittanbieter-Modells in Ihr eigenes Produktangebot macht Sie zum Anbieter für dieses Produkt.

4. Wesentliche Änderungen an einem GPAI-Modell vornehmen

Wenn Sie ein GPAI-Modell nehmen und wesentliche Änderungen an seinen Fähigkeiten oder seinem Anwendungsfall vornehmen — über die Feinabstimmung innerhalb der vorgesehenen Parameter des Anbieters hinaus —, können Sie Anbieter eines neuen GPAI-Modells mit eigenen Kapitel-V-Pflichten werden.

Vertragliche Schutzmaßnahmen für Betreiber

Da Ihre Konformität davon abhängt, was der Anbieter Ihnen gibt, sind Ihre Verträge mit Drittanbieter-KI-Anbietern ein kritisches Compliance-Tool. Wesentliche Klauseln:

Informationsrechte

• Recht auf Erhalt und regelmäßig aktualisierte Version der Gebrauchsanweisungen
• Recht auf Zugang zur Konformitätserklärung und Konformitätsbewertungs-Zusammenfassung
• Recht auf Erhalt von Bias-Test-Ergebnissen und Leistungsmetriken
• Recht auf Erhalt von Dokumentation wesentlicher Modell-Updates vor dem Einsatz

Vorfallmanagement

• Verpflichtung des Anbieters, Sie über etwaige schwerwiegende Vorfälle oder Schwachstellen, von denen er Kenntnis erlangt, innerhalb einer definierten Frist zu benachrichtigen
• Klarer Kanal und Prozess für Sie, dem Anbieter Vorfälle zu melden
• Verpflichtung des Anbieters, bei Ihren Vorfalluntersuchungen und regulatorischen Anfragen zu kooperieren

Prüfungsrechte

• Recht auf Prüfung oder auf Erhalt von Prüfberichten über die Compliance des Anbieters mit AI-Act-Pflichten
• Recht auf Anforderung aktualisierter Dokumentation bei wesentlichen Änderungen

Update-Pflichten

• Anbieter muss Sie vor dem Einsatz wesentlicher Updates des KI-Systems benachrichtigen
• Anbieter muss Sie beraten, ob ein Update eine wesentliche Änderung darstellt, die eine erneute Validierung erfordert
• Dokumentationskontinuität — aktualisierte technische Dokumentation muss mit jedem wesentlichen Update bereitgestellt werden

Haftungsaufteilung

• Klarheit darüber, welche Partei für welche Pflichten nach Art. 25 verantwortlich ist
• Entschädigung für Verluste, die sich aus der Nichterfüllung der Anbieter-Pflichten durch den Anbieter ergeben
• Haftungsbeschränkungsbestimmungen, die Ihre Fähigkeit zur Erfüllung regulatorischer Pflichten nicht untergraben

Der Anbieter-KI-Markt: Was zu beachten ist

Der Markt für KI-Tools und -Dienste entwickelt sich schnell, und die EU-AI-Act-Compliance-Position von Anbietern variiert erheblich:

• Große Cloud- und KI-Anbieter (Microsoft, Google, AWS, OpenAI, Anthropic) haben erheblich in KI-Governance und GPAI-Compliance-Dokumentation investiert. Ihre Nutzungsbedingungen und Modellkarten bieten mehr Informationen als die meisten anderen Anbieter.
• Spezialistische vertikale KI-Anbieter (HR-Tech, Legal-Tech, Fintech, Healthtech) befinden sich in unterschiedlichen Stadien der EU-AI-Act-Bereitschaft. Viele sind KMU, die ihre Pflichten noch nicht vollständig kartiert haben.
• Eingebettete KI in SaaS-Tools (KI-Funktionen in CRM, ERP, Produktivitätstools) werden möglicherweise nicht als „KI-Produkte" vermarktet — aber wenn sie folgenreiche Entscheidungen über Einzelpersonen treffen oder beeinflussen, gelten EU-AI-Act-Pflichten.

Beschaffungsteams sollten die AI-Act-Compliance-Prüfung zur Anbieter-Due-Diligence hinzufügen — Anbieter bitten, ihren Compliance-Status zu bestätigen, Konformitätsdokumentation für hochriskante Systeme bereitzustellen und sich zu fortlaufendem Informationsaustausch verpflichten, wenn sich die regulatorische Landschaft entwickelt.