Bildung & EdTech — EU AI Act Compliance

EU AI Act Pflichten für KI im Bildungsbereich: Zulassungsverfahren, automatisierte Benotung, Prüfungsaufsicht und Lernplattformen. Erfasst Anhang III Kategorie 3 und besondere Schutzmaßnahmen für Studierende.

Bildungssektor und der EU AI Act — Warum Studierendenrechte im Mittelpunkt stehen

Der EU AI Act (Verordnung (EU) 2024/1689) identifiziert Bildung und Berufsbildung als Bereich erhöhten Risikos und stuft bestimmte KI-Anwendungen darin als hochriskant nach Anhang III, Kategorie 3 ein. Diese Einstufung spiegelt eine grundlegende Wertungsentscheidung des europäischen Gesetzgebers wider: KI-Systeme, die den Zugang zu Bildungschancen prägen oder akademische Ergebnisse bestimmen, berühren Rechte von tiefgreifender individueller Bedeutung — das Recht auf Bildung (Art. 14, EU-Grundrechtecharta), das Recht auf Nichtdiskriminierung (Art. 21) sowie für den hohen Anteil minderjähriger Studierender die erhöhten Schutzmaßnahmen des GDPR Art. 8 und internationaler Rahmenwerke, darunter die UN-Kinderrechtskonvention (UNCRC).

Der Bildungssektor weist ein unverwechselbares Compliance-Profil auf. Die meisten Bildungseinrichtungen — Universitäten, Schulen und Berufsbildungseinrichtungen — nehmen die Rolle des Betreibers nach dem EU AI Act ein: Sie beschaffen und betreiben KI-Systeme, die von EdTech-Anbietern entwickelt wurden, anstatt KI intern zu entwickeln. Diese Unterscheidung mindert ihre Pflichten nicht. Betreiber hochriskanter KI nach Art. 26 tragen eigenständige rechtliche Pflichten, die nicht allein durch den Kauf eines CE-gekennzeichneten Produkts erfüllt werden können. Gleichzeitig sind EdTech-Unternehmen, die KI-Systeme auf dem EU-Markt entwickeln und bereitstellen, Anbieter, die dem vollständigen Konformitätsbewertungsverfahren nach Kapitel III, Abschnitt 2 unterliegen.

Der Sektor ist zudem durch eine erhebliche Konzentration sensibler personenbezogener Daten gekennzeichnet. Verhaltensdaten von Studierenden, Leistungsaufzeichnungen, Engagement-Muster, Lernschwierigkeiten und demografische Profile werden von adaptiven Lernplattformen und Analysetools in großem Umfang verarbeitet. Diese Datenkonzentration bedeutet, dass EU AI Act Compliance im Bildungsbereich nicht losgelöst vom GDPR gestaltet werden kann — beide Rahmenwerke müssen als integrierte Compliance-Verpflichtung behandelt werden.

Hochriskante KI im Bildungsbereich — Zulassung, Benotung und Prüfungsaufsicht

Anhang III, Kategorie 3 definiert zwei eigenständige Kategorien hochriskanter Bildungs-KI. Das Verständnis des Anwendungsbereichs jeder Kategorie ist für Einstufungsentscheidungen unerlässlich.

Zulassungs-KI — Bestimmung des Zugangs zu Bildungseinrichtungen

Anhang III, Kategorie 3(a) erfasst KI-Systeme, die zur Bestimmung des Zugangs oder der Zuweisung zu Bildungs- und Berufsbildungseinrichtungen oder -programmen eingesetzt werden sollen. Diese Kategorie erfasst KI, die Bewerbende in Universitätszulassungsverfahren bewertet, einordnet oder filtert, KI, die frühere Qualifikationen oder die Anerkennung beruflicher Abschlüsse beurteilt, sowie KI, die die Berechtigung für bestimmte Studiengänge oder Spezialprogramme bestimmt.

Die Hochrisikoeinstufung gilt, wenn die Ausgabe des KI-Systems einen wesentlichen Einfluss auf den Zugang einer bewerbenden Person zu einer Bildungsmöglichkeit hat. Diese Schwelle wird von den meisten operativ eingesetzten Zulassungs-KI-Systemen erfüllt: Ein Bewertungsmodell, dessen Ergebnisse von Zulassungsbeauftragten ohne systematische Neubeurteilung der zugrunde liegenden Bewertung überprüft und umgesetzt werden, bestimmt Ergebnisse faktisch, auch wenn ein Mensch jede Entscheidung formell genehmigt. Anbieter solcher Systeme müssen Art. 9–15 einhalten (Datenverwaltung, technische Dokumentation, Protokollierung, Transparenz, menschliche Aufsicht, Genauigkeit und Robustheit). Einsetzende Einrichtungen müssen die Konformität prüfen und die Betreiberpflichten nach Art. 26 umsetzen, bevor das System in einem Zulassungsverfahren eingesetzt wird.

Bias-Risiken sind bei Zulassungs-KI besonders ausgeprägt. Systeme, die auf historischen Zulassungs- und Studienerfolgs­daten trainiert wurden, können bestehende Ungleichheiten kodieren — Geschlechtergefälle in bestimmten Fachbereichen, sozioökonomische Disparitäten bei der akademischen Vorbereitung, unterschiedliche Leistungen zwischen in- und ausländischen Bewerbenden. Art. 10 verlangt, dass Trainingsdaten Governance-Praktiken unterliegen, die bekannte Verzerrungen adressieren, und Art. 9 schreibt Risikomanagementmaßnahmen vor, die auf den Schweregrad potenzieller Schäden abgestimmt sind — was in diesem Zusammenhang die Verweigerung von Bildungszugang gegenüber qualifizierten Bewerbenden aus benachteiligten Gruppen einschließt.

Automatisierte Bewertungs-KI — Benotung und akademische Laufbahnzuweisung

Anhang III, Kategorie 3(b) erfasst KI-Systeme, die Studierende bewerten und beurteilen, einschließlich automatisierter KI-Benotungstools und Systemen, die Studierende differenzierten akademischen Laufbahnen zuweisen, sofern diese Systeme einen wesentlichen Einfluss auf ihre Bildungswege haben. Ein automatisiertes Essay-Bewertungstool, das Abschlussnoten erzeugt, die darüber entscheiden, ob ein Studierender eine Lehrveranstaltung besteht oder nicht besteht, eine Qualifikation erhält oder in die nächste Studienstufe aufsteigt, ist hochriskant. Ebenso fällt KI, die Studierende auf der Grundlage von Leistungsdaten in Förder-, Standard- oder Fortgeschrittenenkurse einteilt, in diese Kategorie, da sie einen wesentlichen Einfluss auf Bildungswege hat.

Die Grenze für formative Bewertungstools — Tools, die ausschließlich zur Rückmeldung an Studierende eingesetzt werden und bei denen eine menschliche Lehrkraft die volle und tatsächliche Kontrolle über alle benoteten Ergebnisse behält — ist enger gefasst. Solche Tools können außerhalb der Kategorie 3(b) fallen, diese Einstufung muss jedoch dokumentiert und begründet werden, und Einrichtungen müssen sicherstellen, dass die menschliche Aufsicht inhaltlich wirklich substanziell und nicht bloß eine formale Absegnung KI-generierter Ergebnisse ist.

Fernprüfungsaufsichts-KI

Fernprüfungsaufsichtssysteme, die das Verhalten von Studierenden während Prüfungen durch Videoanalyse, Eye-Tracking, Browser-Sperrung, Tastenanschlagsprotokollierung oder Erkennung von Verhaltensanomalien überwachen, stellen eine der rechtlich komplexesten KI-Anwendungen im Bildungsbereich dar. Sofern solche Systeme Studierende auf Basis ihrer automatisierten Analyse kennzeichnen oder disqualifizieren — oder sofern ihre Ergebnisse von menschlichen Prüfern auf eine Weise verwendet werden, die Ergebnisse maßgeblich bestimmt — stellen sie hochriskante KI nach Anhang III, Kategorie 3 dar, da sie Studierende beurteilen und erheblichen Einfluss auf deren Bildungswege haben.

Prüfungsaufsichts-KI berührt zudem das Verbot der biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen nach Art. 5(1)(d). Sofern Prüfungsaufsichtssysteme Gesichtserkennung einsetzen, um die Identität Studierender während einer Prüfung kontinuierlich in Echtzeit zu verifizieren, stellt dies eine verbotene biometrische Identifizierung dar, es sei denn, eine sehr enge gesetzliche Ausnahme eines Mitgliedstaats nach Art. 5(2)–(6) ist anwendbar. Einrichtungen, die Prüfungsaufsichts-KI einsetzen, müssen sorgfältig zwischen der Identitätsverifizierung beim Prüfungszugang (potenziell rechtmäßig, sofern konform) und der kontinuierlichen biometrischen Echtzeit-Überwachung während der gesamten Prüfungssitzung (dem Art. 5-Verbot unterliegend) unterscheiden.

Anbieter vs. Betreiber — EdTech-Unternehmen und Bildungseinrichtungen

Der EU AI Act verteilt Pflichten asymmetrisch zwischen Anbietern und Betreibern. Das Verständnis dieser Verteilung ist grundlegend für die Compliance-Planung sowohl für EdTech-Anbieter als auch für die Einrichtungen, die ihre Produkte nutzen.

Pflichten der EdTech-Anbieter

EdTech-Unternehmen, die hochriskante KI-Systeme auf dem EU-Markt entwickeln und bereitstellen, sind Anbieter nach Art. 3(3) und müssen die vollständigen Hochrisiko-KI-Anforderungen in Kapitel III, Abschnitt 2 erfüllen:

• Art. 9 — Einrichten und Aufrechterhalten eines Risikomanagementsystems für den gesamten Lebenszyklus des KI-Systems
• Art. 10 — Umsetzung von Datenverwaltung für Trainings-, Validierungs- und Testdatensätze, einschließlich Adressierung von Verzerrungen, Repräsentativität und statistischen Einschränkungen
• Art. 11 und Anhang IV — Pflege umfassender technischer Dokumentation zum Nachweis der Konformität
• Art. 12 — Sicherstellung automatischer Protokollierung des Systembetriebs zur nachträglichen Überprüfung von KI-Entscheidungen
• Art. 13 — Bereitstellung von Transparenzinformationen, die Betreibern ermöglichen, die Fähigkeiten und Einschränkungen des Systems zu verstehen
• Art. 14 — Gestaltung des Systems zur Ermöglichung effektiver menschlicher Aufsicht durch Betreiber
• Art. 15 — Erreichung angemessener Genauigkeit, Robustheit und Cybersicherheit für den beabsichtigten Bildungskontext
• Art. 49 — Registrierung des Systems in der EU-KI-Datenbank vor oder bei Markteinführung

Anbieter müssen einsetzenden Einrichtungen auch Gebrauchsanweisungen bereitstellen, die spezifisch genug sind, um Einrichtungen die Erfüllung ihrer eigenen Betreiberpflichten zu ermöglichen — einschließlich Informationen über die Studierendenuntergruppen, für die das System getestet wurde, bekannte Leistungseinschränkungen, Bias-Testergebnisse und Protokollverwaltungsverfahren.

Pflichten der institutionellen Betreiber

Universitäten, Schulen und Berufsbildungseinrichtungen, die hochriskante EdTech-KI nach Art. 26 einsetzen, müssen:

• Prüfen, ob das KI-System eine CE-Kennzeichnung trägt und ob eine EU-Konformitätserklärung verfügbar ist
• Die Gebrauchsanweisungen des Anbieters vollständig umsetzen
• Sicherstellen, dass qualifiziertes Personal mit ausreichender technischer Kompetenz und tatsächlicher Befugnis zur Intervention in KI-generierte Ergebnisse mit der Verantwortung für menschliche Aufsicht betraut wird
• Betriebsprotokolle für einen Mindestzeitraum aufbewahren und auf Anfrage nationalen Aufsichtsbehörden zur Verfügung stellen
• Schwerwiegende Vorfälle oder Fehlfunktionen dem Anbieter und, wo relevant, nationalen KI-Aufsichtsbehörden melden
• Eine Folgenabschätzung für Grundrechte (FRIA) nach Art. 27 vor dem Einsatz von KI-Bewertungs- oder Zulassungssystemen durchführen oder in Auftrag geben
• Hochriskante KI-Systeme nicht in einer Weise modifizieren, die ihren beabsichtigten Zweck ändert, ohne eine erneute Anbieterbewertung auszulösen

Wechselwirkung mit GDPR, Kinderrechten und nationalem Bildungsrecht

GDPR und die Verarbeitung von Studierendendaten

Bildungs-KI arbeitet mit Daten, die von Natur aus sensibel sind. Lernanalyseplattformen, adaptive Tutoringsysteme und Verhaltensüberwachungstools verarbeiten Daten, die akademische Leistungsaufzeichnungen, Engagement-Metriken, Verhaltenssignale und Kommunikation umfassen können — alles verknüpft mit identifizierbaren Studierenden.

Wo Studierende minderjährig sind, schränkt GDPR Art. 8 die Verarbeitung personenbezogener Daten auf Basis von Einwilligung ein: Mitgliedstaaten haben das Alter, unterhalb dessen elterliche oder Erziehungsberechtigten-Einwilligung erforderlich ist, auf 13 bis 16 Jahre festgelegt. EdTech-Plattformen, die sich auf die Einwilligung von Studierenden als Rechtsgrundlage für die Verarbeitung stützen, müssen ihre Systeme mit Altersverifizierung ausstatten und Mechanismen zur Einholung und Aufzeichnung elterlicher Einwilligung einrichten, wo dies erforderlich ist. Einrichtungen, die als Verantwortliche nach GDPR fungieren, müssen sicherstellen, dass ihre Verträge mit EdTech-Anbietern geeignete Datenverarbeitungsverträge nach GDPR Art. 28 enthalten und dass Studierendendaten nicht ohne angemessene Schutzmaßnahmen außerhalb des EWR übermittelt werden.

Die Verarbeitung besonderer Datenkategorien — die entstehen kann, wenn Lernschierigkeits­beurteilungen, psychische Gesundheitsscreenings oder demografische Profilierungen durchgeführt werden — erfordert eine ausdrückliche Rechtsgrundlage nach GDPR Art. 9(2) und in der Regel eine Datenschutz-Folgenabschätzung nach Art. 35.

Art. 50 — Transparenz für KI-Tutor-Chatbots

Art. 50 des EU AI Act legt eine spezifische Transparenzpflicht für KI-Systeme fest, die direkt mit natürlichen Personen interagieren. KI-gestützte Tutor-Chatbots, virtuelle Lernassistenten und KI-generierte Feedback-Tools, die in Bildungsumgebungen eingesetzt werden, müssen Studierenden zu Beginn jeder Interaktion klar ihre KI-Natur offenlegen. Wo das Studierendenpublikum Minderjährige einschließt, muss die Offenlegung altersgerecht und verständlich gestaltet sein. Einrichtungen, die KI-Tutoring-Tools einsetzen, müssen prüfen, ob die Implementierung des Anbieters diese Pflicht erfüllt, und dürfen das System nicht so konfigurieren, dass die KI-Offenlegung unterdrückt oder verschleiert wird.

Nationales Bildungsrecht

Nationales Bildungsrecht in EU-Mitgliedstaaten kann zusätzliche Pflichten für den KI-Einsatz in akademischen Umgebungen begründen — beispielsweise Anforderungen an die Prüfungsintegrität, Datenspeicherung für akademische Unterlagen und Verfahrensgrundrechte bei Zulassungsbeschwerde­verfahren. Compliance-Programme für Bildungseinrichtungen müssen EU AI Act- und GDPR-Pflichten gegen das anwendbare nationale Recht abgleichen, einschließlich sektorspezifischer Ministerialerlasse nationaler Bildungsministerien. Wo KI-Systeme Ergebnisse erzeugen, die in formal regulierten Verfahren eingesetzt werden (staatliche Prüfungen, akkreditierte Qualifikationen), erfordert die Schnittstelle zwischen AI Act-Pflichten und nationalem Prüfungsrecht eine spezifische rechtliche Analyse.

Durchsetzung — Datenschutzbehörden und Bildungsbehörden

Die Durchsetzung im Bildungssektor umfasst eine mehrschichtige Struktur zuständiger Behörden. Nationale KI-Aufsichtsbehörden (bestimmt nach Art. 70) haben die primäre Zuständigkeit für die EU AI Act Compliance, einschließlich Konformitätsbewertung, Marktüberwachung und Sanktionen. Für Bildungseinrichtungen kann diese Behörde eine allgemeine KI-Aufsichtsbehörde oder — in einigen Mitgliedstaaten — eine benannte sektorale Stelle sein.

Datenschutzbehörden (DSB) spielen eine bedeutende eigenständige Durchsetzungsrolle. Angesichts des Volumens und der Sensibilität der von Bildungs-KI verarbeiteten Studierendendaten überwachen DSBs aktiv KI-Einsätze in Schulen und Universitäten. GDPR-Verstöße im Zusammenhang mit Bildungs-KI — rechtswidrige Verarbeitung von Kinderdaten, unzureichende Datenverarbeitungsverträge mit EdTech-Anbietern, Versäumnis der Durchführung erforderlicher DPIAs — können DSB-Bußgelder von bis zu 20 Millionen Euro oder 4 % des globalen Jahresumsatzes nach GDPR Art. 83 nach sich ziehen. DSB-Durchsetzungsmaßnahmen sind in regulierten Bereichen historisch der formellen AI Act-Durchsetzung vorausgegangen, und Bildungssektor-KI sollte unter Berücksichtigung einer kurzfristigen DSB-Prüfung geplant werden.

Universitätsleitungsorgane und nationale Akkreditierungsbehörden können institutionelle Konsequenzen verhängen — einschließlich Reputationssanktionen, Aussetzung automatisierter Verfahren und Anforderungen unabhängiger Prüfungen — wo der KI-Einsatz bei Zulassung oder Beurteilung unfaire oder diskriminierende Ergebnisse hervorgebracht hat. Die institutionelle akademische Governance, einschließlich der Beschwerdeverfahren für Studierende, muss so gestaltet werden, dass Anfechtungen KI-beeinflusster Entscheidungen aufgenommen werden können.

Compliance-Fahrplan für Bildungseinrichtungen und EdTech-Anbieter

Für EdTech-Anbieter

1. Jedes Produkt einordnen anhand von Anhang III, Kategorie 3 — die Einstufungsbegründung mit spezifischem Bezug auf den beabsichtigten Verwendungszweck des Systems und die Bedeutung seiner Auswirkungen auf Bildungsergebnisse dokumentieren.
2. Das vollständige Hochrisiko-Konformitätsbewertungsverfahren umsetzen nach Art. 9–15 für alle als hochriskant eingestuften Produkte, einschließlich Bias-Tests über demografische Untergruppen, die für die EU-Studierendenpopulation repräsentativ sind.
3. Hochriskante Systeme registrieren in der EU-KI-Datenbank (Art. 49) vor der Markteinführung.
4. Vollständige betreiberseitige Dokumentation vorbereiten: Gebrauchsanweisungen, Konformitätsdokumentation, Bias- und Genauigkeits­testergebnisse, Anleitung zur Protokollverwaltung.
5. Transparenz nach Art. 50 umsetzen in allen KI-Systemen, die direkt mit Studierenden interagieren.
6. Datenverarbeitungsverträge überprüfen, um GDPR Art. 28 Konformität sicherzustellen, einschließlich Mechanismen für elterliche Einwilligung, wo nach Art. 8 erforderlich.

Für Bildungseinrichtungen

1. Alle verwendeten KI-Systeme prüfen — Zulassung, Benotung, Prüfungsaufsicht, Analytik, Tutoring — und gegen Anhang III, Kategorie 3 einordnen.
2. Konformitätsdokumentation anfordern und prüfen von allen EdTech-Anbietern für jedes System, das als hochriskant eingestuft ist oder potenziell eingestuft werden könnte.
3. Folgenabschätzungen für Grundrechte durchführen nach Art. 27, bevor KI-Zulassungs- oder Bewertungssysteme eingesetzt oder weiter betrieben werden.
4. Namentliche Aufsichtsverantwortung zuweisen für jedes hochriskante KI-System an qualifiziertes Personal mit echter technischer Kompetenz und institutioneller Befugnis.
5. Zulassungs- und Bewertungsbeschwerdeverfahren überprüfen, um sicherzustellen, dass sie Anfechtungen KI-beeinflusster Entscheidungen aufnehmen und eine sinnvolle menschliche Überprüfung ermöglichen.
6. GDPR-Konformität prüfen für alle von EdTech-Plattformen verarbeiteten Studierendendaten — Datenverarbeitungsverträge, Rechtsgrundlagen und Mechanismen für elterliche Einwilligung bestätigen.
7. Prüfungsaufsichts-KI-Konfigurationen überprüfen auf Konformität mit dem Art. 5-Verbot der biometrischen Echtzeit-Identifizierung — sofern eine Konfiguration kontinuierliche Gesichtserkennung während Prüfungssitzungen umfasst, unverzüglich Rechtsrat einholen, bevor der nächste Prüfungszeitraum beginnt.