Onderwijs & EdTech — Naleving van de EU AI Act

EU AI Act-verplichtingen voor AI in het onderwijs: toelating, geautomatiseerde beoordeling, proctoring en leerplatforms. Behandelt Annex III categorie 3 en bijzondere bescherming voor studenten.

De onderwijssector en de EU AI Act — waarom de rechten van studenten centraal staan

De EU AI Act (Verordening (EU) 2024/1689) bestempelt onderwijs en beroepsopleiding als een domein van verhoogd risico en classificeert specifieke AI-toepassingen daarbinnen als hoog-risico onder Annex III, categorie 3. Deze classificatie weerspiegelt een fundamenteel oordeel van de Europese wetgever: AI-systemen die de toegang tot onderwijsmogelijkheden vormgeven of academische uitkomsten bepalen, raken rechten van ingrijpende individuele betekenis — het recht op onderwijs (Art. 14, EU-Handvest van de grondrechten), het recht op non-discriminatie (Art. 21) en, voor het grote aandeel studenten dat minderjarig is, de versterkte bescherming van GDPR Art. 8 en internationale kaders waaronder het VN-Verdrag inzake de rechten van het kind (IVRK).

De onderwijssector heeft een onderscheidend nalevingsprofiel. De meeste onderwijsinstellingen — universiteiten, scholen en centra voor beroepsopleiding — vervullen de rol van inzetter onder de EU AI Act: zij schaffen AI-systemen aan die door EdTech-leveranciers zijn ontwikkeld en bedienen die, in plaats van zelf AI te ontwikkelen. Dit onderscheid vermindert hun verplichtingen niet. Inzetters van hoog-risico AI op grond van Art. 26 dragen zelfstandige wettelijke verplichtingen die niet worden nagekomen louter door de aanschaf van een CE-gemarkeerd product. Tegelijkertijd zijn EdTech-bedrijven die AI-systemen ontwikkelen en op de EU-markt brengen aanbieders die zijn onderworpen aan het volledige conformiteitsbeoordelingsregime onder Hoofdstuk III, Afdeling 2.

De sector wordt ook gekenmerkt door een significante concentratie van gevoelige persoonsgegevens. Gedragsgegevens van studenten, beoordelingsresultaten, betrokkenheidspatronen, leerproblemen en demografische profielen worden op grote schaal verwerkt door adaptieve leerplatforms en analysetools. Deze gegevensconcentratie betekent dat naleving van de EU AI Act in het onderwijs niet los kan worden ontworpen van de GDPR — de twee kaders moeten worden behandeld als een geïntegreerde nalevingsverplichting.

Hoog-risico AI in het onderwijs — toelating, beoordeling en proctoring

Annex III, categorie 3 definieert twee afzonderlijke categorieën hoog-risico onderwijs-AI. Inzicht in de reikwijdte van elke categorie is essentieel voor classificatiebeslissingen.

Toelating-AI — toegang tot onderwijsinstellingen bepalen

Annex III, categorie 3(a) omvat AI-systemen die zijn bedoeld voor de bepaling van toegang of toewijzing tot onderwijs- en beroepsopleidingsinstellingen of -programma's. Deze categorie omvat AI die aanvragers scoort, rangschikt of filtert in universitaire toelatingsprocessen, AI die eerdere kwalificaties of de erkenning van beroepscertificaten beoordeelt, en AI die de geschiktheid voor specifieke academische trajecten of gespecialiseerde programma's bepaalt.

De hoog-risicoclassificatie is van toepassing wanneer de uitkomst van het AI-systeem een significante invloed heeft op de toegang van een aanvrager tot een onderwijsmogelijkheid. Aan deze drempel wordt voldaan door de meeste operationeel ingezette toelating-AI: een scoremodel waarvan de uitkomsten door toelatingscommissies worden bekeken en opgevolgd zonder systematische herbeoordeling van de onderliggende beoordeling, bepaalt de uitkomsten feitelijk, ook al keurt een mens elke beslissing formeel goed. Aanbieders van dergelijke systemen dienen te voldoen aan Art. 9–15 (datagovernance, technische documentatie, logbeheer, transparantie, menselijk toezicht, nauwkeurigheid en robuustheid). Instellende instellingen dienen de naleving te verifiëren en de inzetverplichtingen van Art. 26 te implementeren voordat het systeem in enige toelatingscyclus wordt gebruikt.

Biasrisico is bijzonder acuut bij toelating-AI. Systemen die zijn getraind op historische gegevens over toelating en academisch succes kunnen bestaande ongelijkheden encoderen — genderverschillen in bepaalde disciplines, sociaaleconomische ongelijkheden in academische voorbereiding, prestatieverschillen tussen binnenlandse en internationale aanvragers. Art. 10 vereist dat trainingsdata onderworpen wordt aan governancepraktijken die bekende vooroordelen aanpakken, en Art. 9 verplicht tot risicobeheermaatregelen die zijn afgestemd op de ernst van potentiële schade, die in deze context de weigering van onderwijskansen aan gekwalificeerde aanvragers uit kansarme groepen omvat.

Geautomatiseerde beoordeling-AI — cijferbepaling en toewijzing aan academische trajecten

Annex III, categorie 3(b) omvat AI-systemen die studenten evalueren en beoordelen, waaronder geautomatiseerde beoordelingsinstrumenten en systemen die studenten toewijzen aan gedifferentieerde academische trajecten, wanneer die systemen een significante invloed hebben op hun onderwijspaden. Een geautomatiseerd instrument voor essaybeoordeling dat definitieve cijfers produceert die bepalen of een student een vak haalt of niet, een kwalificatie ontvangt of doorstroomt naar het volgende academische niveau, is hoog-risico. Evenzo heeft AI die studenten op basis van prestatiegegevens indeelt in remediërende, reguliere of gevorderde trajecten een significante invloed op onderwijspaden en valt dit binnen deze categorie.

De grens voor formatieve beoordelingsinstrumenten — instrumenten die uitsluitend worden gebruikt om feedback aan studenten te geven waarbij een menselijke docent volledige en effectieve controle over alle beoordeelde uitkomsten behoudt — is smaller. Dergelijke instrumenten kunnen buiten categorie 3(b) vallen, maar deze classificatie dient te worden gedocumenteerd en verantwoord, en instellingen dienen ervoor te zorgen dat het menselijk toezicht werkelijk inhoudelijk is en geen formeel rubber-stempel op door AI gegenereerde resultaten.

AI voor toezicht op examens op afstand

Systemen voor toezicht op examens op afstand die het gedrag van studenten tijdens toetsen bewaken via video-analyse, oogtracking, browserblokkering, toetsaanslagregistratie of detectie van gedragsafwijkingen, vertegenwoordigen een van de juridisch meest complexe AI-toepassingen in het onderwijs. Wanneer dergelijke systemen studenten markeren of diskwalificeren op basis van hun geautomatiseerde analyse — of wanneer hun uitkomsten door menselijke beoordelaars worden gebruikt op manieren die de uitkomsten grotendeels bepalen — vormen zij hoog-risico AI onder Annex III, categorie 3 als AI die studenten evalueert en significante gevolgen heeft voor hun academische paden.

Proctoring-AI raakt ook aan het verbod van Art. 5(1)(d) op realtime biometrische identificatie op afstand in voor het publiek toegankelijke ruimten. Wanneer proctoringsystemen gezichtsherkenning gebruiken om de identiteit van studenten tijdens een examen continu in realtime te verifiëren, vormt dit verboden biometrische identificatie, tenzij een zeer beperkte uitzondering op grond van nationale wetgeving krachtens Art. 5(2)–(6) van toepassing is. Instellingen die proctoring-AI inzetten, dienen zorgvuldig onderscheid te maken tussen identiteitsverificatie bij de toegang tot het examen (mogelijk rechtmatig indien conform) en continue realtime biometrische surveillance gedurende de gehele examenperiode (onderworpen aan het verbod van Art. 5).

Aanbieder versus inzetter — EdTech-bedrijven en onderwijsinstellingen

De EU AI Act verdeelt verplichtingen asymmetrisch tussen aanbieders en inzetters. Inzicht in deze verdeling is fundamenteel voor de nalevingsplanning van zowel EdTech-leveranciers als de instellingen die hun producten gebruiken.

Verplichtingen voor EdTech-aanbieders

EdTech-bedrijven die hoog-risico AI-systemen ontwikkelen en op de EU-markt brengen, zijn aanbieders in de zin van Art. 3(3) en dienen te voldoen aan de volledige hoog-risico AI-vereisten in Hoofdstuk III, Afdeling 2:

• Art. 9 — Stel een risicobeheersysteem voor de volledige levenscyclus van het AI-systeem in en houd dit in stand
• Art. 10 — Implementeer datagovernance voor trainings-, validatie- en testdatasets, en pak vooroordelen, representativiteit en statistische beperkingen aan
• Art. 11 en Annex IV — Houd uitgebreide technische documentatie bij die de conformiteit aantoont
• Art. 12 — Zorg voor automatische registratie van de systeemwerking die achteraf herstel van AI-beslissingen mogelijk maakt
• Art. 13 — Verstrek transparantie-informatie waarmee inzetters de mogelijkheden en beperkingen van het systeem kunnen begrijpen
• Art. 14 — Ontwerp het systeem zodanig dat effectief menselijk toezicht door inzetters mogelijk is
• Art. 15 — Bereik passende nauwkeurigheid, robuustheid en cyberbeveiliging voor de beoogde onderwijscontext
• Art. 49 — Registreer het systeem in de EU AI-database vóór of bij plaatsing op de markt

Aanbieders dienen de instellende instellingen ook te voorzien van gebruiksinstructies die specifiek genoeg zijn om instellingen in staat te stellen hun eigen inzetverplichtingen na te komen — met inbegrip van informatie over de subgroepen van de studentenpopulatie waarvoor het systeem is getest, bekende prestatielimieten, resultaten van biastesting en procedures voor logbeheer.

Verplichtingen voor instellingen als inzetter

Universiteiten, scholen en centra voor beroepsopleiding die hoog-risico EdTech-AI inzetten op grond van Art. 26 dienen:

• Te verifiëren dat het AI-systeem een CE-markering draagt en dat een EU-conformiteitsverklaring beschikbaar is
• De gebruiksinstructies van de aanbieder volledig te implementeren
• Te zorgen dat gekwalificeerd personeel verantwoordelijkheid draagt voor menselijk toezicht, met voldoende technische bekwaamheid en praktische bevoegdheid om in te grijpen bij door AI gegenereerde uitkomsten
• Operatielogboeken voor een minimumperiode te bewaren en deze op verzoek beschikbaar te stellen aan nationale toezichthoudende autoriteiten
• Ernstige incidenten of storingen te melden aan de aanbieder en, waar relevant, aan nationale AI-toezichthoudende autoriteiten
• Vóór de inzet van AI-beoordelings- of toelatingssystemen een grondrechteneffectbeoordeling (FRIA) op grond van Art. 27 uit te voeren of te laten uitvoeren
• Hoog-risico AI-systemen niet te wijzigen op manieren die het beoogde doel ervan veranderen zonder een herbeoordeling door de aanbieder te initiëren

Wisselwerking met GDPR, kinderrechten en nationaal onderwijsrecht

GDPR en de verwerking van studentgegevens

Onderwijs-AI opereert op inherent gevoelige gegevens. Leeranalyseplatforms, adaptieve tutorsystemen en gedragsmatige proctoringstools verwerken gegevens die academische prestatiescores, betrokkenheidsstatistieken, gedragssignalen en communicatie kunnen omvatten — allemaal gekoppeld aan identificeerbare studenten.

Wanneer studenten minderjarig zijn, beperkt GDPR Art. 8 de verwerking van persoonsgegevens op basis van toestemming: lidstaten hebben de leeftijdsgrens waaronder toestemming van ouders of voogden vereist is, vastgesteld op tussen 13 en 16 jaar. EdTech-platforms die op toestemming van studenten steunen als wettelijke grondslag voor verwerking, dienen hun systemen te voorzien van leeftijdscontroles en mechanismen te implementeren om ouderlijke toestemming te verifiëren en te registreren waar vereist. Instellingen die optreden als verwerkingsverantwoordelijken onder de GDPR, dienen ervoor te zorgen dat hun contracten met EdTech-leveranciers passende verwerkersovereenkomsten op grond van GDPR Art. 28 bevatten en dat studentgegevens niet zonder passende waarborgen buiten de EER worden doorgegeven.

Verwerking van bijzondere categorieën persoonsgegevens — die kan ontstaan wanneer beoordelingen van leerproblemen, screening van geestelijke gezondheid of demografische profilering betrokken zijn — vereist een uitdrukkelijke wettelijke grondslag op grond van GDPR Art. 9(2) en doorgaans een gegevensbeschermingseffectbeoordeling op grond van Art. 35.

Art. 50 — Transparantie voor AI-tutorchatbots

Art. 50 van de EU AI Act legt een specifieke transparantieverplichting op aan AI-systemen die zijn ontworpen om rechtstreeks te interageren met natuurlijke personen. AI-tutorchatbots, virtuele leerassistenten en door AI gegenereerde feedbacktools die in onderwijsomgevingen worden ingezet, dienen studenten aan het begin van elke interactie duidelijk hun AI-aard bekend te maken. Wanneer de studentendoelgroep minderjarigen omvat, dient de bekendmaking te worden aangepast zodat zij aan de leeftijd is aangepast en werkelijk begrijpelijk is. Instellingen die AI-tutortools inzetten, dienen te verifiëren dat de implementatie van de leverancier aan deze verplichting voldoet en mogen het systeem niet zo configureren dat de AI-bekendmaking wordt onderdrukt of verborgen.

Nationaal onderwijsrecht

Nationale onderwijswetgeving in EU-lidstaten kan aanvullende verplichtingen opleggen aan het gebruik van AI in academische omgevingen — bijvoorbeeld vereisten met betrekking tot de integriteit van examens, bewaartermijnen voor academische administratie en procedurele eerlijkheid bij toelatingsberoepen. Nalevingsprogramma's voor onderwijsinstellingen dienen EU AI Act- en GDPR-verplichtingen in kaart te brengen ten opzichte van het toepasselijke nationale recht, inclusief sectorspecifieke ministeriële richtlijnen van nationale onderwijsministeries. Waar AI-systemen uitkomsten produceren die worden gebruikt in formeel gereglementeerde processen (staatsexamens, geaccrediteerde kwalificaties), vereist de verhouding tussen verplichtingen op grond van de AI Act en het nationale examenrecht een specifieke juridische analyse.

Handhaving — gegevensbeschermingsautoriteiten en onderwijsautoriteiten

Handhaving in de onderwijssector omvat een gelaagde structuur van bevoegde autoriteiten. Nationale AI-toezichthoudende autoriteiten (aangewezen op grond van Art. 70) hebben de primaire jurisdictie over naleving van de EU AI Act, inclusief conformiteitsbeoordeling, markttoezicht en sancties. Voor onderwijsinstellingen kan deze autoriteit een algemene AI-toezichthoudende autoriteit zijn of, in sommige lidstaten, een aangewezen sectoraal orgaan.

Gegevensbeschermingsautoriteiten (GBA's) spelen een grote zelfstandige handhavingsrol. Gezien de omvang en gevoeligheid van studentgegevens die worden verwerkt door onderwijs-AI, houden GBA's actief toezicht op AI-inzet in scholen en universiteiten. GDPR-inbreuken in verband met onderwijs-AI — onrechtmatige verwerking van kindergegevens, ontoereikende verwerkersovereenkomsten met EdTech-leveranciers, het nalaten vereiste DPIA's uit te voeren — leiden tot GBA-boetes van maximaal €20 miljoen of 4% van de wereldwijde jaaromzet op grond van GDPR Art. 83. GBA-handhavingsacties zijn historisch gezien voorafgegaan aan formele AI Act-handhaving in gereguleerde domeinen, en AI in de onderwijssector dient te worden gepland met GBA-toezicht als een nabij risico.

Bestuursorganen van universiteiten en nationale accreditatie-autoriteiten kunnen institutionele gevolgen opleggen — waaronder reputatiesancties, opschorting van geautomatiseerde processen en vereisten voor onafhankelijke audits — wanneer het gebruik van AI bij toelating of beoordeling aantoonbaar oneerlijke of discriminerende uitkomsten heeft opgeleverd. Institutioneel academisch bestuur, inclusief beroepsprocedures voor studenten, dient te worden ingericht om bezwaren tegen door AI beïnvloede beslissingen te kunnen accommoderen.

Nalevingsroutekaart voor onderwijsinstellingen en EdTech-aanbieders

Voor EdTech-aanbieders

1. Classificeer elk product aan de hand van Annex III, categorie 3 — documenteer de classificatieonderbouwing met specifieke verwijzing naar het beoogde doel van het systeem en de significantie van de invloed ervan op onderwijsuitkomsten.
2. Implementeer het volledige hoog-risico conformiteitsbeoordelingsregime op grond van Art. 9–15 voor alle als hoog-risico geclassificeerde producten, inclusief biastesting over demografische subgroepen die representatief zijn voor de EU-studentenpopulatie.
3. Registreer hoog-risicosystemen in de EU AI-database (Art. 49) vóór plaatsing op de markt.
4. Stel volledige inzetter-documentatie op: gebruiksinstructies, conformiteitsdocumentatie, resultaten van bias- en nauwkeurigheidstesting, richtlijnen voor logbeheer.
5. Implementeer Art. 50-transparantie in alle AI-systemen die rechtstreeks interageren met studenten.
6. Herzie verwerkersovereenkomsten om te zorgen voor GDPR Art. 28-naleving, inclusief mechanismen voor ouderlijke toestemming waar vereist op grond van Art. 8.

Voor onderwijsinstellingen

1. Auditeer alle in gebruik zijnde AI-systemen — toelating, beoordeling, proctoring, analyses, tutoring — en classificeer ze aan de hand van Annex III, categorie 3.
2. Vraag conformiteitsdocumentatie op en beoordeel deze van alle EdTech-leveranciers voor elk systeem dat als hoog-risico is of mogelijk als hoog-risico kan worden geclassificeerd.
3. Voer grondrechteneffectbeoordelingen uit op grond van Art. 27 vóór de inzet of voortzetting van de inzet van AI-toelating- of beoordelingssystemen.
4. Wijs de toezichtsverantwoordelijkheid met naam toe voor elk hoog-risico AI-systeem aan gekwalificeerd personeel met echte technische bekwaamheid en institutionele bevoegdheid.
5. Herzie beroepsprocedures voor toelating en beoordeling om te zorgen dat zij bezwaren tegen door AI beïnvloede beslissingen kunnen accommoderen en voorzien in een betekenisvolle menselijke herziening.
6. Auditeer GDPR-naleving voor alle studentgegevens die worden verwerkt door EdTech-platforms — bevestig dat verwerkersovereenkomsten, wettelijke grondslagen en mechanismen voor ouderlijke toestemming aanwezig zijn.
7. Verifieer de configuraties van proctoring-AI op naleving van het verbod van Art. 5 op realtime biometrische identificatie — als een configuratie continue gezichtsherkenning tijdens examensessies omvat, win dan dringend juridisch advies in vóór de volgende examenperiode.