Uddannelse og EdTech — Overholdelse af EU AI Act

EU AI Act-forpligtelser for AI i uddannelsessektoren: optagelse, automatiseret bedømmelse, eksamensovervågning og læringsplatforme. Dækker Annex III, kategori 3 og særlige beskyttelser for studerende.

Uddannelsessektoren og EU AI Act — Hvorfor studerendes rettigheder er centrale

EU AI Act (forordning (EU) 2024/1689) identificerer uddannelse og erhvervsuddannelse som et domæne med forhøjet risiko og klassificerer specifikke AI-anvendelser inden for det som højrisiko i henhold til Annex III, kategori 3. Denne klassificering afspejler en grundlæggende vurdering fra EU-lovgivers side: AI-systemer, der former adgangen til uddannelsesmuligheder eller afgør akademiske resultater, berører rettigheder af dybtgående individuel betydning — retten til uddannelse (Art. 14, EU's charter om grundlæggende rettigheder), retten til ikke-diskrimination (Art. 21) og, for den store andel af studerende, der er mindreårige, de skærpede beskyttelser i GDPR Art. 8 og internationale rammer, herunder FN's konvention om barnets rettigheder (UNCRC).

Uddannelsessektoren har en særegen overholdelses profil. De fleste uddannelsesinstitutioner — universiteter, skoler og erhvervsuddannelsesinstitutioner — indtager rollen som deployer i henhold til EU AI Act: de anskaffer og anvender AI-systemer bygget af EdTech-leverandører frem for at udvikle AI internt. Denne sondring reducerer ikke deres forpligtelser. Deployere af højrisiko-AI i henhold til Art. 26 har selvstændige retlige pligter, der ikke kan opfyldes blot ved at købe et CE-mærket produkt. Samtidig er EdTech-virksomheder, der udvikler og bringer AI-systemer på EU-markedet, udbydere underlagt det fulde regime for overensstemmelsesvurdering i henhold til kapitel III, afsnit 2.

Sektoren er også kendetegnet ved en betydelig koncentration af følsomme personoplysninger. Studerendes adfærdsdata, vurderingsregistre, engagementsmønstre, indlæringsvanskeligheder og demografiske profiler behandles i stor skala af adaptive læringsplatforme og analyseværktøjer. Denne datakoncentration betyder, at overholdelse af EU AI Act inden for uddannelse ikke kan planlægges isoleret fra GDPR — de to rammer skal håndteres som en integreret overholdelses forpligtelse.

Højrisiko-AI i uddannelse — Optagelse, bedømmelse og eksamensovervågning

Annex III, kategori 3 definerer to særskilte kategorier af højrisiko-uddannelses-AI. Forståelse af omfanget af hver kategori er afgørende for klassifikationsbeslutninger.

Optagelses-AI — Afgørelse af adgang til uddannelsesinstitutioner

Annex III, kategori 3(a) dækker AI-systemer, der er beregnet til at blive anvendt til afgørelse af adgang til eller tildeling af pladser på uddannelsesinstitutioner eller -programmer og erhvervsuddannelsesprogrammer. Denne kategori omfatter AI, der scorer, rangordner eller filtrerer ansøgere i universitets optagelsesprocesser, AI, der vurderer tidligere kvalifikationer eller anerkendelse af faglige kompetencer, og AI, der afgør berettigelse til specifikke akademiske spor eller specialiserede programmer.

Klassificeringen som højrisiko finder anvendelse, hvor AI-systemets output har en væsentlig effekt på en ansøgers adgang til en uddannelsesmulighed. Denne tærskel er opfyldt af de fleste operationelt deployerede optagelses-AI: en scoringsmodel, hvis output gennemgås og handles på af optagelsesmedarbejdere uden systematisk nygenvurdering af den underliggende vurdering, afgør reelt resultaterne, selv hvis et menneske formelt godkender hver enkelt beslutning. Udbydere af sådanne systemer skal overholde Art. 9–15 (datastyring, teknisk dokumentation, logning, transparens, menneskelig overvågning, nøjagtighed og robusthed). Deployerende institutioner skal verificere overensstemmelse og implementere Art. 26-deployer-forpligtelserne, inden systemet anvendes i en optagelsesrunde.

Bias-risiko er særligt fremtrædende i optagelses-AI. Systemer, der er trænet på historiske optagelses- og akademiske succesdata, kan indkode eksisterende uligheder — kønsgab inden for visse discipliner, socioøkonomiske forskelle i akademisk forberedelse, forskellig præstation mellem indenlandske og internationale ansøgere. Art. 10 kræver, at træningsdata underlægges styringspraksisser, der adresserer kendte skævheder, og Art. 9 pålægger risikostyringsforanstaltninger kalibreret til sværhedsgraden af potentiel skade, hvilket i denne kontekst omfatter afvisning af uddannelsesmuligheder for kvalificerede ansøgere fra dårligt stillede grupper.

Automatiseret vurderings-AI — Bedømmelse og tildeling af akademiske forløb

Annex III, kategori 3(b) dækker AI-systemer, der evaluerer og vurderer studerende, herunder AI-automatiserede bedømmelsesværktøjer og systemer, der placerer studerende i differentierede akademiske spor, hvor disse systemer har en væsentlig effekt på deres uddannelsesmæssige forløb. Et automatiseret essaybedømmelsesværktøj, der producerer endelige karakterer, der afgør, om en studerende består eller dumper et fag, modtager en kvalifikation eller avancerer til næste akademiske niveau, er højrisiko. Tilsvarende er AI, der placerer studerende i støtte-, standard- eller avancerede spor baseret på præstationsdata og har en væsentlig effekt på uddannelsesmæssige forløb, og falder inden for denne kategori.

Grænsen for formative vurderingsværktøjer — værktøjer, der udelukkende anvendes til at give studerende feedback, og hvor en menneskelig underviser bevarer fuld og reel kontrol over alle karakterresultater — er snævrere. Sådanne værktøjer kan falde uden for kategori 3(b), men denne klassificering skal dokumenteres og begrundes, og institutionerne skal sikre, at den menneskelige overvågning er reelt substantiel frem for blot en formel godkendelse af AI-genererede resultater.

AI til fjerneksamensovervågning

Fjerneksamensovervågningssystemer, der overvåger de studerendes adfærd under prøver gennem videoanalyse, øjensporing, browser-låsning, tastetrykslogning eller adfærdsmæssig anomalidetektion, udgør en af de juridisk mest komplekse AI-anvendelser inden for uddannelse. Hvor sådanne systemer markerer eller diskvalificerer studerende baseret på deres automatiserede analyse — eller hvor deres output bruges af menneskelige bedømmere på måder, der i væsentlig grad afgør resultaterne — udgør de højrisiko-AI i henhold til Annex III, kategori 3 som AI, der evaluerer studerende og har væsentlige effekter på deres uddannelsesmæssige forløb.

Eksamensovervågnings-AI berører også Art. 5(1)(d)-forbuddet mod realtids fjernbiometrisk identifikation på offentligt tilgængelige steder. Hvor overvågningssystemer anvender ansigtsgenkendelse til løbende at verificere studerendes identitet under en prøve i realtid, udgør dette forbudt biometrisk identifikation, medmindre en meget snæver lovgivningsmæssig undtagelse fra en medlemsstat i henhold til Art. 5(2)–(6) finder anvendelse. Institutioner, der deployerer eksamensovervågnings-AI, skal nøje skelne mellem identitetsverifikation ved tidspunktet for adgang til prøven (potentielt lovlig, hvis compliant) og kontinuerlig realtids biometrisk overvågning under hele prøvesessionen (underlagt Art. 5-forbuddet).

Udbyder vs. deployer — EdTech-virksomheder og uddannelsesinstitutioner

EU AI Act fordeler forpligtelser asymmetrisk mellem udbydere og deployere. Forståelse af denne fordeling er grundlæggende for overholdelses planlægning for både EdTech-leverandører og de institutioner, der anvender deres produkter.

EdTech-udbyders forpligtelser

EdTech-virksomheder, der udvikler og bringer højrisiko-AI-systemer på EU-markedet, er udbydere i henhold til Art. 3(3) og skal overholde de fulde højrisiko-AI-krav i kapitel III, afsnit 2:

• Art. 9 — Etablere og opretholde et risikostyringssystem for AI-systemets fulde livscyklus
• Art. 10 — Implementere datastyring for trænings-, validerings- og testdatasæt, der adresserer bias, repræsentativitet og statistiske begrænsninger
• Art. 11 og Annex IV — Opretholde omfattende teknisk dokumentation, der dokumenterer overensstemmelse
• Art. 12 — Sikre automatisk logning af systemdrift, der muliggør efterfølgende gennemgang af AI-beslutninger
• Art. 13 — Levere transparensinformation, der sætter deployere i stand til at forstå systemets kapaciteter og begrænsninger
• Art. 14 — Designe systemet til at muliggøre effektiv menneskelig overvågning fra deployeres side
• Art. 15 — Opnå passende nøjagtighed, robusthed og cybersikkerhed for den tilsigtede uddannelsesmæssige kontekst
• Art. 49 — Registrere systemet i EU's AI-database inden eller ved markedsplacering

Udbydere skal også forsyne deployerende institutioner med brugsanvisninger, der er tilstrækkeligt specifikke til at sætte institutionerne i stand til at opfylde deres egne deployer-forpligtelser — herunder information om de studerendes undergrupper, som systemet er testet på, kendte præstationsbegrænsninger, resultater af bias-test og procedurer for logadministration.

Institutionelle deployere-forpligtelser

Universiteter, skoler og erhvervsuddannelsesinstitutioner, der deployerer højrisiko EdTech-AI i henhold til Art. 26, skal:

• Verificere, at AI-systemet bærer CE-mærkning, og at en EU-overensstemmelseserklæring er tilgængelig
• Implementere udbyderens brugsanvisninger fuldt ud
• Sikre, at kvalificeret personale er tildelt ansvar for menneskelig overvågning med tilstrækkelig teknisk kompetence og praktisk autoritet til at gribe ind i AI-genererede resultater
• Opbevare driftslogfiler i en minimumsperiode og stille dem til rådighed for nationale tilsynsmyndigheder på anmodning
• Indberette alvorlige hændelser eller funktionsfejl til udbyderen og, hvor det er relevant, til nationale AI-tilsynsmyndigheder
• Gennemføre eller bestille en konsekvensvurdering for grundlæggende rettigheder (FRIA) i henhold til Art. 27 inden deployment af AI-vurderings- eller optagelsessystemer
• Undlade at ændre højrisiko-AI-systemer på måder, der ændrer deres tilsigtede formål, uden at udløse udbyderens genvurdering

Samspil med GDPR, børns rettigheder og national uddannelseslovgivning

GDPR og behandling af studerendes data

Uddannelses-AI opererer på data, der er intrinsisk følsomme. Læringsanalytikplatforme, adaptive tutorsystemer og adfærdsbaserede overvågningsværktøjer behandler data, der kan omfatte akademiske præstationsregistre, engagementsmålinger, adfærdssignaler og kommunikation — alt knyttet til identificerbare studerende.

Hvor studerende er mindreårige, begrænser GDPR Art. 8 behandlingen af personoplysninger baseret på samtykke: medlemsstaterne har fastsat aldersgrænsen, under hvilken forældres eller forværgers samtykke er påkrævet, til mellem 13 og 16 år. EdTech-platforme, der baserer sig på de studerendes samtykke som retsgrundlag for behandling, skal implementere alderskontrol i deres systemer og mekanismer til verifikation og registrering af forældrenes samtykke, hvor det er påkrævet. Institutioner, der handler som dataansvarlige i henhold til GDPR, skal sikre, at deres kontrakter med EdTech-leverandører indeholder passende databehandleraftaler i henhold til GDPR Art. 28, og at studerendes data ikke overføres uden for EØS uden tilstrækkelige garantier.

Behandling af særlige kategorier af data — som kan opstå, hvor vurderinger af indlæringsvanskeligheder, screening af mental sundhed eller demografisk profilering er involveret — kræver et eksplicit retsgrundlag i henhold til GDPR Art. 9(2) og typisk en konsekvensanalyse vedrørende databeskyttelse i henhold til Art. 35.

Art. 50 — Transparens for AI-tutorchatbots

Art. 50 i EU AI Act pålægger en specifik transparensforpligtelse på AI-systemer, der er designet til at interagere direkte med fysiske personer. AI-drevne tutorchatbots, virtuelle læringsassistenter og AI-genererede feedbackværktøjer deployeret i uddannelsesmæssige omgivelser skal klart oplyse de studerende om deres AI-natur ved starten af hver interaktion. Hvor den studerendepopulation omfatter mindreårige, skal oplysningen tilpasses til at være alderspassende og genuint forståelig. Institutioner, der deployerer AI-tutorværktøjer, skal verificere, at leverandørens implementering opfylder denne forpligtelse, og må ikke konfigurere systemet på måder, der undertrykker eller skjuler AI-oplysningen.

National uddannelseslovgivning

National uddannelseslovgivning i EU's medlemsstater kan pålægge yderligere forpligtelser vedrørende AI-anvendelse i akademiske omgivelser — f.eks. krav relateret til eksamensintegritet, dataopbevaring for akademiske registre og proceduremæssig retfærdighed i optagelsesklager. Overholdelses programmer for uddannelsesinstitutioner skal kortlægge EU AI Act- og GDPR-forpligtelser mod gældende national lovgivning, herunder sektorspecifik ministervejledning udstedt af nationale uddannelsesministerier. Hvor AI-systemer producerer output, der bruges i formelt regulerede processer (statslige eksamener, akkrediterede kvalifikationer), kræver grænsefladen mellem AI Act-forpligtelser og national eksamenslovgivning specifik juridisk analyse.

Håndhævelse — Datatilsyn og uddannelsesmyndigheder

Håndhævelse i uddannelsessektoren involverer en lagdelt struktur af kompetente myndigheder. Nationale AI-tilsynsmyndigheder (udpeget i henhold til Art. 70) har primær jurisdiktion over overholdelse af EU AI Act, herunder overensstemmelsesvurdering, markedsovervågning og sanktioner. For uddannelsesinstitutioner kan denne myndighed være en generel AI-tilsynsmyndighed eller, i visse medlemsstater, et udpeget sektorspecifikt organ.

Datatilsynsmyndigheder spiller en væsentlig selvstændig håndhævelsesrolle. I betragtning af omfanget og følsomheden af studerendes data, der behandles af uddannelses-AI, fører datatilsynene aktivt tilsyn med AI-deploymenter i skoler og på universiteter. GDPR-overtrædelser relateret til uddannelses-AI — ulovlig behandling af børns data, utilstrækkelige databehandleraftaler med EdTech-leverandører, manglende gennemførelse af krævede DPIA'er — tiltrækker datatilsynsbøder på op til €20 millioner eller 4 % af den globale årlige omsætning i henhold til GDPR Art. 83. Datatilsynets håndhævelsesaktioner er historisk set gået forud for formel AI Act-håndhævelse i regulerede domæner, og AI i uddannelsessektoren bør planlægges med datatilsynets granskning som en nærliggende risiko.

Universiteternes styrende organer og nationale akkrediteringsmyndigheder kan pålægge institutionelle konsekvenser — herunder omdømmemæssige sanktioner, suspension af automatiserede processer og krav om uafhængige revisioner — hvor AI-anvendelse i optagelse eller bedømmelse er fundet at have produceret uretfærdige eller diskriminerende resultater. Institutionernes akademiske governance, herunder de studerendes klageprocesser, skal udformes, så de kan rumme klager over AI-påvirkede beslutninger.

Overholdelses-køreplan for uddannelsesinstitutioner og EdTech-udbydere

For EdTech-udbydere

1. Klassificer hvert produkt i forhold til Annex III, kategori 3 — dokumenter klassificeringsrationalet med specifik reference til systemets tilsigtede formål og betydningen af dets effekt på uddannelsesresultater.
2. Implementer det fulde regime for overensstemmelsesvurdering for højrisiko i henhold til Art. 9–15 for alle produkter klassificeret som højrisiko, herunder bias-test på tværs af demografiske undergrupper repræsentative for EU's studerende population.
3. Registrer højrisikosystemer i EU's AI-database (Art. 49) inden markedsplacering.
4. Udarbejd komplet deployer-vendt dokumentation: brugsanvisninger, overensstemmelses dokumentation, resultater af bias- og nøjagtighedstest, vejledning i logadministration.
5. Implementer Art. 50-transparens i alle AI-systemer, der interagerer direkte med studerende.
6. Gennemgå databehandleraftaler for at sikre GDPR Art. 28-overholdelse, herunder mekanismer for forældrenes samtykke, hvor det er krævet i henhold til Art. 8.

For uddannelsesinstitutioner

1. Revidér alle AI-systemer i brug — optagelse, bedømmelse, eksamensovervågning, analyse, tutoring — og klassificer i forhold til Annex III, kategori 3.
2. Anmod om og gennemgå overensstemmelses dokumentation fra alle EdTech-leverandører for ethvert system, der er klassificeret eller potentielt kan klassificeres som højrisiko.
3. Gennemfør konsekvensvurderinger for grundlæggende rettigheder i henhold til Art. 27 inden deployment eller fortsat deployment af AI-optagelses- eller vurderingssystemer.
4. Tildel navngiven tilsynsansvarlig for hvert højrisiko-AI-system til kvalificeret personale med reel teknisk kompetence og institutionel autoritet.
5. Gennemgå optagelses- og bedømmelsesklageprocesser for at sikre, at de rummer klager over AI-påvirkede beslutninger og tilbyder meningsfuld menneskelig gennemgang.
6. Revider GDPR-overholdelse for alle studerendes data behandlet af EdTech-platforme — bekræft, at databehandleraftaler, retsgrundlag og mekanismer for forældrenes samtykke er på plads.
7. Verificer konfigurationer af eksamensovervågnings-AI for overholdelse af Art. 5-forbuddet mod realtids biometrisk identifikation — hvis en konfiguration involverer kontinuerlig ansigtsgenkendelse under prøvesessioner, indhent omgående juridisk rådgivning inden den næste eksamenstermin.