Švietimas ir EdTech — EU AI Act atitiktis

EU AI Act prievolės švietimo dirbtiniam intelektui: priėmimas, automatinis vertinimas, egzaminų stebėjimas ir mokymosi platformos. Apima Annex III 3 kategorijos nuostatas ir specialią apsaugą studentams.

Švietimo sektorius ir EU AI Act — kodėl studentų teisės yra esminis dalykas

EU AI Act (Reglamentas (ES) 2024/1689) identifikuoja švietimą ir profesinį mokymą kaip padidėjusios rizikos sritį, klasifikuodamas tam tikras joje taikomas DI programas kaip aukštos rizikos pagal Annex III, 3 kategoriją. Ši klasifikacija atspindi esminį Europos įstatymų leidėjo vertinimą: DI sistemos, kurios lemia galimybes gauti išsilavinimą arba nustato akademinius rezultatus, liečia teises, turinčias gilią individualią reikšmę — teisę į mokslą (Art. 14, ES pagrindinių teisių chartija), teisę į nediskriminavimą (Art. 21) ir, didelei studentų, kurie yra nepilnamečiai, daliai — sustiprintą apsaugą pagal GDPR Art. 8 ir tarptautinius dokumentus, įskaitant JT vaiko teisių konvenciją (UNCRC).

Švietimo sektorius pasižymi savitu atitikties profiliu. Dauguma švietimo įstaigų — universitetų, mokyklų ir profesinio mokymo įstaigų — pagal EU AI Act atlieka diegiančiojo subjekto vaidmenį: jos įsigyja ir naudoja DI sistemas, sukurtas EdTech tiekėjų, o ne kuria DI savo viduje. Šis skirtumas nesumažina jų prievolių. Aukštos rizikos DI diegiantys subjektai pagal Art. 26 turi savarankiškas teisines pareigas, kurių negalima įvykdyti vien perkant CE ženklinimą turintį produktą. Tuo pačiu metu EdTech įmonės, kurios kuria ir pateikia DI sistemas ES rinkai, yra tiekėjai, kuriems taikomas visas atitikties vertinimo režimas pagal III skyrių, 2 skirsnį.

Sektoriui taip pat būdinga didelė jautrių asmens duomenų koncentracija. Studentų elgesio duomenys, vertinimų įrašai, įsitraukimo modeliai, mokymosi sunkumai ir demografiniai profiliai yra tvarkomi dideliu mastu adaptyvaus mokymosi platformų ir analitikos įrankių. Ši duomenų koncentracija reiškia, kad EU AI Act atitiktis švietime negali būti projektuojama atskirai nuo GDPR — abi teisės sistemos turi būti sprendžiamos kaip integruota atitikties prievolė.

Aukštos rizikos DI švietime — priėmimas, vertinimas ir egzaminų stebėjimas

Annex III, 3 kategorija apibrėžia dvi atskiras aukštos rizikos švietimo DI kategorijas. Kiekvienos kategorijos apimties supratimas yra esminis klasifikavimo sprendimams.

Priėmimo DI — galimybių patekti į švietimo įstaigas nustatymas

Annex III, 3(a) kategorija apima DI sistemas, skirtas galimybės patekti į švietimo ir profesinio mokymo įstaigas ar programas arba jiems skyrimo nustatymui. Ši kategorija apima DI, kuri vertina, reitinguoja ar filtruoja kandidatus universiteto priėmimo procesuose, DI, kuri vertina ankstesnes kvalifikacijas arba profesinių įgaliojimų pripažinimą, ir DI, kuri nustato tinkamumą konkretiems akademiniams keliais ar specializuotoms programoms.

Aukštos rizikos klasifikacija taikoma tada, kai DI sistemos rezultatas turi reikšmingą poveikį kandidato galimybei pasinaudoti švietimo galimybe. Šis slenkstis tenkinamas daugumoje operatyviai naudojamų priėmimo DI sistemų: vertinimo modelis, kurio rezultatai yra peržiūrimi ir priėmimo pareigūnų, kurie veikia neatliekant sisteminės pakartotinės analizės, iš esmės lemia rezultatus, net jei žmogus formaliai patvirtina kiekvieną sprendimą. Tokių sistemų tiekėjai turi laikytis Arts. 9–15 reikalavimų (duomenų valdymas, techninė dokumentacija, registravimas, skaidrumas, žmogaus priežiūra, tikslumas ir patikimumas). Diegiančiosios įstaigos turi patikrinti atitiktį ir įgyvendinti Art. 26 diegiančiojo subjekto prievoles prieš naudojant sistemą bet kuriame priėmimo cikle.

Šališkumo rizika yra ypač didelė priėmimo DI sistemose. Sistemos, apmokytos remiantis istoriniais priėmimo ir akademinės sėkmės duomenimis, gali koduoti esamas nelygybės formas — lyčių skirtumus tam tikrose disciplinose, socioekonominius neatitikimus akademiniame pasiruošime, skirtingus rezultatus tarp vietinių ir tarptautinių kandidatų. Art. 10 reikalauja, kad mokymo duomenys būtų valdomi praktikomis, sprendžiančiomis žinomus šališkumus, o Art. 9 įpareigoja taikyti rizikos valdymo priemones, kalibruotas pagal galimos žalos sunkumą, kuris šiame kontekste apima kvalifikuotų kandidatų iš nepalankioje padėtyje esančių grupių prieigos prie švietimo atėmimą.

Automatizuotos vertinimo DI — pažymių rašymas ir akademinio kelio priskyrimas

Annex III, 3(b) kategorija apima DI sistemas, kurios vertina ir testuoja studentus, įskaitant automatizuotus pažymių rašymo įrankius ir sistemas, kurios priskiria studentus prie diferencijuotų akademinių kelių, kai tos sistemos turi reikšmingą poveikį jų švietimo keliams. Automatizuotas esė vertinimo įrankis, kuris pateikia galutinius pažymius, lemiančius, ar studentas išlaiko ar neišlaiko kursą, gauna kvalifikaciją arba pereina į kitą akademinį lygmenį, yra aukštos rizikos. Panašiai, DI, kuri, remiantis veiklos duomenimis, priskiria studentus prie papildomųjų, standartinių ar pažengusiųjų grupių, turi reikšmingą poveikį švietimo keliams ir patenka į šią kategoriją.

Formatyvinių vertinimo įrankių — įrankių, naudojamų išimtinai grįžtamajam ryšiui studentams teikti, kai žmogus pedagogas išlaiko visišką ir veiksmingą kontrolę dėl visų vertinamų rezultatų — ribos yra siauresnės. Tokie įrankiai gali nepatekti į 3(b) kategoriją, tačiau ši klasifikacija turi būti dokumentuota ir pagrįsta, o įstaigos turi užtikrinti, kad žmogaus priežiūra būtų iš tikrųjų esminė, o ne formalus DI sukurtų rezultatų patvirtinimas.

Nuotolinio egzaminų stebėjimo DI

Nuotolinės egzaminų stebėjimo sistemos, kurios stebi studentų elgesį per vertinimus per vaizdo analizę, akių sekimą, naršyklės blokavimą, klavišų paspaudimų registravimą ar elgesio anomalijų aptikimą, yra vienas iš teisiškai sudėtingiausių DI taikymų švietime. Kai tokios sistemos pažymi ar diskvalifikuoja studentus remdamosi automatizuota analize — arba kai jų rezultatai yra naudojami žmogaus tikrintojų taip, kad iš esmės lemia rezultatus — jos sudaro aukštos rizikos DI pagal Annex III, 3 kategoriją kaip DI, kuri vertina studentus ir turi reikšmingų pasekmių jų akademiniams keliams.

Stebėjimo DI taip pat susijusi su Art. 5(1)(d) draudimu dėl biometrinio tapatybės nustatymo realiuoju laiku viešai prieinamose erdvėse. Kai stebėjimo sistemos naudoja veido atpažinimą, siekdamos nuolat tikrinti studento tapatybę per egzaminą realiuoju laiku, tai sudaro draudžiamą biometrinį identifikavimą, nebent taikoma labai siaura valstybės narės teisės aktų išimtis pagal Art. 5(2)–(6). Stebėjimo DI diegiančios įstaigos turi atidžiai atskirti tapatybės tikrinimą egzamino pradžioje (potencialiai teisėtą, kai laikomasi reikalavimų) ir nuolatinę biometrinę stebėseną realiuoju laiku per visą egzamino sesiją (kuriai taikomas Art. 5 draudimas).

Tiekėjas ir diegiančiasis subjektas — EdTech įmonės ir švietimo įstaigos

EU AI Act asimetriškai paskirsto prievoles tiekėjams ir diegiančiosioms šalims. Šio paskirstymo supratimas yra pagrindinis atitikties planavimui tiek EdTech tiekėjams, tiek įstaigoms, naudojančioms jų produktus.

EdTech tiekėjo prievolės

EdTech įmonės, kurios kuria ir pateikia aukštos rizikos DI sistemas ES rinkai, yra tiekėjai pagal Art. 3(3) ir turi laikytis visų aukštos rizikos DI reikalavimų pagal III skyrių, 2 skirsnį:

• Art. 9 — Sukurti ir palaikyti DI sistemos rizikos valdymo sistemą per visą jos gyvavimo ciklą
• Art. 10 — Įgyvendinti duomenų valdymą mokymo, validavimo ir testavimo duomenų rinkiniams, sprendžiant šališkumo, reprezentatyvumo ir statistinių apribojimų klausimus
• Art. 11 ir Annex IV — Saugoti išsamią techninę dokumentaciją, patvirtinančią atitiktį
• Art. 12 — Užtikrinti automatinį sistemos veikimo registravimą, leidžiantį retrospektyviai peržiūrėti DI sprendimus
• Art. 13 — Teikti skaidrumo informaciją, leidžiančią diegiančiosioms šalims suprasti sistemos galimybes ir apribojimus
• Art. 14 — Suprojektuoti sistemą, kad diegiančiosios šalys galėtų vykdyti veiksmingą žmogaus priežiūrą
• Art. 15 — Pasiekti tinkamą tikslumą, patikimumą ir kibernetinį saugumą numatytame švietimo kontekste
• Art. 49 — Registruoti sistemą ES DI duomenų bazėje prieš pateikiant rinkai arba ją pateikiant

Tiekėjai taip pat turi pateikti diegiančiosioms įstaigoms naudojimo instrukcijas, kurios yra pakankamai konkrečios, kad įstaigos galėtų vykdyti savo pačių diegiančiojo subjekto prievoles — įskaitant informaciją apie studentų populiacijos pogrupius, su kuriais sistema buvo testuota, žinomus veikimo apribojimus, šališkumo testavimo rezultatus ir žurnalų valdymo procedūras.

Institucinis diegiančiojo subjekto prievolės

Universitetai, mokyklos ir profesinio mokymo įstaigos, diegiančios aukštos rizikos EdTech DI pagal Art. 26, privalo:

• Patikrinti, kad DI sistema turėtų CE ženklinimą ir kad ES atitikties deklaracija būtų prieinama
• Visapusiškai įgyvendinti tiekėjo naudojimo instrukcijas
• Užtikrinti, kad kvalifikuoti darbuotojai būtų paskirti atsakingais už žmogaus priežiūrą, turintys pakankamą techninę kompetenciją ir praktinę valdžią kištis į DI sukurtus rezultatus
• Saugoti veikimo žurnalus minimaliu laikotarpiu ir pateikti juos nacionalinėms priežiūros institucijoms pareikalavus
• Pranešti apie rimtus incidentus ar gedimus tiekėjui ir, kai aktualu, nacionalinėms DI priežiūros institucijoms
• Prieš diegiant DI vertinimo ar priėmimo sistemas atlikti arba pavesti atlikti pagrindinių teisių poveikio vertinimą (FRIA) pagal Art. 27
• Nekeisti aukštos rizikos DI sistemų būdais, keičiančiais jų numatomą paskirtį, nesuaktyvinus tiekėjo pakartotinio vertinimo

Sąveika su GDPR, vaikų teisėmis ir nacionaliniais švietimo teisės aktais

GDPR ir studentų duomenų tvarkymas

Švietimo DI veikia su iš esmės jautriais duomenimis. Mokymosi analizės platformos, adaptyvaus mokymo sistemos ir elgesio stebėjimo įrankiai tvarko duomenis, kurie gali apimti akademinės veiklos įrašus, įsitraukimo metrikas, elgesio signalus ir komunikaciją — visa tai susieta su identifikuojamais studentais.

Kai studentai yra nepilnamečiai, GDPR Art. 8 riboja asmens duomenų tvarkymą remiantis sutikimu: valstybės narės nustatė amžių, žemiau kurio reikalaujamas tėvų ar globėjų sutikimas, nuo 13 iki 16 metų. EdTech platformos, kurios remiasi studento sutikimu kaip teisiniu pagrindu duomenų tvarkymui, turi diegti amžiaus tikrinimo sistemas ir mechanizmus, skirtus patikrinti ir įrašyti tėvų sutikimą, kai tai reikalaujama. Įstaigos, veikiančios kaip duomenų valdytojai pagal GDPR, turi užtikrinti, kad jų sutartyse su EdTech tiekėjais būtų tinkami duomenų tvarkymo susitarimai pagal GDPR Art. 28 ir kad studentų duomenys nebūtų perduodami už EEE ribų be tinkamų apsaugos priemonių.

Ypatingų kategorijų duomenų tvarkymas — kuris gali kilti, kai dalyvauja mokymosi sunkumų vertinimai, psichinės sveikatos patikrinimas ar demografinis profiliavimas — reikalauja aiškaus teisinio pagrindo pagal GDPR Art. 9(2) ir paprastai poveikio duomenų apsaugai vertinimo pagal Art. 35.

Art. 50 — DI mokymo pokalbių robotų skaidrumas

EU AI Act Art. 50 nustato konkretų skaidrumo įpareigojimą DI sistemoms, skirtoms tiesiogiai sąveikauti su fiziniais asmenimis. DI valdomi mokymo pokalbių robotai, virtualūs mokymosi asistentai ir DI sukurti grįžtamojo ryšio įrankiai, naudojami švietimo aplinkose, turi aiškiai atskleisti savo DI prigimtį studentams kiekvienos sąveikos pradžioje. Kai studentų auditorija apima nepilnamečius, atskleidimas turi būti pritaikytas prie amžiaus ir iš tikrųjų suprantamas. Įstaigos, diegiančios DI mokymo įrankius, turi patikrinti, ar tiekėjo įgyvendinimas tenkina šią prievolę, ir negali konfigūruoti sistemos taip, kad būtų slopinamas ar slepiamas DI atskleidimas.

Nacionaliniai švietimo teisės aktai

ES valstybių narių nacionaliniai švietimo teisės aktai gali nustatyti papildomas prievoles dėl DI naudojimo akademinėse aplinkose — pavyzdžiui, reikalavimus, susijusius su egzaminų sąžiningumu, akademinių įrašų saugojimo laikotarpiu ir procedūriniu teisingumu priėmimo apeliacijose. Švietimo įstaigų atitikties programos turi susieti EU AI Act ir GDPR prievoles su taikytinais nacionaliniais teisės aktais, įskaitant sektorių specifines ministerijų rekomendacijas, išleistas nacionalinių švietimo ministerijų. Kai DI sistemos pateikia rezultatus, naudojamus formaliai reguliuojamuose procesuose (valstybiniai egzaminai, akredituotos kvalifikacijos), sąveika tarp AI Act prievolių ir nacionalinių egzaminų teisės aktų reikalauja konkrečios teisinės analizės.

Vykdymo užtikrinimas — duomenų apsaugos institucijos ir švietimo institucijos

Vykdymo užtikrinimas švietimo sektoriuje apima kelių lygmenų kompetentingų institucijų struktūrą. Nacionalinės DI priežiūros institucijos (paskirtos pagal Art. 70) turi pirminę jurisdikciją dėl EU AI Act atitikties, įskaitant atitikties vertinimą, rinkos priežiūrą ir sankcijas. Švietimo įstaigoms ši institucija gali būti bendroji DI priežiūros institucija arba, kai kuriose valstybėse narėse, paskirta sektorinė įstaiga.

Duomenų apsaugos institucijos (DAI) atlieka svarbų savarankišką vykdymo užtikrinimo vaidmenį. Atsižvelgiant į studentų duomenų, tvarkomų švietimo DI, apimtį ir jautrumą, DAI aktyviai prižiūri DI diegimus mokyklose ir universitetuose. GDPR pažeidimai, susiję su švietimo DI — neteisėtas vaikų duomenų tvarkymas, netinkami duomenų tvarkymo susitarimai su EdTech tiekėjais, reikiamų DPIA neatlikimas — traukia DAI baudas iki 20 milijonų eurų arba 4 % pasaulinės metinės apyvartos pagal GDPR Art. 83. DAI vykdymo užtikrinimo veiksmai istoriškai ankstesni nei formalus AI Act vykdymo užtikrinimas reguliuojamose srityse, ir švietimo sektoriaus DI turėtų būti planuojama atsižvelgiant į DAI kontrolę kaip artimos rizikos veiksnį.

Universitetų valdymo organai ir nacionalinės akreditavimo institucijos gali taikyti institucines pasekmes — įskaitant reputacines sankcijas, automatizuotų procesų sustabdymą ir nepriklausomų auditų reikalavimus — kai nustatoma, kad DI naudojimas priėmime ar vertinime lėmė nesąžiningus ar diskriminacinius rezultatus. Institucinis akademinis valdymas, įskaitant studentų apeliacijų procesus, turi būti suprojektuotas taip, kad būtų galima ginčyti DI paveiktus sprendimus.

Atitikties veiksmų planas švietimo įstaigoms ir EdTech tiekėjams

EdTech tiekėjams

1. Klasifikuoti kiekvieną produktą pagal Annex III, 3 kategoriją — dokumentuoti klasifikacijos pagrindimą konkrečiai nurodant sistemos numatomą paskirtį ir jos poveikio švietimo rezultatams reikšmingumą.
2. Įgyvendinti visą aukštos rizikos atitikties vertinimo režimą pagal Arts. 9–15 visiems aukštos rizikos produktams, įskaitant šališkumo testavimą demografinėse pogrupėse, reprezentuojančiose ES studentų populiaciją.
3. Registruoti aukštos rizikos sistemas ES DI duomenų bazėje (Art. 49) prieš pateikiant rinkai.
4. Parengti išsamią diegiančiojo subjekto dokumentaciją: naudojimo instrukcijas, atitikties dokumentus, šališkumo ir tikslumo testavimo rezultatus, žurnalų valdymo rekomendacijas.
5. Įgyvendinti Art. 50 skaidrumo reikalavimus visose DI sistemose, tiesiogiai sąveikaujančiose su studentais.
6. Peržiūrėti duomenų tvarkymo susitarimus, siekiant užtikrinti GDPR Art. 28 atitiktį, įskaitant tėvų sutikimo mechanizmus, kai to reikalaujama pagal Art. 8.

Švietimo įstaigoms

1. Audituoti visas naudojamas DI sistemas — priėmimą, vertinimą, egzaminų stebėjimą, analitiką, mokymą — ir klasifikuoti pagal Annex III, 3 kategoriją.
2. Prašyti ir peržiūrėti atitikties dokumentus iš visų EdTech tiekėjų bet kuriai sistemai, klasifikuotai arba potencialiai klasifikuotinamai kaip aukštos rizikos.
3. Atlikti pagrindinių teisių poveikio vertinimus pagal Art. 27 prieš diegiant ar tęsiant DI priėmimo ar vertinimo sistemų naudojimą.
4. Paskirti konkrečią priežiūros atsakomybę už kiekvieną aukštos rizikos DI sistemą kvalifikuotiems darbuotojams, turintiems tikrą techninę kompetenciją ir institucinę valdžią.
5. Peržiūrėti priėmimo ir vertinimo apeliacijų procesus, siekiant užtikrinti, kad jie apimtų galimybę ginčyti DI paveiktus sprendimus ir suteiktų prasmingą žmogaus peržiūrą.
6. Audituoti GDPR atitiktį visiems studentų duomenims, tvarkomuose EdTech platformų — patvirtinti, kad duomenų tvarkymo susitarimai, teisiniai pagrindai ir tėvų sutikimo mechanizmai yra taikomi.
7. Patikrinti egzaminų stebėjimo DI konfigūracijas dėl atitikties Art. 5 draudimui biometriniam identifikavimui realiuoju laiku — jei bet kuri konfigūracija apima nuolatinį veido atpažinimą per egzamino sesijas, prieš kitą egzaminų periodą kreiptis skubiai teisinės konsultacijos.