Izobraževanje in EdTech — skladnost z EU AI Act

Obveznosti po EU AI Act za umetno inteligenco v izobraževanju: vpis, avtomatizirano ocenjevanje, nadzor izpitov in učne platforme. Zajema kategorijo 3 Annexa III ter posebne zaščite za študente.

Izobraževalni sektor in EU AI Act — zakaj so pravice študentov osrednjega pomena

EU AI Act (Uredba (EU) 2024/1689) opredeljuje izobraževanje in poklicno usposabljanje kot področje povišanega tveganja ter uvršča specifične AI aplikacije v njem med visoko tvegane po Annexu III, kategoriji 3. Ta razvrstitev odraža temeljno presojo evropskega zakonodajalca: AI sistemi, ki oblikujejo dostop do izobraževalnih priložnosti ali določajo akademske rezultate, posegajo v pravice izjemnega individualnega pomena — pravico do izobraževanja (Art. 14, Listina EU o temeljnih pravicah), pravico do nediskriminacije (Art. 21) ter, za velik delež študentov, ki so mladoletni, povišane zaščite po GDPR Art. 8 in mednarodnih okvirjih, vključno s Konvencijo OZN o otrokovih pravicah (UNCRC).

Izobraževalni sektor ima posebno lastno podobo skladnosti. Večina izobraževalnih ustanov — univerze, šole in organi za poklicno usposabljanje — prevzema vlogo upravljavca po EU AI Act: pridobivajo in upravljajo AI sisteme, ki jih razvijajo EdTech prodajalci, ne pa razvijajo umetno inteligenco interno. Ta razlika ne zmanjšuje njihovih obveznosti. Upravljavci visoko tvegane umetne inteligence po Art. 26 nosijo neodvisne pravne dolžnosti, ki jih ni mogoče izpolniti zgolj z nakupom izdelka z oznako CE. Hkrati so EdTech podjetja, ki razvijajo in dajejo AI sisteme na trg EU, ponudniki, ki jih zavezuje celoten režim ugotavljanja skladnosti po Poglavju III, Oddelku 2.

Sektor je zaznamovan tudi z znatno koncentracijo občutljivih osebnih podatkov. Vedenjski podatki študentov, evidenca ocenjevanj, vzorci angažiranosti, učne težave in demografski profili se obdelujejo v obsegu z adaptivnimi učnimi platformami in analitičnimi orodji. Ta koncentracija podatkov pomeni, da skladnosti z EU AI Act v izobraževanju ni mogoče načrtovati ločeno od GDPR — oba okvira morata biti obravnavana kot integrirana obveznost skladnosti.

Visoko tvegana umetna inteligenca v izobraževanju — vpis, ocenjevanje in nadzor izpitov

Annex III, kategorija 3, opredeljuje dve ločeni kategoriji visoko tvegane izobraževalne umetne inteligence. Razumevanje področja vsake kategorije je bistvenega pomena za odločitve o razvrstitvi.

Umetna inteligenca za sprejemne postopke — določanje dostopa do izobraževalnih ustanov

Annex III, kategorija 3(a) zajema AI sisteme, namenjene določanju dostopa ali dodeljevanja v izobraževalne in poklicne usposabljalne ustanove ali programe. Ta kategorija zajema umetno inteligenco, ki ocenjuje, razvršča ali filtrira kandidate v sprejemnih postopkih univerz, umetno inteligenco, ki ocenjuje predhodno pridobljene kvalifikacije ali priznavanja poklicnih listin, ter umetno inteligenco, ki določa upravičenost do posebnih akademskih smeri ali specializiranih programov.

Visoko tvegana razvrstitev velja, kadar ima izhod AI sistema znaten vpliv na dostop kandidata do izobraževalne priložnosti. Ta prag dosega večina operativno uvajane umetne inteligence za sprejemne postopke: model za ocenjevanje, katerega izhodne vrednosti sprejemna komisija pregleduje in upošteva brez sistematičnega ponovnega vrednotenja temeljne ocene, dejansko določa rezultate, četudi človek formalno odobri vsako odločitev. Ponudniki takšnih sistemov morajo biti skladni z Arts. 9–15 (upravljanje podatkov, tehnična dokumentacija, beleženje, preglednost, človeški nadzor, točnost in robustnost). Instituicije, ki uvajajo te sisteme, morajo pred vsako sprejemno kampanjo preveriti skladnost in izvajati obveznosti upravljavca iz Art. 26.

Tveganje pristranskosti je pri umetni inteligenci za sprejemne postopke še posebej izrazito. Sistemi, usposobljeni na zgodovinskih podatkih o sprejemih in akademskem uspehu, lahko kodirajo obstoječe neenakosti — spolne razlike v določenih disciplinah, socialno-ekonomske razlike v akademski pripravljenosti, razlike v uspešnosti med domačimi in tujimi kandidati. Art. 10 zahteva, da so učni podatki predmet praks upravljanja, ki obravnavajo znane pristranskosti, Art. 9 pa nalaga ukrepe za obvladovanje tveganj, umerjene na resnost potencialne škode, ki v tem kontekstu vključuje odrekanje izobraževalne priložnosti usposobljenim kandidatom iz prikrajšanih skupin.

Umetna inteligenca za avtomatizirano ocenjevanje — ocenjevanje in razporeditev v akademske smeri

Annex III, kategorija 3(b) zajema AI sisteme, ki vrednotijo in ocenjujejo študente, vključno z orodji za avtomatizirano ocenjevanje in sistemi, ki na podlagi podatkov o uspešnosti razporejajo študente v diferencirane akademske smeri, kadar imajo ti sistemi znaten vpliv na njihove izobraževalne poti. Orodje za avtomatizirano ocenjevanje esejev, ki določa končne ocene in s tem, ali študent opravi predmet, prejme kvalifikacijo ali napreduje na naslednjo akademsko raven, je visoko tvegano. Podobno je umetna inteligenca, ki na podlagi podatkov o uspešnosti razporeja študente v remedial, standardne ali napredne smeri, visoko tvegana, ker ima znaten vpliv na izobraževalne poti.

Meja pri orodjih za formativno ocenjevanje — orodjih, ki se uporabljajo izključno za zagotavljanje povratnih informacij študentom, kjer pedagog ohrani polni in dejanski nadzor nad vsemi ocenjenimi rezultati — je ožja. Takšna orodja morda ne sodijo v kategorijo 3(b), toda ta razvrstitev mora biti dokumentirana in utemeljena, institucije pa morajo zagotoviti, da je človeški nadzor resnično vsebinski in ne le formalna potrditev AI-generiranih rezultatov.

Umetna inteligenca za nadzor izpitov na daljavo

Sistemi za nadzor izpitov na daljavo, ki med ocenjevanji spremljajo vedenje študentov z analizo videoposnetkov, sledenjem oči, zaklenitvijo brskalnika, beleženjem pritiskov tipk ali zaznavanjem vedenjskih nepravilnosti, predstavljajo eno od pravno najkompleksnejših AI aplikacij v izobraževanju. Kadar ti sistemi označijo ali diskvalificirajo študente na podlagi svojih avtomatiziranih analiz — ali kadar njihove izhode človeški pregledovalci uporabljajo na načine, ki bistveno določajo rezultate — so visoko tvegana umetna inteligenca po Annexu III, kategoriji 3, kot umetna inteligenca, ki ocenjuje študente in ima znaten vpliv na njihove izobraževalne poti.

Umetna inteligenca za nadzor izpitov prav tako sproži prepoved biometrične identifikacije na daljavo v realnem času na javno dostopnih mestih iz Art. 5(1)(d). Kadar sistemi za nadzor izpitov v realnem času med izpitom neprekinjeno preverjajo identiteto študentov s prepoznavanjem obrazov, to pomeni prepovedano biometrično identifikacijo, razen če velja ozka zakonodajna izjema države članice po Art. 5(2)–(6). Institucije, ki uvajajo umetno inteligenco za nadzor izpitov, morajo skrbno ločevati med preverjanjem identitete ob vstopu na izpit (potencialno zakonito, kadar je skladno) in neprekinjenim biometričnim nadzorom v realnem času med celotno izpitno sejo (predmet prepovedi Art. 5).

Ponudnik in upravljavec — EdTech podjetja in izobraževalne ustanove

EU AI Act asimetrično porazdeljuje obveznosti med ponudnike in upravljavce. Razumevanje te porazdelitve je temeljnega pomena za načrtovanje skladnosti tako za EdTech prodajalce kot za institucije, ki uporabljajo njihove izdelke.

Obveznosti EdTech ponudnikov

EdTech podjetja, ki razvijajo in dajejo visoko tvegane AI sisteme na trg EU, so ponudniki po Art. 3(3) in morajo biti skladni s celotnimi zahtevami za visoko tvegano umetno inteligenco iz Poglavja III, Oddelka 2:

• Art. 9 — Vzpostaviti in vzdrževati sistem za obvladovanje tveganj za celoten življenjski cikel AI sistema
• Art. 10 — Izvajati upravljanje podatkov za usposabljanje, validacijo in testiranje podatkovnih naborov ter obravnavati pristranskost, reprezentativnost in statistične omejitve
• Art. 11 in Annex IV — Vzdrževati celovito tehnično dokumentacijo, ki dokazuje skladnost
• Art. 12 — Zagotoviti samodejno beleženje delovanja sistema, ki omogoča naknadno pregled AI odločitev
• Art. 13 — Zagotoviti informacije o preglednosti, ki upravljavcem omogočajo razumevanje zmogljivosti in omejitev sistema
• Art. 14 — Zasnovati sistem tako, da upravljavcem omogoča učinkovit človeški nadzor
• Art. 15 — Doseči ustrezno točnost, robustnost in kibernetsko varnost za predvideni izobraževalni kontekst
• Art. 49 — Sistem vpisati v bazo podatkov EU o umetni inteligenci pred dajanjem na trg ali ob njem

Ponudniki morajo institucijam, ki uvajajo sisteme, zagotoviti navodila za uporabo, ki so dovolj podrobna, da institucijam omogočajo izpolnjevanje lastnih obveznosti upravljavca — vključno z informacijami o podskupinah populacije študentov, za katere je bil sistem testiran, znanih omejitvah zmogljivosti, rezultatih testiranja pristranskosti in postopkih upravljanja dnevnikov.

Obveznosti institucionalnih upravljavcev

Univerze, šole in organi za poklicno usposabljanje, ki uvajajo visoko tvegano EdTech umetno inteligenco po Art. 26, morajo:

• Preveriti, ali AI sistem nosi oznako CE in ali je razpoložljiva izjava EU o skladnosti
• V celoti izvajati navodila za uporabo ponudnika
• Zagotoviti, da so usposobljeni uslužbenci odgovorni za človeški nadzor z zadostno tehnično usposobljenostjo in dejanskim pooblastilom za posredovanje pri AI-generiranih izhodih
• Vzdrževati operativne dnevnike za minimalno obdobje in jih na zahtevo dati na voljo nacionalnim nadzornim organom
• Poročati o resnih incidentih ali okvarah ponudniku in, kjer je to relevantno, nacionalnim nadzornim organom za umetno inteligenco
• Izvesti ali naročiti oceno vpliva na temeljne pravice (FRIA) po Art. 27 pred uvajanjem AI sistemov za ocenjevanje ali sprejemne postopke
• Ne modificirati visoko tveganih AI sistemov na načine, ki bi spremenili njihov predvideni namen, ne da bi pri tem sprožili ponovno ocenjevanje s strani ponudnika

Interakcija z GDPR, pravicami otrok in nacionalno izobraževalno zakonodajo

GDPR in obdelava podatkov o študentih

Izobraževalna umetna inteligenca deluje na podatkih, ki so po naravi občutljivi. Platforme za analitiko učenja, adaptivni sistemi za tutorstvo in vedenjska orodja za nadzor izpitov obdelujejo podatke, ki lahko vključujejo evidence akademske uspešnosti, metrike angažiranosti, vedenjske signale in komunikacijo — vse povezano z identifikabilnimi študenti.

Kadar so študenti mladoletni, GDPR Art. 8 omejuje obdelavo osebnih podatkov na podlagi privolitve: države članice so starost, pod katero je potrebna privolitev staršev ali skrbnikov, določile med 13 in 16 leti. EdTech platforme, ki se pri obdelavi podatkov zanašajo na privolitev študentov kot svojo pravno podlago, morajo uvesti preverjanje starosti in mehanizme za verificiranje in beleženje starševske privolitve, kjer je to zahtevano. Institucije, ki delujejo kot upravljavci podatkov po GDPR, morajo zagotoviti, da njihove pogodbe z EdTech prodajalci vključujejo ustrezne pogodbe o obdelavi podatkov po GDPR Art. 28 in da se podatki o študentih ne prenašajo izven EGP brez ustreznih zaščitnih ukrepov.

Obdelava posebnih kategorij podatkov — ki se lahko pojavi pri ocenjevanju učnih težav, presejanju duševnega zdravja ali demografskem profiliranju — zahteva izrecno pravno podlago po GDPR Art. 9(2) in praviloma oceno učinka v zvezi z varstvom podatkov po Art. 35.

Art. 50 — Preglednost za AI-tutorske klepetalniike

Art. 50 EU AI Act nalaga specifično obveznost preglednosti AI sistemom, zasnovanih za neposredno interakcijo s fizičnimi osebami. AI tutorski klepetalniki, virtualni učni asistenti in orodja za AI-generirane povratne informacije, ki se uvajajo v izobraževalnih okoljih, morajo na začetku vsake interakcije jasno razkriti svojo naravo AI estudentom. Kadar je publika študentov mladoletna, mora biti razkritje prilagojeno starosti in resnično razumljivo. Institucije, ki uvajajo AI tutorska orodja, morajo preveriti, da izvedba prodajalca izpolnjuje to obveznost, in sistema ne smejo konfigurirati na načine, ki bi zatrli ali zakrili razkritje AI.

Nacionalna izobraževalna zakonodaja

Nacionalna izobraževalna zakonodaja v državah članicah EU lahko nalaga dodatne obveznosti glede uporabe umetne inteligence v akademskih okoljih — na primer zahteve glede integritete izpitov, hrambe podatkov za akademske evidence in procesne poštenosti pri pritožbah v sprejemnih postopkih. Programi skladnosti za izobraževalne institucije morajo obveznosti po EU AI Act in GDPR preslikati v veljavno nacionalno zakonodajo, vključno s sektorsko specifičnimi smernicami ministrstev, ki jih izdajajo nacionalna ministrstva za izobraževanje. Kadar AI sistemi producirajo izhodne podatke, ki se uporabljajo v formalno urejenih postopkih (državni izpiti, akreditirane kvalifikacije), je vmesnik med obveznostmi po AI Act in nacionalno zakonodajo o izpitih predmet posebne pravne analize.

Izvrševanje — organi za varstvo podatkov in izobraževalni organi

Izvrševanje v izobraževalnem sektorju vključuje večplastno strukturo pristojnih organov. Nacionalni nadzorni organi za umetno inteligenco (določeni po Art. 70) imajo primarno pristojnost nad skladnostjo z EU AI Act, vključno z ugotavljanjem skladnosti, nadzorom trga in kaznimi. Za izobraževalne institucije je ta organ lahko splošni nadzorni organ za umetno inteligenco ali v nekaterih državah članicah določeno sektorsko telo.

Organi za varstvo podatkov (OVP) imajo pomembno neodvisno vlogo pri izvrševanju. Glede na obseg in občutljivost podatkov o študentih, ki jih obdeluje izobraževalna umetna inteligenca, OVP aktivno nadzorujejo uvajanje AI v šolah in na univerzah. Kršitve GDPR v zvezi z izobraževalno umetno inteligenco — nezakonita obdelava podatkov otrok, neustrezne pogodbe o obdelavi podatkov z EdTech prodajalci, opustitev izvedbe zahtevanih DPIA — privabijo globe OVP v višini do 20 milijonov EUR ali 4 % skupnega letnega prometa po GDPR Art. 83. Ukrepi OVP so zgodovinsko gledano prehitevali formalno izvrševanje AI Act v reguliranih področjih, in izobraževalna AI mora biti načrtovana z nadzorom OVP kot kratkoročnim tveganjem.

Upravljavski organi univerz in nacionalni organi za akreditacijo lahko naložijo institucionalne posledice — vključno z reputacijskimi sankcijami, ustavitvijo avtomatiziranih procesov in zahtevami za neodvisne revizije — kadar se ugotovi, da je uporaba umetne inteligence pri sprejemnih postopkih ali ocenjevanju producirala nepravične ali diskriminatorne rezultate. Institucionalno akademsko upravljanje, vključno s pritožbenimi postopki za študente, mora biti zasnovano tako, da upošteva izpodbijanja AI-vplivanih odločitev.

Načrt skladnosti za izobraževalne institucije in EdTech ponudnike

Za EdTech ponudnike

1. Razvrstite vsak izdelek glede na Annex III, kategorijo 3 — dokumentirajte razlog za razvrstitev s specifičnim sklicevanjem na predvideni namen sistema in pomen njegovega vpliva na izobraževalne rezultate.
2. Izvajajte celoten režim ugotavljanja skladnosti za visoko tvegane sisteme po Arts. 9–15 za vse izdelke, razvrščene kot visoko tvegane, vključno s testiranjem pristranskosti po demografskih podskupinah, reprezentativnih za populacijo študentov EU.
3. Vpišite visoko tvegane sisteme v bazo podatkov EU o umetni inteligenci (Art. 49) pred dajanjem na trg.
4. Pripravite celovito dokumentacijo za upravljavce: navodila za uporabo, dokumentacijo o skladnosti, rezultate testiranja pristranskosti in točnosti ter smernice za upravljanje dnevnikov.
5. Izvajajte obveznost preglednosti po Art. 50 v vseh AI sistemih, ki neposredno komunicirajo s študenti.
6. Preglejte pogodbe o obdelavi podatkov, da zagotovite skladnost z GDPR Art. 28, vključno z mehanizmi za starševsko privolitev, kjer je to zahtevano po Art. 8.

Za izobraževalne institucije

1. Revidirajte vse AI sisteme v uporabi — sprejemni postopki, ocenjevanje, nadzor izpitov, analitika, tutorstvo — in jih razvrstite glede na Annex III, kategorijo 3.
2. Zahtevajte in pregledajte dokumentacijo o skladnosti od vseh EdTech prodajalcev za vsak sistem, ki je razvrščen ali potencialno razvrstitljiv kot visoko tvegan.
3. Izvedite ocene vpliva na temeljne pravice po Art. 27 pred uvajanjem ali nadaljevanjem uvajanja AI sistemov za sprejemne postopke ali ocenjevanje.
4. Dodelite poimensko odgovornost za nadzor vsakega visoko tveganega AI sistema usposobljenim uslužbencem z resnično tehnično usposobljenostjo in institucionalnim pooblastilom.
5. Preglejte pritožbene postopke za sprejemne postopke in ocenjevanje, da zagotovite, da upoštevajo izpodbijanja AI-vplivanih odločitev in zagotavljajo smiselno človeško preučitev.
6. Revidirajte skladnost z GDPR za vse podatke o študentih, ki jih obdelujejo EdTech platforme — potrdite, da so pogodbe o obdelavi podatkov, pravne podlage in mehanizmi starševske privolitve vzpostavljeni.
7. Preverite konfiguracije umetne inteligence za nadzor izpitov glede skladnosti s prepovedjo biometrične identifikacije v realnem času iz Art. 5 — če katera koli konfiguracija vključuje neprekinjeno prepoznavanje obrazov med izpitnimi seji, pred naslednjim izpitnim rokom urgentno pridobite pravni nasvet.