Obrazovanje i EdTech — Usklađenost s EU AI Aktom

Obveze prema EU AI Aktu za AI u obrazovanju: upisi, automatizirano ocjenjivanje, nadzor ispita i platforme za učenje. Obuhvaća kategoriju 3 Annexa III i posebne zaštite za studente.

Sektor obrazovanja i EU AI Akt — Zašto su prava studenata u središtu

EU AI Akt (Uredba (EU) 2024/1689) identificira obrazovanje i strukovno osposobljavanje kao domenu povišenog rizika, klasificirajući određene AI aplikacije unutar nje kao visokorizične prema Annexu III, kategoriji 3. Ova klasifikacija odražava temeljnu prosudbu europskog zakonodavca: AI sustavi koji oblikuju pristup obrazovnim mogućnostima ili određuju akademske ishode zadiru u prava od duboke individualne važnosti — pravo na obrazovanje (Art. 14, Povelja EU o temeljnim pravima), pravo na nediskriminaciju (Art. 21) i, za veliki udio studenata koji su maloljetnici, pojačane zaštite prema GDPR Art. 8 i međunarodnim okvirima, uključujući UN Konvenciju o pravima djeteta (UNCRC).

Sektor obrazovanja ima poseban profil usklađenosti. Većina obrazovnih ustanova — sveučilišta, škole i tijela za strukovno osposobljavanje — zauzima ulogu primjenjivatelja prema EU AI Aktu: nabavljaju i upravljaju AI sustavima koje grade EdTech dobavljači, a ne razvijaju AI interno. Ova razlika ne umanjuje njihove obveze. Primjenjivatelji visokorizičnog AI prema Art. 26 nose neovisne zakonske dužnosti koje se ne mogu ispuniti pukim kupovanjem CE označenog proizvoda. Istovremeno, EdTech tvrtke koje razvijaju i plasiraju AI sustave na tržište EU pružatelji su koji podliježu punom režimu ocjenjivanja sukladnosti prema Poglavlju III, Odjeljku 2.

Sektor je također karakteriziran značajnom koncentracijom osjetljivih osobnih podataka. Bihevioralni podaci o studentima, evidencije ocjenjivanja, obrasci angažmana, teškoće u učenju i demografski profili obrađuju se u velikom opsegu putem platformi za adaptivno učenje i analitičkih alata. Ova koncentracija podataka znači da usklađenost s EU AI Aktom u obrazovanju ne može biti planirana odvojeno od GDPR-a — oba okvira moraju se razmatrati kao integrirana obveza usklađenosti.

Visokorizičan AI u obrazovanju — Upisi, ocjenjivanje i nadzor ispita

Annex III, kategorija 3 definira dvije zasebne kategorije visokorizičnog obrazovnog AI. Razumijevanje opsega svake kategorije ključno je za odluke o klasifikaciji.

AI za upise — Utvrđivanje pristupa obrazovnim ustanovama

Annex III, kategorija 3(a) obuhvaća AI sustave namijenjene utvrđivanju pristupa ili raspoređivanja u obrazovne i ustanove za strukovno osposobljavanje ili programe. Ova kategorija uključuje AI koji boduje, rangira ili filtrira pristupnike u postupcima upisa na sveučilišta, AI koji procjenjuje prethodne kvalifikacije ili priznavanja stručnih vjerodajnica te AI koji utvrđuje prihvatljivost za specifične akademske smjerove ili specijalizirane programe.

Klasifikacija visokorizičnog sustava primjenjuje se kada izlazni podaci AI sustava imaju značajan učinak na pristup pristupnika obrazovnoj mogućnosti. Ovaj prag ispunjava većina operativno implementiranih AI sustava za upise: model bodovanja čije izlazne podatke pregledavaju i na osnovu njih djeluju referenti za upise bez sustavne ponovne evaluacije temeljne procjene, u stvarnosti određuje ishode čak i ako čovjek formalno odobrava svaku odluku. Pružatelji takvih sustava moraju biti sukladni s Arts. 9–15 (upravljanje podacima, tehnička dokumentacija, zapisivanje, transparentnost, ljudski nadzor, točnost i robusnost). Institucije primjenjivatelji moraju verificirati sukladnost i provesti obveze primjenjivatelja prema Art. 26 prije nego što se sustav upotrijebi u bilo kojoj upisnoj proceduri.

Rizik od pristranosti posebno je izražen u AI sustava za upise. Sustavi obučeni na povijesnim podacima o upisu i akademskom uspjehu mogu kodificirati postojeće nejednakosti — rodne razlike u pojedinim disciplinama, socioekonomske disparitete u akademskoj pripremi, različite performanse domaćih i međunarodnih pristupnika. Art. 10 zahtijeva da podaci za obučavanje budu podvrgnuti praksama upravljanja koje se bave poznatim pristranostima, a Art. 9 nalaže mjere upravljanja rizicima kalibrirane prema ozbiljnosti potencijalne štete, koja u ovom kontekstu uključuje uskraćivanje obrazovnih mogućnosti kvalificiranim pristupnicima iz ugroženih skupina.

AI za automatizirano vrednovanje — Ocjenjivanje i raspoređivanje na akademske smjerove

Annex III, kategorija 3(b) obuhvaća AI sustave koji vrednuju i procjenjuju studente, uključujući alate za automatizirano ocjenjivanje i sustave koji raspoređuju studente na diferencirane akademske smjerove, gdje ti sustavi imaju značajan učinak na njihove obrazovne puteve. Automatizirani alat za ocjenjivanje eseja koji daje konačne ocjene kojima se određuje prolazi li student predmet, prima li kvalifikaciju ili stječe li napredovanje na sljedeću akademsku razinu, visokorizičan je. Slično tome, AI koji smješta studente u remedijalne, standardne ili napredne smjerove na osnovi podataka o performansama ima značajan učinak na obrazovne puteve i spada u ovu kategoriju.

Granica za alate formativnog vrednovanja — alate koji se koriste isključivo za pružanje povratnih informacija studentima gdje nastavnik zadržava punu i učinkovitu kontrolu nad svim ocijenjenim ishodima — uža je. Takvi alati mogu biti izvan kategorije 3(b), ali ova klasifikacija mora biti dokumentirana i obrazložena, a institucije moraju osigurati da je ljudski nadzor zaista suštinski, a ne tek formalno odobravanje AI generiranih rezultata.

AI za daljinski nadzor ispita

Sustavi za daljinski nadzor ispita koji prate ponašanje studenata za vrijeme vrednovanja putem video analize, praćenja pokreta oka, zaključavanja preglednika, bilježenja pritisaka tipki ili otkrivanja bihevioralnih anomalija predstavljaju jednu od pravno najsloženijih AI aplikacija u obrazovanju. Gdje takvi sustavi označavaju ili diskvalificiraju studente na temelju svoje automatizirane analize — ili gdje se njihovi izlazni podaci koriste od strane ljudskih recenzenata na načine koji u osnovi određuju ishode — oni čine visokorizičan AI prema Annexu III, kategoriji 3 kao AI koji vrednuje studente i ima značajne učinke na njihove obrazovne puteve.

AI za nadzor ispita također zadire u zabranu Art. 5(1)(d) o biometrijskoj identifikaciji u stvarnom vremenu na daljinu na javno dostupnim mjestima. Gdje sustavi za nadzor ispita koriste prepoznavanje lica za kontinuiranu provjeru identiteta studenta za vrijeme ispita u stvarnom vremenu, to predstavlja zabranjenu biometrijsku identifikaciju osim ako se ne primjenjuje vrlo uska zakonska iznimka države članice prema Art. 5(2)–(6). Institucije koje implementiraju AI za nadzor ispita moraju pažljivo razlikovati provjeru identiteta u trenutku pristupa ispitu (potencijalno zakonitu kada je sukladna) i kontinuirani biometrijski nadzor u stvarnom vremenu tijekom cijele ispitne sesije (koji podliježe zabrani iz Art. 5).

Pružatelj nasuprot primjenjivatelju — EdTech tvrtke i obrazovne institucije

EU AI Akt asimetrično raspoređuje obveze između pružatelja i primjenjivatelja. Razumijevanje ove raspodjele temelj je planiranja usklađenosti za EdTech dobavljače i institucije koje koriste njihove proizvode.

Obveze EdTech pružatelja

EdTech tvrtke koje razvijaju i plasiraju visokorizične AI sustave na tržište EU pružatelji su prema Art. 3(3) i moraju ispunjavati sve zahtjeve za visokorizičan AI u Poglavlju III, Odjeljku 2:

• Art. 9 — Uspostaviti i održavati sustav upravljanja rizicima za cijeli životni ciklus AI sustava
• Art. 10 — Provesti upravljanje podacima za skupove podataka za obučavanje, validaciju i testiranje, uzimajući u obzir pristranost, reprezentativnost i statistička ograničenja
• Art. 11 i Annex IV — Voditi sveobuhvatnu tehničku dokumentaciju kojom se dokazuje sukladnost
• Art. 12 — Osigurati automatsko bilježenje rada sustava koje omogućuje naknadno preispitivanje AI odluka
• Art. 13 — Pružiti informacije o transparentnosti koje primjenjivateljima omogućuju razumijevanje sposobnosti i ograničenja sustava
• Art. 14 — Projektirati sustav kako bi se omogućio učinkovit ljudski nadzor od strane primjenjivatelja
• Art. 15 — Postići odgovarajuću točnost, robusnost i kibersigurnost za predviđeni obrazovni kontekst
• Art. 49 — Registrirati sustav u bazi podataka EU AI prije ili pri plasmanu na tržište

Pružatelji moraju opskrbiti institucije primjenjivatelje uputama za upotrebu koje su dovoljno konkretne da institucijama omoguće ispunjavanje vlastitih obveza primjenjivatelja — uključujući informacije o podskupinama studentske populacije na kojima je sustav testiran, poznatim ograničenjima performansi, rezultatima testiranja pristranosti i postupcima upravljanja zapisnicima.

Obveze institucijskih primjenjivatelja

Sveučilišta, škole i tijela za strukovno osposobljavanje koja uvode visokorizičan EdTech AI prema Art. 26 moraju:

• Verificirati da AI sustav nosi CE oznaku i da je EU Izjava o sukladnosti dostupna
• Provesti upute pružatelja za upotrebu u potpunosti
• Osigurati da su kvalificirani zaposlenici zaduženi za ljudski nadzor, s dostatnom tehničkom kompetencijom i stvarnim ovlaštenjima za intervenciju u AI generiranim rezultatima
• Čuvati operativne zapisnike minimalno propisano razdoblje i staviti ih na raspolaganje nacionalnim nadzornim tijelima na zahtjev
• Prijavljivati ozbiljne incidente ili kvarove pružatelju i, gdje je relevantno, nacionalnim nadzornim tijelima za AI
• Provesti ili naručiti procjenu utjecaja na temeljna prava (FRIA) prema Art. 27 prije uvođenja AI sustava za vrednovanje ili upise
• Ne mijenjati visokorizične AI sustave na načine koji mijenjaju njihovu predviđenu namjenu bez pokretanja ponovne procjene od strane pružatelja

Interakcija s GDPR-om, pravima djece i nacionalnim obrazovnim zakonodavstvom

GDPR i obrada studentskih podataka

AI u obrazovanju obrađuje podatke koji su po svojoj prirodi osjetljivi. Platforme za analitiku učenja, sustavi adaptivnog podučavanja i alati za bihevioralni nadzor ispita obrađuju podatke koji mogu uključivati evidencije akademskih performansi, metrike angažmana, bihevioralne signale i komunikacije — sve povezano s identifikabilnim studentima.

Gdje su studenti maloljetnici, GDPR Art. 8 ograničava obradu osobnih podataka temeljenu na privoli: države članice postavile su dob ispod koje se zahtijeva privola roditelja ili skrbnika između 13 i 16 godina. EdTech platforme koje se oslanjaju na privolu studenta kao pravnu osnovu za obradu moraju provjeravati dob u svojim sustavima i provoditi mehanizme za verificiranje i evidentiranje roditeljske privole gdje se zahtijeva. Institucije koje djeluju kao voditelji obrade podataka prema GDPR-u moraju osigurati da njihovi ugovori s EdTech dobavljačima uključuju odgovarajuće ugovore o obradi podataka prema GDPR Art. 28 i da se studentski podaci ne prenose izvan EGP-a bez odgovarajućih zaštitnih mjera.

Obrada posebnih kategorija podataka — koja može nastati gdje su uključene procjene teškoća u učenju, pregledi mentalnog zdravlja ili demografsko profiliranje — zahtijeva izričitu pravnu osnovu prema GDPR Art. 9(2) i tipično Procjenu učinka na zaštitu podataka prema Art. 35.

Art. 50 — Transparentnost za AI chatbotove za poučavanje

Art. 50 EU AI Akta nameće specifičnu obvezu transparentnosti AI sustavima namijenjenim izravnoj interakciji s fizičkim osobama. AI chatbotovi za poučavanje, virtualni pomoćnici za učenje i alati za AI generirane povratne informacije koji se uvode u obrazovne okruženje moraju jasno obavijestiti studente o svojoj AI prirodi na početku svake interakcije. Gdje studentska publika uključuje maloljetnike, obavijest mora biti prilagođena da bude primjerena dobi i stvarno razumljiva. Institucije koje uvode AI alate za poučavanje moraju verificirati da implementacija dobavljača ispunjava ovu obvezu i ne smiju konfigurirati sustav na načine koji potiskuju ili prikrivaju obavijest o AI-u.

Nacionalno obrazovno zakonodavstvo

Nacionalno obrazovno zakonodavstvo u državama članicama EU može nametnuti dodatne obveze vezane uz korištenje AI-a u akademskim okruženjima — primjerice, zahtjeve koji se odnose na integritet ispita, čuvanje podataka za akademske evidencije i procesnu pravednost u žalbama na upise. Programi usklađenosti za obrazovne institucije moraju mapirati obveze prema EU AI Aktu i GDPR-u u odnosu na primjenjivo nacionalno zakonodavstvo, uključujući sektorske smjernice ministarstava koje su izdala nacionalna ministarstva obrazovanja. Gdje AI sustavi generiraju rezultate koji se koriste u formalno reguliranim procesima (državni ispiti, akreditirane kvalifikacije), sučelje između obveza prema AI Aktu i nacionalnog ispitnog zakonodavstva zahtijeva specifičnu pravnu analizu.

Provedba — Tijela za zaštitu podataka i obrazovna tijela

Provedba u sektoru obrazovanja uključuje slojevitu strukturu nadležnih tijela. Nacionalna nadzorna tijela za AI (određena prema Art. 70) imaju primarnu nadležnost nad usklađenošću s EU AI Aktom, uključujući ocjenjivanje sukladnosti, nadzor tržišta i kazne. Za obrazovne institucije, ovo tijelo može biti opće nadzorno tijelo za AI ili, u nekim državama članicama, određeno sektorsko tijelo.

Tijela za zaštitu podataka (DPA) igraju veliku neovisnu ulogu u provedbi. Uzimajući u obzir volumen i osjetljivost studentskih podataka koje obrađuje obrazovni AI, DPA-ovi aktivno nadziru AI implementacije u školama i sveučilištima. Kršenja GDPR-a vezana uz obrazovni AI — nezakonita obrada podataka djece, neadekvatni ugovori o obradi podataka s EdTech dobavljačima, propust provođenja potrebnih DPIA — privlače DPA novčane kazne do €20 milijuna ili 4% globalnog godišnjeg prometa prema GDPR Art. 83. DPA mjere provedbe povijesno su prethodile formalnoj provedbi AI Akta u reguliranim domenama, a obrazovni sektor AI treba planirati s DPA nadzorom kao kratkotrajnim rizikom.

Upravljačka tijela sveučilišta i nacionalna akreditacijska tijela mogu nametnuti institucionalne posljedice — uključujući reputacijske sankcije, obustavljanje automatiziranih procesa i zahtjeve za neovisnim revizijama — gdje se utvrdi da je korištenje AI-a u upisima ili vrednovanju rezultiralo nepravednim ili diskriminatornim ishodima. Institucionalno akademsko upravljanje, uključujući postupke žalbi studenata, mora biti oblikovano tako da može odgovoriti na izazove AI-om uvjetovanih odluka.

Plan usklađenosti za obrazovne institucije i EdTech pružatelje

Za EdTech pružatelje

1. Klasificirajte svaki proizvod prema Annexu III, kategoriji 3 — dokumentirajte obrazloženje klasifikacije s konkretnim pozivanjem na predviđenu namjenu sustava i značajnost njegovog učinka na obrazovne ishode.
2. Provedite puni režim ocjenjivanja sukladnosti za visokorizičan AI prema Arts. 9–15 za sve proizvode klasificirane kao visokorizični, uključujući testiranje pristranosti po demografskim podskupinama reprezentativnim za studentsku populaciju EU.
3. Registrirajte visokorizične sustave u bazi podataka EU AI (Art. 49) prije plasmana na tržište.
4. Pripremite potpunu dokumentaciju namijenjenu primjenjivatelju: upute za upotrebu, dokumentaciju o sukladnosti, rezultate testiranja pristranosti i točnosti, smjernice za upravljanje zapisnicima.
5. Provedite transparentnost prema Art. 50 u svim AI sustavima koji stupaju u izravnu interakciju sa studentima.
6. Pregledajte ugovore o obradi podataka kako biste osigurali sukladnost s GDPR Art. 28, uključujući mehanizme za roditeljsku privolu gdje se zahtijeva prema Art. 8.

Za obrazovne institucije

1. Revidirajte sve AI sustave u upotrebi — upise, ocjenjivanje, nadzor ispita, analitiku, poučavanje — i klasificirajte ih prema Annexu III, kategoriji 3.
2. Zatražite i pregledajte dokumentaciju o sukladnosti od svih EdTech dobavljača za bilo koji sustav klasificiran ili potencijalno klasificirabilan kao visokorizičan.
3. Provedite procjene utjecaja na temeljna prava prema Art. 27 prije uvođenja ili nastavka uvođenja AI sustava za upise ili vrednovanje.
4. Dodijelite imenovanim zaposlenicima odgovornost za nadzor svakog visokorizičnog AI sustava, zaposlenicima s istinskom tehničkom kompetencijom i institucijskim ovlastima.
5. Pregledajte postupke žalbi na upise i vrednovanje kako biste osigurali da mogu odgovoriti na izazove AI-om uvjetovanih odluka i pružaju smisleni ljudski pregled.
6. Revidirajte GDPR sukladnost za sve studentske podatke koje obrađuju EdTech platforme — potvrdite da su ugovori o obradi podataka, pravne osnove i mehanizmi roditeljske privole na snazi.
7. Verificirajte konfiguracije AI-a za nadzor ispita radi sukladnosti sa zabranom iz Art. 5 o biometrijskoj identifikaciji u stvarnom vremenu — ako ikoja konfiguracija uključuje kontinuirano prepoznavanje lica za vrijeme ispitnih sesija, pribavite hitni pravni savjet prije sljedećeg ispitnog roka.