Haridus ja EdTech — EL-i tehisintellekti määruse nõuetele vastavus

EL-i tehisintellekti määrusest tulenevad kohustused hariduse valdkonna tehisintellektisüsteemidele: vastuvõtt, automatiseeritud hindamine, eksamiseiramine ja õppeplatvormid. Käsitleb III lisa kategooriat 3 ning erikaitsemeetmeid üliõpilastele.

Haridussektor ja EL-i tehisintellekti määrus — miks on üliõpilaste õigused kesksel kohal

EL-i tehisintellekti määrus (Euroopa Parlamendi ja nõukogu määrus (EL) 2024/1689) tunnistab hariduse ja kutseõppe kõrgendatud riskiga valdkonnaks, klassifitseerides konkreetsed tehisintellektirakendused selles valdkonnas kõrge riskiga süsteemideks III lisa kategooria 3 alusel. See klassifikatsioon peegeldab Euroopa seadusandja fundamentaalset hinnangut: tehisintellektisüsteemid, mis kujundavad juurdepääsu hariduslikele võimalustele või määravad akadeemilisi tulemusi, puudutavad sügavalt isikliku tähtsusega õigusi — õigust haridusele (Art. 14, EL-i põhiõiguste harta), õigust mittediskrimineerimisele (Art. 21) ning suure osa alaealiste üliõpilaste puhul GDPR Art. 8 tugevdatud kaitsemeetmeid ja rahvusvahelisi raamistikke, sealhulgas ÜRO lapse õiguste konventsiooni (UNCRC).

Haridussektoril on eripärane vastavusprofiil. Enamik haridusasutusi — ülikoolid, koolid ja kutseõppeasutused — tegutsevad EL-i tehisintellekti määruse alusel kasutuselevõtja rollis: nad hangivad ja kasutavad EdTech-tarnijate loodud tehisintellektisüsteeme, selle asemel et arendada tehisintellekti ettevõttesiseselt. See eristus ei vähenda nende kohustusi. Art. 26 alusel kõrge riskiga tehisintellekti kasutuselevõtjatel lasuvad iseseisvad õiguslikud kohustused, mida ei saa täita pelgalt CE-märgisega toote ostmisega. Samas on EdTech-ettevõtted, kes arendavad ja toovad EL-i turule tehisintellektisüsteeme, pakkujad, kes alluvad täielikule vastavushindamise korrale III peatüki 2. jao alusel.

Sektorit iseloomustab ka märkimisväärne tundlike isikuandmete kontsentratsioon. Üliõpilaste käitumuslikke andmeid, hindamistulemusi, kaasatuse mustreid, õpiraskusi ja demograafilisi profiile töödeldakse kohanduvate õppeplatvormide ja analüüsivahendite poolt suuremahuliselt. See andmete kontsentratsioon tähendab, et EL-i tehisintellekti määruse kohane vastavus haridussektoris ei saa olla kujundatud GDPR-ist eraldiseisvalt — mõlemaid raamistikke tuleb käsitleda integreeritud vastavuskohustusena.

Kõrge riskiga tehisintellekt hariduses — vastuvõtt, hindamine ja proktorimingl

III lisa kategooria 3 määratleb kaks eraldiseisvat kõrge riskiga hariduse tehisintellekti kategooriat. Iga kategooria ulatuse mõistmine on klassifikatsiooniotsuste tegemisel hädavajalik.

Vastuvõtu tehisintellekt — juurdepääsu kindlaksmääramine haridusasutustele

III lisa kategooria 3(a) hõlmab tehisintellektisüsteeme, mis on ette nähtud kasutamiseks haridus- ja kutseõppeasutustesse või -programmidesse juurdepääsu või seal kohtade määramiseks. See kategooria hõlmab tehisintellekti, mis hindab, järjestab või filtreerib taotlejaid ülikooli vastuvõtuprotsessides; tehisintellekti, mis hindab varasemaid kvalifikatsioone või tunnistab kutsekvalifikatsioone; ning tehisintellekti, mis määrab sobivust konkreetsetele akadeemilistele suundadele või spetsialiseerunud programmidele.

Kõrge riski klassifikatsioon kohaldub juhul, kui tehisintellektisüsteemi väljundil on oluline mõju taotleja juurdepääsule hariduslikule võimalusele. See lävi on täidetud enamiku operatiivselt kasutatavate vastuvõtu tehisintellektide puhul: hindamismudel, mille väljundeid vaatavad üle ja mille põhjal tegutsevad vastuvõtutöötajad ilma süstemaatilise alushinnangu ümbervaatamiseta, määrab tulemused sisuliselt isegi siis, kui inimene iga otsuse formaalselt kinnitab. Selliste süsteemide pakkujad peavad täitma Arts. 9–15 nõudeid (andmehaldus, tehniline dokumentatsioon, logimine, läbipaistvus, inimjärelevalve, täpsus ja töökindlus). Kasutuselevõtvad asutused peavad kontrollima vastavust ja rakendama Art. 26 kasutuselevõtja kohustused enne süsteemi kasutamist üheski vastuvõtusüüklis.

Kallutatuse risk on vastuvõtu tehisintellekti puhul eriti terav. Ajaloolistel vastuvõtu- ja akadeemilise edu andmetel koolitatud süsteemid võivad kodeerida olemasolevaid ebavõrdsusi — soolisi lõhesid teatud erialadel, sotsiaalmajanduslikke erinevusi akadeemilises ettevalmistuses, kodumaiste ja välisüliõpilaste erinevat tulemuslikkust. Art. 10 nõuab, et koolitusandmeid reguleeriks hallatus, mis käsitleb teadaolevaid kallutusi, ning Art. 9 kohustab kehtestama riskijuhtimisnõuded, mis on kalibreeritud potentsiaalse kahju raskusastme järgi — käesolevas kontekstis hõlmab see ebasoodsas olukorras olevate rühmade kvalifitseeritud taotlejatele hariduslikku võimalust keelavaid otsuseid.

Automatiseeritud hindamise tehisintellekt — hindamine ja akadeemiliste suundade määramine

III lisa kategooria 3(b) hõlmab tehisintellektisüsteeme, mis hindavad ja hindavad üliõpilasi, sealhulgas tehisintellekti automatiseeritud hindamisvahendeid ja süsteeme, mis suunavad üliõpilasi diferentseeritud akadeemilistele suundadele, kui neil süsteemidel on oluline mõju nende hariduslikele radadele. Automatiseeritud esseedehindamistööriist, mis koostab lõplikud hinded, mis määravad, kas üliõpilane läbib aine või mitte, saab kvalifikatsiooni või jõuab järgmisele akadeemilisele tasemele, on kõrge riskiga. Samamoodi on kõrge riskiga tehisintellekt, mis suunab üliõpilasi tulemusandmete põhjal täiendõppe-, standardsele või edasijõudnute suundadele, kuna sellel on oluline mõju hariduslikele radadele ja see kuulub selle kategooria alla.

Kujundava hindamise vahendite — vahendite, mida kasutatakse üksnes üliõpilastele tagasiside andmiseks, kus inimõpetaja säilitab täieliku ja tegeliku kontrolli kõigi hinnete üle — piir on kitsam. Sellised vahendid võivad jääda kategooria 3(b) väljapoole, kuid see klassifikatsioon peab olema dokumenteeritud ja põhjendatud ning asutused peavad tagama, et inimjärelevalve on sisuliselt tegelik, mitte pelgalt formaalne tehisintellekti tulemuste kinnitamine.

Kaugeksamite seiramise tehisintellekt

Kaugeksamite seiramissüsteemid, mis jälgivad üliõpilaste käitumist hindamiste ajal videoanalüüsi, silmajälgimise, brauseri lukustamise, klahvivajutuste logimise või käitumuslike anomaaliate tuvastamise kaudu, kujutavad endast hariduse valdkonna üht õiguslikult keerulisemat tehisintellektirakendust. Kui sellised süsteemid märgistavad üliõpilasi või takistavad neil eksamil osalemast automatiseeritud analüüsi põhjal — või kui nende väljundeid kasutavad inimkontrolörid viisil, mis sisuliselt määrab tulemused —, moodustavad need kõrge riskiga tehisintellekti III lisa kategooria 3 alusel kui tehisintellekti, mis hindab üliõpilasi ja avaldab olulist mõju nende akadeemilistele radadele.

Proktorimise tehisintellekt puudutab ka Art. 5(1)(d) keeldu reaalajas kaugbiomeetrilise tuvastamise kohta avalikult ligipääsetavates ruumides. Kui proktorimissüsteemid kasutavad näotuvastust üliõpilase isiku pideva kontrollimiseks eksami ajal reaalajas, kujutab see endast keelatud biomeetrilist tuvastamist, välja arvatud juhul, kui kohaldub väga kitsas liikmesriigi seadusandlik erand Art. 5(2)–(6) alusel. Proktorimise tehisintellekti kasutusele võtvad asutused peavad hoolikalt eristama isiku tuvastamist eksamile pääsu hetkel (potentsiaalselt seaduslik vastavuse korral) ja pidevat reaalajas biomeetrilist seiret kogu eksamisessiooni vältel (Art. 5 keelu subjekt).

Pakkuja versus kasutuselevõtja — EdTech-ettevõtted ja haridusasutused

EL-i tehisintellekti määrus jaotab kohustused pakkujate ja kasutuselevõtjate vahel asümmeetriliselt. Selle jaotuse mõistmine on nii EdTech-tarnijate kui ka nende tooteid kasutavate asutuste vastavusplaneerimise aluseks.

EdTech-pakkuja kohustused

EdTech-ettevõtted, kes arendavad ja toovad EL-i turule kõrge riskiga tehisintellektisüsteeme, on pakkujad Art. 3(3) alusel ning peavad täitma III peatüki 2. jaos sätestatud täielikke kõrge riskiga tehisintellekti nõudeid:

• Art. 9 — Kehtestada ja säilitada tehisintellektisüsteemi kogu elutsükli jooksul riskijuhtimissüsteem
• Art. 10 — Rakendada koolituste, valideerimise ja testandmekogumite andmehaldust, käsitledes kallutusi, representatiivsust ja statistilisi piiranguid
• Art. 11 ja IV lisa — Säilitada vastavust tõendav terviklik tehniline dokumentatsioon
• Art. 12 — Tagada süsteemi toimimise automaatne logimine, mis võimaldab tehisintellekti otsuste järelanalüüsi
• Art. 13 — Esitada läbipaistvusteave, mis võimaldab kasutuselevõtjatel mõista süsteemi võimekust ja piiranguid
• Art. 14 — Kujundada süsteem selliselt, et kasutuselevõtjatel on võimalik teostada tõhusat inimjärelevalvet
• Art. 15 — Saavutada sihthariduskonteksti jaoks sobiv täpsus, töökindlus ja küberturvalisus
• Art. 49 — Registreerida süsteem EL-i tehisintellekti andmebaasis enne turule laskmist või turule laskmise ajal

Pakkujad peavad samuti varustama kasutuselevõtvad asutused kasutusjuhistega, mis on piisavalt konkreetsed, et asutused saaksid täita oma kasutuselevõtja kohustused — sealhulgas teave üliõpilaspopulatsiooni alarühmade kohta, mille peal süsteem on testitud, teadaolevate jõudluspiirangute kohta, kallutatuse testimise tulemuste kohta ja logide haldamise protseduuride kohta.

Asutuste kasutuselevõtja kohustused

Ülikoolid, koolid ja kutseõppeasutused, kes võtavad kasutusele kõrge riskiga EdTech-tehisintellekti Art. 26 alusel, peavad:

• Kontrollima, et tehisintellektisüsteem kannab CE-märgist ja et EL-i vastavusdeklaratsioon on kättesaadav
• Rakendama pakkuja kasutusjuhiseid täies mahus
• Tagama, et kvalifitseeritud töötajad on määratud inimjärelevalve eest vastutama, omades piisavat tehnilist pädevust ja praktilist volitust sekkuda tehisintellekti genereeritud väljunditesse
• Säilitama toiminguloge minimaalse perioodi jooksul ja tegema need kättesaadavaks riiklikele järelevalveasutustele nõudmisel
• Teavitama pakkujat tõsistest intsidentidest või tõrgetest ning vajaduse korral riiklikke tehisintellekti järelevalveasutusi
• Viima läbi või tellima põhiõiguste mõju hindamise (FRIA) Art. 27 alusel enne tehisintellekti hindamis- või vastuvõtusüsteemide kasutuselevõttu
• Mitte muutma kõrge riskiga tehisintellektisüsteeme viisil, mis muudab nende sihtotstarvet, ilma et see käivitaks pakkuja ümberhinnangu

Koostoime GDPR-i, laste õiguste ja riikliku haridusseadusandlusega

GDPR ja üliõpilasandmete töötlemine

Hariduse tehisintellekt toimib olemuslikult tundlikel andmetel. Õpianalüüsiplatvormid, kohanduvad juhendamissüsteemid ja käitumuslikud proktorimistööriistade töötlevad andmeid, mis võivad hõlmata akadeemilise tulemuslikkuse andmeid, kaasatuse mõõdikuid, käitumuslikke signaale ja suhtlust — kõik seostatuna tuvastatavasid üliõpilastega.

Kui üliõpilased on alaealised, piirab GDPR Art. 8 isikuandmete töötlemist nõusoleku alusel: liikmesriigid on kehtestanud vanuse, millest allpool on vajalik vanema või eestkostja nõusolek, vahemikus 13–16 aastat. EdTech-platvormid, mis tuginevad isikuandmete töötlemise õiguslikul alusel üliõpilase nõusolekule, peavad oma süsteemides vanuse piirangu rakendama ning kehtestama mehhanismid vanema nõusoleku kontrollimiseks ja registreerimiseks vajaduse korral. GDPR-i alusel vastutava töötlejana tegutsevad asutused peavad tagama, et nende lepingud EdTech-tarnijatega sisaldavad asjakohaseid isikuandmete töötlemise lepinguid vastavalt GDPR Art. 28-le ning et üliõpilasandmeid ei edastata väljaspoole Euroopa Majanduspiirkonda ilma piisavate kaitsemeetmeteta.

Eriliiki isikuandmete töötlemine — mis võib tekkida, kui on kaasatud õpiraskuste hindamine, vaimse tervise sõeluuring või demograafiline profileerimine — nõuab selget õiguslikku alust GDPR Art. 9(2) alusel ja tavaliselt ka andmekaitsealast mõjuhinnangut Art. 35 alusel.

Art. 50 — Läbipaistvus tehisintellekti juhendamisvestlusrobotite puhul

EL-i tehisintellekti määruse Art. 50 kehtestab konkreetse läbipaistvuskohustuse tehisintellektisüsteemidele, mis on ette nähtud füüsiliste isikutega otseseks suhtlemiseks. Haridusasutustes kasutusele võetud tehisintellektipõhised juhendamisvestlusrobotid, virtuaalsed õppeassistendid ja tehisintellekti genereeritud tagasiside vahendid peavad iga suhtluse alguses selgelt avalikustama oma tehisintellekti olemuse üliõpilastele. Kui üliõpilaste hulgas on alaealisi, peab avalikustamine olema kohandatud olema eakohane ja tõeliselt arusaadav. Tehisintellekti juhendamisvahendeid kasutusele võtvad asutused peavad kontrollima, et tarnija rakendamine täidab selle kohustuse, ega tohi süsteemi konfigureerida viisil, mis surub alla või varjab tehisintellekti avalikustamist.

Riiklik haridusseadusandlus

EL-i liikmesriikide riiklik haridusseadusandlus võib kehtestada täiendavaid kohustusi tehisintellekti kasutamiseks akadeemilises keskkonnas — näiteks nõudeid seoses eksami terviklikkusega, akadeemiliste andmete säilitamisega ja menetlusliku õiglasega vastuvõtukaebuste puhul. Haridusasutuste vastavusprogrammid peavad kaardistama EL-i tehisintellekti määruse ja GDPR-i kohustused võrreldes kohaldatava riikliku seadusandlusega, sealhulgas riiklike haridusministeeriumide poolt välja antud sektorispetsiifilise ministeeriumijuhisega. Kui tehisintellektisüsteemid toodavad väljundeid, mida kasutatakse formaalselt reguleeritud protsessides (riigieksamid, akrediteeritud kvalifikatsioonid), nõuab tehisintellekti seaduse kohustuste ja riikliku eksamisseaduse vahelise piirjoone analüüs spetsiifilist õiguslikku analüüsi.

Täitmine — andmekaitseasutused ja haridusasutused

Täitmine haridussektoris hõlmab pädevate asutuste kihistunud struktuuri. Riiklikud tehisintellekti järelevalveasutused (määratud Art. 70 alusel) omavad esmast jurisdiktsiooni EL-i tehisintellekti määruse täitmise üle, sealhulgas vastavushindamise, turujärelevalve ja sanktsioonide osas. Haridusasutuste puhul võib see asutus olla üldine tehisintellekti järelevalveasutus või mõnes liikmesriigis määratud sektoriline organ.

Andmekaitseasutustel (AKA) on oluline iseseisev täitmisroll. Arvestades hariduse tehisintellekti poolt töödeldavate üliõpilasandmete mahtu ja tundlikkust, teevad AKAd aktiivselt järelevalvet tehisintellekti kasutuselevõttude üle koolides ja ülikoolides. GDPR-i rikkumised seoses hariduse tehisintellektiga — laste andmete ebaseaduslik töötlemine, ebapiisavad isikuandmete töötlemise lepingud EdTech-tarnijatega, nõutavate andmekaitsealaste mõjuhinnangute läbiviimata jätmine — toovad kaasa AKA trahve kuni 20 miljonit eurot või 4% ülemaailmsest aastakäibest GDPR Art. 83 alusel. AKA täitmismeetmed on ajalooliselt eelnenud formaalsele tehisintellekti seaduse täitmisele reguleeritud valdkondades ning haridussektori tehisintellekti tuleks planeerida AKA kontrollimist lähituleviku riskina.

Ülikoolide juhtorganid ja riiklikud akrediteerimisasutused võivad kehtestada institutsioonilisi tagajärgi — sealhulgas mainetrahve, automatiseeritud protsesside peatamist ja sõltumatute auditite nõudeid — kui tehisintellekti kasutamine vastuvõtus või hindamisel on leitud põhjustavat ebaõiglaseid või diskrimineerivaid tulemusi. Institutsionaalne akadeemiline juhtimine, sealhulgas üliõpilaste kaebuste protsessid, peab olema kujundatud selliselt, et see mahutab vaidlustused tehisintellekti mõjutatud otsuste kohta.

Vastavusteekaart haridusasutustele ja EdTech-pakkujatele

EdTech-pakkujatele

1. Klassifitseerige iga toode III lisa kategooria 3 alusel — dokumenteerige klassifikatsiooni põhjendus konkreetse viitega süsteemi sihtotstarbele ja selle mõju olulisusele hariduslikele tulemustele.
2. Rakendage täielikku kõrge riskiga vastavushindamise korda Arts. 9–15 alusel kõikidele kõrge riskiga klassifitseeritud toodetele, sealhulgas kallutatuse testimine EL-i üliõpilaspopulatsiooni esindavate demograafiliste alarühmade lõikes.
3. Registreerige kõrge riskiga süsteemid EL-i tehisintellekti andmebaasis (Art. 49) enne turule laskmist.
4. Koostage täielik kasutuselevõtjatele suunatud dokumentatsioon: kasutusjuhised, vastavusdokumentatsioon, kallutatuse ja täpsuse testimise tulemused, logide haldamise juhendid.
5. Rakendage Art. 50 läbipaistvust kõikides tehisintellektisüsteemides, mis suhtlevad otse üliõpilastega.
6. Vaadake üle isikuandmete töötlemise lepingud, et tagada GDPR Art. 28 vastavus, sealhulgas vanemlikku nõusolekut hõlmavad mehhanismid, kui Art. 8 seda nõuab.

Haridusasutustele

1. Auditeerige kõik kasutatavad tehisintellektisüsteemid — vastuvõtt, hindamine, proktorimingl, analüütika, juhendamine — ja klassifitseerige need III lisa kategooria 3 alusel.
2. Nõudke ja vaadake üle vastavusdokumentatsioon kõikidelt EdTech-tarnijatelt kõrge riskiga klassifitseeritud või potentsiaalselt kõrge riskiga klassifitseeritavate süsteemide puhul.
3. Viige läbi põhiõiguste mõju hindamised Art. 27 alusel enne tehisintellekti vastuvõtu- või hindamissüsteemide kasutuselevõttu või jätkuvat kasutuselevõttu.
4. Määrake nimeliselt järelevalvevastutus iga kõrge riskiga tehisintellektisüsteemi eest kvalifitseeritud töötajatele, kellel on tegelik tehniline pädevus ja institutsionaalne volitusõigus.
5. Vaadake üle vastuvõtu- ja hindamiskaebuste protsessid, et tagada nende kohandatavus tehisintellekti mõjutatud otsuste vaidlustustele ja sisulise inimülevaatuse võimaldamine.
6. Auditeerige GDPR-i vastavust kõikide üliõpilasandmete osas, mida EdTech-platvormid töötlevad — kontrollige, et isikuandmete töötlemise lepingud, õiguslikud alused ja vanemalikku nõusolekut hõlmavad mehhanismid on paigas.
7. Kontrollige proktorimise tehisintellekti konfiguratsioone vastavuse osas Art. 5 keeluga reaalajas biomeetrilisele tuvastamisele — kui mõni konfiguratsioon hõlmab pidevat näotuvastust eksamisessioonide ajal, hankige enne järgmist eksamiperioodi kiiresti õigusnõu.