Oktatás és EdTech — EU AI Act megfelelőség

Az EU AI Act kötelezettségei az oktatási területen alkalmazott mesterséges intelligenciára: felvételi eljárások, automatizált értékelés, felügyeleti rendszerek és tanulási platformok. Lefedi az Annex III. 3. kategóriáját és a tanulók különleges védelmét.

Az oktatási szektor és az EU AI Act — miért állnak a tanulói jogok a középpontban

Az EU AI Act (Az Európai Parlament és a Tanács (EU) 2024/1689 rendelete) az oktatást és a szakképzést fokozott kockázatú területként azonosítja, és az ezen belül alkalmazott egyes mesterséges intelligencia alkalmazásokat magas kockázatúként sorolja be az Annex III. 3. kategóriájába. Ez a besorolás az európai jogalkotó alapvető ítéletét tükrözi: azok a mesterséges intelligencia rendszerek, amelyek az oktatási lehetőségekhez való hozzáférést alakítják vagy az akadémiai eredményeket meghatározzák, mélyen egyéni jelentőségű jogokat érintenek — az oktatáshoz való jogot (Art. 14, Az Európai Unió Alapjogi Chartája), a hátrányos megkülönböztetés tilalmát (Art. 21), és a kiskorú tanulók nagy aránya miatt a GDPR Art. 8 és a ENSZ Gyermekjogi Egyezménye (UNCRC) által biztosított fokozott védelmeket.

Az oktatási szektor sajátos megfelelőségi profillal rendelkezik. A legtöbb oktatási intézmény — az egyetemek, iskolák és szakképzési szervek — az EU AI Act értelmében telepítői szerepet töltenek be: EdTech-szállítók által fejlesztett mesterséges intelligencia rendszereket szereznek be és üzemeltetnek, ahelyett hogy házon belül fejlesztenének mesterséges intelligenciát. Ez a különbségtétel nem csökkenti kötelezettségeiket. A Art. 26 szerinti magas kockázatú mesterséges intelligencia telepítőit önálló jogi kötelezettségek terhelik, amelyektől nem mentesíti őket pusztán egy CE-jelöléssel ellátott termék megvásárlása. Ugyanakkor az EU piacon mesterséges intelligencia rendszereket fejlesztő és forgalomba hozó EdTech cégek szolgáltatók, akikre a III. fejezet, 2. szakasz szerinti teljes megfelelőségértékelési rendszer vonatkozik.

A szektort emellett az érzékeny személyes adatok jelentős koncentrációja jellemzi. A tanulói viselkedési adatok, értékelési nyilvántartások, részvételi minták, tanulási nehézségek és demográfiai profilok adaptív tanulási platformokon és elemzőeszközökön keresztül, nagy léptékben kerülnek feldolgozásra. Ez az adatkoncentráció azt jelenti, hogy az oktatásban alkalmazott EU AI Act megfelelőség nem tervezhető a GDPR-tól elszigetelten — a két keretrendszert integrált megfelelőségi kötelezettségként kell kezelni.

Magas kockázatú mesterséges intelligencia az oktatásban — felvételi eljárások, értékelés és felügyeleti rendszerek

Az Annex III. 3. kategóriája két különböző, magas kockázatú oktatási mesterséges intelligencia kategóriát határoz meg. Mindkét kategória terjedelmének megértése nélkülözhetetlen a besorolási döntések meghozatalához.

Felvételi mesterséges intelligencia — oktatási intézményekhez való hozzáférés meghatározása

Az Annex III. 3(a) kategóriája kiterjed azokra a mesterséges intelligencia rendszerekre, amelyeket oktatási és szakképzési intézményekhez vagy programokhoz való hozzáférés vagy hozzárendelés meghatározására szánnak. Ez a kategória magában foglalja az egyetemi felvételi eljárásokban a jelentkezőket pontozó, rangsoroló vagy szűrő mesterséges intelligenciát, a korábbi képesítéseket vagy szakmai oklevelek elismerését értékelő mesterséges intelligenciát, valamint az egyes akadémiai irányokba vagy speciális programokba való jogosultságot meghatározó mesterséges intelligenciát.

A magas kockázatú besorolás ott alkalmazandó, ahol a mesterséges intelligencia rendszer kimenete jelentős hatással van arra, hogy egy jelentkező hozzáférhet-e egy oktatási lehetőséghez. Ez a küszöb a legtöbb operatív szempontból telepített felvételi mesterséges intelligencia esetén teljesül: az a pontozási modell, amelynek kimeneteit a felvételi ügyintézők a mögöttes értékelés szisztematikus felülvizsgálata nélkül átnézik és meghozzák döntéseiket, akkor is lényegileg meghatározza az eredményeket, ha formálisan minden döntést egy ember hagy jóvá. Az ilyen rendszerek szolgáltatóinak meg kell felelniük az Art. 9–15 rendelkezéseinek (adatirányítás, műszaki dokumentáció, naplózás, átláthatóság, emberi felügyelet, pontosság és megbízhatóság). A telepítő intézményeknek a rendszer bármely felvételi eljárásban való alkalmazása előtt ellenőrizniük kell a megfelelőséget, és teljesíteniük kell az Art. 26 szerinti telepítői kötelezettségeket.

A torzítás kockázata különösen hangsúlyos a felvételi mesterséges intelligencia esetében. A korábbi felvételi és akadémiai sikerességi adatokon betanított rendszerek kódolhatják a meglévő egyenlőtlenségeket — nemi különbségeket egyes tudományterületeken, a szocioökonómiai egyenlőtlenségeket az akadémiai felkészültségben, a belföldi és külföldi jelentkezők eltérő teljesítményét. Az Art. 10 előírja, hogy a betanítási adatokra az ismert torzításokat kezelő irányítási gyakorlatokat kell alkalmazni, az Art. 9 pedig a lehetséges kár súlyosságához igazított kockázatkezelési intézkedéseket ír elő, amelyek ebben az összefüggésben magukban foglalják azt is, hogy hátrányos helyzetű csoportokból származó alkalmas jelentkezőktől megtagadják az oktatási lehetőséget.

Automatizált értékelési mesterséges intelligencia — osztályozás és akadémiai pályakövetési rendszerek

Az Annex III. 3(b) kategóriája kiterjed azokra a mesterséges intelligencia rendszerekre, amelyek tanulókat értékelnek és minősítenek, beleértve az automatizált osztályozási eszközöket és a tanulókat differenciált akadémiai pályákra irányító rendszereket, ahol ezek a rendszerek jelentős hatással vannak az oktatási pályájukra. Az automatizált dolgozatjavító eszköz, amely meghatározza, hogy egy tanuló elvégez-e egy tantárgyat, megszerez-e egy képesítést, vagy továbblép-e a következő tanulmányi szintre, magas kockázatú. Hasonlóképpen, a tanulókat teljesítményadatok alapján felzárkóztató, normál vagy haladó csoportba soroló mesterséges intelligencia is jelentős hatással van az oktatási pályára, és e kategória hatálya alá esik.

A formatív értékelési eszközök határa — azok az eszközök, amelyeket kizárólag a tanulónak szóló visszajelzés céljára használnak, és ahol a pedagógus teljes és tényleges ellenőrzést tart fenn minden értékelési eredmény felett — szűkebb. Az ilyen eszközök kieshetnek a 3(b) kategória hatálya alól, de ezt a besorolást dokumentálni és indokolni kell, és az intézményeknek biztosítaniuk kell, hogy az emberi felügyelet valóban érdemi legyen, ne csupán a mesterséges intelligencia által generált eredmények formális gumibélyegzése.

Távoli vizsgafelügyeleti mesterséges intelligencia

A vizsgák során a tanulói magatartást videóelemzéssel, szemkövetéssel, böngészőzárolással, billentyűleütés-naplózással vagy viselkedési anomáliák észlelésével figyelő, távoli vizsgafelügyeleti rendszerek az oktatás egyik jogilag legösszetettebb mesterséges intelligencia alkalmazását képviselik. Ahol az ilyen rendszerek automatizált elemzésük alapján jelölik meg vagy tiltják ki a tanulókat — vagy ahol kimeneteiket az emberi vizsgálók olyan módon használják, amely lényegileg meghatározza az eredményeket — az Annex III. 3. kategóriája szerinti magas kockázatú mesterséges intelligenciát alkotnak, mint olyan rendszerek, amelyek értékelik a tanulókat és jelentős hatással vannak az oktatási pályájukra.

A vizsgafelügyeleti mesterséges intelligencia érinti az Art. 5(1)(d) szerinti tilalmat is, amely a valós idejű távolsági biometrikus azonosítást tiltja nyilvánosan hozzáférhető tereken. Ahol a vizsgafelügyeleti rendszerek arcfelismerést alkalmaznak a tanuló személyazonosságának folyamatos, valós idejű ellenőrzésére a vizsga során, ez tiltott biometrikus azonosítást valósít meg, kivéve ha az Art. 5(2)–(6) alapján nagyon szűk körű tagállami jogalkotási kivétel alkalmazandó. A vizsgafelügyeleti mesterséges intelligenciát telepítő intézményeknek gondosan különbséget kell tenniük a vizsgára való belépés időpontjában végzett személyazonosság-ellenőrzés (ahol a megfelelés esetén jogszerű lehet) és a vizsga teljes időtartama alatt folytatott, folyamatos valós idejű biometrikus megfigyelés között (amely az Art. 5 tilalma alá esik).

Szolgáltató és telepítő — EdTech cégek és oktatási intézmények

Az EU AI Act aszimmetrikusan osztja el a kötelezettségeket a szolgáltatók és a telepítők között. E felosztás megértése alapvető fontosságú a megfelelőségi tervezés szempontjából mind az EdTech-szállítók, mind a termékeik felhasználói számára.

EdTech-szolgáltatói kötelezettségek

Az EU piacon magas kockázatú mesterséges intelligencia rendszereket fejlesztő és forgalomba hozó EdTech cégek az Art. 3(3) értelmében szolgáltatók, és meg kell felelniük a III. fejezet, 2. szakaszában foglalt magas kockázatú mesterséges intelligenciára vonatkozó teljes követelményrendszernek:

• Art. 9 — Kockázatkezelési rendszer létrehozása és fenntartása a mesterséges intelligencia rendszer teljes életciklusa során
• Art. 10 — Adatirányítás megvalósítása a betanítási, validálási és tesztelési adatkészletekre vonatkozóan, kitérve a torzításra, a reprezentativitásra és a statisztikai korlátokra
• Art. 11 és Annex IV — A megfelelőséget igazoló átfogó műszaki dokumentáció fenntartása
• Art. 12 — A rendszer működésének automatikus naplózásának biztosítása, lehetővé téve a mesterséges intelligencia döntéseinek utólagos felülvizsgálatát
• Art. 13 — A telepítők számára a rendszer képességeinek és korlátainak megértését lehetővé tevő átláthatósági információk biztosítása
• Art. 14 — A rendszer tervezése oly módon, hogy a telepítők hatékony emberi felügyeletet tudjanak ellátni
• Art. 15 — A tervezett oktatási kontextusnak megfelelő pontosság, megbízhatóság és kiberbiztonság elérése
• Art. 49 — A rendszer regisztrálása az EU AI adatbázisban a piaci forgalomba hozatal előtt vagy azzal egyidejűleg

A szolgáltatóknak emellett kellően részletes használati utasításokkal kell ellátniuk a telepítő intézményeket, amelyek lehetővé teszik számukra saját telepítői kötelezettségeik teljesítését — beleértve a rendszer tesztelésének alapjául szolgáló hallgatói populáció alcsoportjaira vonatkozó információkat, az ismert teljesítménybeli korlátokat, a torzítás-tesztelési eredményeket és a naplókezelési eljárásokat.

Intézményi telepítői kötelezettségek

Az Art. 26 alapján magas kockázatú EdTech mesterséges intelligenciát telepítő egyetemeknek, iskoláknak és szakképzési szerveknek a következőket kell tenniük:

• Ellenőrizniük kell, hogy a mesterséges intelligencia rendszer CE-jelöléssel rendelkezik-e, és rendelkezésre áll-e az EU megfelelőségi nyilatkozat
• Maradéktalanul végre kell hajtaniuk a szolgáltató használati utasításait
• Képzett munkatársakat kell megbízniuk az emberi felügyelet felelősségével minden egyes magas kockázatú mesterséges intelligencia rendszer esetén, megfelelő műszaki kompetenciával és tényleges beavatkozási jogkörrel a mesterséges intelligencia által generált kimenetekbe
• Minimum meghatározott ideig meg kell őrizniük a működési naplókat, és a nemzeti felügyeleti hatóságok kérésére rendelkezésre kell bocsátaniuk azokat
• Súlyos eseményeket vagy meghibásodásokat be kell jelenteniük a szolgáltatónak és adott esetben a nemzeti mesterséges intelligencia felügyeleti hatóságoknak
• Az Art. 27 szerinti alapvető jogokra vonatkozó hatásvizsgálatot (FRIA) kell végezni a mesterséges intelligencia alapú értékelési vagy felvételi rendszerek telepítése előtt
• A magas kockázatú mesterséges intelligencia rendszereket nem módosíthatják olyan módon, amely megváltoztatja azok tervezett célját a szolgáltatói újraértékelés indítása nélkül

A GDPR-ral, a gyermekjogokkal és a nemzeti oktatási jogszabályokkal való kapcsolat

GDPR és a tanulói adatok feldolgozása

Az oktatásban alkalmazott mesterséges intelligencia jellegénél fogva érzékeny adatokon működik. A tanulói elemzési platformok, az adaptív oktatási rendszerek és a viselkedésfigyelő felügyeleti eszközök olyan adatokat dolgoznak fel, amelyek magukban foglalhatják az akadémiai teljesítményre vonatkozó nyilvántartásokat, részvételi mutatókat, viselkedési jelzéseket és kommunikációt — mindezt azonosítható tanulókhoz kötve.

Ahol a tanulók kiskorúak, a GDPR Art. 8 korlátozza a személyes adatok hozzájáruláson alapuló feldolgozását: a tagállamok 13 és 16 év közé helyezik azt a korhatárt, amely alatt szülői vagy gyámi hozzájárulás szükséges. Azoknak az EdTech-platformoknak, amelyek a feldolgozás jogi alapjaként tanulói hozzájárulásra támaszkodnak, korhatár-ellenőrző rendszert kell alkalmazniuk, és mechanizmusokat kell bevezetniük a szülői hozzájárulás ellenőrzésére és rögzítésére, ahol ez szükséges. A GDPR értelmében adatkezelőként eljáró intézményeknek biztosítaniuk kell, hogy EdTech-szállítókkal kötött szerződéseik tartalmazzák a megfelelő, GDPR Art. 28 szerinti adatfeldolgozási megállapodásokat, és hogy a tanulói adatokat megfelelő biztosítékok nélkül ne továbbítsák az EGT-n kívülre.

A különleges kategóriájú adatok feldolgozása — amely felmerülhet, ahol tanulási nehézségi értékelések, mentális egészség szűrővizsgálatok vagy demográfiai profilalkotás is érintett — a GDPR Art. 9(2) szerinti kifejezett jogalapot, és jellemzően a Art. 35 szerinti adatvédelmi hatásvizsgálatot tesz szükségessé.

Art. 50 — Átláthatóság az AI tutorchatbotok esetében

Az EU AI Act Art. 50 specifikus átláthatósági kötelezettséget ír elő a természetes személyekkel közvetlen kapcsolatba lépő mesterséges intelligencia rendszerekre. Az oktatási környezetben telepített AI-alapú tutorchatbotoknak, virtuális tanulási asszisztenseknek és mesterséges intelligencia által generált visszajelző eszközöknek egyértelműen közölniük kell a tanulókkal mesterséges intelligencia jellegüket minden interakció elején. Ahol a tanulói közönség kiskorúakat foglal magában, a közlésnek életkorhoz igazítottnak és valóban érthetőnek kell lennie. A mesterséges intelligencia oktatási eszközöket telepítő intézményeknek ellenőrizniük kell, hogy a szállító megvalósítása kielégíti-e ezt a kötelezettséget, és nem szabad a rendszert olyan módon konfigurálniuk, amely elnyomja vagy elhomályosítja a mesterséges intelligenciára vonatkozó tájékoztatást.

Nemzeti oktatási jogszabályok

Az EU tagállamok nemzeti oktatási jogszabályai további kötelezettségeket írhatnak elő a mesterséges intelligencia alkalmazása tekintetében az akadémiai környezetben — például a vizsga integritásával, az akadémiai nyilvántartások megőrzésével és a felvételi fellebbezési eljárások tisztességességével kapcsolatos követelményeket. Az oktatási intézményekre vonatkozó megfelelőségi programoknak az EU AI Act és a GDPR kötelezettségeit az alkalmazandó nemzeti jogszabályokhoz kell igazítaniuk, beleértve a nemzeti oktatási minisztériumok által kiadott ágazatspecifikus miniszteri iránymutatásokat is. Ahol a mesterséges intelligencia rendszerek kimeneteit formálisan szabályozott eljárásokban (állami vizsgák, akkreditált képesítések) alkalmazzák, az AI Act kötelezettségei és a nemzeti vizsgajogszabályok közötti kapcsolat specifikus jogi elemzést igényel.

Végrehajtás — adatvédelmi hatóságok és oktatási hatóságok

Az oktatási szektorban a végrehajtás az illetékes hatóságok rétegzett struktúráját foglalja magában. Az Art. 70 alapján kijelölt nemzeti mesterséges intelligencia felügyeleti hatóságok elsőd hatáskörrel rendelkeznek az EU AI Act megfelelőség felett, beleértve a megfelelőségértékelést, a piaci felügyeletet és a szankciókat. Az oktatási intézmények esetében ez a hatóság lehet általános mesterséges intelligencia felügyeleti hatóság, vagy egyes tagállamokban kijelölt ágazati szerv.

Az adatvédelmi hatóságok (DPA-k) önálló, jelentős végrehajtási szerepet játszanak. Tekintettel az oktatási mesterséges intelligencia által feldolgozott tanulói adatok mennyiségére és érzékenységére, az adatvédelmi hatóságok aktívan felügyelik a mesterséges intelligencia alkalmazásokat az iskolákban és az egyetemeken. Az oktatási mesterséges intelligenciával kapcsolatos GDPR-jogsértések — a gyermekek adatainak jogellenes feldolgozása, nem megfelelő adatfeldolgozási megállapodások az EdTech-szállítókkal, az előírt adatvédelmi hatásvizsgálatok elvégzésének elmulasztása — a GDPR Art. 83 alapján 20 millió euróig vagy a globális éves forgalom 4%-áig terjedő adatvédelmi hatósági bírságokat vonhatnak maguk után. Az adatvédelmi hatóságok végrehajtási intézkedései az AI Act formális végrehajtását megelőzően is megjelenhetnek a szabályozott területeken, és az oktatási ágazatban alkalmazott mesterséges intelligenciát az adatvédelmi hatóság vizsgálatát rövid távú kockázatként kezelve kell megtervezni.

Az egyetemi irányítótestületek és a nemzeti akkreditációs hatóságok intézményi következményeket alkalmazhatnak — beleértve a jó hírnevet érintő szankciókat, az automatizált eljárások felfüggesztését és független auditok elvégzésére vonatkozó követelményeket — ha a felvételi eljárásban vagy az értékelésben alkalmazott mesterséges intelligencia tisztességtelen vagy diszkriminatív eredményeket produkált. Az intézményi akadémiai irányítást, beleértve a tanulói fellebbezési eljárásokat, úgy kell kialakítani, hogy befogadja a mesterséges intelligencia által befolyásolt döntésekkel szemben benyújtott panaszokat.

Megfelelőségi ütemterv oktatási intézményeknek és EdTech-szolgáltatóknak

EdTech-szolgáltatók számára

1. Osztályozza az egyes termékeket az Annex III. 3. kategóriájával szemben — dokumentálja a besorolás indokát a rendszer tervezett céljára és az oktatási eredményekre gyakorolt hatásának jelentőségére való konkrét hivatkozással.
2. Valósítsa meg a teljes magas kockázatú megfelelőségértékelési rendszert az Art. 9–15 alapján minden magas kockázatúnak besorolt termékre vonatkozóan, beleértve az EU-s hallgatói populációt reprezentáló demográfiai alcsoportok szerinti torzítás-tesztelést.
3. Regisztrálja a magas kockázatú rendszereket az EU AI adatbázisban (Art. 49) a piaci forgalomba hozatal előtt.
4. Készítsen teljes körű, telepítőknek szóló dokumentációt: használati utasításokat, megfelelőségi dokumentációt, torzítás- és pontossági tesztelési eredményeket, naplókezelési útmutatót.
5. Valósítsa meg az Art. 50 szerinti átláthatóságot minden, a tanulókkal közvetlen kapcsolatba lépő mesterséges intelligencia rendszerben.
6. Tekintse át az adatfeldolgozási megállapodásokat a GDPR Art. 28 való megfelelés biztosítása érdekében, beleértve az Art. 8 alapján szükséges szülői hozzájárulás mechanizmusait.

Oktatási intézmények számára

1. Auditálja az összes használatban lévő mesterséges intelligencia rendszert — felvételi eljárások, osztályozás, vizsgafelügyelet, elemzés, oktatás — és sorolja be azokat az Annex III. 3. kategóriájával szemben.
2. Kérje és vizsgálja felül a megfelelőségi dokumentációt valamennyi EdTech-szállítótól minden olyan rendszer tekintetében, amely magas kockázatúnak minősített vagy esetlegesen annak minősíthető.
3. Végezzen alapvető jogokra vonatkozó hatásvizsgálatot az Art. 27 alapján az AI-alapú felvételi vagy értékelési rendszerek telepítése vagy folytatott alkalmazása előtt.
4. Jelöljön ki névvel azonosított felügyeleti felelőst minden egyes magas kockázatú mesterséges intelligencia rendszerhez, valódi műszaki kompetenciával rendelkező és intézményi felhatalmazással bíró képzett munkatársak bevonásával.
5. Vizsgálja felül a felvételi és értékelési fellebbezési eljárásokat annak biztosítása érdekében, hogy azok befogadják a mesterséges intelligencia által befolyásolt döntésekkel szemben benyújtott panaszokat, és érdemi emberi felülvizsgálatot biztosítanak.
6. Auditálja a GDPR-megfelelőséget az EdTech-platformok által feldolgozott valamennyi tanulói adat tekintetében — ellenőrizze, hogy az adatfeldolgozási megállapodások, a jogalapok és a szülői hozzájárulási mechanizmusok rendelkezésre állnak-e.
7. Ellenőrizze a vizsgafelügyeleti mesterséges intelligencia konfigurációit az Art. 5 szerinti valós idejű biometrikus azonosításra vonatkozó tilalomnak való megfelelés szempontjából — ha bármely konfiguráció folyamatos arcfelismerést alkalmaz vizsgák során, a következő vizsgaidőszak előtt sürgősen kérjen jogi tanácsot.