Vzdelávanie a EdTech — súlad s nariadením EU AI Act

Povinnosti podľa EU AI Act pre AI vo vzdelávaní: prijímacie konania, automatizované hodnotenie, dozor pri skúškach a vzdelávacie platformy. Zahŕňa kategóriu 3 prílohy III a osobitné ochrany pre študentov.

Sektor vzdelávania a EU AI Act — prečo sú práva študentov ústredným bodom

EU AI Act (Nariadenie (EÚ) 2024/1689) identifikuje vzdelávanie a odborné vzdelávanie ako oblasť so zvýšeným rizikom a konkrétne aplikácie AI v tejto oblasti zaraďuje medzi vysokorizikové systémy podľa prílohy III, kategórie 3. Toto zatriedenie odráža základné hodnotenie európskeho zákonodarcu: systémy AI, ktoré ovplyvňujú prístup k vzdelávacím príležitostiam alebo určujú akademické výsledky, sa dotýkajú práv zásadného individuálneho významu — práva na vzdelanie (Art. 14, Charta základných práv EÚ), práva na zákaz diskriminácie (Art. 21) a, pre veľkú časť študentov, ktorí sú maloletí, posilnených ochranných záruk podľa GDPR Art. 8 a medzinárodných rámcov vrátane Dohovoru OSN o právach dieťaťa (UNCRC).

Sektor vzdelávania má osobitý profil z hľadiska súladu. Väčšina vzdelávacích inštitúcií — univerzity, školy a inštitúcie odborného vzdelávania — zastáva úlohu prevádzkovateľa podľa EU AI Act: nakupujú a prevádzkujú systémy AI vytvorené dodávateľmi EdTech, pričom AI nevyvíjajú samy. Toto rozlíšenie neznižuje ich povinnosti. Prevádzkovatelia vysokorizikových systémov AI podľa Art. 26 nesú nezávislé právne povinnosti, ktoré nemožno splniť len zakúpením produktu s označením CE. EdTech spoločnosti, ktoré vyvíjajú a uvádzajú systémy AI na trh EÚ, sú zároveň poskytovateľmi podliehajúcimi úplnému režimu posúdenia zhody podľa kapitoly III, oddielu 2.

Sektor sa tiež vyznačuje výraznou koncentráciou citlivých osobných údajov. Údaje o správaní študentov, záznamy o hodnotení, vzorce zapojenia, vzdelávacie ťažkosti a demografické profily sú spracúvané vo veľkom rozsahu adaptívnymi vzdelávacími platformami a analytickými nástrojmi. Táto koncentrácia údajov znamená, že súlad s EU AI Act vo vzdelávaní nemožno navrhovať izolovane od GDPR — oba rámce je potrebné riešiť ako integrovanú povinnosť dodržiavania predpisov.

Vysokorizikové AI vo vzdelávaní — prijímacie konania, hodnotenie a dohľad pri skúškach

Príloha III, kategória 3 vymedzuje dve odlišné kategórie vysokorizikových AI vo vzdelávaní. Pochopenie rozsahu každej kategórie je nevyhnutné pre rozhodnutia o zatriedení.

AI pre prijímacie konania — určovanie prístupu k vzdelávacím inštitúciám

Príloha III, kategória 3(a) sa vzťahuje na systémy AI určené na rozhodovanie o prístupe k vzdelávacím a odborným inštitúciám alebo programom alebo o zaradení do nich. Táto kategória zahŕňa AI, ktorá hodnotí, zoraďuje alebo filtruje uchádzačov v procesoch prijímania na univerzity, AI, ktorá posudzuje predchádzajúce kvalifikácie alebo uznávanie odborných osvedčení, a AI, ktorá určuje oprávnenosť pre konkrétne akademické zamerania alebo špecializované programy.

Klasifikácia vysokého rizika sa uplatňuje tam, kde má výstup systému AI významný vplyv na prístup uchádzača k vzdelávacej príležitosti. Táto prahová hodnota je splnená u väčšiny operačne nasadených prijímacích AI systémov: model hodnotenia, ktorého výstupy sú prezerané a na ktoré pracovníci prijímacieho konania konajú bez systematického opätovného posúdenia podkladového hodnotenia, fakticky určuje výsledky, aj keď človek každé rozhodnutie formálne schváli. Poskytovatelia takýchto systémov musia dodržiavať Art. 9–15 (správa dát, technická dokumentácia, zaznamenávanie, transparentnosť, ľudský dohľad, presnosť a robustnosť). Nasadzujúce inštitúcie musia overiť súlad a implementovať povinnosti prevádzkovateľa podľa Art. 26 pred použitím systému v akomkoľvek prijímacom konaní.

Riziko zaujatosti je v prijímacích AI systémoch obzvlášť výrazné. Systémy trénované na historických dátach o prijímaní a akademickom úspechu môžu kódovať existujúce nerovnosti — rodové rozdiely v určitých odboroch, sociálno-ekonomické rozdiely v akademickej pripravenosti, rozdielny výkon domácich a zahraničných uchádzačov. Art. 10 vyžaduje, aby trénovacie dáta podliehali postupom správy, ktoré riešia známe zaujatosti, a Art. 9 ukladá povinnosť zaviesť opatrenia riadenia rizík prispôsobené závažnosti potenciálnej ujmy, ktorá v tomto kontexte zahŕňa odmietnutie vzdelávacej príležitosti kvalifikovaným uchádzačom zo znevýhodnených skupín.

AI pre automatizované hodnotenie — klasifikácia a zaraďovanie do akademických dráh

Príloha III, kategória 3(b) sa vzťahuje na systémy AI, ktoré hodnotia a posudzujú študentov, vrátane automatizovaných nástrojov na hodnotenie a systémov, ktoré zaraďujú študentov do diferencovaných akademických dráh, ak tieto systémy majú významný vplyv na ich vzdelávaciu dráhu. Automatizovaný nástroj na hodnotenie esejí, ktorý vydáva konečné známky určujúce, či študent zvládne predmet, získa kvalifikáciu alebo postúpi na ďalší akademický stupeň, je vysokorizikový. Rovnako AI, ktorá na základe výkonnostných dát zaraďuje študentov do nápravných, štandardných alebo pokročilých tried, má významný vplyv na vzdelávacie dráhy a spadá do tejto kategórie.

Hranica pre nástroje formatívneho hodnotenia — nástroje používané výlučne na poskytovanie spätnej väzby študentom, pri ktorých si pedagóg zachováva plnú a skutočnú kontrolu nad všetkými klasifikovanými výsledkami — je užšia. Takéto nástroje môžu stáť mimo kategórie 3(b), ale toto zatriedenie musí byť zdokumentované a odôvodnené, pričom inštitúcie musia zabezpečiť, aby ľudský dohľad bol skutočne vecný, a nie formálne gumové pečiatkovanie výsledkov generovaných AI.

AI na dohľad pri skúškach na diaľku

Systémy na dohľad pri skúškach na diaľku, ktoré monitorujú správanie študentov počas skúšok prostredníctvom analýzy videa, sledovania očí, uzamknutia prehliadača, záznamu úderov klávesov alebo detekcie behaviorálnych anomálií, predstavujú jednu z právne najzložitejších AI aplikácií vo vzdelávaní. Ak tieto systémy označujú alebo diskvalifikujú študentov na základe svojej automatizovanej analýzy — alebo ak ich výstupy používajú ľudskí hodnotitelia spôsobom, ktorý podstatne určuje výsledky — ide o vysokorizikové AI podľa prílohy III, kategórie 3 ako AI, ktorá hodnotí študentov a má významné vplyvy na ich vzdelávacie dráhy.

AI pre dohľad pri skúškach sa tiež dotýka zákazu podľa Art. 5(1)(d) týkajúceho sa biometrickej identifikácie na diaľku v reálnom čase vo verejne prístupných priestoroch. Ak systémy dohľadu používajú rozpoznávanie tváre na priebežné overovanie totožnosti študenta počas skúšky v reálnom čase, ide o zakázanú biometrickú identifikáciu, pokiaľ sa neuplatní veľmi úzka výnimka na základe legislatívy členského štátu podľa Art. 5(2)–(6). Inštitúcie nasadzujúce AI pre dohľad musia starostlivo rozlišovať medzi overením totožnosti v momente prístupu k skúške (potenciálne zákonné pri splnení podmienok) a priebežným biometrickým dohľadom v reálnom čase počas celej skúšobnej relácie (podlieha zákazu podľa Art. 5).

Poskytovateľ vs. prevádzkovateľ — EdTech spoločnosti a vzdelávacie inštitúcie

EU AI Act asymetricky prideľuje povinnosti poskytovateľom a prevádzkovateľom. Pochopenie tohto rozdelenia je základom plánovania súladu pre EdTech dodávateľov aj inštitúcie, ktoré ich produkty využívajú.

Povinnosti poskytovateľov EdTech

EdTech spoločnosti, ktoré vyvíjajú a uvádzajú vysokorizikové systémy AI na trh EÚ, sú poskytovateľmi podľa Art. 3(3) a musia dodržiavať všetky požiadavky na vysokorizikové AI uvedené v kapitole III, oddiele 2:

• Art. 9 — Vytvoriť a udržiavať systém riadenia rizík počas celého životného cyklu systému AI
• Art. 10 — Zaviesť správu dát pre trénovacie, validačné a testovacie datasety, riešiť zaujatosť, reprezentatívnosť a štatistické obmedzenia
• Art. 11 a príloha IV — Viesť komplexnú technickú dokumentáciu preukazujúcu zhodu
• Art. 12 — Zabezpečiť automatické zaznamenávanie prevádzky systému umožňujúce dodatočné preskúmanie rozhodnutí AI
• Art. 13 — Poskytovať informácie o transparentnosti umožňujúce prevádzkovateľom pochopiť schopnosti a obmedzenia systému
• Art. 14 — Navrhnúť systém tak, aby umožňoval účinný ľudský dohľad zo strany prevádzkovateľov
• Art. 15 — Dosiahnuť primeranú presnosť, robustnosť a kybernetickú bezpečnosť pre zamýšľaný vzdelávací kontext
• Art. 49 — Zaregistrovať systém v databáze EÚ pre AI pred alebo pri uvedení na trh

Poskytovatelia musia nasadzujúcim inštitúciám poskytnúť aj pokyny na použitie, ktoré sú dostatočne konkrétne na to, aby inštitúcie mohli splniť vlastné povinnosti prevádzkovateľa — vrátane informácií o podskupinách populácie študentov, na ktorých bol systém testovaný, o známych výkonnostných obmedzeniach, o výsledkoch testovania zaujatosti a o postupoch správy záznamov.

Povinnosti inštitucionálnych prevádzkovateľov

Univerzity, školy a inštitúcie odborného vzdelávania, ktoré nasadzujú vysokorizikové EdTech AI podľa Art. 26, musia:

• Overiť, že systém AI nesie označenie CE a že je k dispozícii EÚ vyhlásenie o zhode
• V plnom rozsahu implementovať pokyny poskytovateľa na použitie
• Zabezpečiť, aby kvalifikovaní zamestnanci boli poverení zodpovednosťou za ľudský dohľad, s dostatočnou technickou spôsobilosťou a praktickou právomocou zasahovať do výstupov generovaných AI
• Uchovávať prevádzkové záznamy minimálne po stanovenú dobu a sprístupňovať ich národným dozorným orgánom na vyžiadanie
• Nahlásiť vážne incidenty alebo poruchy poskytovateľovi a v relevantných prípadoch národným dozorným orgánom pre AI
• Vykonať alebo si objednať posúdenie vplyvu na základné práva (FRIA) podľa Art. 27 pred nasadením AI systémov na hodnotenie alebo prijímacie konania
• Neupravovať vysokorizikové systémy AI spôsobom, ktorý mení ich zamýšľaný účel bez toho, aby si to vyžiadalo nové posúdenie zo strany poskytovateľa

Vzťah k GDPR, právam detí a vnútroštátnemu školskému právu

GDPR a spracúvanie údajov o študentoch

AI vo vzdelávaní pracuje s inherentne citlivými dátami. Platformy vzdelávacích analýz, systémy adaptívneho doučovania a nástroje behaviorálneho dohľadu pri skúškach spracúvajú údaje, ktoré môžu zahŕňať záznamy o akademickom výkone, metriky zapojenia, behaviorálne signály a komunikáciu — všetko prepojené s identifikovateľnými študentmi.

Ak sú študenti maloletí, GDPR Art. 8 obmedzuje spracúvanie osobných údajov na základe súhlasu: členské štáty stanovili vek, pod ktorým je potrebný súhlas rodiča alebo zákonného zástupcu, na 13 až 16 rokov. EdTech platformy, ktoré sa opierajú o súhlas študenta ako o právny základ spracúvania, musia zaviesť vekovú bránu a mechanizmy na overenie a zaznamenanie rodičovského súhlasu tam, kde sa to vyžaduje. Inštitúcie konajúce ako prevádzkovatelia podľa GDPR musia zabezpečiť, aby ich zmluvy s EdTech dodávateľmi obsahovali príslušné zmluvy o spracúvaní údajov podľa GDPR Art. 28 a aby údaje o študentoch neboli prenášané mimo EHP bez primeraných záruk.

Spracúvanie osobitných kategórií údajov — ku ktorému môže dôjsť pri posudzovaní vzdelávacích ťažkostí, skríningu duševného zdravia alebo demografickom profilovaní — si vyžaduje výslovný právny základ podľa GDPR Art. 9(2) a spravidla aj posúdenie vplyvu na ochranu údajov podľa Art. 35.

Art. 50 — Transparentnosť pre AI výučbové chatboty

Art. 50 EU AI Act ukladá osobitnú povinnosť transparentnosti systémom AI určeným na priamu interakciu s fyzickými osobami. AI výučbové chatboty, virtuálni vzdelávacie asistenti a nástroje spätnej väzby generovanej AI nasadené vo vzdelávacích prostrediach musia od začiatku každej interakcie zreteľne informovať študentov o tom, že ide o AI systém. Ak publikum tvorí maloletých, zverejnenie musí byť prispôsobené ich veku a skutočne zrozumiteľné. Inštitúcie nasadzujúce AI výučbové nástroje musia overiť, že implementácia dodávateľa túto povinnosť spĺňa, a nesmú konfigurovať systém spôsobom, ktorý by potlačil alebo zastienil zverejnenie informácie o AI.

Vnútroštátne školské právo

Vnútroštátna školská legislatíva členských štátov EÚ môže ukladať ďalšie povinnosti týkajúce sa používania AI v akademickom prostredí — napríklad požiadavky súvisiace s integritou skúšok, uchovávaním dát z akademických záznamov a procesnou spravodlivosťou pri odvolaniach v prijímacom konaní. Programy súladu pre vzdelávacie inštitúcie musia mapovať povinnosti vyplývajúce z EU AI Act a GDPR voči platným vnútroštátnym predpisom vrátane sektorových usmernení vydaných národnými ministerstvami školstva. Tam, kde systémy AI produkujú výstupy používané vo formálne regulovaných procesoch (štátne skúšky, akreditované kvalifikácie), si vzťah medzi povinnosťami podľa AI Act a vnútroštátnym skúšobným právom vyžaduje osobitný právny rozbor.

Vymáhanie — orgány ochrany údajov a vzdelávacie orgány

Vymáhanie predpisov v sektore vzdelávania zahŕňa vrstvenú štruktúru príslušných orgánov. Národné dozorné orgány pre AI (určené podľa Art. 70) majú primárnu jurisdikciu nad súladom s EU AI Act, vrátane posúdenia zhody, dohľadu nad trhom a sankcií. Pre vzdelávacie inštitúcie môže byť týmto orgánom všeobecný dozorný orgán pre AI alebo, v niektorých členských štátoch, určený sektorový orgán.

Orgány ochrany osobných údajov (DPA) zohrávajú dôležitú nezávislú úlohu pri vymáhaní predpisov. Vzhľadom na objem a citlivosť údajov o študentoch spracúvaných AI vo vzdelávaní aktívne dohliadajú na nasadenie AI v školách a na univerzitách. Porušenia GDPR súvisiace s AI vo vzdelávaní — nezákonné spracúvanie údajov detí, nedostatočné zmluvy o spracúvaní údajov s EdTech dodávateľmi, neplnenie povinnosti vykonania požadovaných DPIA — môžu viesť k pokutám DPA vo výške až 20 miliónov EUR alebo 4 % celkového ročného globálneho obratu podľa GDPR Art. 83. Vymáhanie zo strany DPA historicky predchádzalo formálnemu vymáhaniu AI Act v regulovaných oblastiach a AI vo vzdelávaní by malo byť plánované s blízkodobým rizikom kontroly zo strany DPA.

Správne orgány univerzít a národné akreditačné orgány môžu uložiť inštitucionálne dôsledky — vrátane reputačných sankcií, pozastavenia automatizovaných procesov a požiadaviek na nezávislé audity — ak sa zistí, že používanie AI pri prijímaní alebo hodnotení viedlo k nespravodlivým alebo diskriminačným výsledkom. Inštitucionálna akademická správa vrátane procesov odvolania študentov musí byť navrhnutá tak, aby umožňovala napadnutie rozhodnutí ovplyvnených AI.

Plán súladu pre vzdelávacie inštitúcie a EdTech poskytovateľov

Pre EdTech poskytovateľov

1. Zaradiť každý produkt podľa prílohy III, kategórie 3 — zdokumentovať odôvodnenie zatriedenia s konkrétnym odkazom na zamýšľaný účel systému a závažnosť jeho vplyvu na vzdelávacie výsledky.
2. Implementovať úplný režim posúdenia zhody pre vysokorizikové systémy podľa Art. 9–15 pre všetky produkty zatriedené ako vysokorizikové, vrátane testovania zaujatosti naprieč demografickými podskupinami reprezentatívnymi pre populáciu študentov EÚ.
3. Zaregistrovať vysokorizikové systémy v databáze EÚ pre AI (Art. 49) pred ich uvedením na trh.
4. Pripraviť kompletnú dokumentáciu pre prevádzkovateľov: pokyny na použitie, dokumentáciu o zhode, výsledky testovania zaujatosti a presnosti, usmernenia pre správu záznamov.
5. Implementovať transparentnosť podľa Art. 50 vo všetkých systémoch AI, ktoré priamo interagujú so študentmi.
6. Preskúmať zmluvy o spracúvaní údajov s cieľom zabezpečiť súlad s GDPR Art. 28 vrátane mechanizmov rodičovského súhlasu tam, kde sa to vyžaduje podľa Art. 8.

Pre vzdelávacie inštitúcie

1. Auditovať všetky používané systémy AI — prijímacie konania, hodnotenie, dohľad pri skúškach, analytika, doučovanie — a zaradiť ich podľa prílohy III, kategórie 3.
2. Vyžiadať a preskúmať dokumentáciu o zhode od všetkých EdTech dodávateľov pre každý systém zatriedený alebo potenciálne zatriedivaný ako vysokorizikový.
3. Vykonať posúdenia vplyvu na základné práva podľa Art. 27 pred nasadením alebo pokračovaním v nasadení AI systémov pre prijímacie konania alebo hodnotenie.
4. Prideliť menovanú zodpovednosť za dohľad za každý vysokorizikový systém AI kvalifikovaným zamestnancom s reálnou technickou spôsobilosťou a inštitucionálnou právomocou.
5. Preskúmať procesy odvolania pri prijímaní a hodnotení s cieľom zabezpečiť, že umožňujú napadnutie rozhodnutí ovplyvnených AI a poskytujú zmysluplné ľudské preskúmanie.
6. Auditovať súlad s GDPR pre všetky údaje o študentoch spracúvané EdTech platformami — potvrdiť, že zmluvy o spracúvaní údajov, právne základy a mechanizmy rodičovského súhlasu sú zavedené.
7. Overiť konfigurácie AI pre dohľad pri skúškach z hľadiska súladu so zákazom biometrickej identifikácie v reálnom čase podľa Art. 5 — ak niektorá konfigurácia zahŕňa priebežné rozpoznávanie tváre počas skúšobných relácií, bezodkladne vyhľadajte právne poradenstvo pred nasledujúcim skúšobným obdobím.