Vzdělávání a EdTech — soulad s nařízením EU o umělé inteligenci

Povinnosti podle nařízení EU o umělé inteligenci pro vzdělávací AI: přijímací řízení, automatizované hodnocení, dohled při zkouškách a vzdělávací platformy. Pokrývá kategorii 3 přílohy III a zvláštní ochranu studentů.

Vzdělávací sektor a nařízení EU o umělé inteligenci — proč jsou práva studentů ústřední

Nařízení EU o umělé inteligenci (nařízení (EU) 2024/1689) identifikuje vzdělávání a odborné vzdělávání jako oblast se zvýšeným rizikem a klasifikuje konkrétní aplikace AI v této oblasti jako vysoce rizikové podle přílohy III, kategorie 3. Tato klasifikace odráží základní posouzení evropského zákonodárce: systémy AI, které formují přístup ke vzdělávacím příležitostem nebo určují akademické výsledky, zasahují do práv zásadního individuálního významu — právo na vzdělání (čl. 14 Listiny základních práv EU), právo na zákaz diskriminace (čl. 21) a v případě velké části studentů, kteří jsou nezletilí, zvýšenou ochranu podle GDPR čl. 8 a mezinárodních rámců včetně Úmluvy OSN o právech dítěte (UNCRC).

Vzdělávací sektor vykazuje specifický profil souladu. Většina vzdělávacích institucí — univerzity, školy a subjekty odborného vzdělávání — zaujímá roli provozovatele podle nařízení EU o umělé inteligenci: pořizují a provozují systémy AI vytvořené dodavateli EdTech, nikoli vyvíjejí AI interně. Tento rozdíl nesnižuje jejich povinnosti. Provozovatelé vysoce rizikové AI podle čl. 26 nesou samostatné právní povinnosti, které nelze splnit pouhým zakoupením produktu s označením CE. Zároveň jsou EdTech společnosti, které vyvíjejí a uvádějí systémy AI na trh EU, poskytovateli podléhajícími plnému režimu posuzování shody podle kapitoly III, oddílu 2.

Sektor je rovněž charakterizován výraznou koncentrací citlivých osobních údajů. Behaviorální data studentů, záznamy o hodnocení, vzorce zapojení, výukové potíže a demografické profily jsou zpracovávány ve velkém měřítku adaptivními vzdělávacími platformami a analytickými nástroji. Tato koncentrace dat znamená, že soulad s nařízením EU o umělé inteligenci ve vzdělávání nelze navrhovat izolovaně od GDPR — oba rámce musí být řešeny jako integrovaná povinnost souladu.

Vysoce riziková AI ve vzdělávání — přijímací řízení, hodnocení a dohled při zkouškách

Příloha III, kategorie 3 definuje dvě odlišné kategorie vysoce rizikové vzdělávací AI. Pochopení rozsahu každé kategorie je zásadní pro rozhodnutí o klasifikaci.

AI pro přijímací řízení — určování přístupu ke vzdělávacím institucím

Příloha III, kategorie 3(a) pokrývá systémy AI určené k použití pro určování přístupu nebo přiřazení ke vzdělávacím a odborným vzdělávacím institucím nebo programům. Tato kategorie zahrnuje AI, která hodnotí, řadí nebo filtruje uchazeče v přijímacích řízeních na univerzity, AI, která posuzuje předchozí kvalifikace nebo uznávání odborných osvědčení, a AI, která určuje způsobilost pro konkrétní akademické obory nebo specializované programy.

Klasifikace vysokého rizika se uplatní tehdy, kdy má výstup systému AI významný vliv na přístup uchazeče ke vzdělávací příležitosti. Tato prahová hodnota je splněna u většiny provozně nasazené přijímací AI: bodovací model, jehož výstupy jsou přezkoumávány a na nichž přijímací pracovníci jednají bez systematického přehodnocení základního posouzení, prakticky určuje výsledky, i když je každé rozhodnutí formálně schváleno lidskou osobou. Poskytovatelé takových systémů musí splňovat čl. 9–15 (správa dat, technická dokumentace, protokolování, transparentnost, lidský dohled, přesnost a robustnost). Nasazující instituce musí ověřit soulad a implementovat povinnosti provozovatele podle čl. 26 dříve, než je systém použit v jakémkoli přijímacím řízení.

Riziko předsudků je v přijímací AI obzvláště výrazné. Systémy trénované na historických datech o přijetí a akademickém úspěchu mohou kódovat stávající nerovnosti — genderové rozdíly v určitých oborech, socioekonomické rozdíly v akademické přípravě, rozdílný výkon domácích a zahraničních uchazečů. Čl. 10 vyžaduje, aby trénovací data podléhala postupům správy, které řeší známé předsudky, a čl. 9 ukládá opatření pro řízení rizik kalibrovaná na závažnost potenciální újmy, což v tomto kontextu zahrnuje odepření vzdělávací příležitosti kvalifikovaným uchazečům ze znevýhodněných skupin.

AI pro automatizované hodnocení — klasifikace a přiřazení k akademickým drahám

Příloha III, kategorie 3(b) pokrývá systémy AI, které hodnotí studenty, včetně nástrojů pro automatizované hodnocení a systémů přiřazujících studenty do diferencovaných akademických drah, kde tyto systémy mají významný vliv na jejich vzdělávací dráhy. Nástroj pro automatizované hodnocení esejí, který vydává konečné známky určující, zda student předmět složí či propadne, získá kvalifikaci nebo postoupí na vyšší studijní úroveň, je vysoce rizikový. Obdobně AI, která zařazuje studenty do nápravných, standardních nebo pokročilých skupin na základě výkonnostních dat, má významný vliv na vzdělávací dráhy a spadá do této kategorie.

Hranice pro nástroje formativního hodnocení — nástroje používané výhradně k poskytování zpětné vazby studentům, přičemž lidský pedagog si zachovává plnou a efektivní kontrolu nad všemi hodnocenými výsledky — je užší. Takové nástroje mohou spadat mimo kategorii 3(b), avšak tato klasifikace musí být zdokumentována a odůvodněna a instituce musí zajistit, aby lidský dohled byl skutečně podstatný, a nikoli pouhým formálním potvrzením výsledků generovaných AI.

AI pro dohled při distančních zkouškách

Systémy pro dohled při distančních zkouškách, které sledují chování studentů během hodnocení prostřednictvím analýzy videa, sledování pohybu očí, blokování prohlížeče, protokolování úhozů nebo detekce behaviorálních anomálií, představují jednu z právně nejsložitějších aplikací AI ve vzdělávání. Tam, kde takové systémy označují nebo diskvalifikují studenty na základě jejich automatizované analýzy — nebo kde jsou jejich výstupy používány lidskými hodnotiteli způsoby, které podstatně určují výsledky — představují vysoce rizikovou AI podle přílohy III, kategorie 3 jako AI, která hodnotí studenty a má významné dopady na jejich akademické dráhy.

AI pro dohled při zkouškách rovněž aktivuje zákaz čl. 5 odst. 1 písm. d) týkající se biometrické identifikace na dálku v reálném čase na veřejně přístupných místech. Pokud systémy dohledu při zkouškách používají rozpoznávání obličeje k nepřetržitému ověřování identity studenta během zkoušky v reálném čase, představuje to zakázanou biometrickou identifikaci, pokud se neuplatní velmi úzká legislativní výjimka členského státu podle čl. 5 odst. 2–6. Instituce nasazující AI pro dohled při zkouškách musí pečlivě rozlišovat mezi ověřením identity v okamžiku přístupu ke zkoušce (potenciálně zákonné při splnění požadavků) a nepřetržitým biometrickým dohledem v reálném čase po celou dobu zkouškového sezení (podléhající zákazu podle čl. 5).

Poskytovatel versus provozovatel — EdTech společnosti a vzdělávací instituce

Nařízení EU o umělé inteligenci přiděluje povinnosti asymetricky mezi poskytovatele a provozovatele. Pochopení tohoto rozdělení je základem plánování souladu pro dodavatele EdTech i pro instituce, které jejich produkty používají.

Povinnosti poskytovatele EdTech

EdTech společnosti, které vyvíjejí a uvádějí vysoce rizikové systémy AI na trh EU, jsou poskytovateli podle čl. 3 odst. 3 a musí splňovat veškeré požadavky na vysoce rizikovou AI v kapitole III, oddílu 2:

• Čl. 9 — Zavést a udržovat systém řízení rizik pro celý životní cyklus systému AI
• Čl. 10 — Implementovat správu dat pro trénovací, validační a testovací datové sady a řešit předsudky, reprezentativnost a statistická omezení
• Čl. 11 a příloha IV — Udržovat komplexní technickou dokumentaci prokazující shodu
• Čl. 12 — Zajistit automatické protokolování provozu systému umožňující zpětné přezkoumání rozhodnutí AI
• Čl. 13 — Poskytnout informace o transparentnosti umožňující provozovatelům porozumět schopnostem a omezením systému
• Čl. 14 — Navrhnout systém tak, aby umožňoval efektivní lidský dohled ze strany provozovatelů
• Čl. 15 — Dosáhnout odpovídající přesnosti, robustnosti a kybernetické bezpečnosti pro zamýšlený vzdělávací kontext
• Čl. 49 — Registrovat systém v databázi EU pro AI před uvedením na trh nebo při uvedení na trh

Poskytovatelé musí rovněž dodat nasazujícím institucím pokyny k použití, které jsou dostatečně konkrétní, aby institucím umožnily plnit jejich vlastní povinnosti provozovatele — včetně informací o podskupinách studentské populace, pro něž byl systém testován, známých omezeních výkonu, výsledcích testování předsudků a postupech správy protokolů.

Povinnosti institucionálního provozovatele

Univerzity, školy a subjekty odborného vzdělávání, které nasazují vysoce rizikovou EdTech AI podle čl. 26, musí:

• Ověřit, že systém AI nese označení CE a že je k dispozici EU prohlášení o shodě
• Plně implementovat pokyny poskytovatele k použití
• Zajistit, aby kvalifikovaní pracovníci byli pověřeni odpovědností za lidský dohled s dostatečnou technickou způsobilostí a praktickou pravomocí zasahovat do výstupů generovaných AI
• Uchovávat provozní protokoly po minimální dobu a zpřístupnit je vnitrostátním dozorovým orgánům na vyžádání
• Hlásit závažné incidenty nebo poruchy poskytovateli a případně vnitrostátním dozorovým orgánům pro AI
• Provést nebo zadat posouzení dopadu na základní práva (FRIA) podle čl. 27 před nasazením systémů AI pro hodnocení nebo přijímací řízení
• Neupravovat vysoce rizikové systémy AI způsoby, které mění jejich zamýšlený účel, aniž by bylo spuštěno nové posouzení poskytovatelem

Interakce s GDPR, právy dětí a vnitrostátním vzdělávacím právem

GDPR a zpracování studentských dat

Vzdělávací AI pracuje s daty, která jsou ze své podstaty citlivá. Platformy pro analýzu učení, adaptivní výukové systémy a nástroje pro behaviorální dohled při zkouškách zpracovávají data, která mohou zahrnovat záznamy o akademickém výkonu, metriky zapojení, behaviorální signály a komunikaci — vše propojené s identifikovatelnými studenty.

Jsou-li studenti nezletilí, GDPR čl. 8 omezuje zpracování osobních údajů na základě souhlasu: členské státy stanovily věk, pod nímž je vyžadován souhlas rodiče nebo opatrovníka, v rozmezí 13 až 16 let. EdTech platformy, které se spoléhají na souhlas studenta jako na právní základ pro zpracování, musí zavést ověřování věku a implementovat mechanismy pro ověření a zaznamenání rodičovského souhlasu, kde je to vyžadováno. Instituce vystupující jako správci údajů podle GDPR musí zajistit, aby jejich smlouvy s dodavateli EdTech zahrnovaly příslušné smlouvy o zpracování dat podle GDPR čl. 28 a aby studentská data nebyla přenášena mimo EHP bez odpovídajících záruk.

Zpracování zvláštních kategorií údajů — které může vzniknout v případě, kdy jsou zahrnuty posouzení výukových potíží, screening duševního zdraví nebo demografické profilování — vyžaduje výslovný právní základ podle GDPR čl. 9 odst. 2 a zpravidla posouzení dopadu na ochranu osobních údajů podle čl. 35.

Čl. 50 — Transparentnost pro AI výukové chatboty

Čl. 50 nařízení EU o umělé inteligenci ukládá specifickou povinnost transparentnosti systémům AI určeným k přímé interakci s fyzickými osobami. Chatboty poháněné AI, virtuální vzdělávací asistenti a nástroje pro zpětnou vazbu generované AI nasazené ve vzdělávacím prostředí musí na začátku každé interakce studentům jasně sdělit svou povahu AI. Pokud studentské publikum zahrnuje nezletilé, musí být zveřejnění přizpůsobeno tak, aby bylo přiměřené věku a skutečně srozumitelné. Instituce nasazující AI výukové nástroje musí ověřit, že implementace dodavatele splňuje tuto povinnost, a nesmí systém konfigurovat způsoby, které potlačují nebo zakrývají zveřejnění povahy AI.

Vnitrostátní vzdělávací právo

Vnitrostátní vzdělávací legislativa členských států EU může ukládat dodatečné povinnosti pro používání AI v akademickém prostředí — například požadavky týkající se integrity zkoušení, uchovávání dat pro akademické záznamy a procesní spravedlnosti při odvolání v přijímacím řízení. Programy souladu pro vzdělávací instituce musí mapovat povinnosti podle nařízení EU o umělé inteligenci a GDPR vůči použitelnému vnitrostátnímu právu, včetně sektorově specifických ministerských pokynů vydávaných vnitrostátními ministerstvy školství. Tam, kde systémy AI produkují výstupy používané ve formálně regulovaných procesech (státní zkoušky, akreditované kvalifikace), vyžaduje rozhraní mezi povinnostmi podle nařízení o AI a vnitrostátním zkušebním právem specifickou právní analýzu.

Prosazování — orgány pro ochranu osobních údajů a vzdělávací orgány

Prosazování ve vzdělávacím sektoru zahrnuje vrstvenou strukturu příslušných orgánů. Vnitrostátní dozorové orgány pro AI (jmenované podle čl. 70) mají primární pravomoc v oblasti souladu s nařízením EU o umělé inteligenci, včetně posuzování shody, dohledu nad trhem a sankcí. Pro vzdělávací instituce může být tímto orgánem obecný dozorový orgán pro AI nebo v některých členských státech jmenovaný sektorový subjekt.

Orgány pro ochranu osobních údajů (DPA) hrají významnou samostatnou roli při prosazování. Vzhledem k objemu a citlivosti studentských dat zpracovávaných vzdělávací AI aktivně dohlíží DPA na nasazení AI ve školách a na univerzitách. Porušení GDPR v souvislosti se vzdělávací AI — nezákonné zpracování dat dětí, nedostatečné smlouvy o zpracování dat s dodavateli EdTech, selhání při provádění vyžadovaných DPIA — přitahují pokuty DPA až do výše 20 milionů EUR nebo 4 % celkového ročního celosvětového obratu podle GDPR čl. 83. Vymáhací opatření DPA historicky předcházela formálnímu prosazování podle nařízení o AI v regulovaných oblastech a vzdělávací AI by měla být plánována s dohledem DPA jako krátkodobým rizikem.

Řídící orgány univerzit a vnitrostátní akreditační orgány mohou ukládat institucionální důsledky — včetně reputačních sankcí, pozastavení automatizovaných procesů a požadavků na nezávislé audity — v případech, kdy bylo zjištěno, že používání AI v přijímacím řízení nebo hodnocení vedlo k nespravedlivým nebo diskriminačním výsledkům. Institucionální akademická správa, včetně procesů studentských odvolání, musí být navržena tak, aby pojala výzvy vůči rozhodnutím ovlivněným AI.

Plán souladu pro vzdělávací instituce a poskytovatele EdTech

Pro poskytovatele EdTech

1. Klasifikujte každý produkt vůči příloze III, kategorii 3 — zdokumentujte odůvodnění klasifikace s konkrétním odkazem na zamýšlený účel systému a závažnost jeho vlivu na vzdělávací výsledky.
2. Implementujte plný režim posuzování shody pro vysoce rizikové systémy podle čl. 9–15 pro všechny produkty klasifikované jako vysoce rizikové, včetně testování předsudků napříč demografickými podskupinami reprezentativními pro studentskou populaci EU.
3. Registrujte vysoce rizikové systémy v databázi EU pro AI (čl. 49) před uvedením na trh.
4. Připravte kompletní dokumentaci pro provozovatele: pokyny k použití, dokumentaci o shodě, výsledky testování předsudků a přesnosti, pokyny pro správu protokolů.
5. Implementujte transparentnost podle čl. 50 ve všech systémech AI, které přímo interagují se studenty.
6. Přezkouejte smlouvy o zpracování dat a zajistěte soulad s GDPR čl. 28, včetně mechanismů pro rodičovský souhlas, kde to vyžaduje čl. 8.

Pro vzdělávací instituce

1. Proveďte audit všech používaných systémů AI — přijímací řízení, hodnocení, dohled při zkouškách, analytika, výuka — a klasifikujte je vůči příloze III, kategorii 3.
2. Vyžádejte a přezkoumejte dokumentaci o shodě od všech dodavatelů EdTech pro jakýkoli systém klasifikovaný nebo potenciálně klasifikovatelný jako vysoce rizikový.
3. Proveďte posouzení dopadu na základní práva podle čl. 27 před nasazením nebo pokračováním v nasazení systémů AI pro přijímací řízení nebo hodnocení.
4. Přidělte jmenovitou odpovědnost za dohled pro každý vysoce rizikový systém AI kvalifikovaným pracovníkům se skutečnou technickou způsobilostí a institucionální pravomocí.
5. Přezkouejte procesy odvolání v přijímacím řízení a hodnocení a zajistěte, aby pojaly výzvy vůči rozhodnutím ovlivněným AI a poskytovaly smysluplné lidské přezkoumání.
6. Proveďte audit souladu s GDPR pro všechna studentská data zpracovávaná EdTech platformami — potvrďte, že smlouvy o zpracování dat, právní základy a mechanismy rodičovského souhlasu jsou zavedeny.
7. Ověřte konfigurace AI pro dohled při zkouškách z hlediska souladu se zákazem biometrické identifikace v reálném čase podle čl. 5 — pokud jakákoli konfigurace zahrnuje nepřetržité rozpoznávání obličeje během zkouškových sezení, získejte naléhavé právní poradenství před nadcházejícím zkušebním obdobím.