Educație și EdTech — Conformitate cu Regulamentul UE privind IA

Obligațiile impuse de Regulamentul UE privind IA pentru sistemele de IA în educație: admitere, notare automată, supraveghere examene și platforme de învățare. Acoperă categoria 3 din Anexa III și protecțiile speciale pentru studenți.

Sectorul educației și Regulamentul UE privind IA — De ce drepturile studenților sunt centrale

Regulamentul UE privind IA (Regulamentul (UE) 2024/1689) identifică educația și formarea profesională drept un domeniu de risc ridicat, clasificând aplicațiile specifice de IA din cadrul acestuia ca risc ridicat în temeiul Anexei III, categoria 3. Această clasificare reflectă o judecată fundamentală a legiuitorului european: sistemele de IA care condiționează accesul la oportunități educaționale sau determină rezultatele academice angajează drepturi de o importanță individuală profundă — dreptul la educație (Art. 14, Carta Drepturilor Fundamentale a UE), dreptul la nediscriminare (Art. 21) și, pentru proporția semnificativă de studenți care sunt minori, protecțiile consolidate prevăzute la Art. 8 din GDPR și în cadre internaționale, inclusiv Convenția ONU cu privire la Drepturile Copilului (UNCRC).

Sectorul educației prezintă un profil de conformitate distinct. Majoritatea instituțiilor de învățământ — universități, școli și organisme de formare profesională — ocupă rolul de implementator în temeiul Regulamentului UE privind IA: acestea achiziționează și operează sisteme de IA construite de furnizorii EdTech, mai degrabă decât să dezvolte IA intern. Această distincție nu reduce obligațiile lor. Implementatorii de sisteme de IA cu risc ridicat în temeiul Art. 26 au obligații juridice independente care nu pot fi îndeplinite pur și simplu prin achiziționarea unui produs cu marcaj CE. În același timp, companiile EdTech care dezvoltă și plasează sisteme de IA pe piața UE sunt furnizori supuși regimului complet de evaluare a conformității în temeiul Capitolului III, Secțiunea 2.

Sectorul se caracterizează, de asemenea, printr-o concentrare semnificativă de date cu caracter personal sensibile. Datele comportamentale ale studenților, înregistrările de evaluare, tiparele de angajament, dificultățile de învățare și profilurile demografice sunt prelucrate la scară largă de platformele de învățare adaptivă și instrumentele de analiză. Această concentrare de date înseamnă că respectarea Regulamentului UE privind IA în educație nu poate fi concepută izolat față de GDPR — cele două cadre trebuie abordate ca o obligație de conformitate integrată.

IA cu risc ridicat în educație — Admitere, notare și supraveghere examene

Anexa III, categoria 3 definește două categorii distincte de IA cu risc ridicat în educație. Înțelegerea domeniului de aplicare al fiecărei categorii este esențială pentru deciziile de clasificare.

IA pentru admitere — Determinarea accesului la instituțiile de învățământ

Anexa III, categoria 3(a) acoperă sistemele de IA destinate a fi utilizate pentru determinarea accesului sau repartizării la instituții sau programe de învățământ și de formare profesională. Această categorie cuprinde sistemele de IA care punctează, clasifică sau filtrează candidații în procesele de admitere universitară, sistemele de IA care evaluează calificările anterioare sau recunoașterea acreditărilor profesionale și sistemele de IA care determină eligibilitatea pentru trasee academice specifice sau programe specializate.

Clasificarea ca risc ridicat se aplică atunci când rezultatul sistemului de IA are un efect semnificativ asupra accesului unui candidat la o oportunitate educațională. Acest prag este atins de majoritatea sistemelor de IA pentru admitere implementate operațional: un model de punctare ale cărui rezultate sunt revizuite și utilizate de ofițerii de admitere fără o reevaluare sistematică a evaluării subiacente determină efectiv rezultatele, chiar dacă un om aprobă formal fiecare decizie. Furnizorii unor astfel de sisteme trebuie să respecte Art. 9–15 (guvernanța datelor, documentația tehnică, jurnalizarea, transparența, supravegherea umană, acuratețea și robustețea). Instituțiile de implementare trebuie să verifice conformitatea și să implementeze obligațiile de implementator prevăzute la Art. 26 înainte ca sistemul să fie utilizat în orice ciclu de admitere.

Riscul de prejudecată este deosebit de acut în sistemele de IA pentru admitere. Sistemele instruite pe date istorice de admitere și de succes academic pot codifica inegalitățile existente — decalaje de gen în anumite discipline, disparități socioeconomice în pregătirea academică, diferențe de performanță între candidații autohtoni și cei internaționali. Art. 10 impune ca datele de instruire să fie supuse practicilor de guvernanță care abordează prejudecățile cunoscute, iar Art. 9 mandatează măsuri de gestionare a riscurilor calibrate la severitatea potențialului prejudiciu, care în acest context include refuzul oportunității educaționale pentru candidați calificați din grupuri dezavantajate.

IA pentru evaluare automată — Notare și repartizare pe trasee academice

Anexa III, categoria 3(b) acoperă sistemele de IA care evaluează studenții, inclusiv instrumentele de notare automată și sistemele care repartizează studenții pe trasee academice diferențiate, acolo unde aceste sisteme au un efect semnificativ asupra traseelor lor educaționale. Un instrument de notare automată a eseurilor care produce note finale ce determină dacă un student promovează sau pică un curs, obține o calificare sau câștigă accesul la nivelul academic următor este de risc ridicat. În mod similar, sistemele de IA care plasează studenții în trasee remediale, standard sau avansate pe baza datelor de performanță au un efect semnificativ asupra traseelor educaționale și se încadrează în această categorie.

Limita pentru instrumentele de evaluare formativă — instrumente utilizate exclusiv pentru a oferi feedback studenților în care un educator uman păstrează controlul deplin și efectiv asupra tuturor rezultatelor notate — este mai îngustă. Astfel de instrumente pot să nu se încadreze în categoria 3(b), dar această clasificare trebuie documentată și justificată, iar instituțiile trebuie să se asigure că supravegherea umană este cu adevărat substanțială, nu o simplă aprobare formală a rezultatelor generate de IA.

IA pentru supravegherea examenelor la distanță

Sistemele de supraveghere la distanță a examenelor care monitorizează comportamentul studenților în timpul evaluărilor prin analiza video, urmărirea privirii, blocarea browserului, înregistrarea apăsărilor de taste sau detectarea anomaliilor comportamentale reprezintă una dintre cele mai complex reglementate aplicații de IA în educație din punct de vedere juridic. Acolo unde astfel de sisteme semnalează sau descalifică studenți pe baza analizei lor automate — sau acolo unde rezultatele lor sunt utilizate de evaluatori umani în moduri care determină substanțial rezultatele — acestea constituie sisteme de IA cu risc ridicat în temeiul Anexei III, categoria 3, ca sisteme de IA care evaluează studenții și au efecte semnificative asupra traseelor lor academice.

Sistemele de supraveghere a examenelor angajează, de asemenea, interdicția prevăzută la Art. 5(1)(d) privind identificarea biometrică la distanță în timp real în spații accesibile publicului. Acolo unde sistemele de supraveghere utilizează recunoașterea facială pentru a verifica continuu identitatea studenților în timpul unui examen în timp real, aceasta constituie identificare biometrică interzisă, cu excepția cazului în care se aplică o excepție legislativă extrem de restrânsă a statului membru în temeiul Art. 5(2)–(6). Instituțiile care implementează IA pentru supravegherea examenelor trebuie să distingă cu atenție între verificarea identității la momentul accesului la examen (potențial legală în cazul în care este conformă) și supravegherea biometrică continuă în timp real pe durata întregii sesiuni de examinare (supusă interdicției de la Art. 5).

Furnizor vs. implementator — Companii EdTech și instituții de învățământ

Regulamentul UE privind IA alocă obligații asimetric între furnizori și implementatori. Înțelegerea acestei alocări este fundamentală pentru planificarea conformității atât pentru furnizorii EdTech, cât și pentru instituțiile care utilizează produsele lor.

Obligațiile furnizorilor EdTech

Companiile EdTech care dezvoltă și plasează pe piața UE sisteme de IA cu risc ridicat sunt furnizori în temeiul Art. 3(3) și trebuie să respecte cerințele complete privind IA cu risc ridicat prevăzute în Capitolul III, Secțiunea 2:

• Art. 9 — Stabilirea și menținerea unui sistem de gestionare a riscurilor pentru întregul ciclu de viață al sistemului de IA
• Art. 10 — Implementarea guvernanței datelor pentru seturile de date de instruire, validare și testare, abordând prejudecățile, reprezentativitatea și limitările statistice
• Art. 11 și Anexa IV — Menținerea documentației tehnice complete care demonstrează conformitatea
• Art. 12 — Asigurarea jurnalizării automate a funcționării sistemului, care să permită revizuirea ulterioară a deciziilor de IA
• Art. 13 — Furnizarea de informații de transparență care să permită implementatorilor să înțeleagă capacitățile și limitările sistemului
• Art. 14 — Proiectarea sistemului astfel încât să permită supravegherea umană eficace de către implementatori
• Art. 15 — Atingerea acurateței, robustetii și securității cibernetice adecvate pentru contextul educațional vizat
• Art. 49 — Înregistrarea sistemului în baza de date UE privind IA înainte de sau la momentul plasării pe piață

Furnizorii trebuie, de asemenea, să furnizeze instituțiilor de implementare instrucțiuni de utilizare suficient de specifice pentru a le permite acestora să își îndeplinească propriile obligații de implementator — inclusiv informații privind subgrupurile de studenți pentru care sistemul a fost testat, limitările de performanță cunoscute, rezultatele testelor de prejudecată și procedurile de gestionare a jurnalelor.

Obligațiile instituțiilor ca implementatori

Universitățile, școlile și organismele de formare profesională care implementează sisteme EdTech de IA cu risc ridicat în temeiul Art. 26 trebuie să:

• Verifice că sistemul de IA poartă marcajul CE și că o Declarație UE de Conformitate este disponibilă
• Implementeze în totalitate instrucțiunile de utilizare ale furnizorului
• Asigure că personalul calificat este desemnat responsabil pentru supravegherea umană, cu competență tehnică suficientă și autoritate practică pentru a interveni în rezultatele generate de IA
• Mențină jurnalele operaționale pentru o perioadă minimă și să le pună la dispoziția autorităților naționale de supraveghere la cerere
• Raporteze incidentele grave sau defecțiunile furnizorului și, acolo unde este relevant, autorităților naționale de supraveghere a IA
• Efectueze sau comandeze o evaluare a impactului asupra drepturilor fundamentale (FRIA) în temeiul Art. 27 înainte de implementarea sistemelor de IA pentru evaluare sau admitere
• Nu modifice sistemele de IA cu risc ridicat în moduri care le alterează scopul destinat fără a declanșa o reevaluare de către furnizor

Interacțiunea cu GDPR, drepturile copilului și legislația națională în domeniul educației

GDPR și prelucrarea datelor studenților

Sistemele de IA din educație operează pe date care sunt în mod intrinsec sensibile. Platformele de analiză a învățării, sistemele de tutoriat adaptiv și instrumentele de supraveghere comportamentală prelucrează date care pot include înregistrări ale performanței academice, indicatori de angajament, semnale comportamentale și comunicări — toate legate de studenți identificabili.

Acolo unde studenții sunt minori, Art. 8 din GDPR restricționează prelucrarea datelor cu caracter personal pe baza consimțământului: statele membre au stabilit vârsta sub care este necesar consimțământul părintelui sau tutorelui la o valoare cuprinsă între 13 și 16 ani. Platformele EdTech care se bazează pe consimțământul studenților ca temei juridic pentru prelucrare trebuie să implementeze verificarea vârstei în sistemele lor și mecanisme de verificare și înregistrare a consimțământului parental acolo unde este necesar. Instituțiile care acționează ca operatori de date în temeiul GDPR trebuie să se asigure că contractele lor cu furnizorii EdTech includ acorduri de prelucrare a datelor corespunzătoare în temeiul Art. 28 din GDPR și că datele studenților nu sunt transferate în afara SEE fără garanții adecvate.

Prelucrarea categoriilor speciale de date — care poate apărea atunci când sunt implicate evaluări ale dificultăților de învățare, screening-ul sănătății mintale sau profilarea demografică — necesită un temei juridic explicit în temeiul Art. 9(2) din GDPR și, de regulă, o Evaluare a Impactului asupra Protecției Datelor în temeiul Art. 35.

Art. 50 — Transparența pentru chatbot-urile tutoriale bazate pe IA

Art. 50 din Regulamentul UE privind IA impune o obligație specifică de transparență pentru sistemele de IA concepute să interacționeze direct cu persoane fizice. Chatbot-urile tutoriale bazate pe IA, asistenții virtuali de învățare și instrumentele de feedback generate de IA implementate în medii educaționale trebuie să dezvăluie în mod clar studenților natura lor de IA la începutul fiecărei interacțiuni. Acolo unde publicul de studenți include minori, dezvăluirea trebuie să fie adaptată pentru a fi adecvată vârstei și cu adevărat comprehensibilă. Instituțiile care implementează instrumente de tutoriat bazate pe IA trebuie să verifice că implementarea furnizorului satisface această obligație și nu trebuie să configureze sistemul în moduri care suprimă sau obscurizează dezvăluirea naturii de IA.

Legislația națională în domeniul educației

Legislația națională din statele membre ale UE poate impune obligații suplimentare privind utilizarea IA în mediile academice — de exemplu, cerințe referitoare la integritatea examinărilor, păstrarea datelor pentru dosarele academice și echitatea procedurală în contestațiile la admitere. Programele de conformitate pentru instituțiile de învățământ trebuie să cartografieze obligațiile prevăzute de Regulamentul UE privind IA și de GDPR față de legislația națională aplicabilă, inclusiv ghidanța ministerială sectorială specifică emisă de ministerele naționale ale educației. Acolo unde sistemele de IA produc rezultate care sunt utilizate în procese reglementate formal (examene de stat, calificări acreditate), interfața dintre obligațiile prevăzute de Regulamentul privind IA și legislația națională privind examinările necesită o analiză juridică specifică.

Aplicarea normelor — Autoritățile de protecție a datelor și autoritățile în domeniul educației

Aplicarea normelor în sectorul educației implică o structură stratificată de autorități competente. Autoritățile naționale de supraveghere a IA (desemnate în temeiul Art. 70) dețin jurisdicția primară asupra conformității cu Regulamentul UE privind IA, inclusiv evaluarea conformității, supravegherea pieței și sancțiunile. Pentru instituțiile de învățământ, această autoritate poate fi o autoritate generală de supraveghere a IA sau, în unele state membre, un organism sectorial desemnat.

Autoritățile de protecție a datelor (APD) joacă un rol major și independent în aplicarea normelor. Dat fiind volumul și sensibilitatea datelor studenților prelucrate de sistemele de IA din educație, APD-urile supraveghează activ implementările de IA în școli și universități. Încălcările GDPR legate de IA în educație — prelucrarea ilegală a datelor copiilor, acorduri inadecvate de prelucrare a datelor cu furnizorii EdTech, omisiunea de a efectua evaluările de impact necesare — atrag amenzi ale APD-urilor de până la 20 de milioane EUR sau 4% din cifra de afaceri anuală globală în temeiul Art. 83 din GDPR. Acțiunile de aplicare ale APD-urilor au precedat în mod tradițional aplicarea formală a normelor privind IA în domeniile reglementate, iar sistemele de IA din sectorul educației trebuie planificate cu scrutinul APD-urilor ca risc pe termen scurt.

Organele de conducere ale universităților și autoritățile naționale de acreditare pot impune consecințe instituționale — inclusiv sancțiuni reputaționale, suspendarea proceselor automatizate și cerințe de audituri independente — atunci când utilizarea IA în admitere sau evaluare este constatată că a produs rezultate inechitabile sau discriminatorii. Guvernanța academică instituțională, inclusiv procedurile de contestație ale studenților, trebuie concepută pentru a acomoda contestațiile la deciziile influențate de IA.

Foaie de parcurs pentru conformitate pentru instituțiile de învățământ și furnizorii EdTech

Pentru furnizorii EdTech

1. Clasificați fiecare produs față de Anexa III, categoria 3 — documentați rațiunea clasificării cu referire specifică la scopul destinat al sistemului și semnificația efectului său asupra rezultatelor educaționale.
2. Implementați regimul complet de evaluare a conformității pentru risc ridicat în temeiul Art. 9–15 pentru toate produsele clasificate ca risc ridicat, inclusiv testarea prejudecăților pe subgrupuri demografice reprezentative pentru populația de studenți din UE.
3. Înregistrați sistemele cu risc ridicat în baza de date UE privind IA (Art. 49) înainte de plasarea pe piață.
4. Pregătiți documentația completă destinată implementatorilor: instrucțiuni de utilizare, documentație de conformitate, rezultatele testelor de prejudecată și acuratețe, ghidanță privind gestionarea jurnalelor.
5. Implementați transparența prevăzută la Art. 50 în toate sistemele de IA care interacționează direct cu studenții.
6. Revizuiți acordurile de prelucrare a datelor pentru a asigura conformitatea cu Art. 28 din GDPR, inclusiv mecanisme de consimțământ parental acolo unde este necesar în temeiul Art. 8.

Pentru instituțiile de învățământ

1. Auditați toate sistemele de IA utilizate — admitere, notare, supraveghere examene, analiză, tutoriat — și clasificați-le față de Anexa III, categoria 3.
2. Solicitați și revizuiți documentația de conformitate de la toți furnizorii EdTech pentru orice sistem clasificat sau potențial clasificabil ca risc ridicat.
3. Efectuați evaluări ale impactului asupra drepturilor fundamentale în temeiul Art. 27 înainte de implementarea sau continuarea implementării sistemelor de IA pentru admitere sau evaluare.
4. Desemnați responsabilitatea nominală de supraveghere pentru fiecare sistem de IA cu risc ridicat către personal calificat cu competență tehnică autentică și autoritate instituțională.
5. Revizuiți procedurile de contestație la admitere și evaluare pentru a vă asigura că acestea acomodează contestațiile la deciziile influențate de IA și oferă o revizuire umană autentică.
6. Auditați conformitatea GDPR pentru toate datele studenților prelucrate de platformele EdTech — confirmați că acordurile de prelucrare a datelor, temeiul juridic și mecanismele de consimțământ parental sunt implementate.
7. Verificați configurațiile sistemelor de supraveghere a examenelor pentru conformitatea cu interdicția de la Art. 5 privind identificarea biometrică în timp real — dacă orice configurație implică recunoaștere facială continuă în timpul sesiunilor de examinare, obțineți consiliere juridică urgentă înainte de următoarea perioadă de examinare.