Edukacja i EdTech — zgodność z unijnym aktem o AI

Obowiązki wynikające z unijnego aktu o AI dla systemów AI w edukacji: rekrutacja, automatyczne ocenianie, nadzór egzaminacyjny i platformy edukacyjne. Obejmuje kategorię 3 Załącznika III oraz szczególną ochronę studentów.

Sektor edukacji a unijny akt o AI — dlaczego prawa studentów są kluczowe

Unijny akt o AI (Rozporządzenie (UE) 2024/1689) identyfikuje edukację i szkolenie zawodowe jako dziedzinę podwyższonego ryzyka, klasyfikując określone zastosowania AI w jej zakresie jako wysokiego ryzyka na podstawie Załącznika III, kategorii 3. Klasyfikacja ta odzwierciedla fundamentalne stanowisko europejskiego ustawodawcy: systemy AI, które kształtują dostęp do możliwości edukacyjnych lub determinują wyniki akademickie, angażują prawa o głębokim znaczeniu dla jednostki — prawo do edukacji (Art. 14, Karta Praw Podstawowych UE), prawo do niedyskryminacji (Art. 21) oraz, w przypadku dużej części studentów będących małoletnimi, wzmocnioną ochronę wynikającą z GDPR Art. 8 i międzynarodowych ram, w tym Konwencji ONZ o prawach dziecka (UNCRC).

Sektor edukacji wykazuje charakterystyczny profil zgodności. Większość instytucji edukacyjnych — uczelnie, szkoły i podmioty prowadzące szkolenie zawodowe — pełni rolę podmiotu stosującego w rozumieniu unijnego aktu o AI: kupują i eksploatują systemy AI budowane przez dostawców EdTech, zamiast rozwijać AI we własnym zakresie. Rozróżnienie to nie zmniejsza ich obowiązków. Podmioty stosujące systemy AI wysokiego ryzyka na podstawie Art. 26 ponoszą niezależne obowiązki prawne, których nie można wypełnić jedynie przez zakup produktu z oznakowaniem CE. Jednocześnie firmy EdTech, które tworzą i wprowadzają systemy AI na rynek unijny, są dostawcami podlegającymi pełnemu reżimowi oceny zgodności na podstawie Rozdziału III, Sekcji 2.

Sektor ten charakteryzuje się również znaczną koncentracją wrażliwych danych osobowych. Dane behawioralne studentów, dokumentacja ocen, wzorce zaangażowania, trudności w uczeniu się i profile demograficzne są przetwarzane na dużą skalę przez adaptacyjne platformy edukacyjne i narzędzia analityczne. Koncentracja tych danych oznacza, że zgodności z unijnym aktem o AI w edukacji nie można planować w oderwaniu od GDPR — oba reżimy muszą być traktowane jako zintegrowany obowiązek compliance.

Systemy AI wysokiego ryzyka w edukacji — rekrutacja, ocenianie i nadzór egzaminacyjny

Załącznik III, kategoria 3 definiuje dwie odrębne kategorie systemów AI wysokiego ryzyka w edukacji. Zrozumienie zakresu każdej kategorii jest kluczowe dla podejmowania decyzji klasyfikacyjnych.

Systemy AI do rekrutacji — określanie dostępu do instytucji edukacyjnych

Załącznik III, kategoria 3(a) obejmuje systemy AI przeznaczone do określania dostępu lub przydziału do instytucji lub programów edukacyjnych i szkolenia zawodowego. Kategoria ta obejmuje systemy AI, które punktują, klasyfikują lub filtrują kandydatów w procesach rekrutacji na uczelnie, systemy AI oceniające wcześniej uzyskane kwalifikacje lub uznawanie kwalifikacji zawodowych, a także systemy AI określające uprawnienia do konkretnych ścieżek akademickich lub programów specjalistycznych.

Klasyfikacja wysokiego ryzyka ma zastosowanie, gdy wynik systemu AI wywiera istotny wpływ na dostęp kandydata do możliwości edukacyjnej. Próg ten jest spełniany przez większość operacyjnie wdrożonych systemów rekrutacyjnych AI: model punktowania, którego wyniki są przeglądane i podejmowane przez komisje rekrutacyjne bez systematycznej ponownej oceny podstawowej oceny, w praktyce determinuje wyniki, nawet jeśli człowiek formalnie zatwierdza każdą decyzję. Dostawcy takich systemów muszą przestrzegać Art. 9–15 (zarządzanie danymi, dokumentacja techniczna, rejestrowanie, przejrzystość, nadzór ludzki, dokładność i odporność). Instytucje stosujące te systemy muszą weryfikować zgodność i wdrażać obowiązki podmiotu stosującego wynikające z Art. 26 przed zastosowaniem systemu w jakimkolwiek cyklu rekrutacyjnym.

Ryzyko stronniczości jest szczególnie poważne w systemach AI do rekrutacji. Systemy szkolone na historycznych danych o rekrutacji i sukcesie akademickim mogą zakodować istniejące nierówności — luki płciowe w określonych dyscyplinach, dysproporcje socjoekonomiczne w przygotowaniu akademickim, zróżnicowane wyniki kandydatów krajowych i zagranicznych. Art. 10 wymaga, aby dane szkoleniowe podlegały praktykom zarządzania, które uwzględniają znane uprzedzenia, a Art. 9 nakazuje środki zarządzania ryzykiem dostosowane do powagi potencjalnej szkody, co w tym kontekście obejmuje odmowę szansy edukacyjnej wykwalifikowanym kandydatom z grup w niekorzystnej sytuacji.

Systemy AI do automatycznej oceny — ocenianie i przypisywanie ścieżek akademickich

Załącznik III, kategoria 3(b) obejmuje systemy AI, które oceniają i weryfikują studentów, w tym automatyczne narzędzia do oceniania oraz systemy przypisujące studentów do zróżnicowanych ścieżek akademickich, gdy systemy te wywierają istotny wpływ na ich ścieżki edukacyjne. Automatyczne narzędzie do oceniania esejów, które generuje oceny końcowe decydujące o tym, czy student zalicza lub oblewa kurs, otrzymuje kwalifikacje lub uzyskuje awans na następny poziom akademicki, jest systemem wysokiego ryzyka. Podobnie systemy AI, które kierują studentów do ścieżek wyrównawczych, standardowych lub zaawansowanych na podstawie danych o wynikach, wywierają istotny wpływ na ścieżki edukacyjne i mieszczą się w tej kategorii.

Granica dla narzędzi oceny formatywnej — narzędzi stosowanych wyłącznie do przekazywania informacji zwrotnej studentom, gdzie nauczyciel zachowuje pełną i rzeczywistą kontrolę nad wszystkimi ocenami — jest węższa. Takie narzędzia mogą nie mieścić się w kategorii 3(b), jednak klasyfikacja ta musi być udokumentowana i uzasadniona, a instytucje muszą zapewnić, że nadzór ludzki jest rzeczywiście merytoryczny, a nie stanowi jedynie formalnego zatwierdzenia wyników generowanych przez AI.

Zdalne systemy AI do nadzoru egzaminacyjnego

Zdalne systemy nadzoru egzaminacyjnego, które monitorują zachowanie studentów podczas egzaminów poprzez analizę wideo, śledzenie ruchu gałek ocznych, blokadę przeglądarki, rejestrowanie naciśnięć klawiszy lub wykrywanie anomalii behawioralnych, stanowią jedno z prawnie najbardziej złożonych zastosowań AI w edukacji. Tam gdzie systemy te oznaczają lub dyskwalifikują studentów na podstawie automatycznej analizy — lub gdzie ich wyniki są wykorzystywane przez recenzentów ludzkich w sposób, który w zasadniczym stopniu determinuje rezultaty — stanowią systemy AI wysokiego ryzyka na podstawie Załącznika III, kategorii 3 jako systemy oceniające studentów i mające istotny wpływ na ich ścieżki akademickie.

Systemy AI do nadzoru egzaminacyjnego uruchamiają również zakaz wynikający z Art. 5(1)(d) dotyczący zdalnej biometrycznej identyfikacji w czasie rzeczywistym w przestrzeniach publicznie dostępnych. Tam gdzie systemy nadzoru egzaminacyjnego używają rozpoznawania twarzy do ciągłej weryfikacji tożsamości studenta podczas egzaminu w czasie rzeczywistym, stanowi to zakazaną biometryczną identyfikację, chyba że ma zastosowanie bardzo wąski wyjątek legislacyjny państwa członkowskiego na podstawie Art. 5(2)–(6). Instytucje stosujące systemy AI do nadzoru egzaminacyjnego muszą starannie odróżniać weryfikację tożsamości w momencie udzielania dostępu do egzaminu (potencjalnie zgodna z prawem, gdy jest realizowana prawidłowo) od ciągłego biometrycznego nadzoru w czasie rzeczywistym podczas całej sesji egzaminacyjnej (objętego zakazem z Art. 5).

Dostawca a podmiot stosujący — firmy EdTech i instytucje edukacyjne

Unijny akt o AI przydziela obowiązki asymetrycznie między dostawców a podmioty stosujące. Zrozumienie tego podziału jest fundamentalne dla planowania zgodności zarówno przez dostawców EdTech, jak i instytucje korzystające z ich produktów.

Obowiązki dostawców EdTech

Firmy EdTech, które tworzą i wprowadzają na rynek unijny systemy AI wysokiego ryzyka, są dostawcami na podstawie Art. 3(3) i muszą spełniać pełne wymagania dotyczące systemów AI wysokiego ryzyka wynikające z Rozdziału III, Sekcji 2:

• Art. 9 — Ustanowienie i utrzymanie systemu zarządzania ryzykiem przez cały cykl życia systemu AI
• Art. 10 — Wdrożenie zarządzania danymi dla zestawów danych szkoleniowych, walidacyjnych i testowych, uwzględniającego stronniczość, reprezentatywność i ograniczenia statystyczne
• Art. 11 i Załącznik IV — Utrzymywanie kompleksowej dokumentacji technicznej potwierdzającej zgodność
• Art. 12 — Zapewnienie automatycznego rejestrowania działania systemu umożliwiającego retrospektywną kontrolę decyzji AI
• Art. 13 — Dostarczanie informacji o przejrzystości umożliwiających podmiotom stosującym zrozumienie możliwości i ograniczeń systemu
• Art. 14 — Projektowanie systemu w sposób umożliwiający skuteczny nadzór ludzki przez podmioty stosujące
• Art. 15 — Osiągnięcie odpowiedniej dokładności, odporności i cyberbezpieczeństwa dla zamierzonego kontekstu edukacyjnego
• Art. 49 — Rejestracja systemu w unijnej bazie danych AI przed lub w momencie wprowadzenia na rynek

Dostawcy muszą również dostarczać instytucjom stosującym instrukcje użytkowania wystarczająco szczegółowe, aby umożliwiały im wypełnianie własnych obowiązków — w tym informacje o podgrupach populacji studentów, dla których system był testowany, znanych ograniczeniach wydajności, wynikach testów stronniczości i procedurach zarządzania dziennikami.

Obowiązki instytucji jako podmiotów stosujących

Uczelnie, szkoły i podmioty prowadzące szkolenie zawodowe, które stosują systemy AI EdTech wysokiego ryzyka na podstawie Art. 26, muszą:

• Zweryfikować, że system AI posiada oznakowanie CE i że dostępna jest unijna deklaracja zgodności
• W pełni wdrożyć instrukcje użytkowania dostawcy
• Zapewnić przydzielenie wykwalifikowanego personelu odpowiedzialnego za nadzór ludzki, z wystarczającymi kompetencjami technicznymi i faktycznym uprawnieniem do interweniowania w wyniki generowane przez AI
• Przechowywać dzienniki operacyjne przez minimalny wymagany okres i udostępniać je krajowym organom nadzorczym na wniosek
• Zgłaszać poważne incydenty lub nieprawidłowości dostawcy i, w stosownych przypadkach, krajowym organom nadzorczym AI
• Przeprowadzać lub zlecać ocenę skutków dla praw podstawowych (FRIA) na podstawie Art. 27 przed wdrożeniem systemów AI do oceniania lub rekrutacji
• Nie modyfikować systemów AI wysokiego ryzyka w sposób zmieniający ich zamierzony cel bez uruchomienia ponownej oceny przez dostawcę

Powiązania z GDPR, prawami dziecka i krajowym prawem oświatowym

GDPR a przetwarzanie danych studentów

Systemy AI w edukacji operują na danych z natury wrażliwych. Platformy analityki edukacyjnej, adaptacyjne systemy korepetycji i behawioralne narzędzia nadzoru egzaminacyjnego przetwarzają dane, które mogą obejmować dokumentację wyników akademickich, wskaźniki zaangażowania, sygnały behawioralne i komunikację — wszystkie powiązane z identyfikowalnymi studentami.

Gdy studenci są małoletni, GDPR Art. 8 ogranicza przetwarzanie danych osobowych na podstawie zgody: państwa członkowskie ustaliły wiek, poniżej którego wymagana jest zgoda rodzica lub opiekuna, na poziomie od 13 do 16 lat. Platformy EdTech opierające swoje przetwarzanie na zgodzie studenta jako podstawie prawnej muszą wdrożyć mechanizmy weryfikacji wieku i uzyskiwania oraz rejestrowania zgody rodzicielskiej tam, gdzie jest wymagana. Instytucje działające jako administratorzy danych w rozumieniu GDPR muszą zapewnić, że ich umowy z dostawcami EdTech zawierają odpowiednie umowy powierzenia przetwarzania danych na podstawie GDPR Art. 28 oraz że dane studentów nie są przekazywane poza EOG bez odpowiednich zabezpieczeń.

Przetwarzanie szczególnych kategorii danych — które może mieć miejsce w przypadku ocen trudności w uczeniu się, badań przesiewowych zdrowia psychicznego lub profilowania demograficznego — wymaga wyraźnej podstawy prawnej na podstawie GDPR Art. 9(2) i zazwyczaj oceny skutków dla ochrony danych na podstawie Art. 35.

Art. 50 — Przejrzystość dla chatbotów AI do korepetycji

Art. 50 unijnego aktu o AI nakłada szczególny obowiązek przejrzystości na systemy AI przeznaczone do bezpośredniej interakcji z osobami fizycznymi. Chatboty AI do korepetycji, wirtualni asystenci uczenia się i narzędzia do informacji zwrotnej generowane przez AI, wdrożone w środowiskach edukacyjnych, muszą wyraźnie ujawniać studentom swój charakter AI na początku każdej interakcji. Gdy grono studenckie obejmuje małoletnich, ujawnienie musi być dostosowane do wieku i rzeczywiście zrozumiałe. Instytucje stosujące narzędzia AI do korepetycji muszą zweryfikować, że implementacja dostawcy spełnia ten obowiązek, i nie mogą konfigurować systemu w sposób, który tłumi lub ukrywa ujawnienie AI.

Krajowe prawo oświatowe

Krajowe ustawodawstwo oświatowe w państwach członkowskich UE może nakładać dodatkowe obowiązki w zakresie stosowania AI w środowiskach akademickich — na przykład wymogi dotyczące rzetelności egzaminacyjnej, przechowywania danych w dokumentacji akademickiej i proceduralnej rzetelności w odwołaniach rekrutacyjnych. Programy zgodności dla instytucji edukacyjnych muszą mapować obowiązki wynikające z unijnego aktu o AI i GDPR w odniesieniu do obowiązującego prawa krajowego, w tym sektorowych wytycznych ministerialnych wydawanych przez krajowe ministerstwa edukacji. Tam gdzie systemy AI generują wyniki wykorzystywane w formalnie regulowanych procesach (egzaminy państwowe, akredytowane kwalifikacje), powiązanie między obowiązkami wynikającymi z aktu o AI a krajowym prawem egzaminacyjnym wymaga odrębnej analizy prawnej.

Egzekwowanie — organy ochrony danych i władze oświatowe

Egzekwowanie w sektorze edukacji obejmuje wielowarstwową strukturę właściwych organów. Krajowe organy nadzorcze ds. AI (wyznaczone na podstawie Art. 70) mają pierwszorzędną jurysdykcję w zakresie zgodności z unijnym aktem o AI, w tym oceny zgodności, nadzoru rynkowego i sankcji. W przypadku instytucji edukacyjnych organem tym może być ogólny organ nadzorczy ds. AI lub, w niektórych państwach członkowskich, wyznaczony organ sektorowy.

Organy ochrony danych (DPA) odgrywają znaczącą samodzielną rolę egzekwowania. Biorąc pod uwagę wolumen i wrażliwość danych studentów przetwarzanych przez systemy AI w edukacji, DPA aktywnie nadzorują wdrożenia AI w szkołach i uczelniach. Naruszenia GDPR związane z AI w edukacji — niezgodne z prawem przetwarzanie danych dzieci, nieodpowiednie umowy powierzenia przetwarzania danych z dostawcami EdTech, nieprzeprowadzenie wymaganych ocen skutków dla ochrony danych (DPIA) — podlegają karom DPA do 20 000 000 EUR lub 4% całkowitego rocznego światowego obrotu na podstawie GDPR Art. 83. Działania egzekucyjne DPA historycznie poprzedzały formalne egzekwowanie aktu o AI w regulowanych dziedzinach, i AI w sektorze edukacji powinna być planowana z uwzględnieniem kontroli DPA jako ryzyka bliskiej perspektywy.

Organy zarządzające uczelniami i krajowe organy akredytacyjne mogą nakładać konsekwencje instytucjonalne — w tym sankcje reputacyjne, zawieszenie zautomatyzowanych procesów i wymogi przeprowadzenia niezależnych audytów — tam gdzie stosowanie AI w rekrutacji lub ocenianiu zostało uznane za nierzetelne lub dyskryminacyjne. Zarządzanie akademickie instytucji, w tym procedury odwoławcze dla studentów, musi być zaprojektowane tak, aby uwzględniać zaskarżanie decyzji podejmowanych pod wpływem AI.

Plan zgodności dla instytucji edukacyjnych i dostawców EdTech

Dla dostawców EdTech

1. Klasyfikacja każdego produktu w odniesieniu do Załącznika III, kategorii 3 — udokumentowanie uzasadnienia klasyfikacji ze szczegółowym odniesieniem do zamierzonego celu systemu i znaczenia jego wpływu na wyniki edukacyjne.
2. Wdrożenie pełnego reżimu oceny zgodności dla systemów wysokiego ryzyka na podstawie Art. 9–15 dla wszystkich produktów zaklasyfikowanych jako wysokiego ryzyka, w tym testowania stronniczości w podgrupach demograficznych reprezentatywnych dla populacji studentów UE.
3. Rejestracja systemów wysokiego ryzyka w unijnej bazie danych AI (Art. 49) przed wprowadzeniem na rynek.
4. Przygotowanie kompletnej dokumentacji dla podmiotów stosujących: instrukcje użytkowania, dokumentacja zgodności, wyniki testów stronniczości i dokładności, wytyczne dotyczące zarządzania dziennikami.
5. Wdrożenie przejrzystości wynikającej z Art. 50 we wszystkich systemach AI, które wchodzą w bezpośrednią interakcję ze studentami.
6. Przegląd umów powierzenia przetwarzania danych w celu zapewnienia zgodności z GDPR Art. 28, w tym mechanizmów zgody rodzicielskiej tam, gdzie jest wymagana na podstawie Art. 8.

Dla instytucji edukacyjnych

1. Audyt wszystkich stosowanych systemów AI — rekrutacja, ocenianie, nadzór egzaminacyjny, analityka, korepetycje — i ich klasyfikacja w odniesieniu do Załącznika III, kategorii 3.
2. Żądanie i weryfikacja dokumentacji zgodności od wszystkich dostawców EdTech dla każdego systemu zaklasyfikowanego lub potencjalnie kwalifikującego się jako wysokiego ryzyka.
3. Przeprowadzenie ocen skutków dla praw podstawowych na podstawie Art. 27 przed wdrożeniem lub kontynuowaniem stosowania systemów AI do rekrutacji lub oceniania.
4. Przypisanie imiennej odpowiedzialności za nadzór dla każdego systemu AI wysokiego ryzyka wykwalifikowanemu personelowi posiadającemu rzeczywiste kompetencje techniczne i uprawnienia instytucjonalne.
5. Przegląd procedur odwoławczych dotyczących rekrutacji i oceniania w celu zapewnienia, że uwzględniają one zaskarżanie decyzji podejmowanych pod wpływem AI i zapewniają merytoryczną kontrolę ludzką.
6. Audyt zgodności z GDPR dla wszystkich danych studentów przetwarzanych przez platformy EdTech — potwierdzenie, że umowy powierzenia przetwarzania danych, podstawy prawne i mechanizmy zgody rodzicielskiej są wdrożone.
7. Weryfikacja konfiguracji systemów AI do nadzoru egzaminacyjnego pod kątem zgodności z zakazem Art. 5 dotyczącym biometrycznej identyfikacji w czasie rzeczywistym — w przypadku gdy jakakolwiek konfiguracja obejmuje ciągłe rozpoznawanie twarzy podczas sesji egzaminacyjnych, uzyskanie pilnej porady prawnej przed najbliższą sesją egzaminacyjną.