Образование и EdTech — съответствие с Акта за ИИ на ЕС

Задължения по Акта за ИИ на ЕС за образователни системи с ИИ: прием, автоматизирано оценяване, наблюдение на изпити и платформи за обучение. Обхваща категория 3 от Annex III и специалната защита на студентите.

Образователният сектор и Актът за ИИ на ЕС — защо правата на студентите са от основно значение

Актът за ИИ на ЕС (Регламент (ЕС) 2024/1689) определя образованието и професионалното обучение като област с повишен риск, класифицирайки конкретни приложения на ИИ в нея като високорискови съгласно Annex III, категория 3. Тази класификация отразява основополагащата преценка на европейския законодател: системите за ИИ, които формират достъпа до образователни възможности или определят академичните резултати, засягат права с дълбоко индивидуално значение — правото на образование (Art. 14 от Хартата на основните права на ЕС), правото на недискриминация (Art. 21) и, за значителния дял студенти, които са непълнолетни, засилените защити на GDPR Art. 8 и международните рамки, включително Конвенцията на ООН за правата на детето (КПД).

Образователният сектор представя отличителен профил на съответствие. Повечето образователни институции — университети, училища и органи за професионално обучение — заемат ролята на ползвател по Акта за ИИ на ЕС: те набавят и експлоатират системи за ИИ, изградени от EdTech доставчици, а не разработват ИИ собствено. Това разграничение не намалява техните задължения. Ползвателите на високорисков ИИ по Art. 26 носят самостоятелни правни задължения, които не могат да бъдат изпълнени просто чрез закупуване на продукт с маркировка CE. В същото време EdTech компаниите, разработващи и пускащи на пазара на ЕС системи за ИИ, са доставчици, подчинени на пълния режим на оценяване на съответствие по Глава III, Раздел 2.

Секторът се характеризира и със значителна концентрация на чувствителни лични данни. Данните за поведението на студентите, записите от оценяването, моделите на ангажираност, затрудненията в обучението и демографските профили се обработват в мащаб от адаптивни учебни платформи и аналитични инструменти. Тази концентрация на данни означава, че спазването на Акта за ИИ на ЕС в образованието не може да бъде проектирано изолирано от GDPR — двете рамки трябва да бъдат разглеждани като интегрирано задължение за съответствие.

Високорисков ИИ в образованието — прием, оценяване и наблюдение на изпити

Annex III, категория 3 определя две отделни категории високорисков ИИ в образованието. Разбирането на обхвата на всяка категория е от съществено значение за решенията относно класификацията.

ИИ за прием — определяне на достъпа до образователни институции

Annex III, категория 3(a) обхваща системи за ИИ, предназначени да бъдат използвани за определяне на достъп или разпределение в образователни и професионални учебни заведения или програми. Тази категория включва ИИ, който оценява, класира или филтрира кандидати в процесите за прием в университети, ИИ, който оценява предходни квалификации или признаване на професионални удостоверения, и ИИ, който определя допустимостта за конкретни академични профили или специализирани програми.

Класификацията като високорискова се прилага, когато изходният резултат на системата за ИИ оказва значително влияние върху достъпа на кандидата до образователна възможност. Този праг е достигнат от повечето оперативно внедрени системи за прием с ИИ: модел за оценяване, чиито резултати се преглеждат и прилагат от инспекторите по приема без систематично преоценяване на базовата оценка, ефективно определя резултатите дори ако човек формално одобрява всяко решение. Доставчиците на такива системи трябва да спазват Arts. 9–15 (управление на данни, техническа документация, регистриране, прозрачност, човешки надзор, точност и надеждност). Внедряващите институции трябва да верифицират съответствие и да изпълнят задълженията на ползвателя по Art. 26 преди системата да бъде използвана в какъвто и да е приемателен цикъл.

Рискът от пристрастие е особено значителен при системите за прием с ИИ. Системите, обучени върху исторически данни за прием и академичен успех, могат да кодират съществуващи неравенства — разлики между половете в определени дисциплини, социално-икономически различия в академичната подготовка, различна ефективност между местни и чуждестранни кандидати. Art. 10 изисква данните за обучение да бъдат подчинени на практики за управление, адресиращи известните пристрастия, а Art. 9 задължава мерките за управление на риска да бъдат калибрирани спрямо тежестта на потенциалната вреда, която в този контекст включва отказ на образователна възможност на квалифицирани кандидати от необлагодетелствани групи.

ИИ за автоматизирано оценяване — присвояване на оценки и разпределение в академични потоци

Annex III, категория 3(b) обхваща системи за ИИ, които оценяват и атестират студентите, включително инструменти за автоматизирано оценяване и системи, разпределящи студентите в диференцирани академични потоци, когато тези системи оказват значително влияние върху техните образователни пътища. Инструмент за автоматизирано оценяване на есета, произвеждащ окончателни оценки, определящи дали студентът преминава или се проваля на курс, получава квалификация или придобива правото да премине към следващото академично ниво, е високорисков. По същия начин, ИИ, разпределящ студентите в корективни, стандартни или напреднали потоци въз основа на данни за успеваемост, оказва значително влияние върху образователните пътища и попада в тази категория.

Границата за инструменти за формативно оценяване — инструменти, използвани изключително за предоставяне на обратна връзка на студентите, при които педагогът запазва пълен и ефективен контрол върху всички оценени резултати — е по-тясна. Такива инструменти може да попаднат извън категория 3(b), но тази класификация трябва да бъде документирана и обоснована, а институциите трябва да гарантират, че човешкият надзор е действително съществен, а не формално одобрение на генерираните от ИИ резултати.

ИИ за дистанционно наблюдение на изпити

Системите за дистанционно наблюдение на изпити, следящи поведението на студентите по време на оценяване чрез анализ на видео, проследяване на погледа, заключване на браузъра, регистриране на натискания на клавиши или откриване на поведенчески аномалии, представляват едно от най-правно сложните приложения на ИИ в образованието. Когато такива системи маркират или дисквалифицират студентите въз основа на автоматизирания им анализ — или когато техните резултати се използват от човешки рецензенти по начини, съществено определящи изходите — те представляват високорисков ИИ по Annex III, категория 3 като ИИ, оценяващ студентите и оказващ значително влияние върху техните академични пътища.

ИИ за наблюдение на изпити засяга и забраната по Art. 5(1)(d) върху биометричната идентификация в реално време от разстояние на публично достъпни места. Когато системите за наблюдение използват лицево разпознаване за непрекъснато верифициране на самоличността на студентите по време на изпит в реално време, това представлява забранена биометрична идентификация, освен ако не се прилага много тясно изключение по законодателство на държава членка по Art. 5(2)–(6). Институциите, внедряващи ИИ за наблюдение на изпити, трябва внимателно да разграничат верификацията на самоличността при влизането на изпита (потенциално законосъобразна при съответствие) и непрекъснатото биометрично наблюдение в реално време по цялото времетраене на изпитната сесия (подчинено на забраната по Art. 5).

Доставчик срещу ползвател — EdTech компании и образователни институции

Актът за ИИ на ЕС разпределя задълженията асиметрично между доставчиците и ползвателите. Разбирането на това разпределение е основополагащо за планирането на съответствие както за EdTech доставчиците, така и за институциите, използващи техните продукти.

Задължения на EdTech доставчиците

EdTech компаниите, разработващи и пускащи на пазара на ЕС високорискови системи за ИИ, са доставчици по Art. 3(3) и трябва да спазват пълните изисквания за високорисков ИИ в Глава III, Раздел 2:

• Art. 9 — Установяване и поддържане на система за управление на риска за целия жизнен цикъл на системата за ИИ
• Art. 10 — Прилагане на управление на данните за наборите данни за обучение, валидиране и тестване, адресиращо пристрастия, представителност и статистически ограничения
• Art. 11 и Annex IV — Поддържане на цялостна техническа документация, доказваща съответствие
• Art. 12 — Осигуряване на автоматично регистриране на работата на системата, позволяващо последващ преглед на решенията на ИИ
• Art. 13 — Предоставяне на информация за прозрачност, позволяваща на ползвателите да разберат възможностите и ограниченията на системата
• Art. 14 — Проектиране на системата така, че да позволява ефективен човешки надзор от страна на ползвателите
• Art. 15 — Постигане на подходяща точност, надеждност и киберсигурност за предвидения образователен контекст
• Art. 49 — Регистриране на системата в базата данни на ЕС за ИИ преди или при пускане на пазара

Доставчиците трябва също да снабдят внедряващите институции с инструкции за употреба, достатъчно конкретни, за да позволят на институциите да изпълнят собствените си задължения на ползвателя — включително информация за подгрупите от студентската популация, за които системата е тестирана, известни ограничения на производителността, резултати от тестването за пристрастия и процедури за управление на регистрите.

Задължения на институционалните ползватели

Университетите, училищата и органите за професионално обучение, внедряващи високорисков EdTech ИИ по Art. 26, трябва:

• Да верифицират, че системата за ИИ носи маркировка CE и че е налична Декларация за съответствие на ЕС
• Да прилагат изцяло инструкциите за употреба на доставчика
• Да гарантират, че квалифициран персонал е натоварен с отговорността за човешки надзор, с достатъчна техническа компетентност и практически правомощия за намеса в изходните резултати на ИИ
• Да поддържат оперативни регистри за минимален период и да ги предоставят на националните надзорни органи при поискване
• Да докладват сериозни инциденти или неизправности на доставчика и, при необходимост, на националните надзорни органи за ИИ
• Да извършват или възлагат оценка на въздействието върху основните права (ОВОР) по Art. 27 преди внедряване на системи за ИИ за оценяване или прием
• Да не модифицират високорискови системи за ИИ по начини, променящи предназначението им, без да задействат повторна оценка от страна на доставчика

Взаимодействие с GDPR, правата на децата и националното образователно законодателство

GDPR и обработването на данни на студентите

ИИ в образованието работи с данни, които са присъщо чувствителни. Платформите за образователна аналитика, адаптивните системи за обучение и инструментите за поведенческо наблюдение на изпити обработват данни, които могат да включват академични досиета, показатели за ангажираност, поведенчески сигнали и комуникации — всички свързани с идентифицируеми студенти.

Когато студентите са непълнолетни, GDPR Art. 8 ограничава обработването на лични данни въз основа на съгласие: държавите членки са установили възрастта, под която се изисква съгласие на родител или настойник, между 13 и 16 години. EdTech платформите, разчитащи на съгласието на студентите като правно основание за обработване, трябва да въведат проверка на възрастта и механизми за верифициране и записване на родителско съгласие, когато е необходимо. Институциите, действащи като администратори на данни по GDPR, трябва да гарантират, че договорите им с EdTech доставчиците включват подходящи споразумения за обработване на данни по GDPR Art. 28 и че данните на студентите не се прехвърлят извън ЕИП без достатъчни гаранции.

Обработването на специални категории данни — което може да възникне при оценки на затруднения в обучението, скрининг на психичното здраве или демографско профилиране — изисква изрично правно основание по GDPR Art. 9(2) и обикновено оценка на въздействието върху защитата на данните по Art. 35.

Art. 50 — Прозрачност за чатботове за обучение с ИИ

Art. 50 от Акта за ИИ на ЕС налага конкретно задължение за прозрачност на системите за ИИ, проектирани да взаимодействат пряко с физически лица. Чатботовете за обучение с ИИ, виртуалните учебни асистенти и инструментите за обратна връзка, генерирана от ИИ, внедрени в образователна среда, трябва ясно да разкриват своята ИИ природа на студентите в началото на всяко взаимодействие. Когато студентската аудитория включва непълнолетни, разкриването трябва да бъде адаптирано, за да бъде подходящо за възрастта и действително разбираемо. Институциите, внедряващи инструменти за обучение с ИИ, трябва да верифицират, че изпълнението на доставчика удовлетворява това задължение, и не трябва да конфигурират системата по начини, потискащи или прикриващи разкриването на ИИ.

Национално образователно законодателство

Националното образователно законодателство в държавите — членки на ЕС, може да налага допълнителни задължения при използването на ИИ в академична среда — например изисквания, свързани с целостта на изпитите, съхранението на данни за академични досиета и процесуалната справедливост при обжалване на приема. Програмите за съответствие на образователните институции трябва да съпоставят задълженията по Акта за ИИ на ЕС и GDPR с приложимото национално законодателство, включително секторно-специфичните министерски насоки, издадени от националните министерства на образованието. Когато системите за ИИ произвеждат изходни резултати, използвани във формално регулирани процеси (държавни изпити, акредитирани квалификации), взаимодействието между задълженията по Акта за ИИ и националното изпитно право изисква конкретен правен анализ.

Правоприлагане — органи за защита на данните и образователни органи

Правоприлагането в образователния сектор включва многопластова структура от компетентни органи. Националните надзорни органи за ИИ (определени по Art. 70) имат първична юрисдикция по съответствието с Акта за ИИ на ЕС, включително оценяване на съответствие, надзор на пазара и санкции. За образователните институции този орган може да бъде общ надзорен орган за ИИ или, в някои държави членки, определен секторен орган.

Органите за защита на данните (ОЗД) играят значителна самостоятелна роля в правоприлагането. Предвид обема и чувствителността на данните на студентите, обработвани от ИИ в образованието, ОЗД активно надзирават внедряванията на ИИ в училища и университети. Нарушенията на GDPR, свързани с образователния ИИ — незаконно обработване на данни на деца, неподходящи споразумения за обработване на данни с EdTech доставчици, непровеждане на задължителни ОИЗД — привличат глоби от ОЗД до 20 милиона евро или 4% от общия годишен световен оборот по GDPR Art. 83. Действията по правоприлагане на ОЗД исторически са предхождали формалното правоприлагане по Акта за ИИ в регулираните области и ИИ в образователния сектор трябва да бъде планиран с оглед на надзора от ОЗД като краткосрочен риск.

Управителните органи на университетите и националните органи за акредитация могат да наложат институционални последствия — включително репутационни санкции, спиране на автоматизирани процеси и изисквания за независими одити — когато използването на ИИ при прием или оценяване се установи, че е произвело несправедливи или дискриминационни резултати. Институционалното академично управление, включително процесите за обжалване от страна на студентите, трябва да бъде проектирано така, че да приема оспорвания на решения, повлияни от ИИ.

Пътна карта за съответствие за образователни институции и EdTech доставчици

За EdTech доставчици

1. Класифицирайте всеки продукт спрямо Annex III, категория 3 — документирайте обосновката на класификацията с конкретна препратка към предназначението на системата и значимостта на нейното въздействие върху образователните резултати.
2. Приложете пълния режим на оценяване на съответствие за високорисков ИИ по Arts. 9–15 за всички продукти, класифицирани като високорискови, включително тестване за пристрастия в демографски подгрупи, представителни за студентската популация на ЕС.
3. Регистрирайте високорисковите системи в базата данни на ЕС за ИИ (Art. 49) преди пускане на пазара.
4. Подгответе пълна документация за ползвателите: инструкции за употреба, документация за съответствие, резултати от тестването за пристрастия и точност, насоки за управление на регистрите.
5. Прилагайте прозрачността по Art. 50 в всички системи за ИИ, взаимодействащи пряко със студентите.
6. Прегледайте споразуменията за обработване на данни, за да гарантирате съответствие с GDPR Art. 28, включително механизми за родителско съгласие, когато се изисква по Art. 8.

За образователни институции

1. Одитирайте всички използвани системи за ИИ — прием, оценяване, наблюдение на изпити, аналитика, обучение — и ги класифицирайте спрямо Annex III, категория 3.
2. Поискайте и прегледайте документацията за съответствие от всички EdTech доставчици за всяка система, класифицирана или потенциално класифицируема като високорискова.
3. Извършете оценки на въздействието върху основните права по Art. 27 преди внедряване или продължаване на внедряването на системи за ИИ за прием или оценяване.
4. Назначете поименна отговорност за надзор за всяка високорискова система за ИИ на квалифициран персонал с реална техническа компетентност и институционални правомощия.
5. Прегледайте процесите за обжалване при прием и оценяване, за да гарантирате, че те приемат оспорвания на решения, повлияни от ИИ, и осигуряват смислен човешки преглед.
6. Одитирайте съответствието с GDPR за всички данни на студентите, обработвани от EdTech платформи — потвърдете, че споразуменията за обработване на данни, правните основания и механизмите за родителско съгласие са налице.
7. Верифицирайте конфигурациите на ИИ за наблюдение на изпити за съответствие със забраната по Art. 5 върху биометричната идентификация в реално време — ако някоя конфигурация включва непрекъснато лицево разпознаване по време на изпитни сесии, потърсете спешна правна консултация преди следващия изпитен период.