Публичен сектор и правосъдие — съответствие с EU AI Act

Задължения по EU AI Act за AI системи в публичната администрация, правоприлагането, граничния контрол и правосъдната система. Обхваща категории 5–8 от Annex III и задължителните оценки на въздействието върху основните права.

Публичният сектор и AI Act — защо правителството е операторът с най-висок риск

EU AI Act (Регламент (ЕС) 2024/1689) се прилага хоризонтално в различни сектори, но най-концентрираната тежест от задължителни задължения пада върху публичните органи. Държавните агенции, правоприлагащите органи, съдебните институции и органите за управление на границите са едновременно и най-интензивните оператори на AI с последици, и субектите, чиято употреба на AI създава най-голям структурен риск за основните права. Регламентът отразява тази асиметрия по два структурни начина.

На първо място, четири от осемте категории с висок риск от Annex III се отнасят пряко за AI в публичния сектор — категории 5 до 8 обхващат основни обществени услуги, правоприлагане, миграция и граничен контрол, и правораздаване. Тези категории не са остатъчни общи категории: те изброяват конкретни AI приложения, обичайно използвани в правителствените операции, които по определение носят риск на ниво класификация.

На второ място, чл. 27 налага задължителна оценка на въздействието върху основните права (FRIA) на публичните органи преди внедряването на AI системи с висок риск. За операторите от частния сектор FRIA е силно препоръчителна; за публичните органи тя е законово задължение. Оценката трябва да разглежда въздействието на AI системата върху правата на лицата съгласно Хартата на основните права на ЕС, включително правото на достойнство (чл. 1), защитата на личните данни (чл. 8), правото на ефективна защита (чл. 47) и презумпцията за невиновност (чл. 48).

Режимът за съответствие за публичните органи е допълнително усложнен от наслагването на задълженията по AI Act върху съществуващите секторни режими: Директивата за правоприлагането 2016/680, Регламента за Шенгенската информационна система, Регламента за Frontex 2019/1896, Общия регламент относно защитата на данните и конституционните изисквания на Европейската конвенция за правата на човека в тълкуването на Европейския съд по правата на човека. Всеки от тези правни режими създава самостоятелни задължения, които трябва да бъдат изпълнявани успоредно с изискванията на EU AI Act.

AI системи с висок риск — категории 5 до 8

Annex III, Категория 5 — Основни обществени услуги и оценяване на право на помощи

Annex III, точка 5(б) класифицира като системи с висок риск всяка AI система, използвана за оценяване на допустимостта на физически лица за основни обществени услуги и вземане на решения в този контекст. Тази категория обхваща пълния спектър от AI в социалната сфера:

• Автоматизирано оценяване на право на обезщетение за безработица: AI системи, определящи дали даден кандидат отговаря на критериите за допустимост въз основа на данни за заетост, активност по търсене на работа или проверка на доходи.
• Решения за жилищни помощи и надбавки за увреждане: Алгоритмични инструменти, оценяващи заявления за приоритет при социалното жилищно настаняване, право на обезщетение за увреждане или плащания за лична независимост.
• Системи за засичане на измами при социални помощи: AI профилиращи системи, генериращи оценки на риска за предполагаема злоупотреба с помощи, което потенциално задейства разследвания или спиране на плащания.

Точка 5(б) обхваща също AI системи за оценка на кредитоспособност и застраховане по отношение на физически лица, като основният риск в публичния сектор е в областта на допустимостта за помощи и услуги. Във всички случаи класификацията се прилага, когато AI системата оказва съществено влияние върху достъпа до обществена услуга — независимо дали окончателното решение се взема от длъжностно лице.

Annex III, Категория 6 — Правоприлагане

Категория 6 обхваща AI, използван от правоприлагащите органи в три области:

Оценяване на риска и профилиране: AI системи, оценяващи вероятността дадено лице да извърши престъпление, да рецидивира или да представлява заплаха за сигурността — включително инструменти за оценка на рецидивизъм, използвани при изслушвания за предварително задържане, решения за условно освобождаване и препоръки при постановяване на присъди. Тези системи са с висок риск съгласно Annex III, точка 6(а).

Разкриване и анализ по време на разследвания: AI за разпознаване на емоционални състояния, личностни черти или измамно поведение от изражения на лицето, глас или физиологични показатели, използван в наказателни разследвания. Чл. 5(1)(е) отделно забранява AI системи, извеждащи емоции на лица в контекста на правоприлагането и граничния контрол, с изключение на конкретни цели, свързани с безопасността, като по този начин определя твърда външна граница за тази употреба.

Разкриване на дълбоки фалшификати и документна верификация: AI, използван за разкриване на манипулирано цифрово съдържание или оценяване на автентичността на документи в наказателни производства — класифициран като система с висок риск съгласно Annex III, точка 6(в).

Annex III, Категория 7 — Миграция, убежище и граничен контрол

Категория 7 се прилага за AI, внедрен в контекста на миграцията и управлението на границите:

Оценяване на риска на границите: AI системи, оценяващи риска от незаконна миграция или генериращи оценки на заплахата за лица, преминаващи границата — включително профилиращи инструменти, интегрирани в ШИС, и системи за анализ на риска на Frontex, действащи съгласно Регламент 2019/1896.

Верификация на документи и самоличност: AI системи, оценяващи автентичността на документи за пътуване, визи, разрешения за пребиваване или документи за самоличност за целите на преминаване на границата или имиграция.

Обработване на молби за убежище: AI, разглеждащ молби за убежище, оценяващ достоверността на индивидуални твърдения или профилиращ кандидати за ускорени или бързи процедури.

Всички системи от категория 7 трябва да бъдат оценени за съответствие не само с AI Act, но и с Конвенцията за бежанците (1951), чл. 18 от Хартата на ЕС (право на убежище) и принципа за забрана на принудително връщане в тълкуването на ЕСПЧ — конституционно ограничение, което FRIA по чл. 27 трябва изрично да адресира.

Annex III, Категория 8 — Правораздаване и демократични процеси

Категория 8 се отнася за AI, внедрен в самата правосъдна система:

AI в подкрепа на правосъдието: Системи, подпомагащи проучването на съдебна практика, идентифицирането на приложими правни разпоредби или структурирането на правната аргументация за съдии, прокурори или съдебни администратори — системи с висок риск съгласно Annex III, точка 8(а).

Инструменти за предсказване на съдебни решения: AI системи, предсказващи вероятния изход от спорове, диапазони на наказанията или съдебни решения въз основа на исторически данни по дела. Тези системи пораждат сериозни опасения по чл. 47 от Хартата на ЕС относно правото на справедлив процес, тъй като употребата им при вземането на съдебни решения може структурно да поставя в неблагоприятно положение страни, чийто профил се различава от историческите норми.

Категория 8 не забранява AI-подпомогнатата съдебна дейност; тя я подчинява на режима за съответствие при висок риск и изисква съдилищата и министерствата на правосъдието да гарантират, че резултатите от AI винаги подлежат на съдържателен преглед от страна на човек — съдията или лицето, вземащо решения, трябва да може, и на практика трябва, да пренебрегне резултата на AI, когато той не е подходящ.

Задължителни задължения за публичните органи като оператори

Публичните органи, действащи като оператори на AI системи с висок риск по AI Act, носят определен, непрехвърляем набор от задължения съгласно чл. 26 и чл. 27.

Оценка на въздействието върху основните права (чл. 27)

FRIA е най-отличителното задължение за публичните оператори. Тя трябва да бъде проведена преди внедряването и трябва да адресира: конкретните цели на системата, засягащи права; категориите лица, чиито права могат да бъдат засегнати; предвидимите рискове от вреди и вероятността и тежестта на тези рискове; начина, по който съществуващите правни гаранции намаляват тези рискове; и мерките, предприети за наблюдение на системата след внедряването. Завършената FRIA трябва да бъде предоставена на националния надзорен орган по AI при поискване и трябва да бъде актуализирана при модифициране на системата или при внедряването й в нов контекст.

Надзор от страна на човек и определена отговорност

Чл. 26(1) изисква от операторите да възложат надзора на AI системи с висок риск на физически лица с необходимата компетентност, правомощия и ресурси за намеса. В публичната администрация това означава, че всеки автоматизиран процес, засягащ лица — независимо дали става дума за допустимост за помощи, гранична оценка на риска или резултати от AI в подкрепа на правосъдието — трябва да разполага с определен длъжностен орган, който може да отхвърли резултата на системата и не е структурно стимулиран да му се подчини.

Прозрачност спрямо засегнатите лица

Чл. 13 изисква от операторите да гарантират, че лицата, подложени на решения с AI-подпомогване, са ясно информирани, че се използва AI система. В публичната администрация това задължение обичайно изисква включване на оповестявания за употребата на AI в писма с решения, административни съобщения и процедури за изслушване. Чл. 86 защитава поверителността на данните, предоставени на надзорните органи в контекста на мониторинга за съответствие, като предоставя механизъм за разкриване на чувствителна вътрешна документация без публично оповестяване.

Регистри, водене на документация и докладване на инциденти

Операторите трябва да поддържат оперативни регистри на дейността на AI системата за минимален период — най-малко шест месеца за повечето системи с висок риск, с удължен срок на съхранение, когато правната рамка, уреждаща основния административен процес, го изисква. Сериозните инциденти — инциденти, водещи до смърт, сериозно нараняване, значителни имуществени вреди или нарушения на основни права — трябва да бъдат докладвани на компетентния национален надзорен орган по AI без неоправдано забавяне.

Забранени практики в публичната администрация

Определени AI практики са абсолютно забранени съгласно чл. 5 на EU AI Act. За публичните органи три от забраните имат пряко оперативно значение.

Чл. 5(1)(в) — Социално оценяване от публичните власти: Забраняват се AI системи, оценяващи или класифициращи лица въз основа на тяхното социално поведение или личностни характеристики с цел генериране на оценка, използвана за определяне на достъпа до обществени услуги, помощи или правно третиране. Тази забрана е насочена специално към публичните органи и е насочена срещу т.нар. механизми за социален кредит, независимо от начина, по който са наименувани или структурирани.

Чл. 5(1)(г) — Биометрична идентификация от разстояние в реално време на публични места: Забранява се употребата на AI системи за биометрична идентификация от разстояние в реално време (разпознаване на лица, анализ на походка или други биометрични инструменти) на публично достъпни места от правоприлагащите органи, при три тесни изключения: целенасочено издирване на изчезнали деца; предотвратяване на конкретни, непосредствени терористични заплахи; и установяване на самоличността на заподозрени за тежки престъпления, при предварително получено съдебно или независимо административно разрешение. Тези изключения са изчерпателни; никаква обща програма за наблюдение не отговаря на условията.

Чл. 5(1)(д) — Сублиминални и манипулативни техники: Забраняват се за всички оператори, включително публичните органи, AI системи, прилагащи техники, действащи под прага на съзнателното възприятие с цел манипулиране на поведението на лицата, или експлоатиращи уязвимостите на конкретни групи.

Прилагане — надзорни органи и механизми за контрол

Архитектурата за прилагане на AI Act в публичния сектор включва множество нива на компетентни органи.

Националните надзорни органи по AI, определени съгласно чл. 70, са основните органи за прилагане на регламента във всяка държава членка. В повечето юрисдикции те са или ще бъдат интегрирани с или тясно свързани с вече съществуващите органи за защита на данните. Те разполагат с правомощия да провеждат одити, да изискват техническа документация и резултати от FRIA, да издават коригиращи заповеди и да налагат административни глоби.

Глобите за публични органи подлежат на преценката на държавите членки съгласно чл. 99(6): държавите членки могат да предвидят, че публичните органи не подлежат на парични санкции, но трябва да гарантират, че са налице алтернативни надзорни и коригиращи механизми — включително задължителни одити, публикуване на констатации за несъответствие и спиране на употребата на AI системата. Тази преценка не се простира до допускане на несъответствие; тя засяга единствено механизма за финансови санкции.

Органите за защита на данните (DPA) и EDPB запазват успоредна компетентност по отношение на измеренията, свързани с обработването на лични данни в AI от публичния сектор, съгласно GDPR и LED. Неспазването на задълженията по GDPR или LED в контекста на експлоатацията на AI системи е предмет на самостоятелно прилагане от DPA, независимо от надзорния орган по AI Act.

Европейският съд по правата на човека представлява външно конституционно ограничение: решенията, взети въз основа на алгоритмични процеси — особено в наказателното правосъдие и имиграцията — трябва да отговарят на стандартите на Конвенцията по чл. 6 (справедлив процес) и чл. 8 (личен живот) в тълкуването на ЕСПЧ съгласно развиващата се му съдебна практика относно автоматизираното вземане на решения.

Пътна карта за изпълнение за държавните агенции

Фаза 1 — Инвентаризация и класификация на AI системите (месеци 1–3)

Публичните органи трябва първо да изградят всеобхватна инвентаризация на всички AI системи, използвани в момента или в процес на обществена поръчка. Всяка система трябва да бъде оценена спрямо категории 5–8 от Annex III и забранителните разпоредби на чл. 5. Системите, включващи обработване на лични данни, следва едновременно да бъдат оценени спрямо изискванията на GDPR и LED. Резултатът от тази фаза е класифицирана инвентаризация — забранени, с висок риск, с ограничен риск или с минимален риск системи — която управлява програмата за съответствие.

Фаза 2 — Оценки на въздействието върху основните права (месеци 3–6)

За всяка идентифицирана система с висок риск публичните органи трябва да възложат и завършат FRIA по чл. 27. Това изисква правен, технически и политически принос: правен анализ на засегнатите права; техническа документация за функционирането на системата, данните за обучение и известните режими на неуспех; и политическа оценка на наличните смекчаващи мерки. FRIA трябва да бъдат документирани и готови за предоставяне на надзорните органи.

Фаза 3 — Верификация на доставчиците и реформа на обществените поръчки (месеци 3–9)

Процесите на обществени поръчки трябва да бъдат актуализирани, за да се изисква от доставчиците на AI да докажат съответствие с EU AI Act като условие за сключване на договор. Операторите трябва да проверят маркировката CE, Декларацията за съответствие, техническата документация и ангажиментите за наблюдение след пускане на пазара преди внедряването. Публичните органи, действащи като съвместни оператори или съразработчици с технологични доставчици, трябва да изяснят договорно разпределението на отговорностите за задълженията за оценка на съответствието.

Фаза 4 — Оперативни гаранции и обучение на персонала (месеци 6–12)

Определените длъжностни лица за надзор от страна на човек трябва да бъдат идентифицирани за всяка система с висок риск, обучени относно възможностите и ограниченията на системата и снабдени с процедури за отхвърляне на резултата. Уведомленията за прозрачност към засегнатите лица трябва да бъдат изготвени и включени в съществуващите административни процедури. Инфраструктурата за водене на регистри трябва да бъде проверена или изградена. Протоколите за докладване на инциденти трябва да бъдат интегрирани в съществуващите процеси за управление на административни инциденти и инциденти по защита на данните.

Фаза 5 — Непрекъснат мониторинг и годишен преглед

Съответствието на AI системите с висок риск не е еднократно упражнение по сертифициране. Задълженията за наблюдение след пускане на пазара изискват от публичните органи да следят активно показателите на системата, да документират всички промени в точността, пристрастието или поведението и да актуализират FRIA при настъпване на съществени промени. Годишното докладване пред надзорния орган, когато се изисква по националното право, трябва да бъде подкрепено от документацията, генерирана чрез програмата за мониторинг.