Veřejný sektor a soudnictví — soulad s EU AI Act

Povinnosti podle EU AI Act pro AI ve veřejné správě, orgánech činných v trestním řízení, pohraniční kontrole a soudním systému. Zahrnuje kategorie 5–8 Annex III a povinné posouzení dopadů na základní práva.

Veřejný sektor a AI Act — proč je státní správa provozovatelem s nejvyšším rizikem

EU AI Act (nařízení (EU) 2024/1689) se uplatňuje horizontálně napříč odvětvími, avšak jeho nejkoncentrovanější souhrn povinných závazků dopadá na veřejné subjekty. Státní orgány, orgány činné v trestním řízení, soudní instituce a orgány ochrany hranic jsou jak nejvýznamnějšími provozovateli AI s dalekosáhlými důsledky, tak subjekty, jejichž využívání AI vytváří největší strukturální riziko pro základní práva. Akt tuto asymetrii reflektuje dvěma strukturálními způsoby.

Za prvé, čtyři z osmi kategorií vysokého rizika v Annex III se přímo týkají AI ve veřejném sektoru — kategorie 5 až 8 zahrnují základní veřejné služby, vymáhání práva, migraci a pohraniční kontrolu a výkon spravedlnosti. Tyto kategorie nejsou zbytkovou záchytnou sítí: vyjmenovávají konkrétní aplikace AI běžně používané ve státní správě, které svou klasifikací definičně nesou příslušnou míru rizika.

Za druhé, Art. 27 ukládá veřejným subjektům povinné posouzení dopadů na základní práva (FRIA) před nasazením vysoce rizikových systémů AI. Pro provozovatele ze soukromého sektoru je FRIA silně doporučováno; pro veřejné subjekty je zákonnou povinností. Posouzení musí zkoumat dopad systému AI na práva jednotlivců podle Listiny základních práv EU, včetně práva na důstojnost (Art. 1), ochrany osobních údajů (Art. 8), práva na účinný prostředek nápravy (Art. 47) a presumpce neviny (Art. 48).

Prostředí souladu pro veřejné subjekty dále komplikuje vrstvení povinností AI Act na existující odvětvové předpisy: směrnici o prosazování práva 2016/680, nařízení o Schengenském informačním systému, nařízení o Frontexu 2019/1896, General Data Protection Regulation a ústavní požadavky Evropské úmluvy o lidských právech ve výkladu Evropského soudu pro lidská práva. Každý z těchto rámců vytváří nezávislé povinnosti, které musí být splněny souběžně s požadavky EU AI Act.

Vysoce rizikové systémy AI — kategorie 5 až 8

Annex III, kategorie 5 — základní veřejné služby a posuzování dávek

Annex III, bod 5(b) klasifikuje jako vysoce rizikový jakýkoli systém AI používaný k hodnocení způsobilosti fyzických osob pro základní veřejné dávkové služby a k rozhodování v tomto kontextu. Tato kategorie zahrnuje celé spektrum AI ve státu blahobytu:

• Automatizované posuzování dávek v nezaměstnanosti: systémy AI, které určují, zda žadatel splňuje kritéria způsobilosti na základě záznamů o zaměstnání, aktivity při hledání práce nebo majetkových šetření.
• Rozhodování o příspěvcích na bydlení a příspěvcích pro osoby se zdravotním postižením: algoritmické nástroje, které hodnotí žádosti o prioritu v sociálním bydlení, nárok na dávky pro osoby se zdravotním postižením nebo platby za osobní nezávislost.
• Odhalování podvodů se sociálními dávkami: profilovací systémy AI, které generují skóre rizika pro podezření z podvodu se dávkami, potenciálně spouštějící šetření nebo pozastavení plateb.

Bod 5(b) rovněž zahrnuje AI hodnotící úvěruschopnost a pojistné produkty ve vztahu k fyzickým osobám, přičemž hlavní expozice veřejného sektoru spočívá v způsobilosti pro dávky a služby. Ve všech případech se klasifikace uplatňuje tehdy, když má systém AI podstatný vliv na přístup k veřejné službě — bez ohledu na to, zda konečné rozhodnutí přijímá lidský úředník.

Annex III, kategorie 6 — vymáhání práva

Kategorie 6 zahrnuje AI používanou orgány činnými v trestním řízení ve třech oblastech:

Hodnocení rizik a profilování: systémy AI, které vyhodnocují pravděpodobnost spáchání trestného činu jednotlivcem, recidivy nebo bezpečnostního ohrožení — včetně nástrojů pro hodnocení recidivy používaných při vazebních řízeních před soudem, rozhodnutích o podmíněném propuštění a doporučeních ohledně trestů. Tyto systémy jsou vysoce rizikové podle Annex III, bodu 6(a).

Odhalování a analýza v průběhu vyšetřování: AI pro odhalování emočních stavů, osobnostních rysů nebo klamavého chování z výrazů obličeje, hlasu nebo fyziologických ukazatelů používaná při trestním vyšetřování. Art. 5(1)(f) odděleně zakazuje systémy AI, které odvozují emoce jednotlivců v kontextu vymáhání práva a správy hranic s výjimkou specifických bezpečnostních účelů, čímž stanoví pevnou vnější hranici tohoto způsobu použití.

Odhalování deepfake a dokumentů: AI používaná k odhalování manipulovaného digitálního obsahu nebo k posuzování pravosti dokumentů v trestním řízení — klasifikovaná jako vysoce riziková podle Annex III, bodu 6(c).

Annex III, kategorie 7 — migrace, azyl a pohraniční kontrola

Kategorie 7 se vztahuje na AI nasazenou v kontextu migrace a správy hranic:

Hodnocení rizik na hranicích: systémy AI, které posuzují riziko neoprávněné migrace nebo generují skóre ohrožení pro osoby překračující hranice — včetně profilovacích nástrojů integrovaných do SIS a systémů analýzy rizik Frontexu provozovaných podle nařízení 2019/1896.

Ověřování dokladů a totožnosti: systémy AI posuzující pravost cestovních dokladů, víz, povolení k pobytu nebo průkazů totožnosti pro účely přechodu hranic nebo imigrace.

Zpracování žádostí o azyl: AI, která prověřuje žádosti o azyl, posuzuje věrohodnost individuálních tvrzení nebo profiluje žadatele pro urychlené nebo zrychlené řízení.

Všechny systémy kategorie 7 musí být posouzeny z hlediska souladu nejen s AI Act, ale rovněž s Úmluvou o právním postavení uprchlíků (1951), Art. 18 Listiny základních práv EU (právo na azyl) a zásadou non-refoulement ve výkladu judikatury ESLP — ústavním omezením, které musí FRIA podle Art. 27 explicitně řešit.

Annex III, kategorie 8 — výkon spravedlnosti a demokratické procesy

Kategorie 8 se týká AI nasazené přímo v rámci soudního systému:

AI pro podporu soudnictví: systémy, které napomáhají při vyhledávání judikatury, identifikaci použitelných právních ustanovení nebo strukturování právního odůvodnění pro soudce, státní zástupce nebo soudní úředníky — vysoce rizikové podle Annex III, bodu 8(a).

Nástroje prediktivní spravedlnosti: systémy AI, které předpovídají pravděpodobný výsledek sporu, rozsahy trestů nebo soudní rozhodnutí na základě historických dat o případech. Tyto systémy vyvolávají závažné obavy podle Art. 47 Listiny základních práv EU ohledně práva na spravedlivý proces, neboť jejich použití při soudním rozhodování může strukturálně znevýhodňovat strany, jejichž profily se liší od historických norem.

Kategorie 8 nezakazuje práci soudnictví s podporou AI; podřizuje ji režimu souladu pro vysoce rizikové systémy a vyžaduje, aby soudy a ministerstva spravedlnosti zajistily, že výstupy AI budou vždy podléhat věcnému přezkumu člověkem — soudce nebo rozhodovatel musí mít možnost, a v praxi musí, výstup AI pominout, pokud není přiměřený.

Povinné závazky pro veřejné subjekty jako provozovatele

Veřejné subjekty působící jako provozovatelé vysoce rizikových systémů AI podle AI Act nesou definovaný, nepřenositelný soubor povinností podle Art. 26 a Art. 27.

Posouzení dopadů na základní práva (Art. 27)

FRIA je nejdistinktivnější povinností pro veřejné provozovatele. Musí být provedeno před nasazením a musí se zabývat: konkrétními účely systému zasahujícími do práv; kategoriemi jednotlivců, jejichž práva mohou být dotčena; předvídatelnými riziky újmy a pravděpodobností a závažností těchto rizik; tím, jak existující právní záruky tato rizika zmírňují; a opatřeními přijatými k monitorování systému po nasazení. Dokončené FRIA musí být na vyžádání předloženo vnitrostátnímu dozorovému orgánu pro AI a musí být aktualizováno při každé změně systému nebo jeho nasazení v novém kontextu.

Lidský dohled a určení odpovědnosti

Art. 26(1) vyžaduje, aby provozovatelé svěřili lidský dohled nad vysoce rizikovými systémy AI fyzickým osobám s potřebnou odborností, pravomocí a prostředky k zásahu. Ve veřejné správě to znamená, že každý automatizovaný proces ovlivňující jednotlivce — ať jde o způsobilost pro dávky, hodnocení hraničního rizika nebo výstup pro podporu soudnictví — musí mít identifikovaného úředníka, který může výstup systému přepsat a který není strukturálně motivován se mu podřizovat.

Transparentnost vůči dotčeným osobám

Art. 13 vyžaduje, aby provozovatelé zajistili, že osoby podléhající rozhodnutím s podporou AI jsou jasně informovány o tom, že je používán systém AI. Ve veřejné správě tato povinnost obvykle vyžaduje zahrnutí sdělení o použití AI do rozhodovacích dopisů, správních sdělení a jednacích postupů. Art. 86 chrání důvěrnost dat předaných dozorovým orgánům v kontextu monitorování souladu, čímž poskytuje cestu pro zpřístupnění citlivé interní dokumentace bez veřejné expozice.

Záznamy, vedení dokumentace a oznamování incidentů

Provozovatelé musí uchovávat provozní záznamy o činnosti systému AI po minimální dobu — nejméně šest měsíců pro většinu vysoce rizikových systémů, s prodlouženou dobou uchování tam, kde to vyžaduje právní rámec upravující příslušný správní proces. Závažné incidenty — incidenty způsobující smrt, vážné zranění, značnou majetkovou škodu nebo porušení základních práv — musí být bez zbytečného odkladu oznámeny příslušnému vnitrostátnímu dozorovému orgánu pro AI.

Zakázané praktiky ve veřejné správě

Některé praktiky AI jsou absolutně zakázány podle Art. 5 EU AI Act. Pro veřejné orgány mají přímý operační význam tři zákazy.

Art. 5(1)(c) — Sociální hodnocení veřejnými orgány: systémy AI, které hodnotí nebo klasifikují jednotlivce na základě jejich společenského chování nebo osobnostních charakteristik za účelem generování skóre používaného k určení přístupu k veřejným službám, dávkám nebo právnímu zacházení, jsou zakázány. Tento zákaz je výslovně namířen na veřejné orgány a cílí na tzv. mechanismy sociálního kreditu bez ohledu na to, jak jsou označovány nebo strukturovány.

Art. 5(1)(d) — Biometrická identifikace na dálku v reálném čase na veřejných místech: použití systémů AI umožňujících biometrickou identifikaci na dálku v reálném čase (rozpoznávání obličejů, analýza chůze nebo jiné biometrické nástroje) na veřejně přístupných místech orgány činnými v trestním řízení je zakázáno, přičemž existují tři úzké výjimky: cílené pátrání po pohřešovaných dětech; prevence specifických, bezprostředních teroristických hrozeb; a identifikace podezřelých ze závažných trestných činů, kde bylo získáno předchozí soudní nebo nezávislé správní povolení. Tyto výjimky jsou taxativní; žádný program obecného sledování nesplňuje podmínky.

Art. 5(1)(e) — Subliminální a manipulativní techniky: systémy AI, které využívají techniky působící pod prahem vědomého vnímání za účelem manipulace chování jednotlivce nebo které zneužívají zranitelnosti specifických skupin, jsou zakázány pro všechny provozovatele včetně veřejných orgánů.

Prosazování — dozorové orgány a mechanismy dohledu

Architektura prosazování AI Act ve veřejném sektoru zahrnuje více vrstev příslušných orgánů.

Vnitrostátní dozorové orgány pro AI určené podle Art. 70 jsou primárními subjekty prosazování Aktu v každém členském státě. Ve většině jurisdikcí jsou nebo budou integrovány s existujícími orgány ochrany osobních údajů nebo s nimi úzce propojeny. Mají pravomoc provádět audity, požadovat technickou dokumentaci a výsledky FRIA, vydávat nápravná opatření a ukládat správní pokuty.

Pokuty pro veřejné subjekty podléhají uvážení členských států podle Art. 99(6): členské státy mohou stanovit, že veřejné orgány nepodléhají peněžitým sankcím, musí však zajistit dostupnost alternativních mechanismů dohledu a nápravy — včetně povinných auditů, zveřejnění zjištění o nesouladu a pozastavení použití systému AI. Toto uvážení se nevztahuje na povolení nesouladu; týká se pouze mechanismu finančních sankcí.

Úřady pro ochranu osobních údajů (DPA) a EDPB si zachovávají souběžnou pravomoc nad dimenzemi zpracování osobních údajů v AI veřejného sektoru podle GDPR a LED. Nesoulad s povinnostmi GDPR nebo LED v kontextu provozu systému AI podléhá prosazování ze strany DPA nezávisle na dozorovém orgánu pro AI Act.

Evropský soud pro lidská práva představuje vnější ústavní omezení: rozhodnutí přijatá na základě algoritmických procesů — zejména v trestním soudnictví a imigraci — musí splňovat standardy Úmluvy pro Art. 6 (spravedlivý proces) a Art. 8 (soukromý život) ve výkladu vyvíjející se judikatury ESLP o automatizovaném rozhodování.

Implementační plán pro vládní agentury

Fáze 1 — inventarizace a klasifikace systémů AI (měsíce 1–3)

Veřejné subjekty musí nejprve vytvořit komplexní inventář všech systémů AI aktuálně používaných nebo pořizovaných. Každý systém musí být posouzen oproti kategoriím 5–8 Annex III a ustanovením o zákazech v Art. 5. Systémy zahrnující zpracování osobních údajů by měly být současně posouzeny podle požadavků GDPR a LED. Výstupem této fáze je klasifikovaný inventář — zakázaný, vysoce rizikový, s omezeným rizikem nebo s minimálním rizikem — který řídí program souladu.

Fáze 2 — posouzení dopadů na základní práva (měsíce 3–6)

Pro každý identifikovaný vysoce rizikový systém musí veřejné subjekty zadávat a dokončovat FRIA podle Art. 27. To vyžaduje právní, technický a politický vstup: právní analýzu dotčených práv; technickou dokumentaci o fungování systému, trénovacích datech a známých selháních; a politické posouzení dostupných zmírňujících opatření. FRIA musí být zdokumentovány a připraveny k předložení dozorovým orgánům.

Fáze 3 — ověření poskytovatele a reforma zadávání zakázek (měsíce 3–9)

Procesy veřejného zadávání zakázek musí být aktualizovány tak, aby jako podmínku udělení smlouvy vyžadovaly od poskytovatelů AI prokázání souladu s EU AI Act. Provozovatelé musí před nasazením ověřit označení CE, prohlášení o shodě, technickou dokumentaci a závazky týkající se monitorování po uvedení na trh. Veřejné subjekty působící jako společní provozovatelé nebo spolutvůrci s technologickými dodavateli musí smluvně objasnit rozdělení odpovědnosti za povinnosti posouzení shody.

Fáze 4 — provozní záruky a školení zaměstnanců (měsíce 6–12)

Pro každý vysoce rizikový systém AI musí být určeni, proškoleni a vybaveni postupy pro přepsání výstupu určení pracovníci lidského dohledu, kteří jsou obeznámeni se schopnostmi a omezeními systému. Oznámení o transparentnosti pro dotčené osoby musí být vypracována a začleněna do stávajících správních postupů. Infrastruktura pro vedení záznamů musí být ověřena nebo zavedena. Protokoly pro oznamování incidentů musí být integrovány se stávajícími procesy správy incidentů v oblasti správy a ochrany osobních údajů.

Fáze 5 — průběžné monitorování a roční přezkum

Soulad vysoce rizikových systémů AI není jednorázovým certifikačním cvičením. Povinnosti monitorování po uvedení na trh vyžadují, aby veřejné subjekty aktivně sledovaly výkonnost systému, dokumentovaly jakékoli změny v přesnosti, zaujatosti nebo chování a aktualizovaly FRIA při výskytu podstatných změn. Roční výkaznictví vůči dozorovým orgánům, je-li vyžadováno vnitrostátním právem, musí být podpořeno dokumentací vytvořenou prostřednictvím programu monitorování.