Offentlig sektor & retsvæsen — EU AI Act-overholdelse

EU AI Act-forpligtelser for AI i offentlig forvaltning, retshåndhævelse, grænsekontrol og retsvæsenet. Dækker Annex III kategorierne 5-8 og obligatoriske konsekvensanalyser for grundlæggende rettigheder.

Den offentlige sektor og AI Act — hvorfor staten er den deployer med størst risiko

EU AI Act (forordning (EU) 2024/1689) finder horisontal anvendelse på tværs af sektorer, men den mest koncentrerede byrde af obligatoriske forpligtelser påhviler offentlige myndigheder. Statslige myndigheder, retshåndhævende myndigheder, retslige institutioner og grænseforvaltningsmyndigheder er både de hyppigste deployere af konsekvenskritisk AI og de enheder, hvis anvendelse af AI skaber den største strukturelle risiko for grundlæggende rettigheder. Forordningen afspejler denne asymmetri på to strukturelle måder.

For det første omhandler fire af de otte Annex III-højrisikokategorier direkte offentlig sektors AI — kategorierne 5 til 8 dækker væsentlige offentlige tjenester, retshåndhævelse, migration og grænsekontrol samt forvaltningen af retsvæsenet. Disse kategorier er ikke residuale opsamlingskategorier: de opregner specifikke AI-applikationer, der almindeligvis anvendes i statslige operationer, og som per definition indebærer klassifikationsniveau-risiko.

For det andet pålægger Art. 27 offentlige myndigheder en obligatorisk konsekvensanalyse for grundlæggende rettigheder (FRIA) inden ibrugtagning af højrisiko-AI-systemer. For deployers i den private sektor anbefales FRIA på det kraftigste; for offentlige myndigheder er det en retlig forpligtelse. Analysen skal undersøge AI-systemets indvirkning på enkeltpersoners rettigheder i henhold til EU's charter om grundlæggende rettigheder, herunder retten til værdighed (Art. 1), beskyttelse af personoplysninger (Art. 8), retten til effektive retsmidler (Art. 47) og uskyldsformodningen (Art. 48).

Overholdelseslandskabet for offentlige myndigheder kompliceres yderligere af, at AI Act-forpligtelserne lægges oven på eksisterende sektorspecifikke regimer: retshåndhævelsesdirektivet 2016/680, Schengen-informationssystemforordningen, Frontex-forordningen 2019/1896, den generelle forordning om databeskyttelse og de forfatningsretlige krav i den europæiske menneskerettighedskonvention som fortolket af Den Europæiske Menneskerettighedsdomstol. Hvert af disse retsrammer skaber selvstændige forpligtelser, der skal opfyldes parallelt med EU AI Act-kravene.

Højrisiko-AI-systemer — kategorierne 5 til 8

Annex III, kategori 5 — Væsentlige offentlige tjenester og vurdering af ydelsesberettigelse

Annex III, punkt 5(b) klassificerer som højrisiko ethvert AI-system, der anvendes til at vurdere fysiske personers berettigelse til væsentlige offentlige ydelser og træffe afgørelser i den sammenhæng. Denne kategori omfatter det fulde spektrum af velfærdsstatens AI:

• Automatiseret vurdering af dagpengeberettigelse: AI-systemer, der afgør, om en ansøger opfylder berettigelseskriterier baseret på beskæftigelsesregistre, jobsøgningsaktivitet eller behovsvurderinger.
• Afgørelser om boligstøtte og handicaptillæg: Algoritmebaserede værktøjer, der scorer ansøgninger om prioritering af almene boliger, ret til handicapydelser eller personlige uafhængighedsbetalinger.
• AI-profilering til afsløring af ydelsessvindel: AI-profileringssystemer, der genererer risikoscores for formodet ydelsessvig, hvilket potentielt udløser undersøgelser eller suspension af udbetalinger.

Punkt 5(b) dækker også kreditværdigheds- og forsikrings-AI i relation til fysiske personer, selv om den primære offentlige eksponering vedrører berettigelse til ydelser og tjenester. I alle tilfælde opstår klassifikationen, når AI-systemet har en væsentlig indflydelse på adgangen til en offentlig ydelse — uanset om den endelige afgørelse træffes af en menneskelig embedsmand.

Annex III, kategori 6 — Retshåndhævelse

Kategori 6 dækker AI anvendt af retshåndhævende myndigheder på tre områder:

Risikovurdering og profilering: AI-systemer, der vurderer sandsynligheden for, at en person begår en strafbar handling, recidiverer eller udgør en sikkerhedstrussel — herunder recidivscoring-værktøjer anvendt ved varetægtsfængslingshøringer, prøveløsladelsesafgørelser og straffuldbyrdelsesanbefalinger. Disse systemer er højrisiko i henhold til Annex III, punkt 6(a).

Opdagelse og analyse under efterforskning: AI til opdagelse af følelsestilstande, personlighedstræk eller vildledende adfærd fra ansigtsudtryk, stemme eller fysiologiske indikatorer anvendt i kriminalsager. Art. 5(1)(f) forbyder separat AI-systemer, der udleder enkeltpersoners følelser i sammenhæng med retshåndhævelse og grænsekontrol, undtagen til specifikke sikkerhedsformål, og fastsætter dermed en fast ydre grænse for denne anvendelse.

Opdagelse af deepfakes og dokumentfalsk: AI anvendt til at opdage manipuleret digitalt indhold eller vurdere ægtheden af dokumenter i straffesager — klassificeret som højrisiko i henhold til Annex III, punkt 6(c).

Annex III, kategori 7 — Migration, asyl og grænsekontrol

Kategori 7 finder anvendelse på AI, der er indsat i sammenhæng med migration og grænseforvaltning:

Risikovurdering ved grænser: AI-systemer, der vurderer risikoen for irregulær migration eller genererer trusselscores for personer, der krydser grænser — herunder SIS-integrerede profileringsværktøjer og Frontex' risikoanalysesystemer, der opererer i henhold til forordning 2019/1896.

Verifikation af dokumenter og identitet: AI-systemer, der vurderer ægtheden af rejsedokumenter, visa, opholdstilladelser eller identitetsdokumenter til brug ved grænsepassage eller indvandringsprocedurer.

Behandling af asylansøgninger: AI, der undersøger asylansøgninger, vurderer troværdigheden af individuelle påstande eller profilerer ansøgere til fremskyndede eller accelererede procedurer.

Alle kategori 7-systemer skal vurderes for overholdelse ikke blot af AI Act, men også af flygtningekonventionen (1951), EU-charteret Art. 18 (ret til asyl) og non-refoulement-princippet som fortolket i EMRK's retspraksis — en forfatningsretlig begrænsning, som FRIA i henhold til Art. 27 udtrykkeligt skal adressere.

Annex III, kategori 8 — Forvaltning af retsvæsenet og demokratiske processer

Kategori 8 omhandler AI, der er indsat i selve retssystemet:

AI til støtte for retslige afgørelser: Systemer, der assisterer med søgning i retspraksis, identifikation af relevante retsregler eller strukturering af juridisk ræsonnement for dommere, anklagere eller retsadministratorer — højrisiko i henhold til Annex III, punkt 8(a).

Prædiktive retsværktøjer: AI-systemer, der forudsiger det sandsynlige udfald af retssager, straffuldbyrdelsesrammer eller retslige afgørelser baseret på historiske sager. Disse systemer rejser alvorlige bekymringer i henhold til Art. 47 i EU-charteret vedrørende retten til en retfærdig rettergang, da deres anvendelse i retslige afgørelsesprocesser strukturelt kan stille parter dårligere, hvis profiler afviger fra historiske normer.

Kategori 8 forbyder ikke AI-assisteret retsligt arbejde; det underkaster det højrisiko-overholdelses­regimet og kræver, at domstole og justitsministerier sikrer, at AI-output altid er underlagt reel menneskelig gennemgang — dommeren eller beslutningstageren skal være i stand til og i praksis skal se bort fra AI'ens output, hvor dette ikke er hensigtsmæssigt.

Obligatoriske forpligtelser for offentlige myndigheder som deployere

Offentlige myndigheder, der fungerer som deployere af højrisiko-AI-systemer i henhold til AI Act, bærer et defineret, ikke-delegerbart sæt af forpligtelser i henhold til Art. 26 og Art. 27.

Konsekvensanalyse for grundlæggende rettigheder (Art. 27)

FRIA er den mest karakteristiske forpligtelse for offentlige deployere. Den skal gennemføres inden ibrugtagning og skal adressere: systemets specifikke rettighedspåvirkende formål; kategorierne af personer, hvis rettigheder kan blive berørt; de forudsigelige skaderisici samt sandsynligheden og alvoren af disse risici; hvordan eksisterende retssikkerhedsgarantier mindsker disse risici; og de foranstaltninger, der er truffet for at overvåge systemet efter ibrugtagning. Den færdige FRIA skal stilles til rådighed for den nationale AI-tilsynsmyndighed på anmodning og skal opdateres, når systemet ændres eller ibrugtages i en ny sammenhæng.

Menneskelig kontrol og udpeget ansvar

Art. 26(1) kræver, at deployere tildeler menneskelig kontrol med højrisiko-AI-systemer til fysiske personer med den nødvendige kompetence, myndighed og de nødvendige ressourcer til at gribe ind. I offentlig forvaltning betyder dette, at enhver automatiseret proces, der berører enkeltpersoner — hvad enten det drejer sig om berettigelse til ydelser, risikoscoring ved grænser eller output fra retslige støttesystemer — skal have en identificeret embedsmand, der kan tilsidesætte systemets output, og som ikke er strukturelt tilskyndet til at følge det ukritisk.

Gennemsigtighed over for berørte personer

Art. 13 kræver, at deployere sikrer, at personer, der er underlagt AI-assisterede afgørelser, klart informeres om, at et AI-system anvendes. I offentlig forvaltning kræver denne forpligtelse typisk, at der indsættes oplysninger om AI-anvendelse i afgørelsesbreve, administrative meddelelser og høringsprocedurer. Art. 86 beskytter fortroligheden af data indsendt til tilsynsmyndigheder i forbindelse med overholdelsesovervågning og giver dermed en mulighed for, at følsom intern dokumentation kan fremlægges uden offentlig eksponering.

Logføring, registrering og hændelsesrapportering

Deployere skal opbevare driftslogfiler over AI-systemets aktivitet i en minimumsperiode — mindst seks måneder for de fleste højrisikosystemer, med forlænget opbevaringstid, hvor den retlige ramme for den underliggende administrative proces kræver det. Alvorlige hændelser — hændelser, der resulterer i dødsfald, alvorlig personskade, betydelig materiel skade eller krænkelser af grundlæggende rettigheder — skal rapporteres til den kompetente nationale AI-tilsynsmyndighed uden unødig forsinkelse.

Forbudte praksisser i offentlig forvaltning

Visse AI-praksisser er absolut forbudt i henhold til Art. 5 i EU AI Act. For offentlige myndigheder er tre forbud af direkte operationel relevans.

Art. 5(1)(c) — Social scoring af offentlige myndigheder: AI-systemer, der evaluerer eller klassificerer enkeltpersoner baseret på deres sociale adfærd eller personlighedskarakteristika for at generere en score, der anvendes til at fastlægge adgang til offentlige tjenester, ydelser eller retlig behandling, er forbudt. Dette forbud er specifikt rettet mod offentlige myndigheder og er målrettet mod såkaldte sociale kreditmekanismer, uanset hvordan de betegnes eller struktureres.

Art. 5(1)(d) — Realtids fjernbiometrisk identifikation på offentlige steder: Anvendelse af AI-drevne realtids fjernbiometriske identifikationssystemer (ansigtsgenkendelse, gangartsanalyse eller andre biometriske værktøjer) på offentligt tilgængelige steder af retshåndhævende myndigheder er forbudt, med forbehold for tre snævre undtagelser: målrettet søgning efter forsvundne børn; forebyggelse af specifikke, nært forestående terroristiske trusler; og identifikation af mistænkte i alvorlige forbrydelser, hvor forudgående retlig eller uafhængig administrativ godkendelse er indhentet. Disse undtagelser er udtømmende; ingen generelt overvågningsprogram kvalificerer.

Art. 5(1)(e) — Subliminale og manipulerende teknikker: AI-systemer, der anvender teknikker, der opererer under tærsklen for bevidst opmærksomhed for at manipulere individuel adfærd, eller som udnytter bestemte gruppers sårbarheder, er forbudt for alle deployere, herunder offentlige myndigheder.

Håndhævelse — tilsynsmyndigheder og tilsynsmekanismer

AI Act's håndhævelsesarkitektur i den offentlige sektor involverer flere lag af kompetente myndigheder.

Nationale AI-tilsynsmyndigheder udpeget i henhold til Art. 70 er de primære håndhævelsesorganer for forordningen i hvert medlemsland. I de fleste jurisdiktioner er disse eller vil være integreret med eller tæt tilknyttet eksisterende databeskyttelsesmyndigheder. De har beføjelser til at gennemføre revisioner, anmode om teknisk dokumentation og FRIA-resultater, udstede korrigerende påbud og pålægge administrative bøder.

Bøder til offentlige myndigheder er underlagt medlemsstaternes skønsbeføjelse i henhold til Art. 99(6): medlemsstater kan bestemme, at offentlige myndigheder ikke er underlagt pengebøder, men skal sikre, at alternative tilsyns- og korrigerende mekanismer — herunder obligatoriske revisioner, offentliggørelse af overtrædelseskonstateringer og suspension af AI-systemanvendelse — er tilgængelige. Denne skønsbeføjelse giver ikke mulighed for at tillade manglende overholdelse; den vedrører kun den finansielle sanktionsmekanisme.

Databeskyttelsesmyndigheder (DPA'er) og EDPB bevarer parallel kompetence over de personoplysningsdimensioner af offentlig sektors AI i henhold til GDPR og LED. Manglende overholdelse af GDPR- eller LED-forpligtelser i forbindelse med drift af AI-systemer er underlagt DPA-håndhævelse uafhængigt af AI Act-tilsynsmyndigheden.

Den Europæiske Menneskerettighedsdomstol udgør en ekstern forfatningsretlig begrænsning: afgørelser truffet på grundlag af algoritmiske processer — navnlig inden for strafferetsplejen og indvandring — skal opfylde konventionsstandarderne for Art. 6 (fair rettergang) og Art. 8 (privatliv) som fortolket i EMRK's løbende retspraksis om automatiseret beslutningstagning.

Implementeringsplan for statslige myndigheder

Fase 1 — Kortlægning og klassificering af AI-systemer (måned 1-3)

Offentlige myndigheder skal først etablere et samlet overblik over alle AI-systemer, der i øjeblikket er i brug eller under indkøb. Hvert system skal vurderes i forhold til Annex III kategorierne 5-8 og forbudsbestemmelserne i Art. 5. Systemer, der involverer behandling af personoplysninger, bør vurderes samtidigt i forhold til GDPR- og LED-kravene. Resultatet af denne fase er et klassificeret overblik — forbudt, højrisiko, begrænset risiko eller minimal risiko — der driver overholdelsesprogrammet.

Fase 2 — Konsekvensanalyser for grundlæggende rettigheder (måned 3-6)

For hvert identificeret højrisikosystem skal offentlige myndigheder igangsætte og gennemføre en FRIA i henhold til Art. 27. Dette kræver juridisk, teknisk og politisk input: juridisk analyse af de berørte rettigheder; teknisk dokumentation af systemets drift, træningsdata og kendte fejltilstande; og en politisk vurdering af de tilgængelige afhjælpende foranstaltninger. FRIA'er skal dokumenteres og være klar til indsendelse til tilsynsmyndigheder.

Fase 3 — Udbyderverifikation og reformering af offentlige indkøb (måned 3-9)

Offentlige indkøbsprocesser skal opdateres, så det kræves, at AI-udbydere dokumenterer overholdelse af EU AI Act som betingelse for kontrakttildeling. Deployere skal verificere CE-mærkning, overensstemmelseserklæring, teknisk dokumentation og forpligtelser til overvågning efter markedsføring inden ibrugtagning. Offentlige myndigheder, der fungerer som fælles operatører eller medudviklere med teknologileverandører, skal afklare ansvarsfordeling for overensstemmelsesvurderingsforpligtelser kontraktmæssigt.

Fase 4 — Operationelle sikkerhedsforanstaltninger og medarbejderuddannelse (måned 6-12)

Udpegede menneskelige tilsynsansvarlige skal identificeres for hvert højrisiko-AI-system, uddannes i systemets muligheder og begrænsninger og udstyres med tilsidesættelsesprocedurer. Gennemsigtighedsmeddelelser til berørte personer skal udarbejdes og indlejres i eksisterende administrative procedurer. Logføringinfrastruktur skal verificeres eller etableres. Protokoller for hændelsesrapportering skal integreres med eksisterende administrative og databeskyttelsesmæssige hændelseshåndteringsprocesser.

Fase 5 — Løbende overvågning og årlig gennemgang

Overholdelse for højrisiko-AI-systemer er ikke en engangs­certificeringsøvelse. Forpligtelser til overvågning efter markedsføring kræver, at offentlige myndigheder aktivt sporer systemets ydeevne, dokumenterer eventuelle ændringer i nøjagtighed, bias eller adfærd og opdaterer FRIA'er, når der sker væsentlige ændringer. Årlig rapportering til tilsynsmyndigheder, hvor dette kræves i henhold til national lovgivning, skal understøttes af den dokumentation, der genereres gennem overvågningsprogrammet.