Artikel 9 — Risikostyringssystem (EU's AI-forordning)

Artikel 9 i forordning (EU) 2024/1689 — Risikostyringssystem. Officiel tekst, praktisk fortolkning, centrale forpligtelser og compliancekonsekvenser.

Sammenfatning af den officielle tekst

Artikel 9 i forordning (EU) 2024/1689 pålægger udbydere af højrisiko-AI-systemer et obligatorisk, kontinuerligt risikostyringssystem i hele systemets livscyklus. Bestemmelsen kræver, at risikostyringssystemet består af en iterativ proces integreret i udviklingen og driften af højrisiko-AI-systemet og opdateres regelmæssigt på baggrund af ny information indsamlet under post-markedsovervågning.

Konkret kræver artikel 9, at udbydere: (a) identificerer og analyserer alle kendte og rimeligt forudsigelige risici forbundet med højrisiko-AI-systemet; (b) estimerer og evaluerer risici, der kan materialisere sig, når systemet anvendes i overensstemmelse med dets tilsigtede formål og under betingelser af rimeligt forudseelig misbrug; (c) evaluerer risici, der opstår fra tilgængelige data og adfærden hos personer, der interagerer med systemet; og (d) vedtager passende risikostyringsforanstaltninger baseret på denne analyse.

Risikostyringsforanstaltninger skal være af en sådan art, at enhver resterende risiko forbundet med hver fare samt den samlede resterende risiko ved højrisiko-AI-systemet vurderes som acceptable. Artikel 9 specificerer også, at der skal udføres test for at identificere passende foranstaltninger, og at sådanne test skal udføres i forhold til definerede målinger og sandsynlighedsgrænser. Der kræves særlig opmærksomhed, hvor systemet sandsynligvis vil interagere med børn eller andre sårbare grupper. Information, der opstår fra brugernes erfaringer, skal tilbageføres til systemudbyderens risikostyringsproces.

Hvad dette betyder i praksis

Artikel 9 er et af de mest operationelt krævende krav i afsnit III i EU's AI-forordning. Det gælder for enhver juridisk enhed, der kvalificerer sig som udbyder af et højrisiko-AI-system — dvs. den enhed, der udvikler systemet eller får det udviklet og bringer det i omsætning eller tager det i brug under eget navn eller varemærke.

I praktiske termer kræver overholdelse, at der etableres en dokumenteret risikostyringsramme, inden systemet bringes i omsætning. Dette er ikke en afkrydsningsøvelse: forordningen kræver en iterativ proces, der fortsætter i hele produktets levetid, hvilket betyder, at risikostyringsdokumentation skal udvikle sig i takt med, at systemet opdateres, genoptrænes eller implementeres i nye sammenhænge.

Et overensstemmende risikostyringssystem vil typisk omfatte: en struktureret risikoidentifikationsprocedure, der dækker både tilsigtet brug og plausible misbrugsscenarier; en risikoestimationsmatrix, der evaluerer sandsynlighed og skadesgrad; et katalog over afbødningsforanstaltninger med dokumenteret begrundelse for deres valg; formel forudgående markedstest i forhold til definerede målinger; og en mekanisme til at absorbere post-markedstilbagemelding — herunder hændelsesdata leveret af brugere — tilbage i den løbende risikoanalyse.

For eksempel skal en udbyder af et AI-baseret kreditvurderingsværktøj klassificeret som højrisiko under bilag III dokumentere, hvordan modellen kan producere diskriminerende resultater, hvilke tekniske og organisatoriske foranstaltninger der reducerer denne risiko, og hvordan data om faktisk ydeevne vil udløse en revurdering. Et AI-system, der bruges i en medicinsk sammenhæng, skal desuden adressere den forhøjede omsorgspligt, når sårbare brugere er involveret. Risikostyringsoutput bidrager direkte til den tekniske dokumentation, der kræves af artikel 11, og overensstemmelsesvurderingen under artiklerne 43-44.

Centrale forpligtelser

• Etabler og vedligehold et kontinuerligt risikostyringssystem, der dækker hele højrisiko-AI-systemets livscyklus, fra design til udfasning, og opdateres på baggrund af data fra post-markedsovervågning.
• Identificer alle kendte og rimeligt forudsigelige risici, herunder risici som følge af rimeligt forudseelig misbrug, fra interaktion med andre systemer og fra den sociotekniske implementeringskontekst.
• Estimér og evaluer risici med hensyn til deres sandsynlighed for at opstå og sværhedsgraden af potentiel skade, idet der tages hensyn til det tilsigtede formål og de kategorier af personer, der sandsynligvis vil blive berørt, herunder sårbare grupper og børn.
• Vedtag risikostyringsforanstaltninger, der reducerer identificerede risici til et acceptabelt resterende niveau; hvor tekniske foranstaltninger er utilstrækkelige, skal organisatoriske eller informationsmæssige foranstaltninger supplere dem.
• Gennemfør forudgående markedstest ved hjælp af definerede målinger og sandsynlighedsgrænser, der er passende for det tilsigtede formål, for at validere, at de valgte foranstaltninger er effektive, og at den resterende risiko er acceptabel.
• Integrer post-markedstilbagemelding fra brugere og slutbrugere i den løbende risikostyringsproces, og sørg for, at systemet forbliver responsivt over for faktisk dokumentation for skade eller næsten-ulykker.

Forhold til andre artikler

Artikel 9 befinder sig i centrum af kapitel 2-kravene og er strukturelt forbundet med adskillige andre bestemmelser. Den afhænger af artikel 6 og bilag III for sit anvendelsesområde: kun systemer, der kvalificerer sig som højrisiko, er underlagt dens forpligtelser. Resultaterne af artikel 9-processen bidrager direkte til artikel 11 (teknisk dokumentation), som kræver, at udbydere dokumenterer, at et overensstemmende risikostyringssystem eksisterer og er blevet anvendt.

Artikel 9 er også tæt forbundet med artikel 10 (data og datastyring), da kvaliteten af trænings-, validerings- og testdata materielt påvirker den risikoprofil, der skal styres. Artikel 13 (transparens og tilvejebringelse af information) kræver, at visse risikrelaterede oplysninger kommunikeres til brugere, og artikel 14 (menneskelig kontrol) specificerer foranstaltninger, der ofte fungerer som primære risikobegrænsningsværktøjer under artikel 9. Artikel 26 pålægger brugere downstream-forpligtelser til at overvåge faktisk brug og rapportere relevante oplysninger tilbage til udbydere, og dette lukker den feedback-loop, som artikel 9 kræver. Endelig formaliserer artikel 72 (post-markedsovervågning) de dataindsam­lingsmekanismer, der opretholder den iterative risikostyringsproces over tid.

Overholdelsesfrist

EU's AI-forordning trådte i kraft den 1. august 2024. Artikel 9, som et kernekapitel 2-krav gældende for højrisiko-AI-systemer, følger den generelle overholdelsesfrist for afsnit III-forpligtelser:

• 1. august 2024 — Forordningen træder i kraft; den 24-måneders overgangsperiode begynder for de fleste højrisiko-forpligtelser.
• 2. februar 2025 — Forbud mod AI-praksisser med uacceptabel risiko (artikel 5) bliver gældende. Artikel 9 finder endnu ikke anvendelse.
• 2. august 2025 — Regler om AI-modeller til generelle formål (afsnit VIII) finder anvendelse. Artikel 9 er stadig ikke obligatorisk for de fleste højrisikosystemer.
• 2. december 2026 — Artikel 9 finder fuldt ud anvendelse på højrisiko-AI-systemer opført i bilag III (AI-systemer inden for områder som uddannelse, beskæftigelse, væsentlige tjenester, retshåndhævelse, migration og retspleje). Udbydere skal have et overensstemmende risikostyringssystem på plads inden denne dato.
• 2. august 2027 — Forlænget frist for højrisiko-AI-systemer, der er sikkerhedskomponenter i produkter, der allerede er omfattet af eksisterende EU-harmoniseringslovgivning opført i bilag I (fx maskiner, medicinsk udstyr, civil luftfart).

Udbydere, der udvikler eller anskaffer højrisiko-AI-systemer, bør behandle den 2. december 2026 som den hårde overholdelsesfrist for artikel 9-compliance, idet de integrerer risikostyringsrammer i deres udviklingsprocesser i god tid for at give tid til test, dokumentation og overensstemmelsesvurdering.