Článek 9 — Systém řízení rizik (nařízení EU o AI)

Článek 9 nařízení (EU) 2024/1689 — Systém řízení rizik. Oficiální znění, praktický výklad, klíčové povinnosti a dopady na soulad s předpisy.

Shrnutí úředního znění

Článek 9 nařízení (EU) 2024/1689 ukládá poskytovatelům vysoce rizikových systémů AI povinný, průběžný systém řízení rizik po celý životní cyklus systému. Ustanovení vyžaduje, aby systém řízení rizik sestával z iterativního procesu integrovaného do vývoje a provozu vysoce rizikového systému AI, pravidelně aktualizovaného ve světle nových informací shromážděných při postmarketingovém sledování.

Konkrétně článek 9 vyžaduje, aby poskytovatelé: (a) identifikovali a analyzovali všechna známá a přiměřeně předvídatelná rizika spojená s vysoce rizikovým systémem AI; (b) odhadli a vyhodnotili rizika, která se mohou materializovat při používání systému v souladu s jeho zamýšleným účelem a za podmínek přiměřeně předvídatelného zneužití; (c) vyhodnotili rizika vyplývající z dostupných dat a chování osob, které se systémem interagují; a (d) přijali vhodná opatření pro řízení rizik na základě této analýzy.

Opatření pro řízení rizik musí být taková, aby zbytková rizika spojená s každým nebezpečím, jakož i celkové zbytková rizika vysoce rizikového systému AI, byla považována za přijatelná. Článek 9 také stanovuje, že musí být prováděny testy za účelem identifikace vhodných opatření a že taková testování musí být prováděna podle definovaných metrik a pravděpodobnostních prahových hodnot. Zvláštní pozornost je vyžadována, pokud systém pravděpodobně interaguje s dětmi nebo jinými zranitelnými skupinami. Informace vyplývající ze zkušeností provozovatelů musí být zpětně zahrnuty do procesu řízení rizik poskytovatele systému.

Co to v praxi znamená

Článek 9 je jedním z operačně nejnáročnějších požadavků hlavy III nařízení EU o AI. Vztahuje se na jakýkoli právní subjekt, který se kvalifikuje jako poskytovatel vysoce rizikového systému AI — tedy subjekt, který systém vyvíjí nebo nechává vyvinout a uvádí ho na trh nebo do provozu pod svým jménem nebo obchodní značkou.

V praktickém smyslu vyžaduje soulad vytvoření zdokumentovaného rámce řízení rizik před uvedením systému na trh. Nejde o formální cvičení: nařízení vyžaduje iterativní proces, který trvá po celou dobu životnosti produktu, což znamená, že dokumentace řízení rizik musí být vyvíjena s tím, jak je systém aktualizován, přeučován nebo nasazován v nových kontextech.

Soulad se systémem řízení rizik bude obvykle zahrnovat: strukturovaný postup identifikace rizik zahrnující jak zamýšlené použití, tak věrohodné scénáře zneužití; matici odhadu rizik, která hodnotí pravděpodobnost a závažnost újmy; katalog zmírňujících opatření s dokumentovaným zdůvodněním jejich výběru; formální předmarketingové testování podle definovaných metrik; a mechanismus pro začlenění zpětné vazby z postmarketingového sledování — včetně dat o incidentech poskytnutých provozovateli — do průběžné analýzy rizik.

Například poskytovatel nástroje pro bodové hodnocení úvěruschopnosti na základě AI klasifikovaného jako vysoce rizikový podle přílohy III musí dokumentovat, jak by model mohl produkovat diskriminační výsledky, jaká technická a organizační opatření toto riziko snižují a jak data o výkonu v reálném světě vyvolají přehodnocení. Systém AI používaný v medicínském kontextu musí navíc řešit zvýšenou povinnost péče tam, kde jsou zapojeni zranitelní uživatelé. Výstupy řízení rizik se přímo promítají do technické dokumentace vyžadované článkem 11 a posuzování shody podle článků 43-44.

Klíčové povinnosti

• Zřídit a udržovat průběžný systém řízení rizik, který pokrývá celý životní cyklus vysoce rizikového systému AI, od návrhu přes vyřazení z provozu, aktualizovaný ve světle dat z postmarketingového sledování.
• Identifikovat všechna známá a přiměřeně předvídatelná rizika, včetně rizik vyplývajících z přiměřeně předvídatelného zneužití, z interakce s jinými systémy a ze sociotechnického kontextu nasazení.
• Odhadovat a vyhodnocovat rizika s ohledem na pravděpodobnost jejich výskytu a závažnost potenciální újmy, přičemž se zohlední zamýšlený účel a kategorie osob, které budou pravděpodobně dotčeny, včetně zranitelných skupin a dětí.
• Přijímat opatření pro řízení rizik, která snižují identifikovaná rizika na přijatelnou zbytkovou úroveň; kde technická opatření nestačí, musí je doplňovat organizační nebo informační opatření.
• Provádět předmarketingové testování pomocí definovaných metrik a pravděpodobnostních prahových hodnot přiměřených zamýšlenému účelu, aby se ověřilo, že vybraná opatření jsou účinná a že zbytková rizika jsou přijatelná.
• Integrovat zpětnou vazbu z postmarketingového sledování od provozovatelů a koncových uživatelů do průběžného procesu řízení rizik, čímž se zajistí, že systém zůstane citlivý na důkazy z reálného světa o újmě nebo situacích blízkých havárii.

Vztah k dalším článkům

Článek 9 stojí ve středu rámce požadavků kapitoly 2 a je strukturálně spojen s několika dalšími ustanoveními. Závisí na článku 6 a příloze III, pokud jde o svůj rozsah: jeho povinnostem podléhají pouze systémy kvalifikované jako vysoce rizikové. Výstupy procesu podle článku 9 se přímo promítají do článku 11 (technická dokumentace), který vyžaduje, aby poskytovatelé prokázali, že existuje soulad se systémem řízení rizik a že byl uplatněn.

Článek 9 je také úzce spojen s článkem 10 (data a správa dat), protože kvalita školicích, validačních a testovacích dat podstatně ovlivňuje rizikový profil, který musí být řízen. Článek 13 (transparentnost a poskytování informací) vyžaduje, aby byly provozovatelům sděleny určité informace týkající se rizik, a článek 14 (lidský dohled) specifikuje opatření, která často slouží jako nástroje prvotního zmírňování rizik podle článku 9. Článek 26 ukládá navazující povinnosti provozovatelům, aby sledovali skutečné použití a hlásili relevantní informace zpět poskytovatelům, čímž uzavírají smyčku zpětné vazby, kterou článek 9 vyžaduje. Konečně, článek 72 (postmarketingové sledování) formalizuje mechanismy sběru dat, které v průběhu času udržují iterativní proces řízení rizik.

Časový harmonogram souladu

Nařízení EU o AI vstoupilo v platnost 1. srpna 2024. Článek 9, jakožto klíčový požadavek kapitoly 2 použitelný na vysoce rizikové systémy AI, se řídí obecným harmonogramem souladu pro povinnosti hlavy III:

• 1. srpna 2024 — Nařízení vstupuje v platnost; začíná 24měsíční přechodná lhůta pro většinu povinností v oblasti vysoce rizikových systémů.
• 2. února 2025 — Zákazy AI praktik s nepřijatelným rizikem (článek 5) se stávají použitelnými. Článek 9 se dosud nepoužije.
• 2. srpna 2025 — Pravidla pro modely AI pro obecné účely (hlava VIII) se stávají použitelnými. Článek 9 pro většinu vysoce rizikových systémů stále ještě povinný není.
• 2. prosince 2026 — Článek 9 se stává plně použitelným pro vysoce rizikové systémy AI uvedené v příloze III (systémy AI v oblastech jako vzdělávání, zaměstnanost, základní služby, vymáhání práva, migrace a správa soudnictví). Poskytovatelé musí mít do tohoto data zavedený soulad se systémem řízení rizik.
• 2. srpna 2027 — Prodloužená lhůta pro vysoce rizikové systémy AI, které jsou bezpečnostními komponentami výrobků již zahrnutých stávajícími harmonizačními právními předpisy Unie uvedenými v příloze I (např. strojní zařízení, zdravotnické prostředky, civilní letectví).

Poskytovatelé, kteří vyvíjejí nebo pořizují vysoce rizikové systémy AI, by měli považovat 2. prosinec 2026 za pevnou lhůtu pro připravenost na soulad s článkem 9 a začlenit rámce řízení rizik do svých vývojových procesů s dostatečným předstihem, aby měli čas na testování, dokumentaci a posuzování shody.