Článek 15 — Přesnost, robustnost a kybernetická bezpečnost (EU AI Act)

Článek 15 nařízení (EU) 2024/1689 — Přesnost, robustnost a kybernetická bezpečnost. Oficiální text, praktický výklad, klíčové povinnosti a dopady na soulad s předpisy.

Shrnutí oficiálního textu

Článek 15 nařízení (EU) 2024/1689 stanoví technické požadavky na přesnost, robustnost a kybernetickou bezpečnost, které musí splňovat vysoce rizikové systémy AI po celou dobu svého životního cyklu. Článek je strukturován kolem tří vzájemně provázaných povinností.

Za prvé, vysoce rizikové systémy AI musí být navrženy a vyvinuty tak, aby dosahovaly přiměřené úrovně přesnosti pro svůj zamýšlený účel. Poskytovatelé jsou povinni deklarovat příslušné metriky přesnosti v přiložené technické dokumentaci, čímž umožňují následnou verifikaci a regulatorní kontrolu.

Za druhé, systémy musí prokazovat robustnost — schopnost zvládat chyby, poruchy a nesrovnalosti vznikající uvnitř systému samotného, z jeho provozního prostředí nebo v důsledku záměrné nepřátelské manipulace. Nařízení výslovně zmiňuje potřebu řešit riziko neúmyslných zpětnovazebních smyček, zejména tam, kde vysoce rizikový systém AI ovlivňuje vlastní trénovací data nebo výstupy.

Za třetí, systémy musí zahrnovat opatření kybernetické bezpečnosti přiměřená rizikům, která představují. Tato opatření musí chránit před pokusy třetích stran zneužít zranitelnosti systému, které by mohly způsobit, že se systém bude chovat škodlivě, zaujatě nebo jinak nesouladně. Nařízení uznává, že odolnost kybernetické bezpečnosti není statickým stavem, ale musí být udržována v závislosti na vývoji prostředí hrozeb.

Celkově vzato, článek 15 operacionalizuje širší zásadu — vyjádřenou v 51. a 52. bodě odůvodnění — že technická důvěryhodnost je předpokladem pro nasazení AI v oblastech s závažnými důsledky.

Co to znamená v praxi

Článek 15 vytváří konkrétní inženýrské a správní povinnosti pro každou organizaci, která uvádí vysoce rizikový systém AI na trh EU nebo jej uvádí do provozu.

Pro poskytovatele je bezprostředním důsledkem skutečnost, že přesnost není jen obchodním tvrzením, ale regulatorním závazkem, který musí být zdokumentován, měřen a udržován. Výrobce zdravotnického prostředku integrující diagnostický nástroj AI musí specifikovat, zda je přesnost měřena jako citlivost, specificita, AUC nebo jiná metrika — a tato volba musí být v souladu se zamýšleným účelem a profilem rizika systému. Vágní nebo aspirační tvrzení o přesnosti nesplní tento požadavek.

Testování robustnosti musí překračovat standardní zajišťování kvality. Poskytovatelé by měli provádět zátěžové testování, testování mimo distribuci a — tam kde je systém vystaven vstupům řízeným uživateli — nepřátelský red-teaming. Tam kde systém zahrnuje zpětnovazební smyčky (například náborový algoritmus, který se učí z rozhodnutí náborářů), musí poskytovatelé mapovat a zmírňovat riziko, že zaujaté výstupy narušují budoucí tréninkové cykly.

Povinnosti kybernetické bezpečnosti podle článku 15 by měly být čteny ve spojení s širším přístupem poskytovatele k informační bezpečnosti. Vysoce rizikové systémy AI, které zpracovávají osobní údaje nebo se připojují ke kritické infrastruktuře, čelí kumulativním povinnostem podle tohoto nařízení i směrnice NIS 2. Praktické kroky zahrnují kontroly přístupu k modelu, sanitaci vstupů, detekci anomálií v požadavcích na inferenci a postupy pro oznamování zranitelností.

Pro nasazovatele závisí soulad s článkem 15 podstatně na zachování validovaných provozních podmínek popsaných poskytovatelem. Nasazení systému na datová rozložení materiálně odlišná od těch, která byla použita při validaci — například aplikace modelu kreditního skórování natrénovaného na jednom národním trhu do jiné jurisdikce — může narušit vlastnosti přesnosti a robustnosti, na jejichž základě bylo uděleno označení CE.

Klíčové povinnosti

• Deklarovat metriky přesnosti: Poskytovatelé musí specifikovat příslušné metriky přesnosti pro vysoce rizikový systém AI a zahrnout je do technické dokumentace požadované podle článku 11 a přílohy IV. Metriky musí být vhodné pro zamýšlený účel systému.
• Dosáhnout a udržovat přiměřenou přesnost: Systém musí být navržen a vyvinut tak, aby dosahoval deklarované úrovně přesnosti; přesnost nesmí být považována za jednorázový výsledek validace, ale musí být po nasazení monitorována prostřednictvím systému monitorování po uvedení na trh požadovaného článkem 72.
• Zajistit robustnost vůči chybám a nesrovnalostem: Musí být zavedena technická a organizační opatření, aby systém mohl zvládat chyby, poruchy a nesrovnalosti — ať už způsobené interními poruchami, variabilitou prostředí nebo záměrnými nepřátelskými vstupy — aniž by způsoboval nebezpečné nebo nesouladné výstupy.
• Chránit před nepřátelskými útoky: Tam kde je systém vystaven vstupům třetích stran, musí poskytovatelé implementovat opatření k detekci a odolávání nepřátelské manipulaci, včetně prompt injection, inverze modelu nebo otravování dat, kde je to relevantní.
• Řešit rizika zpětnovazebních smyček: Tam kde by výstupy systému mohly ovlivnit budoucí trénovací data nebo chování modelu, musí poskytovatelé toto riziko identifikovat v technické dokumentaci a implementovat záruky k zabránění degradace výkonu nebo zesilování předpojatosti v průběhu času.
• Implementovat přiměřená opatření kybernetické bezpečnosti: Technická řešení — včetně kontrol přístupu, monitorování a postupů reakce na incidenty — musí být přiměřená kybernetickým rizikům, která systém představuje, s ohledem na jeho zamýšlený účel, kontext nasazení a vystavení externím sítím nebo vstupům řízeným uživateli.

Vztah k ostatním článkům

Článek 15 nelze číst izolovaně. Stojí v centru technických požadavků na vysoce rizikové systémy AI a prolíná se s několika dalšími ustanoveními nařízení.

Článek 9 (systém řízení rizik) poskytuje zastřešující rámec, v němž musí být rizika přesnosti, robustnosti a kybernetické bezpečnosti identifikována, posuzována a zmírňována. Systém řízení rizik je procesním nástrojem pro splnění mnoha věcných požadavků, které ukládá článek 15.

Článek 10 (data a správa dat) je základem přesnosti: systém natrénovaný na nekvalitních, nepředstavitelných nebo zaujatých datech nemůže dosáhnout smysluplných záruk přesnosti. Povinnosti kvality dat přímo umožňují soulad s článkem 15.

Článek 11 a příloha IV specifikují, co musí být obsaženo v technické dokumentaci, včetně metrik přesnosti požadovaných článkem 15 odst. 1.

Článek 17 (systém řízení kvality) požaduje, aby poskytovatelé zabudovali soulad s článkem 15 do svých organizačních procesů, včetně kontroly návrhu, protokolů testování a postupů řízení změn.

Článek 72 (monitorování po uvedení na trh) vytváří průběžnou povinnost ověřovat, že úrovně přesnosti a robustnosti jsou udržovány po nasazení, čímž uzavírá životní cyklus, který článek 15 otevírá ve fázi návrhu.

U systémů, které jsou také zdravotnickými prostředky nebo bezpečnostními součástmi, musí být článek 15 čten spolu s příslušnými harmonizačními právními předpisy Unie uvedenými v příloze I.

Časový harmonogram souladu

Článek 15 se řídí postupným harmonogramem použití stanoveným článkem 113 nařízení (EU) 2024/1689, které vstoupilo v platnost 1. srpna 2024.

Poskytovatelé vyvíjející nebo uvádějící vysoce rizikové systémy AI na trh před příslušným datem musí nicméně připravit dokumentaci, protokoly testování a architektury kybernetické bezpečnosti předem — hodnocení připravenosti na regulaci a posouzení shody podle článků 43–47 vyžadují značný předstih. Nahromadění v oznámených subjektech a složitost nepřátelského testování znamenají, že organizace cílící na spuštění v roce 2026 by měly zahájit hodnocení mezer podle článku 15 nejpozději v polovině roku 2025.