Článek 17 — Systém řízení kvality (Nařízení EU o umělé inteligenci)

Článek 17 nařízení (EU) 2024/1689 — Systém řízení kvality. Oficiální znění, praktický výklad, klíčové povinnosti a důsledky pro dodržování předpisů.

Shrnutí oficiálního znění

Článek 17 nařízení (EU) 2024/1689 vyžaduje, aby poskytovatelé vysoce rizikových systémů AI zavedli systém řízení kvality (QMS) před uvedením těchto systémů na trh nebo jejich uvedením do provozu. Systém řízení kvality musí být zdokumentován systematickým a uspořádaným způsobem a musí pokrývat všechny fáze životního cyklu systému AI.

Nařízení stanoví, že systém řízení kvality musí přinejmenším řešit: strategii poskytovatele pro dodržování předpisů, včetně postupů posuzování shody; techniky, postupy a systematická opatření používaná pro návrh, kontrolu návrhu a ověření systému AI; postupy správy dat zahrnující získávání, shromažďování, analýzu, označování, uchovávání, filtrování, dolování, agregaci a retenci dat; systém řízení rizik stanovený v článku 9; zřízení a provádění systému monitorování po uvedení na trh v souladu s článkem 72; postupy pro hlášení incidentů v souladu s článkem 73; řízení komunikace s příslušnými orgány, oznámenými subjekty a dalšími příslušnými provozovateli; systémy a postupy vedení záznamů; řízení zdrojů včetně opatření souvisejících s dodavatelským řetězcem; a rámec odpovědnosti dokumentující odpovědnosti napříč organizací.

Jsou-li poskytovateli fyzické osoby nebo mikropodniky definované v doporučení Komise 2003/361/ES, je Komise zmocněna přijímat prováděcí akty umožňující zjednodušená opatření systému řízení kvality, přičemž se uznává zásada proporcionality prostupující celým nařízením.

Co to v praxi znamená

Pro jakoukoli organizaci, která vyvíjí nebo uvádí na trh EU vysoce rizikový systém AI, článek 17 znamená, že dodržování předpisů nemůže být jednorázovým cvičením prováděným v okamžiku uvedení na trh. Musí být zakotveno v živém organizačním systému, který řídí celý životní cyklus produktu — od počátečních rozhodnutí o návrhu přes nasazení, monitorování až po případné vyřazení z provozu.

V konkrétních termínech musí být poskytovatel schopen prokázat, že zdokumentované postupy existují a jsou dodržovány v každé fázi. Poskytovatel AI ve zdravotnictví například nemůže prostě natrénovat model a předložit ho k posouzení shody. Organizace musí prokázat, že získávání dat se řídilo zdokumentovanými pravidly správy, že volby návrhu byly přezkoumávány podle kritérií rizika, že odpovědnosti za dohled jsou přiděleny a zaznamenány a že existuje mechanismus pro detekci a hlášení incidentů po nasazení.

Požadavek na systém řízení kvality znamená, že dodržování předpisů je stejně tak organizační a procedurální výzvou jako technickou. Společnosti, které již působí podle ISO 9001 nebo odvětvově specifických rámců řízení — jako je ISO 13485 u zdravotnických prostředků — najdou výrazné překryvy, ale přesto budou muset explicitně mapovat své stávající systémy vůči požadavkům zákona o AI, místo aby předpokládaly ekvivalenci.

Menší poskytovatelé těží z ustanovení o proporcionalitě: mikropodniky mohou mít nárok na zjednodušená opatření podle prováděcích aktů vydaných Komisí. To je však neosvobozuje od základních věcných povinností; může to ovlivnit pouze formu, ve které jsou tyto povinnosti dokumentovány a spravovány.

V praxi by poskytovatelé měli považovat systém řízení kvality za ústřední páteř, ze které jsou generovány a spravovány všechny ostatní artefakty shody — technická dokumentace, registry rizik, plány monitorování po uvedení na trh, protokoly incidentů.

Klíčové povinnosti

• Zavést zdokumentovaný systém řízení kvality před uvedením vysoce rizikového systému AI na trh nebo jeho uvedením do provozu, pokrývající všechny fáze životního cyklu.
• Integrovat postupy řízení rizik požadované článkem 9 do systému řízení kvality, aby bylo zajištěno, že identifikace, hodnocení a zmírňování rizik jsou systematické a sledovatelné.
• Zdokumentovat postupy správy dat zahrnující získávání, označování, zpracování, uchovávání a retenci v souladu s požadavky na správu dat podle článku 10.
• Udržovat technickou dokumentaci specifikovanou v článku 11 a příloze IV jako výstup systému řízení kvality, přičemž ji aktualizovat a zpřístupnit pro účely posuzování shody a tržního dozoru.
• Provádět postupy monitorování po uvedení na trh a hlášení incidentů v rámci systému řízení kvality v souladu s články 72 a 73.
• Definovat a dokumentovat struktury odpovědnosti, role a odpovědnosti napříč organizací, včetně dohledu nad dodavatelským řetězcem, kde do systému AI přispívají komponenty třetích stran.

Vztah k dalším článkům

Článek 17 funguje jako organizační páteř režimu shody pro vysoce rizikové systémy AI zřízeného v hlavě III, kapitole 3. Čerpá svůj věcný obsah z více vzájemně provázaných povinností: systém řízení rizik z článku 9, požadavky na data a správu dat z článku 10 a režim technické dokumentace z článku 11 přímo ovlivňují, co musí systém řízení kvality pokrývat a produkovat.

Systém řízení kvality musí také podporovat postupy posuzování shody v článcích 43 a 44, protože jím generovaná dokumentace tvoří primární důkaz přezkoumávaný oznámenými subjekty nebo procesy vlastního posouzení. Povinnosti po nasazení podle článku 72 (monitorování po uvedení na trh) a článku 73 (hlášení závažných incidentů) musí být zakotveny v postupech systému řízení kvality, nikoli spravovány jako samostatné ad hoc činnosti.

Článek 26 ukládá provozovatelům povinnosti, které jsou odlišné od povinností systému řízení kvality pro poskytovatele, ale tyto povinnosti doplňují. Kde se poskytovatelé a provozovatelé překrývají — například kde organizace vysoce rizikový systém AI interně vyvíjí i nasazuje — musí být systém řízení kvality podle článku 17 čten ve spojení s povinnostmi provozovatele podle článku 26, aby bylo zajištěno úplné pokrytí.

Harmonogram shody

Nařízení EU o umělé inteligenci vstoupilo v platnost dne 1. srpna 2024 po zveřejnění v Úředním věstníku Evropské unie. Uplatňování jeho ustanovení je postupné:

• Únor 2025 — Zákazy nepřijatelně rizikových praktik AI (článek 5) se staly použitelnými.
• Srpen 2025 — Povinnosti týkající se modelů obecného účelu (hlava VIII) se staly použitelnými.
• 2. srpna 2026 — Článek 17 se stává použitelným pro poskytovatele vysoce rizikových systémů AI uvedených v příloze III (systémy v oblastech, jako jsou biometrie, kritická infrastruktura, vzdělávání, zaměstnanost, základní služby, prosazování práva, migrace a výkon spravedlnosti).
• 2. srpna 2027 — Článek 17 se stává použitelným pro poskytovatele vysoce rizikových systémů AI upravených přílohou I (komponenty AI v produktech, na které se již vztahují harmonizační právní předpisy Unie, jako jsou zdravotnické prostředky, strojní zařízení a letecká technika).

Poskytovatelé, jejichž systémy jsou na trhu před těmito daty, těží z přechodných ustanovení podle článku 111, která mohou odložit úplné povinnosti shody systému řízení kvality za podmínek týkajících se významných úprav a probíhajících cyklů posuzování shody. Organizace by měly zahájit návrh systému řízení kvality a hodnocení mezer s dostatečným předstihem před příslušným termínem, aby umožnily interní validaci, zapojení oznámeného subjektu tam, kde je to požadováno, a iterativní zpřesňování před tím, než povinnost nastane.