Článok 15 — Presnosť, spoľahlivosť a kybernetická bezpečnosť (Nariadenie EÚ o AI)

Článok 15 nariadenia (EÚ) 2024/1689 — Presnosť, spoľahlivosť a kybernetická bezpečnosť. Oficiálny text, praktická interpretácia, kľúčové povinnosti a dôsledky pre súlad.

Zhrnutie oficiálneho textu

Článok 15 nariadenia (EÚ) 2024/1689 stanovuje technické požiadavky na presnosť, spoľahlivosť a kybernetickú bezpečnosť, ktoré musia systémy AI s vysokým rizikom spĺňať počas celého svojho životného cyklu. Článok je štruktúrovaný okolo troch vzájomne prepojených povinností.

Po prvé, systémy AI s vysokým rizikom musia byť navrhnuté a vyvinuté tak, aby dosiahli primeranú úroveň presnosti pre ich zamýšľaný účel. Poskytovatelia sú povinní deklarovať príslušné metriky presnosti v sprievodnej technickej dokumentácii, čím umožňujú následnú verifikáciu a regulačné preskúmanie.

Po druhé, systémy musia preukázať spoľahlivosť — schopnosť zvládať chyby, poruchy a nezrovnalosti vznikajúce v rámci samotného systému, z jeho prevádzkového prostredia alebo z úmyselnej nepriateľskej manipulácie. Nariadenie výslovne uvádza potrebu riešiť riziko neúmyselných spätnoväzbových slučiek, najmä keď systém AI s vysokým rizikom ovplyvňuje vlastné trénovacie dáta alebo výstupy.

Po tretie, systémy musia obsahovať opatrenia kybernetickej bezpečnosti primerané rizikám, ktoré predstavujú. Tieto opatrenia musia chrániť pred pokusmi tretích strán zneužiť zraniteľnosti systému, ktoré by mohli spôsobiť, že sa systém bude správať škodlivo, zaujato alebo inak nekonformne. Nariadenie uznáva, že odolnosť v oblasti kybernetickej bezpečnosti nie je statický stav, ale musí sa udržiavať s vývojom prostredia hrozieb.

Spoločne Článok 15 operacionalizuje širší princíp — formulovaný v Odôvodneniach 51 a 52 — že technická dôveryhodnosť je predpokladom nasadenia AI v oblastiach s dôsledkami.

Čo to znamená v praxi

Článok 15 vytvára konkrétne inžinierske a riadiace povinnosti pre každú organizáciu, ktorá umiestňuje systém AI s vysokým rizikom na trh EÚ alebo ho uvádza do prevádzky.

Pre poskytovateľov je bezprostrednou implikáciou to, že presnosť nie je iba obchodným tvrdením, ale regulačným záväzkom, ktorý musí byť zdokumentovaný, meraný a udržiavaný. Výrobca zdravotníckych pomôcok integrujúci nástroj na diagnostiku AI musí špecifikovať, či sa presnosť meria ako senzitivita, špecificita, AUC alebo iná metrika — a táto voľba musí byť v súlade so zamýšľaným účelom systému a profilom rizika. Vágne alebo aspiračné vyhlásenia o presnosti nebudú spĺňať požiadavky.

Testovanie spoľahlivosti musí presahovať rámec štandardného zabezpečovania kvality. Poskytovatelia by mali vykonávať záťažové testovanie, testovanie mimo distribúcie a — kde je systém vystavený vstupom kontrolovaným používateľmi — nepriateľský red-teaming. Kde systém obsahuje spätnoväzbové slučky (napríklad algoritmus prijímania zamestnancov, ktorý sa učí z rozhodnutí náborárov), poskytovatelia musia mapovať a zmierniť riziko, že zaujatý výstup kazí budúce trénovacie cykly.

Povinnosti kybernetickej bezpečnosti podľa Článku 15 by sa mali čítať v spojení so širším postojom poskytovateľa v oblasti informačnej bezpečnosti. Systémy AI s vysokým rizikom, ktoré spracúvajú osobné údaje alebo sa pripájajú ku kritickej infraštruktúre, čelia kombinovaným povinnostiam podľa tohto nariadenia aj smernice NIS 2. Praktické kroky zahŕňajú kontroly prístupu k modelom, dezinfekciu vstupov, detekciu anomálií pri žiadostiach o inferenciu a postupy zverejňovania zraniteľností.

Pre prevádzkovateľov závisí súlad s Článkom 15 podstatne od zachovania validovaných prevádzkových podmienok opísaných poskytovateľom. Nasadenie systému na distribúciách dát materálne odlišných od tých použitých pri validácii — napríklad aplikovanie modelu hodnotenia úverovej bonity natrénovaného na jednom národnom trhu na inú jurisdikciu — môže narušiť vlastnosti presnosti a spoľahlivosti, na základe ktorých bolo udelené označenie CE.

Kľúčové povinnosti

• Deklarovanie metrík presnosti: Poskytovatelia musia špecifikovať príslušné metriky presnosti pre systém AI s vysokým rizikom a zahrnúť ich do technickej dokumentácie požadovanej podľa Článku 11 a Prílohy IV. Metriky musia byť vhodné pre zamýšľaný účel systému.
• Dosiahnutie a udržiavanie primeranej presnosti: Systém musí byť navrhnutý a vyvinutý tak, aby dosiahol deklarovanú úroveň presnosti; presnosť sa nesmie považovať za jednorazový výsledok validácie, ale musí byť monitorovaná po nasadení prostredníctvom systému monitorovania po uvedení na trh požadovaného podľa Článku 72.
• Zabezpečenie spoľahlivosti voči chybám a nezrovnalostiam: Musia byť zavedené technické a organizačné opatrenia, aby systém mohol zvládať chyby, poruchy a nezrovnalosti — či už pochádzajú z interných porúch, variability prostredia alebo úmyselných nepriateľských vstupov — bez spôsobovania nebezpečných alebo nekonformných výstupov.
• Ochrana pred nepriateľskými útokmi: Kde je systém vystavený vstupom tretích strán, poskytovatelia musia implementovať opatrenia na detekciu a odolnosť voči nepriateľskej manipulácii, vrátane injekcie promptov, inverzie modelu alebo útokov otravy dát, kde je to uplatniteľné.
• Riešenie rizík spätnoväzbových slučiek: Kde výstupy systému môžu ovplyvniť budúce trénovacie dáta alebo správanie modelu, poskytovatelia musia identifikovať toto riziko v technickej dokumentácii a implementovať záruky na predchádzanie degradácii výkonu alebo zosilneniu zaujatosti v priebehu času.
• Implementácia primeraných opatrení kybernetickej bezpečnosti: Technické riešenia — vrátane kontroly prístupu, monitorovania a postupov reakcie na incidenty — musia byť primerané rizikám kybernetickej bezpečnosti, ktoré systém predstavuje, s prihliadnutím na jeho zamýšľaný účel, kontext nasadenia a vystavenie externým sieťam alebo vstupom kontrolovaným používateľmi.

Vzťah k iným článkom

Článok 15 sa nedá čítať izolovane. Nachádza sa v srdci technických požiadaviek na systémy AI s vysokým rizikom a pretína sa s niekoľkými ďalšími ustanoveniami nariadenia.

Článok 9 (systém riadenia rizík) poskytuje zastrešujúci rámec, v ktorom musia byť identifikované, posúdené a zmiernené riziká presnosti, spoľahlivosti a kybernetickej bezpečnosti. Systém riadenia rizík je procesným nástrojom na splnenie mnohých vecných požiadaviek, ktoré Článok 15 ukladá.

Článok 10 (údaje a správa údajov) je základom pre presnosť: systém natrénovaný na dátach nízkej kvality, nereprezentujúcich alebo zaujatých nemôže dosiahnuť zmysluplné záruky presnosti. Povinnosti týkajúce sa kvality dát priamo umožňujú súlad s Článkom 15.

Článok 11 a Príloha IV špecifikujú, čo musí byť obsiahnuté v technickej dokumentácii, vrátane metrík presnosti požadovaných Článkom 15(1).

Článok 17 (systém riadenia kvality) vyžaduje od poskytovateľov, aby zakotvili súlad s Článkom 15 do svojich organizačných procesov, vrátane kontrol návrhu, testovacích protokolov a postupov riadenia zmien.

Článok 72 (monitorovanie po uvedení na trh) vytvára priebežnú povinnosť overovať, že úrovne presnosti a spoľahlivosti sú udržiavané po nasadení, čím sa uzatvára slučka životného cyklu, ktorú Článok 15 otvára vo fáze návrhu.

Pre systémy, ktoré sú tiež zdravotníckymi pomôckami alebo bezpečnostnými komponentmi, musí byť Článok 15 čítaný spolu s príslušnou harmonizačnou legislatívou Únie uvedenou v Prílohe I.

Harmonogram súladu

Článok 15 sa riadi fazovým harmonogramom uplatňovania stanoveným Článkom 113 nariadenia (EÚ) 2024/1689, ktoré nadobudlo účinnosť 1. augusta 2024.

Poskytovatelia vyvíjajúci alebo umiestňujúci na trh systémy AI s vysokým rizikom pred príslušným dátumom musia napriek tomu vopred pripraviť dokumentáciu, testovacie protokoly a architektúry kybernetickej bezpečnosti — hodnotenia pripravenosti na reguláciu a hodnotenia zhody podľa Článkov 43–47 vyžadujú značný čas na prípravu. Nevybavené zálohy notifikovaných orgánov a zložitosť nepriateľského testovania znamenajú, že organizácie zamerané na spustenie v roku 2026 by mali začať hodnotenia medzier pre Článok 15 najneskôr v polovici roku 2025.