Článek 5 — Zakázané praktiky v oblasti umělé inteligence (nařízení EU o umělé inteligenci)

Článek 5 nařízení (EU) 2024/1689 — Zakázané praktiky v oblasti umělé inteligence. Oficiální znění, praktický výklad, klíčové povinnosti a důsledky pro soulad s předpisy.

Shrnutí oficiálního znění

Článek 5 nařízení (EU) 2024/1689 (nařízení EU o umělé inteligenci) tvoří celou hlavu II a stanoví absolutní seznam praktik v oblasti umělé inteligence, které jsou zakázány v celé Evropské unii. Zákazy se zaměřují na systémy umělé inteligence, jejichž potenciál pro způsobení škody je považován za tak závažný, že žádné opatření řízení rizik ani posouzení shody je nemůže učinit přijatelnými.

Článek zakazuje: (1) systémy umělé inteligence, které využívají subliminální techniky mimo vědomí osoby nebo záměrně využívají psychologické slabosti nebo zranitelnosti k materiálnímu narušení chování způsobem, který způsobuje nebo pravděpodobně způsobí významnou škodu; (2) systémy umělé inteligence, které využívají věk, zdravotní postižení nebo socioekonomické okolnosti ke škodlivému narušení chování; (3) systémy umělé inteligence používané orgány veřejné moci nebo v jejich zastoupení pro sociální scoring — hodnocení nebo klasifikaci fyzických osob na základě společenského chování nebo odvozených osobních charakteristik — pokud to vede k škodlivému nebo nepříznivému zacházení; (4) systémy umělé inteligence hodnotící riziko spáchání trestného činu jednotlivcem výhradně na základě profilování nebo osobnostních rysů; (5) vzdálenou identifikaci biometrických údajů fyzických osob v reálném čase na veřejně přístupných místech pro účely vymáhání práva, s výhradou omezených a přísně kontrolovaných výjimek; (6) systémy dálkové identifikace biometrických údajů v reálném čase nebo ex post používané k vyvozování citlivých atributů, jako jsou rasa, politické názory, členství v odborech, náboženské přesvědčení nebo sexuální orientace; (7) systémy umělé inteligence, které vytvářejí nebo rozšiřují databáze rozpoznávání obličejů prostřednictvím necíleného scrapingu internetu nebo záběrů z kamerových systémů; a (8) systémy umělé inteligence, které vyvozují emoce fyzických osob na pracovištích a ve vzdělávacích institucích, s výjimkou bezpečnostních důvodů.

Co to znamená v praxi

Článek 5 stanoví pevnou hranici souladu s předpisy, která se dotýká každé organizace vyvíjející, nasazující nebo dovážející systémy umělé inteligence na trh EU, bez ohledu na velikost nebo odvětví.

Pro technologické poskytovatele a vývojáře umělé inteligence zákazy znamenají, že určité kategorie produktů jednoduše nemohou být zákonně uvedeny na trh EU. Dodavatel uvádějící na trh nástroj produktivity pracovní síly, který zahrnuje rozpoznávání emocí ke sledování angažovanosti zaměstnanců — upozorňující manažery na vystresované nebo nezainteresované pracovníky — musí před 2. únorem 2025 tuto funkci odebrat nebo přepracovat. Podobně startup analytiky maloobchodu, jehož systém odvozuje náladu zákazníků z výrazů tváře v obchodě, spadá pod zákaz odvozování emocí v kontextech, které nesouvisejí s bezpečností.

Pro organizace používající nástroje umělé inteligence třetích stran je náležitá péče stejně povinná. Oddělení lidských zdrojů, které nasazuje náborovou platformu provádějící skryté psychografické profilování za účelem prověřování kandidátů, riskuje společnou odpovědnost jako provozovatel.

Pro orgány veřejné moci je zákaz sociálního scoringu zvláště významný. Jakýkoli systém umělé inteligence, který agreguje behaviorální data — historii plateb, vzorce mobility, online aktivitu — za účelem vytvoření skóre občana, které pak omezuje přístup k veřejným službám nebo dávkám, je protiprávní, bez ohledu na technickou sofistikovanost systému.

Pro orgány vymáhající zákon úzká výjimka ze zákazu identifikace biometrických údajů v reálném čase vyžaduje robustní postupy předchozího povolení, geografická a časová omezení, povinné protokolování a následné podávání zpráv vnitrostátním dozorovým orgánům. Náhodné nebo trvalé nasazení bez předchozího soudního nebo správního souhlasu je protiprávní i v rámci působnosti výjimky.

Organizace by měly provést inventuru všech systémů umělé inteligence v provozu nebo ve vývoji, zmapovat každý z nich vůči kritériím článku 5 a okamžitě ukončit zakázané operace.

Klíčové povinnosti

• Ukončit nebo nikdy nenasazovat žádný systém umělé inteligence, který využívá subliminální, manipulativní nebo techniky využívající zranitelnosti k narušení lidského chování způsoby, které pravděpodobně způsobí významnou škodu, přičemž nejsou dostupné žádné výjimky ani vyrovnávání proporcionality.
• Zakázat sociální scoring ze strany orgánů veřejné moci nebo subjektů jednajících v jejich zastoupení: nepoužívat umělou inteligenci k hodnocení nebo klasifikaci fyzických osob pro sociální chování nebo odvozené osobnostní rysy, pokud výsledek vede ke škodlivému nebo diskriminačnímu zacházení.
• Vyřadit z provozu nástroje prediktivního policejního přístupu, které posuzují individuální kriminální riziko výhradně na základě profilování, osobnostních rysů nebo minulého sdružování bez konkrétních behaviorálních důkazů.
• Zdržet se scrapingu biometrických dat z internetu, kamerových systémů nebo jiných zdrojů za účelem vytváření nebo rozšiřování databází rozpoznávání obličejů; existující databáze vybudované takovými prostředky nesmějí být používány.
• Nenasazovat systémy umělé inteligence, které vyvozují citlivé osobní atributy — rasový nebo etnický původ, politické názory, členství v odborech, náboženské nebo filozofické přesvědčení, sexuální orientaci — z biometrických nebo behaviorálních dat.
• Uplatňovat přísné kontroly předchozího povolení a protokolování, pokud jednáte jako orgán vymáhající zákon a spoléháte se na úzkou výjimku podle článku 5 odst. 2–5 pro vzdálenou identifikaci biometrických údajů v reálném čase; každé nasazení musí být časově omezeno, geograficky vymezeno a podléhat následným zprávám.

Vztah k ostatním článkům

Článek 5 musí být chápán jako vrchol hierarchie nařízení EU o umělé inteligenci založené na riziku. Funguje ve spojení s definicemi v článku 3, který stanoví, co tvoří „systém umělé inteligence", „poskytovatele" a „provozovatele" — aktéry podléhající zákazům. Rozlišení mezi zakázanými praktikami podle článku 5 a vysoce rizikovými systémy umělé inteligence podle článku 6 a přílohy III je zásadní: zakázané systémy nemohou být vůbec zákonně použity, zatímco vysoce rizikové systémy mohou být nasazeny s výhradou posouzení shody, registrace a průběžných povinností monitorování.

Článek 9 (systémy řízení rizik) a články 10–15 (správa dat, transparentnost, lidský dohled) se uplatňují na povolené vysoce rizikové systémy, avšak nemají nápravnou roli pro zákazy podle článku 5. Článek 99 stanoví strukturu sankcí, včetně nejvyšší sazby pokut použitelné na porušení článku 5. Článek 85 a ustanovení o dohledu nad trhem (články 74–78) řídí vymáhání. Vnitrostátní příslušné orgány jmenované podle článku 70 jsou odpovědné za monitorování souladu se zákazy na úrovni členských států.

Časový harmonogram souladu s předpisy

• 1. srpna 2024 — Nařízení (EU) 2024/1689 vstoupilo v platnost, dvacet dní po zveřejnění v Úředním věstníku Evropské unie.
• 2. února 2025 — Zákazy podle článku 5 se staly přímo použitelnými ve všech členských státech EU. Šlo o první datum věcného uplatňování podle fázovaného harmonogramu stanoveného v článku 113. Od tohoto data jakékoli nasazení, uvádění na trh nebo uvádění do provozu zakázaného systému umělé inteligence představuje porušení právních předpisů podléhající sankcím podle článku 99.
• 2. srpna 2025 — Pravidla pro modely umělé inteligence pro obecné účely (hlava VIII, články 51–56) se stala použitelnými.
• 2. srpna 2026 — Povinnosti pro většinu vysoce rizikových systémů umělé inteligence uvedených v příloze III se uplatňují, spolu s ustanoveními o správě a dohledu nad trhem.
• 2. srpna 2027 — Prodloužená lhůta pro vysoce rizikové systémy umělé inteligence již na trhu před srpnem 2024, které spadají pod přílohu I (bezpečnostní komponenta v regulovaných výrobcích).

Pro článek 5 konkrétně neexistuje žádné přechodné období ani přechodné uspořádání: lhůta byla 2. února 2025 a soulad s předpisy je nyní opožděný pro každou organizaci, která dosud nejednala.