Maloobchod, e-commerce a call centra — soulad s EU AI Act

Povinnosti EU AI Act pro maloobchod a call centra: zveřejnění použití chatbotů, transparentnost při rozpoznávání emocí, monitorování zaměstnanců a AI pro zákazníky. Zahrnuje Art. 50 a Annex III.

Maloobchod, e-commerce a call centra v kontextu EU AI Act

Maloobchodní a e-commerce sektor patří k nejintenzivnějším uživatelům umělé inteligence. Od okamžiku, kdy zákazník přistane na webové stránce, AI ovlivňuje, které produkty jsou zobrazeny, jaká cena je nabídnuta, které akce jsou zviditelněny a jak jsou vyřizovány dotazy zákaznické podpory. V call centrech AI koučuje agenty v reálném čase, hodnotí hovory a odvozuje emocionální stav zákazníka z hlasových signálů. EU AI Act, který je v platnosti od 1. srpna 2024, přičemž klíčové povinnosti transparentnosti se uplatňují od 2. února 2025 a povinnosti pro vysoce rizikové systémy od 2. srpna 2026, zavádí strukturovaný rámec pro dosažení souladu v celém tomto prostředí.

Zásadně platí, že AI Act nenahlíží na veškerou maloobchodní AI jako na rovnocennou. Nařízení přesně rozlišuje mezi systémy podléhajícími pouze povinnostem transparentnosti — jde o většinu spotřebitelsky zaměřené maloobchodní AI — a systémy klasifikovanými jako vysoce rizikové, na které se vztahuje plný soubor povinností: posouzení shody, technická dokumentace, systémy řízení kvality a požadavky na lidský dohled. Pochopení toho, která kategorie se vztahuje na každý nasazený systém, je základním úkolem v oblasti souladu pro maloobchodníky a provozovatele call center.

Sektor je zároveň regulován GDPR, směrnicí o právech spotřebitelů (2011/83/EU), směrnicí o nekalých obchodních praktikách (2005/29/ES), nařízením P2B (EU 2019/1150) a v případě call center národními pracovněprávními předpisy o monitorování zaměstnanců. AI Act přidává další vrstvu, avšak nenahrazuje tyto stávající rámce.

Povinnosti transparentnosti podle Art. 50 — primární vrstva souladu

Pro většinu nasazení AI v maloobchodě a e-commerce je Art. 50 EU AI Act rozhodujícím ustanovením. Jeho povinnosti se uplatňují od 2. února 2025 a nejsou podmíněny klasifikací jako vysoce rizikového systému. Nesoulad může být sankcionován nezávisle na harmonogramu pro vysoce rizikové systémy.

Zveřejnění použití chatbotů a konverzační AI — Art. 50(1)

Art. 50(1) ukládá každému provozovateli konverzačního systému AI — systému navrženého k interakci s lidmi prostřednictvím přirozeného jazyka — povinnou povinnost informovat uživatele o tom, že komunikují s AI, pokud to není z okolností zřejmé.

V maloobchodním kontextu se tato povinnost vztahuje na:

• Chatboty na webových stránkách a chatovací roboty — včetně chatovacích widgetů poháněných velkými jazykovými modely, chatbotů na bázi pravidel s AI-vylepšeným porozuměním a hybridních systémů.
• Voiceboty a AI pro IVR — automatizované telefonní systémy vyřizující příchozí dotazy zákazníků prostřednictvím hlasové AI, včetně systémů interaktivní hlasové odezvy s AI vylepšením.
• Virtuální asistenti v aplikacích — AI-powered pomocné funkce zabudované do maloobchodních aplikací, aplikací věrnostních programů nebo aplikací přidružených k bankovnictví nabízených maloobchodníky.
• Boti zákaznické podpory na sociálních sítích — AI agenti odpovídající na zprávy prostřednictvím WhatsApp, Instagramu nebo Messengeru jménem maloobchodníka.

Výjimka pro „zřejmost z okolností" je úzká. Chatbot s názvem „Emma" nebo označený jako „virtuální asistent" tuto mez nesplňuje. Záhlaví zobrazující „Nyní komunikujete s automatizovaným systémem AI — žádný lidský agent není zapojen" by dostačovalo. Maloobchodníci se nesmí spoléhat na úsudek spotřebitele — zveřejnění musí být výslovné, provedeno při nebo před prvním kontaktem a prezentováno způsobem srozumitelným běžnému spotřebiteli.

Povinnost leží na provozovateli — maloobchodníkovi nebo provozovateli call centra — nikoli výhradně na poskytovateli technologie. Smluvní ustanovení přenášející odpovědnost za zveřejnění na dodavatele nezprošťují provozovatele jeho regulatorní povinnosti.

Zveřejnění při rozpoznávání emocí — Art. 50(2)

Art. 50(2) vyžaduje, aby každá osoba vystavená systému rozpoznávání emocí byla informována o jeho provozu. Systém rozpoznávání emocí je systém AI, který odvozuje emocionální stavy z fyziologických nebo behaviorálních signálů — výrazů obličeje, tónu hlasu, rytmu řeči, volby slov nebo mikrovýrazů.

V maloobchodním a call centrovém sektoru se tato povinnost vztahuje na:

• Analýzu sentimentu zákazníků v hovorech — AI analyzující akustické nebo jazykové charakteristiky hlasu zákazníka za účelem odvození frustrace, spokojenosti nebo emocionálního stavu během interakce v call centru. Zákazník musí být informován, že tato analýza probíhá.
• Analýzu zákazníků v prodejnách — kamerové systémy s AI, které se pokoušejí odvozovat emoce nebo pozornost nakupujícího z výrazů obličeje. Pokud systém splňuje definici rozpoznávání emocí, je vyžadováno zveřejnění v prodejně.
• Analýzu hlasu agentů — analýza sentimentu nebo emocí aplikovaná na vlastní hlas agenta call centra (podrobněji popsáno níže v části o monitorování zaměstnanců).

Zveřejnění musí proběhnout před zahájením zpracování systémem rozpoznávání emocí. Pro telefonní kanály to typicky vyžaduje oznámení v IVR nebo verbální informování na začátku hovoru. Mlčení — včetně zvukových výzev, které se odkazují pouze na nahrávání hovorů bez zmínky o AI analýze emocí — nesplňuje povinnost podle Art. 50(2).

Syntetická média generovaná AI — Art. 50(4)

Art. 50(4) vyžaduje, aby média generovaná nebo manipulovaná AI — obrázky, video a zvuk — byla označena jako uměle vytvořená nebo pozměněná, pokud hrozí, že je uživatelé budou považovat za autentická.

Maloobchodně specifické aplikace v rozsahu povinnosti zahrnují:

• Produktové obrázky generované AI: obrázky produktů, pokojů nebo životních scén vytvořené generativní AI a prezentované jako autentická fotografie v produktových listech nebo reklamě.
• Propagační video generované AI: firemní videa, obsah v podobě referencí nebo marketingové materiály, jejichž vizuální nebo zvukový obsah je podstatně generován AI.
• Hlasový komentář generovaný AI nebo klonovaný AI používaný v ukázkách produktů, brandovém obsahu nebo komunikaci se zákazníky.
• AI pro virtuální vyzkoušení, která generuje syntetické obrázky zákazníka nosícího nebo používajícího produkt — pokud je výstup prezentován jako přesné zobrazení.

Povinnost označení nevyžaduje, aby byl původ v AI zatajen, aby se povinnost uplatňovala — standardem je, zda by spotřebitel mohl obsah přiměřeně zaměnit za autentickou fotografii nebo video. Absence označení rovněž zakládá odpovědnost podle směrnice o nekalých obchodních praktikách (2005/29/ES), která zakazuje použití redakčního obsahu k propagaci produktů bez jasného uvedení toho, že jde o placený nebo uměle vytvořený obsah.

AI pro monitorování zaměstnanců v call centrech — klasifikace jako vysoce rizikové

Call centra rutinně nasazují AI k monitorování, hodnocení, posuzování a koučování agentů v reálném čase. Pokud tyto systémy překročí mez Annex III, kategorie 4, uplatní se plný soubor povinností pro vysoce rizikové systémy.

AI pro koučování agentů a vedení v reálném čase

AI pro koučování agentů v reálném čase — systémy monitorující živé hovory a poskytující agentům vedení během hovoru, scénáře, výzvy k dodržování předpisů nebo zpětnou vazbu ohledně emočního stavu — se nachází na průsečíku kat. 4(b) a kat. 4(c). Pokud systém monitoruje dodržování smluvních povinností agenta (standardy vyřizování hovorů, regulatorní scénáře), uplatní se kat. 4(b). Pokud odvozuje emocionální nebo behaviorální stav agenta a generuje upozornění nebo výkonnostní označení z tohoto odvozování, uplatní se kat. 4(c).

Obě podkategorie spouštějí plný soubor povinností pro vysoce rizikové systémy:

• Systém řízení rizik podle Art. 9: průběžná identifikace, hodnocení a zmírňování rizik pro agenty a zákazníky interagující se systémem.
• Správa dat podle Art. 10: trénovací datové sady musí být relevantní, reprezentativní a spravovány tak, aby minimalizovaly diskriminační zkreslení.
• Technická dokumentace podle Art. 11 a Annex IV: komplexní dokumentace návrhu systému, zamýšleného účelu, omezení, metrik výkonu a výsledků testů.
• Transparentnost vůči provozovatelům podle Art. 13: poskytovatelé musí dodat návod k použití, který obsahuje informace o omezeních systému, provozních podmínkách a předvídatelných rizicích.
• Lidský dohled podle Art. 14: provozovatelé musí určit osoby s pravomocí, způsobilostí a časem k zásahu do výstupů systému nebo jejich přepisování.
• Přesnost a robustnost podle Art. 15: systémy musí spolehlivě fungovat v rámci uvedených parametrů.

AI pro hodnocení kvality a posuzování výkonu

AI systémy, které přidělují skóre kvality hovorům, generují žebříčky výkonu agentů nebo vytvářejí výstupy používané při hodnocení, stanovení bonusů nebo propouštění, spadají pod Annex III kat. 4(b) jako systémy používané pro rozhodnutí o povýšení, přidělování úkolů nebo monitorování plnění smluvních povinností. Povinnosti pro vysoce rizikové systémy se uplatňují v plném rozsahu.

Provozovatelé musí navíc splnit požadavek na zveřejnění podle Art. 50(2) pro agenty, kteří jsou vystaveni komponentám rozpoznávání emocí v těchto systémech — bez ohledu na harmonogram souladu s povinnostmi pro vysoce rizikové systémy.

Povinnosti vyplývající z národního pracovního práva

AI pro monitorování zaměstnanců v call centrech spouští práva na spolurozhodování a konzultaci na národní úrovni nezávisle na AI Act. V Německu přiznává Betriebsverfassungsgesetz §87(1) č. 6 podnikovým radám závazná práva spolurozhodování ohledně technických monitorovacích zařízení; AI monitorovací systémy vyžadují souhlas podnikové rady před nasazením. Rovnocenná práva se uplatňují v Nizozemsku (WOR Art. 27), Rakousku (ArbVG §96) a Francii (Code du Travail L. 2312-38). Tyto povinnosti nelze odkládat do roku 2026, kdy vstoupí v platnost lhůta pro vysoce rizikové systémy podle AI Act.

AI zaměřená na zákazníky, která není vysoce riziková

Značná část maloobchodní AI není klasifikována jako vysoce riziková podle Annex III. Následující kategorie nejsou výslovně uvedeny v Annex III a nevyžadují posouzení shody podle AI Act:

• Systémy doporučování produktů — AI, která personalizuje návrhy produktů na základě historie procházení, vzorců nákupů nebo kolaborativního filtrování.
• Systémy dynamického oceňování — AI, která upravuje ceny v reálném čase na základě poptávky, zásob, cen konkurence nebo spotřebitelských segmentů.
• Prognózování poptávky po zásobách — AI, která předpovídá požadavky na zásoby na úrovni SKU nebo kategorie.
• Modely předpovídání odchodu zákazníků — AI, která hodnotí pravděpodobnost odchodu zákazníků pro cílení retenčních kampaní.
• Personalizace vyhledávání — AI, která přeřazuje výsledky vyhledávání na maloobchodních webech na základě individuálních nebo kohortových signálů.
• Detekce podvodů při vrácení zboží — AI, která hodnotí žádosti o vrácení z hlediska potenciálního podvodu, přičemž výstup slouží jako podklad pro rozhodnutí přezkoumané člověkem.

Na tyto systémy se nicméně vztahuje GDPR tam, kde zahrnují individuální profilování zákazníků. Behaviorální analytika, agregace nákupní historie a cross-site sledování vyžadují zákonný základ podle Art. 6 GDPR — typicky oprávněný zájem (vyžadující zdokumentovaný test vyváženosti) nebo souhlas. Pokud profilování vede k rozhodnutím s významným dopadem na jednotlivé spotřebitele — například k pozastavení zákaznického účtu na základě skóre podvodu — může se uplatnit Art. 22 GDPR, vyžadující lidský přezkum automatizovaných rozhodnutí.

Nařízení P2B (EU 2019/1150) ukládá požadavky transparentnosti na algoritmy řazení používané na online tržištích a srovnávacích nástrojích — provozovatelé musí zveřejnit hlavní parametry určující řazení a relativní důležitost těchto parametrů. Řazení řízené AI není vyňato.

Ochrana spotřebitele a směrnice o nekalých obchodních praktikách

Obchodní praktiky řízené AI v maloobchodě zakládají další odpovědnost podle směrnice o nekalých obchodních praktikách (2005/29/ES), a to zejména po změnách provedených směrnicí Omnibus účinných v členských státech od roku 2022:

• Falešné recenze generované AI: UCPD ve znění pozdějších předpisů výslovně zakazuje podávání falešných spotřebitelských recenzí a využívání služeb kurátorování recenzí, které nezveřejňují zapojení AI. Produktové recenze generované AI a předložené jako autentické spotřebitelské recenze jsou protiprávní.
• Personalizované oceňování bez zveřejnění: pokud maloobchodník používá AI k prezentaci individuálně přizpůsobených cen konkrétním spotřebitelům na základě profilování, změněná UCPD vyžaduje zveřejnění skutečnosti personalizace, pokud se spotřebitel setká s personalizovanou cenou.
• Manipulativní personalizace: Art. 5 EU AI Act zakazuje systémy AI, které používají podprahové techniky nebo využívají zranitelností k narušení chování spotřebitelů. Agresivní personalizace cílící na spotřebitele v okamžicích kognitivní zranitelnosti nebo využívající emocionální stavy odvozené z předchozích interakčních dat může představovat zakázanou praktiku.
• Klamavé popisy generované AI: popisy produktů, specifikace nebo srovnávací tvrzení generované AI, které jsou nepřesné nebo vykonstruované — včetně halucinovaných specifikací v produktovém obsahu generovaném LLM — mohou představovat klamavé obchodní praktiky podle UCPD.

Orgány dozoru a sankce

Prosazování povinností AI Act v maloobchodním sektoru je rozděleno mezi více příslušných orgánů:

• Národní orgány dozoru nad AI: určené podle legislativy pro implementaci AI Act v každém členském státě. Jedná se o primární orgány pro porušení povinností transparentnosti podle Art. 50 a pro porušení souladu u vysoce rizikových systémů.
• Orgány ochrany spotřebitelů: národní spotřebitelské agentury a síť BEUC budou zvláště aktivní při monitorování zveřejnění chatbotů, označování obsahu generovaného AI a praktik AI přilehlých k UCPD. Síť pro spolupráci v oblasti ochrany spotřebitele (CPC) umožňuje koordinované prosazování v členských státech.
• Orgány ochrany osobních údajů: zachovávají souběžnou pravomoc k prosazování podle GDPR pro profilování zákazníků, automatizované rozhodování a incidenty týkající se zpracování biometrických dat.
• Inspektoráty práce: v členských státech se silnými režimy inspekce práce — Francii (DREETS), Německu (Gewerbeaufsicht) a Španělsku (Inspección de Trabajo) — je monitorování zaměstnanců pomocí AI porušující pracovní právo nebo práva spolurozhodování předmětem šetření nezávisle na řízeních podle AI Act.

Hrozící sankce podle AI Act: za porušení povinností transparentnosti podle Art. 50 hrozí pokuty až do výše 15 milionů EUR nebo 3 % globálního ročního obratu, podle toho, která hodnota je vyšší. Za porušení zakázaných praktik (Art. 5) hrozí pokuty až do výše 35 milionů EUR nebo 7 % globálního ročního obratu. Pokuty GDPR se uplatňují souběžně. Pro velké provozovatele e-commerce s globálními příjmy představuje strop 7 % značné finanční riziko.

Plán souladu pro maloobchodníky a provozovatele call center

Strukturovaný program souladu s AI Act pro maloobchodní sektor by měl postupně řešit následující body:

1. Inventura systémů AI: katalogizujte všechny nástroje AI používané napříč kanály zaměřenými na zákazníky (web, aplikace, telefon, sociální sítě), marketingovými a obchodními funkcemi (oceňování, doporučení, tvorba obsahu) a provozem call centra (koučování, hodnocení, monitorování). Pro každý systém určete, zda jde o nástroj pro obecné účely, systém podléhající povinnosti transparentnosti nebo potenciálně vysoce rizikový systém.

2. Audit zveřejnění chatbotů a voicebotů: prověřte všechna nasazení konverzační AI z hlediska souladu s Art. 50(1). Ověřte, že zveřejnění je výslovné, provedeno při prvním kontaktu a nespoléhá se na úsudek spotřebitele. Aktualizujte texty chatovacích rozhraní, skripty IVR a texty středisek nápovědy.

3. Mapování rozpoznávání emocí: identifikujte všechny systémy — zaměřené na zákazníky i na agenty — které odvozují emocionální nebo afektivní stavy. Implementujte oznámení podle Art. 50(2) pro všechny systémy v rozsahu povinnosti. Pro systémy zaměřené na agenty posuďte klasifikaci Annex III kat. 4 a zahajte plánování souladu pro vysoce rizikové systémy.

4. Audit syntetických médií: proveďte audit všech marketingových aktiv, produktových obrázků a brandovaného obsahu z hlediska komponent generovaných AI. Implementujte pracovní postup pro označování podle Art. 50(4) — zajistěte, aby byl generovaný nebo manipulovaný obsah identifikován před zveřejněním.

5. Prověření AI v call centrech: od každého dodavatele AI poskytujícího nástroje pro koučování, hodnocení nebo monitorování si vyžádejte potvrzení klasifikace podle Annex III, stav označení CE (od 2. srpna 2026) a návod k použití. Zahajte konzultační nebo spolurozhodovací postupy s podnikovou radou podle příslušného národního práva.

6. Přezkum profilování podle GDPR: proveďte audit zákonného základu zpracování podle GDPR pro činnosti profilování zákazníků. Pokud se spoléháte na oprávněný zájem, zdokumentujte a uchovávejte záznamy o testech vyváženosti. Aktualizujte zásady ochrany soukromí tak, aby odrážely praktiky profilování řízené AI.

7. Kontrola souladu s UCPD: prověřte zveřejnění personalizovaného oceňování, praktiky tvorby recenzí a pracovní postupy pro obsah generovaný AI z hlediska požadavků UCPD, včetně změn směrnice Omnibus provedených v příslušných členských státech.

8. Reakce na incidenty a správa AI: zaveďte odpovědnost za správu AI — typicky napříč právním, DPO, compliance a digitálním/technologickým útvarem — se zdokumentovanými eskalačními postupy pro incidenty zahrnující porušení Art. 50 nebo stížnosti zaměstnanců týkající se monitorovací AI.

Maloobchodníci a provozovatelé call center, kteří začlenili AI do svých zákaznických a provozních procesů v rané fázi, čelí nejširšímu rozsahu povinností souladu. Povinnosti transparentnosti podle Art. 50 jsou již použitelné; povinnosti pro vysoce rizikové systémy v oblasti monitorování zaměstnanců vyžadují přípravu na programové úrovni před 2. srpnem 2026.