Maloobchod, elektronický obchod a call centrá — súlad s nariadením EU AI Act

Povinnosti podľa nariadenia EU AI Act pre maloobchod a call centrá: zverejnenie chatbotov, transparentnosť pri rozpoznávaní emócií, monitorovanie zamestnancov a AI pre zákazníkov. Zahŕňa čl. 50 a prílohu III.

Maloobchod, elektronický obchod a call centrá podľa nariadenia EU AI Act

Odvetvie maloobchodu a elektronického obchodu patrí k najintenzívnejším nasadzovateľom umelej inteligencie. Od chvíle, keď zákazník otvorí webovú stránku, AI rozhoduje o tom, ktoré produkty sa zobrazia, aká cena sa ponúkne, ktoré propagačné akcie sa zvýraznia a ako sa spracúvajú požiadavky zákazníckej podpory. V call centrách AI koučuje agentov v reálnom čase, hodnotí hovory a odvodzuje emocionálny stav zákazníka z hlasových signálov. Nariadenie EU AI Act, platné od 1. augusta 2024, pričom kľúčové povinnosti transparentnosti sa uplatňujú od 2. februára 2025 a povinnosti pre vysoko rizikové systémy od 2. augusta 2026, zavádza štruktúrovaný rámec súladu pre celé toto odvetvie.

Dôležité je, že AI Act nepokladá všetky maloobchodné systémy AI za rovnocenné. Nariadenie vytvára presnú hranicu medzi systémami podliehajúcimi iba povinnostiam transparentnosti — čo je väčšina AI orientovanej na spotrebiteľov — a systémami klasifikovanými ako vysoko rizikové, ktoré nesú úplný súbor povinností: posudzovanie zhody, technická dokumentácia, systémy riadenia kvality a požiadavky na ľudský dohľad. Pochopenie toho, do ktorej kategórie patrí každý nasadený systém, je základnou úlohou maloobchodníkov a prevádzkovateľov call centier pri plnení požiadaviek súladu.

Odvetvie je súčasne regulované GDPR, smernicou o právach spotrebiteľov (2011/83/EÚ), smernicou o nekalých obchodných praktikách (2005/29/ES), nariadením P2B (EÚ 2019/1150) a v prípade call centier aj vnútroštátnymi právnymi predpismi pracovného práva v oblasti monitorovania zamestnancov. AI Act pridáva ďalšiu vrstvu, ale nenahrádza tieto existujúce rámce.

Povinnosti transparentnosti podľa čl. 50 — primárna vrstva súladu

Pre väčšinu nasadení AI v maloobchode a elektronickom obchode je čl. 50 nariadenia EU AI Act kľúčovým ustanovením. Jeho povinnosti sa uplatňujú od 2. februára 2025 a nie sú podmienené klasifikáciou ako vysoko rizikový systém. Nesúlad môže byť sankcionovaný nezávisle od harmonogramu pre vysoko rizikové systémy.

Zverejnenie chatbotov a konverzačnej AI — čl. 50 ods. 1

Čl. 50 ods. 1 ukladá povinnú povinnosť zverejnenia každému prevádzkovateľovi konverzačného systému AI — systému navrhnutého na interakciu s ľuďmi prostredníctvom prirodzeného jazyka — s cieľom informovať používateľov, že komunikujú s AI, pokiaľ to nie je zo situácie zrejmé.

V maloobchodnom kontexte sa táto povinnosť vzťahuje na:

• Chatboty na webových stránkach a live chat boty — vrátane chatovacích widgetov poháňaných veľkými jazykovými modelmi, pravidlami riadených chatbotov s porozumením rozšíreným o AI a hybridných systémov.
• Voiceboty a AI pre IVR — automatizované telefónne systémy, ktoré spracúvajú prichádzajúce dopyty zákazníkov prostredníctvom hlasovej AI, vrátane systémov interaktívnej hlasovej odozvy rozšírených o AI.
• Virtuálnych asistentov v aplikáciách — pomocné funkcie s podporou AI integrované do maloobchodných aplikácií, aplikácií vernostných programov alebo aplikácií s bankovými prvkami ponúkaných maloobchodníkmi.
• Boty zákazníckych služieb na sociálnych sieťach — AI agenti odpovedajúci na správy na WhatsApp, Instagrame alebo Messengeri v mene maloobchodníka.

Výnimka pre prípad „zrejmosti zo situácie" je úzka. Chatbot s menom „Emma" alebo označený ako „virtuálny asistent" túto hranicu nespĺňa. Postačovalo by napríklad záhlavie: „Práve komunikujete s automatizovaným systémom AI — žiadny ľudský agent nie je zapojený." Maloobchodníci sa nesmú spoliehať na to, že spotrebitelia si to domyslia — zverejnenie musí byť explicitné, poskytnuté pri prvom kontakte alebo pred ním a prezentované spôsobom zrozumiteľným bežnému spotrebiteľovi.

Povinnosť zaťažuje prevádzkovateľa — maloobchodníka alebo prevádzkovateľa call centra — nielen poskytovateľa technológie. Zmluvné ustanovenia prenášajúce zodpovednosť za zverejnenie na dodávateľa nezbavujú prevádzkovateľa jeho regulačnej povinnosti.

Zverejnenie pri rozpoznávaní emócií — čl. 50 ods. 2

Čl. 50 ods. 2 vyžaduje, aby každá osoba vystavená systému rozpoznávania emócií bola informovaná o jeho prevádzke. Systém rozpoznávania emócií je systém AI, ktorý odvodzuje emocionálne stavy z fyziologických alebo behaviorálnych signálov — mimiky, tónu hlasu, rytmu reči, voľby slov alebo mikroexpresií.

V odvetví maloobchodu a call centier sa táto povinnosť vzťahuje na:

• Analýzu sentimentu zákazníkov pri hovoroch — AI, ktorá analyzuje akustické alebo jazykové vlastnosti zákazníkovho hlasu s cieľom odvodzovať frustráciu, spokojnosť alebo emocionálny stav počas interakcie v call centre. Zákazník musí byť informovaný, že táto analýza prebieha.
• Analýzu zákazníkov v kamenných predajniach — kamerové systémy s podporou AI, ktoré sa pokúšajú odvodzovať emócie alebo pozornosť zákazníkov z mimiky. Ak systém spĺňa definíciu rozpoznávania emócií, je v predajni vyžadované príslušné zverejnenie.
• Hlasovú analýzu agentov — analýzu sentimentu alebo emócií aplikovanú na vlastný hlas agenta call centra (podrobnejšie rozobraté nižšie v časti o monitorovaní zamestnancov).

Zverejnenie musí byť poskytnuté pred začatím spracovania systémom rozpoznávania emócií. Pri telefonickej komunikácii to zvyčajne vyžaduje IVR oznámenie alebo verbálne upozornenie na začiatku hovoru. Mlčanie — vrátane zvukových hlásení, ktoré odkazujú iba na nahrávanie hovorov bez zmienky o AI analýze emócií — nespĺňa povinnosť podľa čl. 50 ods. 2.

Syntetické médiá generované AI — čl. 50 ods. 4

Čl. 50 ods. 4 vyžaduje, aby médiá generované AI alebo upravované AI — obrázky, video a audio — boli označené ako umelo generované alebo upravené, keď existuje riziko, že ich používatelia budú považovať za autentické.

Maloobchodné aplikácie v rozsahu pôsobnosti zahŕňajú:

• Obrázky produktov generované AI: obrázky produktov, priestorov alebo lifestylových scén vytvorené generatívnou AI a prezentované ako autentická fotografia v produktových zoznamoch alebo reklame.
• Propagačné video generované AI: značkové videá, obsah vo forme referencií alebo marketingové materiály, kde je vizuálny alebo zvukový obsah podstatne generovaný AI.
• Hlasový komentár generovaný alebo klonovaný AI použitý v produktových ukážkach, značkovom obsahu alebo zákazníckych komunikáciách.
• AI pre virtuálne skúšanie, ktorá generuje syntetické obrázky zákazníka obliekajúceho alebo používajúceho produkt — kde je výstup prezentovaný ako presné zobrazenie.

Povinnosť označenia nevyžaduje, aby bol pôvod AI skrytý, aby sa spustil súlad — štandardom je to, či spotrebiteľ mohol výstup odôvodnene zameniť za autentickú fotografiu alebo video. Absencia označenia vystavuje prevádzkovateľa zodpovednosti aj podľa smernice o nekalých obchodných praktikách (2005/29/ES), ktorá zakazuje použitie redakčného obsahu na propagáciu produktov bez jasného uvedenia, že ide o platený alebo umelo vytvorený obsah.

AI na monitorovanie zamestnancov v call centrách — klasifikácia ako vysoko rizikový systém

Call centrá bežne nasadzujú AI na monitorovanie, hodnotenie, posudzovanie a koučovanie agentov v reálnom čase. Keď tieto systémy prekročia hranicu prílohy III, kategórie 4, uplatňujú sa úplné povinnosti pre vysoko rizikové systémy.

AI na koučovanie agentov a usmernenie v reálnom čase

AI na koučovanie agentov v reálnom čase — systémy, ktoré monitorujú živé hovory a poskytujú agentom usmernenia počas hovoru, skripty, výzvy na dodržiavanie predpisov alebo spätnú väzbu o emocionálnom stave — stojí na priesečníku kategórie 4 písm. b) a 4 písm. c). Ak systém monitoruje dodržiavanie zmluvných povinností agenta (štandardy vybavenia hovorov, regulačné skripty), uplatňuje sa kategória 4 písm. b). Ak odvodzuje emocionálny alebo behaviorálny stav agenta a generuje z tohto odvodzovania upozornenia alebo výkonnostné záznamy, uplatňuje sa kategória 4 písm. c).

Obe podkategórie spúšťajú úplný súbor povinností pre vysoko rizikové systémy:

• Systém riadenia rizík podľa čl. 9: priebežná identifikácia, hodnotenie a zmierňovanie rizík pre agentov aj zákazníkov, ktorí so systémom interagujú.
• Správa dát podľa čl. 10: tréningové dátové sady musia byť relevantné, reprezentatívne a spravované tak, aby minimalizovali diskriminačné skreslenie.
• Technická dokumentácia podľa čl. 11 a prílohy IV: komplexná dokumentácia návrhu systému, zamýšľaného účelu, obmedzení, metrík výkonu a výsledkov testov.
• Transparentnosť voči prevádzkovateľom podľa čl. 13: poskytovatelia musia dodávať návody na použitie obsahujúce informácie o obmedzeniach systému, prevádzkových podmienkach a predvídateľných rizikách.
• Ľudský dohľad podľa čl. 14: prevádzkovatelia musia určiť osoby s oprávnením, kompetenciou a časom na zásah do výstupov systému alebo ich zmenu.
• Presnosť a robustnosť podľa čl. 15: systémy musia spoľahlivo fungovať v rámci stanovených parametrov.

AI na hodnotenie kvality a posudzovanie výkonu

Systémy AI, ktoré prideľujú skóre kvality hovorom, generujú rebríčky výkonu agentov alebo produkujú výstupy použité pri hodnotení, určovaní bonusov alebo prepúšťaní, spadajú pod prílohu III, kategóriu 4 písm. b) ako systémy používané pri rozhodnutiach o povýšení, prideľovaní úloh alebo monitorovaní plnenia zmluvných povinností. Povinnosti pre vysoko rizikové systémy sa uplatňujú v plnom rozsahu.

Prevádzkovatelia musia okrem toho splniť požiadavku na zverejnenie podľa čl. 50 ods. 2 pre agentov, na ktorých sa vzťahujú komponenty rozpoznávania emócií v rámci týchto systémov — bez ohľadu na harmonogram plnenia povinností pre vysoko rizikové systémy.

Povinnosti podľa vnútroštátneho pracovného práva

AI na monitorovanie zamestnancov v call centrách spúšťa vnútroštátne práva na spolurozhodovanie a konzultáciu nezávisle od AI Act. V Nemecku §87 ods. 1 bod 6 Betriebsverfassungsgesetz zaručuje podnikovým radám záväzné práva na spolurozhodovanie o technických monitorovacích zariadeniach; systémy AI na monitorovanie vyžadujú dohodu s podnikovým výborom pred nasadením. Rovnocenné práva platia v Holandsku (WOR čl. 27), Rakúsku (ArbVG §96) a Francúzsku (Code du Travail L. 2312-38). Tieto povinnosti nemožno odložiť do roku 2026, keď nadobudnú účinnosť povinnosti AI Act pre vysoko rizikové systémy.

AI orientovaná na zákazníkov, ktorá nie je vysoko riziková

Značná časť maloobchodnej AI nie je klasifikovaná ako vysoko riziková podľa prílohy III. Nasledujúce kategórie nie sú výslovne uvedené v prílohe III a nevyžadujú posudzovanie zhody podľa AI Act:

• Systémy odporúčania produktov — AI, ktorá personalizuje návrhy produktov na základe histórie prehliadania, vzorov nákupov alebo kolaboratívneho filtrovania.
• Systémy dynamického oceňovania — AI, ktorá upravuje ceny v reálnom čase na základe dopytu, zásob, cien konkurentov alebo segmentov spotrebiteľov.
• Predpovedanie dopytu po zásobách — AI, ktorá predpovedá požiadavky na zásoby na úrovni SKU alebo kategórie.
• Modely predpovede odchodu zákazníkov — AI, ktorá hodnotí pravdepodobnosť odchodu zákazníkov pre cielenie retenčných kampaní.
• Personalizácia vyhľadávania — AI, ktorá preraďuje výsledky vyhľadávania na maloobchodných webových stránkach na základe individuálnych alebo kohortných signálov.
• Odhaľovanie podvodných vrátení — AI, ktorá hodnotí žiadosti o vrátenie tovaru z hľadiska potenciálneho podvodu, pričom výstup sa predkladá na ľudmi preskúmané rozhodnutie.

Tieto systémy sú napriek tomu regulované GDPR, ak zahŕňajú individuálne profilovanie zákazníkov. Behaviorálna analytika, agregácia histórie nákupov a sledovanie naprieč stránkami vyžadujú právny základ podľa čl. 6 GDPR — zvyčajne oprávnený záujem (vyžadujúci zdokumentovaný test vyvažovania) alebo súhlas. Ak profilovanie produkuje rozhodnutia s významným vplyvom na jednotlivých spotrebiteľov — napríklad pozastavenie zákazníckeho účtu na základe skórovania podvodu — môže sa uplatniť čl. 22 GDPR, vyžadujúci ľudské preskúmanie automatizovaných rozhodnutí.

Nariadenie P2B (EÚ 2019/1150) ukladá požiadavky transparentnosti na algoritmy zoraďovania používané na online trhoviskách a porovnávacích nástrojoch — prevádzkovatelia musia zverejniť hlavné parametre určujúce poradie a relatívnu dôležitosť týchto parametrov. Zoraďovanie riadené AI nie je vyňaté.

Ochrana spotrebiteľov a smernica o nekalých obchodných praktikách

Obchodné praktiky riadené AI v maloobchode vytvárajú dodatočnú zodpovednosť podľa smernice o nekalých obchodných praktikách (2005/29/ES), najmä po zmenách zavedených smernicou Omnibus platných v členských štátoch od roku 2022:

• Falošné recenzie generované AI: UCPD, v znení zmien, výslovne zakazuje predkladanie falošných spotrebiteľských recenzií a používanie služieb kurátorovania recenzií, ktoré nezverejňujú zapojenie AI. Recenzie produktov generované AI, predložené ako autentické spotrebiteľské recenzie, sú protiprávne.
• Personalizované oceňovanie bez zverejnenia: ak maloobchodník využíva AI na prezentovanie individuálne prispôsobených cien konkrétnym spotrebiteľom na základe profilovania, zmenené UCPD vyžaduje zverejnenie skutočnosti personalizácie, keď sa spotrebiteľ stretne s personalizovanou cenou.
• Manipulatívna personalizácia: čl. 5 nariadenia EU AI Act zakazuje systémy AI, ktoré využívajú podprahové techniky alebo zneužívajú zraniteľnosti na skreslenie správania spotrebiteľov. Agresívna personalizácia zameraná na spotrebiteľov v momentoch kognitívnej zraniteľnosti alebo zneužívajúca emocionálne stavy odvodzované z predchádzajúcich interakčných dát môže predstavovať zakázanú praktiku.
• Zavádzajúce popisy generované AI: popisy produktov, špecifikácie alebo porovnávacie tvrdenia generované AI, ktoré sú nepresné alebo vymyslené — vrátane halucinovaných špecifikácií v obsahu produktov generovanom LLM — môžu predstavovať zavádzajúce obchodné praktiky podľa UCPD.

Orgány dohľadu a sankcie

Presadzovanie povinností AI Act v maloobchodnom odvetví je rozdelené medzi viacero príslušných orgánov:

• Vnútroštátne orgány dohľadu nad AI: určené v rámci vnútroštátnych právnych predpisov implementujúcich AI Act každého členského štátu. Tieto sú primárnymi orgánmi pre porušenia transparentnosti podľa čl. 50 a porušenia povinností súladu pre vysoko rizikové systémy.
• Orgány na ochranu spotrebiteľov: vnútroštátne spotrebiteľské agentúry a sieť BEUC budú obzvlášť aktívne pri monitorovaní zverejňovania chatbotov, označovania obsahu generovaného AI a praktík AI susediacich s UCPD. Sieť pre spoluprácu v oblasti ochrany spotrebiteľa (CPC) umožňuje koordinované presadzovanie naprieč členskými štátmi.
• Orgány na ochranu údajov: zachovávajú súbežnú právomoc pri presadzovaní GDPR v prípade profilovania zákazníkov, automatizovaného rozhodovania a incidentov spracovania biometrických údajov.
• Inšpektoráty práce: v členských štátoch so silnými režimami inšpekcie práce — Francúzsko (DREETS), Nemecko (Gewerbeaufsicht) a Španielsko (Inspección de Trabajo) — AI monitorovanie zamestnancov porušujúce pracovné právo alebo práva na spolurozhodovanie podlieha vyšetrovaniu nezávislému od konaní podľa AI Act.

Sankčná zodpovednosť podľa AI Act: porušenia povinností transparentnosti podľa čl. 50 môžu byť sankcionované pokutami až do výšky 15 miliónov EUR alebo 3 % globálneho ročného obratu, podľa toho, čo je vyššie. Porušenia zakázaných praktík (čl. 5) môžu byť sankcionované pokutami až do výšky 35 miliónov EUR alebo 7 % globálneho ročného obratu. Pokuty GDPR sa uplatňujú súbežne. Pre veľkých prevádzkovateľov elektronického obchodu s globálnymi príjmami predstavuje strop 7 % značné finančné riziko.

Plán súladu pre maloobchodníkov a prevádzkovateľov call centier

Štruktúrovaný program súladu s AI Act pre maloobchodné odvetvie by mal riešiť nasledujúce kroky v poradí:

1. Inventár systémov AI: katalogizujte všetky nástroje AI používané naprieč kanálmi orientovanými na zákazníkov (webová stránka, aplikácia, telefón, sociálne siete), funkciami marketingu a predaja (oceňovanie, odporúčania, generovanie obsahu) a prevádzkou call centra (koučovanie, hodnotenie, monitorovanie). Pre každý systém určte, či ide o nástroj všeobecného použitia, systém podliehajúci povinnostiam transparentnosti alebo potenciálne vysoko rizikový systém.

2. Audit zverejnenia chatbotov a voicebotov: preskúmajte všetky nasadenia konverzačnej AI z hľadiska súladu s čl. 50 ods. 1. Overte, že zverejnenie je explicitné, poskytnuté pri prvom kontakte a nespolieha sa na to, že spotrebiteľ si to domyslí. Aktualizujte texty chatovacieho rozhrania, skripty IVR a jazyk pomocného centra.

3. Mapovanie rozpoznávania emócií: identifikujte všetky systémy — orientované na zákazníkov aj na agentov — ktoré odvodzujú emocionálne alebo afektívne stavy. Implementujte oznámenia podľa čl. 50 ods. 2 pre všetky systémy v rozsahu pôsobnosti. Pre systémy orientované na agentov posúďte klasifikáciu podľa prílohy III, kategórie 4 a iniciujte plánovanie súladu pre vysoko rizikové systémy.

4. Audit syntetických médií: preskúmajte všetky marketingové materiály, obrázky produktov a značkový obsah z hľadiska komponentov generovaných AI. Implementujte pracovný postup označovania podľa čl. 50 ods. 4 — zabezpečte, aby bol generovaný alebo upravený obsah identifikovaný pred zverejnením.

5. Náležitá starostlivosť pre AI call centra: pre každého dodávateľa AI poskytujúceho nástroje na koučovanie, hodnotenie alebo monitorovanie si vyžiadajte potvrdenie klasifikácie podľa prílohy III, stav označenia CE (od 2. augusta 2026) a návod na použitie. Iniciujte konzultácie s podnikovým výborom alebo postupy spolurozhodovacích práv podľa platného vnútroštátneho práva.

6. Preskúmanie profilovania podľa GDPR: vykonajte audit právneho základu podľa GDPR pre aktivity profilovania zákazníkov. Ak sa využíva oprávnený záujem, zdokumentujte a uchovávajte záznamy o teste vyvažovania. Aktualizujte oznámenia o ochrane osobných údajov tak, aby odrážali praktiky profilovania riadené AI.

7. Kontrola súladu s UCPD: preskúmajte zverejnenie personalizovaného oceňovania, praktiky generovania recenzií a pracovné postupy tvorby obsahu generovaného AI voči požiadavkám UCPD vrátane zmien zavedených smernicou Omnibus, ako boli transponované v príslušných členských štátoch.

8. Reakcia na incidenty a správa: zriaďte zodpovednosť za správu AI — zvyčajne naprieč právnymi, DPO, compliance a digitálnymi/technologickými funkciami — so zdokumentovanými postupmi eskalácie pre incidenty zahŕňajúce porušenia čl. 50 alebo sťažnosti zamestnancov týkajúce sa monitorovacej AI.

Maloobchodníci a prevádzkovatelia call centier, ktorí integrovali AI skoro do svojich zákazníckych a operačných procesov, čelia najširšiemu povrchu súladu. Povinnosti transparentnosti podľa čl. 50 sú už uplatniteľné; povinnosti pre vysoko rizikové systémy AI na monitorovanie zamestnancov vyžadujú prípravu na úrovni programu pred 2. augustom 2026.