Maloprodaja, e-trgovina in klicni centri — skladnost z EU AI Act

Obveznosti EU AI Act za maloprodajo in klicne centre: razkritje chatbota, preglednost prepoznavanja čustev, nadzor zaposlenih in AI za stranke. Pokriva čl. 50 in Prilogo III.

Maloprodaja, e-trgovina in klicni centri po EU AI Act

Sektor maloprodaje in e-trgovine je intenziven uporabnik umetne inteligence. Od trenutka, ko stranka obišče spletno mesto, AI oblikuje, kateri izdelki so prikazani, kakšna cena je ponujena, katere promocije so izpostavljene in kako so obravnavani povpraševanja storitev za stranke. V klicnih centrih AI v realnem času coachira agente, ocenjuje pogovore in sklepa o čustvih strank iz glasovnih signalov. EU AI Act, ki velja od 1. avgusta 2024, pri čemer se ključne obveznosti preglednosti uporabljajo od 2. februarja 2025 in obveznosti za visoko tvegane sisteme od 2. avgusta 2026, nalaga strukturiran okvir za skladnost za ta sektor.

Bistveno je, da AI Act ne obravnava vse maloprodajne AI kot enakovredne. Uredba vzpostavlja natančno razlikovanje med sistemi, ki so zavezani samo obveznostim preglednosti — večina maloprodajne AI na strani potrošnikov — in sistemi, ki so opredeljeni kot visoko tvegani in zanje velja celovit nabor obveznosti: ocena skladnosti, tehnična dokumentacija, sistemi upravljanja kakovosti in zahteve za človeški nadzor. Razumevanje, katera kategorija se nanaša na posamezni sistem, je temeljna naloga za zagotavljanje skladnosti pri trgovcih in operaterjih klicnih centrov.

Sektor hkrati urejata GDPR, Direktiva o pravicah potrošnikov (2011/83/EU), Direktiva o nelojalnih poslovnih praksah (2005/29/ES), Uredba P2B (EU 2019/1150) ter, za klicne centre, nacionalna delovna zakonodaja o nadzoru zaposlenih. AI Act dodaja plast, ne nadomešča pa obstoječih okvirov.

Obveznosti preglednosti po čl. 50 — Primarna plast skladnosti

Za večino vpeljav AI v maloprodaji in e-trgovini je čl. 50 EU AI Act operativna določba. Njegove obveznosti se uporabljajo od 2. februarja 2025 in niso pogojene z visoko tvegano klasifikacijo. Neskladnost se lahko sankcionira neodvisno od časovnega okvira za visoko tvegane sisteme.

Razkritje chatbota in pogovorne AI — čl. 50(1)

Čl. 50(1) nalaga obvezno obveznost razkritja vsakemu upravljavcu pogovornega sistema AI — sistema, zasnovanega za interakcijo z ljudmi prek naravnega jezika — da obvesti uporabnike, da komunicirajo z AI, razen če je to iz okoliščin očitno.

V maloprodajnem kontekstu se ta obveznost nanaša na:

• Chatbote na spletnih mestih in klepetalne bote — vključno s klepetnimi gradniki, ki jih poganjajo veliki jezikovni modeli, chatbote, ki temeljijo na pravilih z AI-izboljšanim razumevanjem, in hibridne sisteme.
• Glasovne bote in AI v IVR — avtomatizirani telefonski sistemi, ki obravnavajo dohodna vprašanja strank prek glasovne AI, vključno z AI-izboljšanimi sistemi interaktivnega glasovnega odziva.
• Virtualne asistente v aplikacijah — funkcije za pomoč, ki jih poganja AI in so vgrajene v maloprodajne aplikacije, aplikacije programov zvestobe ali bančno sorodenimi aplikacijami trgovcev.
• Bote za storitve za stranke v družbenih medijih — AI agenti, ki v imenu trgovca odgovarjajo na sporočila na WhatsApp, Instagram ali Messenger.

Izjema za »očitnost iz okoliščin« je ozka. Chatbot z imenom »Eva« ali opisan kot »virtualni asistent« tega praga ne dosega. Zaglavje z besedilom »Zdaj komunicirate z avtomatiziranim sistemom AI — noben človeški agent ni vključen« bi zadostovalo. Trgovci se ne smejo zanašati na sklepanje potrošnika — razkritje mora biti izrecno, podano ob prvem stiku ali pred njim ter predstavljeno na način, ki je razumljiv povprečnemu potrošniku.

Obveznost bremeni upravljavca — trgovca ali operaterja klicnega centra — ne le ponudnika tehnologije. Pogodbene določbe, ki prenos odgovornosti za razkritje nalagajo prodajalcu, ne razbremenijo regulatorne obveznosti upravljavca.

Razkritje prepoznavanja čustev — čl. 50(2)

Čl. 50(2) zahteva, da je vsaka oseba, izpostavljena sistemu za prepoznavanje čustev, obveščena o njegovem delovanju. Sistem za prepoznavanje čustev je sistem AI, ki sklepa o čustvenih stanjih na podlagi fizioloških ali vedenjskih signalov — obraznih izrazov, tona glasu, ritma govora, izbire besed ali mikro-izrazov.

V sektorju maloprodaje in klicnih centrov se ta obveznost nanaša na:

• Analizo razpoloženja strank v klicih — AI, ki analizira akustične ali jezikovne lastnosti glasu stranke, da bi sklepala o frustraciji, zadovoljstvu ali čustvenem stanju med interakcijo v klicnem centru. Stranko je treba obvestiti, da se ta analiza izvaja.
• Analitiko strank v prodajalnah — kamerni sistemi, ki jih poganja AI in ki skušajo sklepati o čustvih ali pozornosti kupcev iz obraznih izrazov. Kadar sistem ustreza opredelitvi prepoznavanja čustev, je razkritje v prodajalni obvezno.
• Analizo glasu agentov — analiza razpoloženja ali čustev, ki se nanaša na lastni glas agenta klicnega centra (obravnavano podrobneje spodaj v razdelku o nadzoru zaposlenih).

Razkritje mora biti podano, preden sistem za prepoznavanje čustev začne obdelavo. Za telefonske kanale to praviloma zahteva napoved prek IVR ali ustno obvestilo ob začetku klica. Molk — vključno z zvočnimi napotki, ki omenjajo le snemanje klica, ne pa AI analize čustev — ne zadostuje obveznosti iz čl. 50(2).

Z AI generirani sintetični mediji — čl. 50(4)

Čl. 50(4) zahteva, da so z AI generirani ali z AI manipulirani mediji — slike, video in zvok — označeni kot umetno generirani ali manipulirani, kadar obstaja tveganje, da bi jih uporabniki razumeli kot pristne.

Maloprodajne aplikacije v obsegu vključujejo:

• Z AI generirane slike izdelkov: slike izdelkov, prostorov ali življenjskih prizorov, ki jih je ustvarila generativna AI in so v seznamih izdelkov ali oglaševanju predstavljene kot pristna fotografija.
• Z AI generirane promocijske videoposnetke: videi blagovne znamke, vsebine v slogu pričevanj ali marketinški materiali, pri katerih je vizualna ali zvočna vsebina v pretežni meri generirana z AI.
• Z AI generirano ali z AI klonirano glasovno pripovedništvo, ki se uporablja v predstavitvah izdelkov, vsebinah blagovnih znamk ali komunikacijah s strankami.
• Virtualno preizkušanje z AI, ki generira sintetične slike stranke, ki nosi ali uporablja izdelek — kadar je izhod predstavljen kot točen prikaz.

Obveznost označevanja ne zahteva, da je izvor AI prikrit, da bi sprožila skladnost — standard je, ali bi potrošnik utemeljeno zamešal vsebino za pristno fotografijo ali video. Opustitev označevanja povzroča izpostavljenost tudi po Direktivi o nelojalnih poslovnih praksah (2005/29/ES), ki prepoveduje uporabo uredniških vsebin za promocijo izdelkov brez jasne navedbe, da gre za plačano ali umetno ustvarjeno vsebino.

AI za nadzor zaposlenih v klicnih centrih — Visoko tvegana klasifikacija

Klicni centri rutinsko uvajajo AI za nadzor, ocenjevanje, vrednotenje in coaching agentov v realnem času. Kadar ti sistemi prestopijo v področje Priloge III, kategorija 4, se uporabljajo vse obveznosti za visoko tvegane sisteme.

AI za coaching agentov in smernice v realnem času

AI za coaching agentov v realnem času — sistemi, ki nadzorujejo žive klice in agentom zagotavljajo navodila med klicem, scenarije, opozorila za skladnost ali povratne informacije o čustvenem stanju — se nahaja na presečišču kategorij 4(b) in 4(c). Kadar sistem nadzoruje agentovo izpolnjevanje pogodbenih obveznosti (standardi obravnave klicev, regulativni scenariji), se uporablja kat. 4(b). Kadar sklepa o čustvenem ali vedenjskem stanju agenta in na podlagi tega sklepanja generira opozorila ali zastavice uspešnosti, se uporablja kat. 4(c).

Obe podkategoriji sprožata celovit nabor obveznosti za visoko tvegane sisteme:

• Sistem obvladovanja tveganj po čl. 9: stalna identifikacija, vrednotenje in zmanjševanje tveganj za agente in stranke, ki komunicirajo s sistemom.
• Upravljanje podatkov po čl. 10: učne podatkovne zbirke morajo biti relevantne, reprezentativne in upravljane tako, da se zmanjša diskriminatorna pristranskost.
• Tehnična dokumentacija po čl. 11 in Prilogi IV: celovita dokumentacija zasnove sistema, predvidenega namena, omejitev, metrik uspešnosti in rezultatov testiranj.
• Preglednost za upravljavce po čl. 13: ponudniki morajo zagotoviti navodila za uporabo, ki vključujejo informacije o omejitvah sistema, pogojih delovanja in predvidljivih tveganjih.
• Človeški nadzor po čl. 14: upravljavci morajo določiti posameznike s pooblastilom, usposobljenostjo in časom za posredovanje v izhode sistema ali njihovo preglasovanje.
• Točnost in robustnost po čl. 15: sistemi morajo zanesljivo delovati v okviru navedenih parametrov.

AI za ocenjevanje kakovosti in ocenjevanje uspešnosti

Sistemi AI, ki klicem dodelijo ocene kakovosti, generirajo lestvice uspešnosti agentov ali producirajo izhode, ki se uporabljajo v procesih ocenjevanja, določanja bonusov ali odpuščanja, spadajo v Prilogo III, kat. 4(b), kot sistemi, ki se uporabljajo za odločitve o napredovanju, dodeljevanju nalog ali nadzoru izpolnjevanja pogodbenih obveznosti. Obveznosti za visoko tvegane sisteme se v celoti uporabljajo.

Operaterji morajo poleg tega izpolnjevati zahtevo po razkritju iz čl. 50(2) za agente, ki so predmet komponent za prepoznavanje čustev v teh sistemih — ne glede na časovni okvir za izpolnjevanje obveznosti za visoko tvegane sisteme.

Obveznosti nacionalnega delovnega prava

AI za nadzor zaposlenih v klicnih centrih sproža nacionalne pravice do soodločanja in posvetovanja neodvisno od AI Act. V Nemčiji Betriebsverfassungsgesetz §87(1) št. 6 podeljuje svetom delavcev zavezujoče pravice soodločanja glede tehničnih naprav za nadzor; AI sistemi za nadzor zahtevajo soglasje sveta delavcev pred uvajanjem. Enakovredne pravice veljajo na Nizozemskem (WOR čl. 27), v Avstriji (ArbVG §96) in v Franciji (Code du Travail L. 2312-38). Teh obveznosti ni mogoče odložiti do roka za visoko tvegane sisteme po AI Act v letu 2026.

AI na strani strank, ki ni visoko tvegana

Znaten del maloprodajne AI ni opredeljen kot visoko tvegan po Prilogi III. Naslednje kategorije niso izrecno navedene v Prilogi III in ne zahtevajo ocene skladnosti po AI Act:

• Sistemi za priporočanje izdelkov — AI, ki personalizira predloge izdelkov na podlagi zgodovine brskanja, vzorcev nakupov ali kolaborativnega filtriranja.
• Sistemi za dinamično določanje cen — AI, ki v realnem času prilagaja cene glede na povpraševanje, zalogo, cene konkurence ali segmente potrošnikov.
• Napovedovanje povpraševanja po zalogah — AI, ki napoveduje potrebe po zalogi na ravni SKU ali kategorije.
• Modeli za napovedovanje odhoda strank — AI, ki ocenjuje verjetnost osipa strank za ciljanje kampanj za zadržanje.
• Personalizacija iskanja — AI, ki na podlagi individualnih ali skupinskih signalov prerazporedi rezultate iskanja na maloprodajnih spletnih mestih.
• Zaznavanje prevar pri vračilih — AI, ki ocenjuje zahteve za vračilo glede morebitnih prevar, kadar izhod vodi v postopek odločanja, ki ga pregleda človek.

Ti sistemi so kljub temu predmet GDPR, kadar vključujejo individualno profiliranje strank. Vedenjska analitika, agregacija zgodovine nakupov in sledenje med spletnimi mesti zahtevajo pravno podlago po čl. 6 GDPR — praviloma zakoniti interes (ki zahteva dokumentiran test tehtanja) ali privolitev. Kadar profiliranje povzroča odločitve z znatnimi učinki na posamezne potrošnike — na primer, prekinitev računa stranke na podlagi ocene prevare — se lahko uporabi čl. 22 GDPR, ki zahteva pregled avtomatiziranih odločitev s strani človeka.

Uredba P2B (EU 2019/1150) nalaga zahteve glede preglednosti algoritmov razvrščanja, ki se uporabljajo na spletnih tržnicah in orodjih za primerjavo — operaterji morajo razkriti glavne parametre, ki določajo razvrščanje, in relativni pomen teh parametrov. Razvrščanje, ki ga poganja AI, ni izvzeto.

Varstvo potrošnikov in Direktiva o nelojalnih poslovnih praksah

Z AI vodene poslovne prakse v maloprodaji ustvarjajo dodatno izpostavljenost po Direktivi o nelojalnih poslovnih praksah (2005/29/ES), zlasti po spremembah Direktive Omnibus, ki so v državah članicah v veljavi od leta 2022 naprej:

• Z AI generirane lažne ocene: UCPD, kot je bila spremenjena, izrecno prepoveduje predložitev lažnih mnenj potrošnikov in uporabo storitev kuriranja ocen, ki ne razkrijejo vpletenosti AI. Z AI generirane ocene izdelkov, predložene kot pristne ocene potrošnikov, so nezakonite.
• Personalizirane cene brez razkritja: kadar trgovec z AI ustvarjalnim profiliranjem ponuja individualno prilagojene cene določenim potrošnikom, spremenjen UCPD zahteva razkritje dejstva personalizacije, kadar potrošnik naleti na personalizirano ceno.
• Manipulativna personalizacija: čl. 5 EU AI Act prepoveduje sisteme AI, ki uporabljajo podzavestne tehnike ali izkoriščajo ranljivosti za izkrivljanje vedenja potrošnikov. Agresivna personalizacija, ki cilja potrošnike v trenutkih kognitivne ranljivosti ali izkorišča čustvena stanja, sklepana iz predhodnih podatkov o interakciji, lahko pomeni prepovedano prakso.
• Zavajajoči z AI generirani opisi: opisi izdelkov, specifikacije ali primerjalne trditve, ki jih generira AI in so netočne ali izmišljene — vključno s haluciniranimi specifikacijami v vsebini izdelkov, ki jo generira LLM — lahko pomenijo zavajajoče poslovne prakse po UCPD.

Organi za izvrševanje in kazni

Izvrševanje obveznosti po AI Act v sektorju maloprodaje je porazdeljeno med več pristojnih organov:

• Nacionalni nadzorni organi za AI: določeni po zakonodaji vsake države članice o izvajanju AI Act. To so primerni organi za kršitve preglednosti po čl. 50 in kršitve skladnosti za visoko tvegane sisteme.
• Organi za varstvo potrošnikov: nacionalne agencije za varstvo potrošnikov in mreža BEUC bodo posebej aktivni pri spremljanju razkritja chatbotov, označevanja z AI generirane vsebine in praks AI, ki mejijo na UCPD. Mreža za sodelovanje pri varstvu potrošnikov (CPC) omogoča usklajeno izvrševanje med državami članicami.
• Organi za varstvo podatkov: ohranijo sočasno pristojnost izvrševanja po GDPR za profiliranje strank, avtomatizirano odločanje in incidente obdelave biometričnih podatkov.
• Inšpektorati za delo: v državah članicah z učinkovitimi režimi inšpekcije dela — Francija (DREETS), Nemčija (Gewerbeaufsicht) in Španija (Inspección de Trabajo) — je nadzor zaposlenih na podlagi AI, ki krši delovno pravo ali pravice soodločanja, predmet preiskave neodvisno od postopkov po AI Act.

Izpostavljenost kaznim po AI Act: kršitve obveznosti preglednosti iz čl. 50 so kaznovane z globami do 15 milijonov EUR ali 3 % skupnega letnega prometa v celotnem svetu, kar je višje. Kršitve prepovedanih praks (čl. 5) so kaznovane z globami do 35 milijonov EUR ali 7 % skupnega letnega prometa v celotnem svetu. Globe po GDPR se kumulativno prištevajo. Za velike operaterje e-trgovine z globalnimi prihodki meja 7 % pomeni znatno finančno izpostavljenost.

Načrt za zagotavljanje skladnosti za trgovce in operaterje klicnih centrov

Strukturiran program zagotavljanja skladnosti z AI Act za sektor maloprodaje mora po vrsti obravnavati naslednje:

1. Popis sistemov AI: katalogizirati vse orodja AI, ki se uporabljajo prek kanalov na strani strank (spletno mesto, aplikacija, telefon, družbena omrežja), tržnih in trgovinskih funkcij (določanje cen, priporočila, generiranje vsebine) ter poslovanja klicnih centrov (coaching, ocenjevanje, nadzor). Za vsak sistem ugotoviti, ali gre za splošno namensko orodje, sistem z obveznostjo preglednosti ali potencialno visoko tveganega.

2. Revizija razkritja chatbotov in glasovnih botov: preveriti vse vpeljave pogovorne AI glede skladnosti s čl. 50(1). Potrditi, da je razkritje izrecno, podano ob prvem stiku in da se ne opira na sklepanje potrošnika. Ustrezno posodobiti besedilo vmesnikov za klepet, scenarije IVR in besedilo centra za pomoč.

3. Kartiranje prepoznavanja čustev: identificirati vse sisteme — na strani strank in na strani agentov — ki sklepajo o čustvenih ali afektivnih stanjih. Uvesti obvestila po čl. 50(2) za vse sisteme v obsegu. Za sisteme na strani agentov oceniti razvrstitev v Prilogo III, kat. 4, in začeti načrtovanje skladnosti za visoko tvegane sisteme.

4. Revizija sintetičnih medijev: revidirati vse marketinške materiale, slike izdelkov in vsebine blagovnih znamk glede komponent, generiranih z AI. Uvesti delovni tok označevanja po čl. 50(4) — zagotoviti, da je generirana ali manipulirana vsebina identificirana pred objavo.

5. Skrbni pregled AI v klicnih centrih: za vsakega prodajalca AI, ki zagotavlja orodja za coaching, ocenjevanje ali nadzor, zahtevati potrditev razvrstitve po Prilogi III, statusa oznake CE (od 2. avgusta 2026) in navodil za uporabo. Začeti postopek posvetovanja s svetom delavcev ali soodločanja po veljavnem nacionalnem pravu.

6. Pregled profiliranja po GDPR: izvesti revizijo pravne podlage po GDPR za dejavnosti profiliranja strank. Kadar se opira na zakoniti interes, dokumentirati in vzdrževati evidence testov tehtanja. Posodobiti obvestila o zasebnosti, da odražajo prakse profiliranja, ki ga poganja AI.

7. Preverjanje skladnosti z UCPD: preveriti razkritje personaliziranih cen, prakse generiranja ocen in delovne tokove z AI generirane vsebine glede na zahteve UCPD, vključno s spremembami Direktive Omnibus, kot so bile uzakonjene v zadevnih državah članicah.

8. Odziv na incidente in upravljanje: vzpostaviti lastništvo upravljanja AI — praviloma znotraj pravnih, DPO, compliance in digitalnih/tehnoloških funkcij — z dokumentiranimi postopki za eskalacijo incidentov, ki vključujejo kršitve čl. 50 ali pritožbe zaposlenih v zvezi z AI za nadzor.

Trgovci in operaterji klicnih centrov, ki so AI zgodaj vgradili v svoje procese za stranke in operativne procese, imajo najširšo površino za zagotavljanje skladnosti. Obveznosti preglednosti iz čl. 50 se že uporabljajo; obveznosti za visoko tvegane sisteme AI za nadzor zaposlenih zahtevajo pripravo na ravni programa pred 2. avgustom 2026.