Maloprodaja, e-trgovina i pozivni centri — usklađenost s EU AI aktom

Obveze prema EU AI aktu za maloprodaju i pozivne centre: objava o chatbotovima, transparentnost prepoznavanja emocija, nadzor zaposlenika i korisnički AI. Obuhvaća čl. 50 i Prilog III.

Maloprodaja, e-trgovina i pozivni centri pod EU AI aktom

Sektor maloprodaje i e-trgovine jedan je od najintenzivnijih primjenjivača umjetne inteligencije. Od trenutka kada kupac dođe na web-stranicu, AI određuje koji se proizvodi prikazuju, koja se cijena nudi, koje se promocije ističu i kako se rješavaju upiti korisničke podrške. U pozivnim centrima, AI u stvarnom vremenu podučava agente, ocjenjuje razgovore i zaključuje emocije klijenata iz glasovnih signala. EU AI akt, na snazi od 1. kolovoza 2024. s ključnim obvezama transparentnosti koje se primjenjuju od 2. veljače 2025. i visokorizičnim obvezama od 2. kolovoza 2026., nameće strukturirani okvir usklađivanja na ovom području.

Ključno je da AI akt ne tretira sve maloprodajne AI sustave jednako. Uredba pravi preciznu razliku između sustava koji podliježu samo obvezama transparentnosti — što je većina AI sustava u maloprodaji okrenuta prema potrošačima — i sustava svrstanih u visokorizične, koji nose cjelokupan skup obveza: ocjenu sukladnosti, tehničku dokumentaciju, sustave upravljanja kvalitetom i zahtjeve za ljudskim nadzorom. Razumijevanje koji se kategorija primjenjuje na svaki raspoređeni sustav temeljni je zadatak usklađivanja za maloprodavatelje i operatere pozivnih centara.

Na sektor se istovremeno primjenjuju GDPR, Direktiva o pravima potrošača (2011/83/EU), Direktiva o nepoštenim komercijalnim praksama (2005/29/EZ), Uredba P2B (EU 2019/1150) te, za pozivne centre, nacionalni radnopravni propisi o nadzoru zaposlenika. AI akt dodaje sloj, ali ne zamjenjuje te postojeće okvire.

Obveze transparentnosti prema čl. 50 — Primarni sloj usklađivanja

Za većinu AI implementacija u maloprodaji i e-trgovini, čl. 50 EU AI akta je mjerodavna odredba. Njegove obveze primjenjuju se od 2. veljače 2025. i ne ovise o visokorizičnoj klasifikaciji. Neusklađenost može biti sankcionirana neovisno o vremenskom roku za visokorizične sustave.

Objava o chatbotovima i konverzacijskom AI-ju — čl. 50(1)

Čl. 50(1) nameće obveznu obvezu objave svakom primatelju konverzacijskog AI sustava — sustava dizajniranog za interakciju s ljudima putem prirodnog jezika — da obavijesti korisnike da komuniciraju s AI-jem, osim ako to nije očigledno iz okolnosti.

U kontekstu maloprodaje ova se obveza primjenjuje na:

• Chatbotove na web-stranicama i live chat botove — uključujući chat widgete pokretane velikim jezičnim modelima, pravilo-temeljene chatbotove s AI-poboljšanim razumijevanjem i hibridne sustave.
• Voicebotove i IVR AI — automatizirane telefonske sustave koji rješavaju dolazne upite klijenata putem glasovnog AI-ja, uključujući AI-poboljšane sustave interaktivnog glasovnog odgovora.
• Virtualne asistente unutar aplikacija — AI-pokretane funkcije pomoći ugrađene u aplikacije maloprodavatelja, aplikacije programa lojalnosti ili bankarsko-susjednih aplikacija koje nude maloprodavatelji.
• Botove za korisničku podršku na društvenim mrežama — AI agente koji odgovaraju na poruke na WhatsAppu, Instagramu ili Messengeru u ime maloprodavatelja.

Iznimka za "očiglednost iz okolnosti" je uska. Chatbot nazvan "Emma" ili opisan kao "virtualni asistent" ne zadovoljava taj prag. Zaglavlje koje prikazuje "Sada razgovarate s automatiziranim AI sustavom — nijedan ljudski agent nije uključen" bilo bi dostatno. Maloprodavatelji ne smiju se oslanjati na zaključivanje potrošača — objava mora biti izričita, dana pri ili prije prve interakcije i predstavljena na način razumljiv prosječnom potrošaču.

Obveza pada na primatelja — maloprodavatelja ili operatera pozivnog centra — a ne isključivo na pružatelja tehnologije. Ugovorne odredbe kojima se odgovornost za objavu prenosi na dobavljača ne oslobađaju primatelja od regulatorne obveze.

Objava o prepoznavanju emocija — čl. 50(2)

Čl. 50(2) zahtijeva da svaka osoba izložena sustavu za prepoznavanje emocija bude obaviještena o njegovu radu. Sustav za prepoznavanje emocija je AI sustav koji zaključuje emocionalna stanja iz fizioloških ili bihevioralnih signala — izraza lica, tona glasa, ritma govora, odabira riječi ili mikroizraza.

U sektoru maloprodaje i pozivnih centara ova se obveza primjenjuje na:

• Analizu raspoloženja klijenata u pozivima — AI koji analizira akustičke ili lingvističke značajke glasa klijenta kako bi zaključio frustraciju, zadovoljstvo ili emocionalno stanje tijekom interakcije s pozivnim centrom. Klijent mora biti obaviješten da se ova analiza odvija.
• Analitiku klijenata u prodavaonicama — AI-omogućene kamerine sustave koji pokušavaju zaključiti emocije ili pažnju kupca iz izraza lica. Gdje sustav odgovara definiciji prepoznavanja emocija, potrebna je objava u prodavaonici.
• Glasovnu analizu agenata — analiza raspoloženja ili emocija primijenjena na vlastiti glas agenta pozivnog centra (razrađeno dalje u odjeljku o nadzoru zaposlenika).

Objava mora biti dana prije nego što sustav za prepoznavanje emocija počne obrađivati. Za telefonske kanale ovo tipično zahtijeva IVR obavijest ili usmenu obavijest na početku poziva. Šutnja — uključujući audio upite koji samo upućuju na snimanje poziva bez spominjanja AI analize emocija — ne zadovoljava obvezu iz čl. 50(2).

Sintetički mediji generirani AI-jem — čl. 50(4)

Čl. 50(4) zahtijeva da mediji generirani ili manipulirani AI-jem — slike, videozapisi i audio — budu označeni kao umjetno generirani ili manipulirani kada postoji rizik da će ih korisnici smatrati autentičnima.

Maloprodajno specifične primjene koje su u opsegu uključuju:

• Slike proizvoda generirane AI-jem: slike proizvoda, prostorija ili životnih scena koje je proizveo generativni AI i koje su predstavljene kao autentična fotografija u popisima proizvoda ili oglašavanju.
• Promotivni videozapis generiran AI-jem: videozapisi marke, sadržaj nalik svjedočanstvima ili marketinški materijali gdje je vizualni ili audio sadržaj u velikoj mjeri generiran AI-jem.
• Glasovna naracija generirana ili klonirana AI-jem koja se koristi u demonstracijama proizvoda, brendiranom sadržaju ili komunikaciji s klijentima.
• AI za virtualno isprobavanje koji generira sintetičke slike klijenta koji nosi ili koristi proizvod — gdje je izlaz predstavljen kao točan prikaz.

Obveza označavanja ne zahtijeva da AI podrijetlo bude prikriveno da bi se pokrenulo usklađivanje — standard je je li potrošač s razlogom mogao zamijeniti sadržaj za autentičnu fotografiju ili videozapis. Neoznačavanje također stvara izloženost prema Direktivi o nepoštenim komercijalnim praksama (2005/29/EZ), koja zabranjuje korištenje uredničkog sadržaja za promicanje proizvoda bez jasnog navođenja da je plaćen ili umjetno proizveden.

AI za nadzor zaposlenika u pozivnim centrima — visokorizična klasifikacija

Pozivni centri rutinski raspoređuju AI za praćenje, ocjenjivanje, evaluaciju i coaching agenata u stvarnom vremenu. Gdje ti sustavi prelaze u područje Priloga III, kategorije 4, primjenjuju se potpune visokorizične obveze.

AI za coaching agenata i smjernice u stvarnom vremenu

AI za coaching agenata u stvarnom vremenu — sustavi koji prate žive pozive i agentima pružaju smjernice unutar poziva, skripte, upite za usklađenost ili povratne informacije o emocionalnom stanju — nalazi se na raskrižju kat. 4(b) i kat. 4(c). Gdje sustav prati sukladnost agenta s ugovornim obvezama (standardi rukovanja pozivima, regulatorne skripte), primjenjuje se kat. 4(b). Gdje zaključuje emocionalno ili bihevioralno stanje agenta i iz tog zaključivanja generira upozorenja ili zastavice učinka, primjenjuje se kat. 4(c).

Obje podkategorije pokreću cjelokupan skup visokorizičnih obveza:

• Sustav upravljanja rizicima prema čl. 9: kontinuirana identifikacija, evaluacija i ublažavanje rizika za agente i klijente koji komuniciraju sa sustavom.
• Upravljanje podacima prema čl. 10: skupovi podataka za obučavanje moraju biti relevantni, reprezentativni i upravljani radi minimiziranja diskriminatornih pristranosti.
• Tehnička dokumentacija prema čl. 11 i Prilogu IV: sveobuhvatna dokumentacija dizajna sustava, namijenjene svrhe, ograničenja, mjernih podataka učinka i rezultata testiranja.
• Transparentnost prema primateljima prema čl. 13: pružatelji moraju osigurati upute za korištenje koje uključuju informacije o ograničenjima sustava, uvjetima rada i predvidivim rizicima.
• Ljudski nadzor prema čl. 14: primatelji moraju odrediti osobe s ovlastima, kompetencijama i vremenom za intervenciju ili nadjačavanje izlaza sustava.
• Točnost i robusnost prema čl. 15: sustavi moraju pouzdano raditi unutar navedenih parametara.

AI za ocjenjivanje kvalitete i procjenu učinka

AI sustavi koji dodjeljuju ocjene kvalitete pozivima, generiraju rangiranja učinka agenata ili proizvode izlaze koji se koriste u procesima ocjenjivanja, određivanja bonusa ili otkaza spadaju u Prilog III, kat. 4(b) kao sustavi koji se koriste za odluke o napredovanju, dodjeli zadataka ili nadzoru ugovornih obveza. Visokorizične obveze primjenjuju se u cijelosti.

Operateri moraju dodatno ispuniti zahtjev za objavom iz čl. 50(2) za agente koji podliježu komponentama prepoznavanja emocija unutar tih sustava — neovisno o vremenskom roku usklađivanja za visokorizične sustave.

Obveze nacionalnog radnog prava

AI za nadzor zaposlenika u pozivnim centrima pokreće nacionalna prava suodlučivanja i savjetovanja neovisno o AI aktu. U Njemačkoj, Betriebsverfassungsgesetz §87(1) br. 6 daje radničkim vijećima obvezujuća prava suodlučivanja nad tehničkim nadzornim uređajima; AI nadzorni sustavi zahtijevaju suglasnost radničkog vijeća prije raspoređivanja. Istovjetna prava primjenjuju se u Nizozemskoj (WOR čl. 27), Austriji (ArbVG §96) i Francuskoj (Code du Travail L. 2312-38). Te obveze ne mogu se odgoditi do roka AI akta za visokorizične sustave 2026. godine.

AI okrenuti prema klijentima koji nisu visokorizični

Značajan dio maloprodajnog AI-ja nije svrstан u visokorizičan prema Prilogu III. Sljedeće kategorije nisu izričito navedene u Prilogu III i ne zahtijevaju ocjenu sukladnosti prema AI aktu:

• Mehanizmi za preporuku proizvoda — AI koji personalizira prijedloge proizvoda na temelju povijesti pregledavanja, obrazaca kupnje ili kolaborativnog filtriranja.
• Sustavi dinamičnog određivanja cijena — AI koji prilagođava cijene u stvarnom vremenu na temelju potražnje, zaliha, cijena konkurencije ili segmenata potrošača.
• Predviđanje potražnje za zalihama — AI koji predviđa potrebe za zalihama na razini SKU-a ili kategorije.
• Modeli za predviđanje odljeva klijenata — AI koji ocjenjuje vjerojatnost gubitka klijenata za ciljanje kampanja zadržavanja.
• Personalizacija pretraživanja — AI koji ponovno rangira rezultate pretraživanja na maloprodajnim web-stranicama na temelju individualnih ili skupnih signala.
• Otkrivanje prijevara pri povratima — AI koji ocjenjuje zahtjeve za povratom zbog potencijalne prijevare, gdje izlaz ulazi u proces odlučivanja uz ljudski pregled.

Ti sustavi ipak podliježu GDPR-u gdje uključuju individualno profiliranje klijenata. Bihevioralna analitika, agregacija povijesti kupnje i praćenje između web-stranica zahtijevaju zakonitu osnovu prema čl. 6 GDPR-a — tipično legitimni interes (koji zahtijeva dokumentirani test balansiranja) ili pristanak. Gdje profiliranje proizvodi odluke sa značajnim učincima na pojedine potrošače — primjerice, suspenzija korisničkog računa na temelju ocjene prijevare — može se primjenjivati čl. 22 GDPR-a, koji zahtijeva ljudski pregled automatiziranih odluka.

Uredba P2B (EU 2019/1150) nameće zahtjeve transparentnosti za algoritme rangiranja koji se koriste na mrežnim tržnicama i alatima za usporedbu — operateri moraju objaviti glavne parametre koji određuju rangiranje i relativnu važnost tih parametara. AI-vođeno rangiranje nije izuzeto.

Zaštita potrošača i Direktiva o nepoštenim komercijalnim praksama

Komercijalne prakse vođene AI-jem u maloprodaji stvaraju dodatnu izloženost prema Direktivi o nepoštenim komercijalnim praksama (2005/29/EZ), posebno nakon izmjena Omnibus direktive koje su na snazi u državama članicama od 2022. godine nadalje:

• Lažne recenzije generirane AI-jem: UCPD, kako je izmijenjen, izričito zabranjuje podnošenje lažnih recenzija potrošača i korištenje usluga uređivanja recenzija koje ne otkrivaju uključenost AI-ja. Recenzije proizvoda generirane AI-jem i podnijete kao autentične recenzije potrošača su protuzakonite.
• Personalizirano određivanje cijena bez objave: gdje maloprodavatelj koristi AI za prezentiranje individualnih prilagođenih cijena određenim potrošačima na temelju profiliranja, izmijenjeni UCPD zahtijeva objavu činjenice personalizacije kada potrošač naiđe na personaliziranu cijenu.
• Manipulativna personalizacija: čl. 5 EU AI akta zabranjuje AI sustave koji koriste podpražne tehnike ili iskorištavaju ranjivosti za iskrivljavanje ponašanja potrošača. Agresivna personalizacija koja cilja potrošače u trenucima kognitivne ranjivosti ili iskorištava emocionalna stanja zaključena iz prethodnih podataka o interakciji može predstavljati zabranjenu praksu.
• Obmanjujući opisi generirani AI-jem: opisi proizvoda, specifikacije ili komparativne tvrdnje generirane AI-jem koje su netočne ili izmišljene — uključujući halucirane specifikacije u sadržaju proizvoda generiranom velikim jezičnim modelima — mogu predstavljati obmanjujuće komercijalne prakse prema UCPD-u.

Tijela za provedbu i kazne

Provedba obveza AI akta u sektoru maloprodaje raspoređena je na više nadležnih tijela:

• Nacionalna nadzorna tijela za AI: određena prema zakonodavstvu o primjeni AI akta svake države članice. To su primarna tijela za kršenja transparentnosti prema čl. 50 i za kršenja visokorizične usklađenosti.
• Tijela za zaštitu potrošača: nacionalne agencije za zaštitu potrošača i mreža BEUC bit će posebno aktivne u praćenju objave o chatbotovima, označavanja sadržaja generiranog AI-jem i praksi AI-ja susjednih UCPD-u. Mreža za suradnju u zaštiti potrošača (CPC) omogućuje koordiniranu provedbu u državama članicama.
• Tijela za zaštitu podataka: zadržavaju paralelnu nadležnost provedbe prema GDPR-u za profiliranje klijenata, automatizirano donošenje odluka i incidente obrade biometrijskih podataka.
• Inspekcije rada: u državama članicama s jakim sustavima inspekcije rada — Francuska (DREETS), Njemačka (Gewerbeaufsicht) i Španjolska (Inspección de Trabajo) — AI-temeljeni nadzor zaposlenika koji krši radno pravo ili obveze suodlučivanja podliježe istrazi neovisno o postupcima prema AI aktu.

Izloženost kaznama prema AI aktu: kršenja obveza transparentnosti iz čl. 50 nose novčane kazne do 15 milijuna eura ili 3% ukupnog godišnjeg globalnog prometa, ovisno o tome što je više. Kršenja zabranjenih praksi (čl. 5) nose novčane kazne do 35 milijuna eura ili 7% ukupnog godišnjeg globalnog prometa. Novčane kazne prema GDPR-u primjenjuju se kumulativno. Za velike operatere e-trgovine s globalnim prihodima, strop od 7% predstavlja značajnu financijsku izloženost.

Plan usklađivanja za maloprodavatelje i operatere pozivnih centara

Strukturirani program usklađivanja s AI aktom za sektor maloprodaje trebao bi redom obuhvatiti sljedeće:

1. Popis AI sustava: katalogizirati sve AI alate koji se koriste u kanalima okrenutim prema klijentima (web-stranica, aplikacija, telefon, društvene mreže), marketinškim i merchandising funkcijama (određivanje cijena, preporuke, generiranje sadržaja) te operacijama pozivnog centra (coaching, ocjenjivanje, nadzor). Za svaki sustav utvrditi je li to alat opće namjene, sustav s obvezom transparentnosti ili potencijalno visokorizičan.

2. Revizija objave za chatbotove i voicebotove: pregledati sve implementacije konverzacijskog AI-ja radi usklađenosti s čl. 50(1). Provjeriti je li objava izričita, dana pri prvoj interakciji i ne oslanja se na zaključivanje potrošača. Ažurirati tekst chat sučelja, IVR skripte i jezik help centra u skladu s tim.

3. Mapiranje prepoznavanja emocija: identificirati sve sustave — okrenute prema klijentima i prema agentima — koji zaključuju emocionalna ili afektivna stanja. Implementirati obavijesti iz čl. 50(2) za sve sustave u opsegu. Za sustave okrenute prema agentima, procijeniti klasifikaciju prema Prilogu III, kat. 4, i pokrenuti planiranje visokorizičnog usklađivanja.

4. Revizija sintetičkih medija: revidirati sve marketinške materijale, slike proizvoda i brendirani sadržaj radi AI-generiranih komponenti. Implementirati tijek rada označavanja prema čl. 50(4) — osiguravajući da se generirani ili manipulirani sadržaj identificira prije objave.

5. Dubinska analiza AI u pozivnim centrima: za svakog AI dobavljača koji isporučuje alate za coaching, ocjenjivanje ili nadzor, zatražiti potvrdu o klasifikaciji prema Prilogu III, statusu CE oznake (od 2. kolovoza 2026.) i uputama za korištenje. Pokrenuti savjetovanje s radničkim vijećem ili postupke suodlučivanja prema primjenjivom nacionalnom pravu.

6. GDPR pregled profiliranja: provesti reviziju zakonite osnove GDPR-a za aktivnosti profiliranja klijenata. Gdje se oslanja na legitimni interes, dokumentirati i čuvati evidenciju testova balansiranja. Ažurirati obavijesti o privatnosti radi odražavanja praksi profiliranja vođenih AI-jem.

7. Provjera usklađenosti s UCPD-om: pregledati objavu personaliziranog određivanja cijena, prakse generiranja recenzija i tijekove rada sadržaja generiranog AI-jem u odnosu na zahtjeve UCPD-a, uključujući izmjene Omnibus direktive onako kako su prenesene u relevantnim državama članicama.

8. Odgovor na incidente i upravljanje: uspostaviti vlasništvo nad AI upravljanjem — tipično unutar pravnih, DPO, compliance i digitalnih/tehnoloških funkcija — s dokumentiranim postupcima eskalacije za incidente koji uključuju kršenja čl. 50 ili pritužbe zaposlenika u vezi s AI nadzorom.

Maloprodavatelji i operateri pozivnih centara koji su rano ugradili AI u svoje korisničke i operativne tijekove rada suočavaju se s najširom površinom usklađivanja. Obveze transparentnosti iz čl. 50 već su primjenjive; visokorizične obveze za AI nadzor zaposlenika zahtijevaju pripremu na razini programa prije 2. kolovoza 2026.