Handel detaliczny, e-commerce i call center — zgodność z EU AI Act

Obowiązki wynikające z EU AI Act dla handlu detalicznego i call center: ujawnianie chatbotów, transparentność rozpoznawania emocji, monitorowanie pracowników i AI obsługi klienta. Obejmuje Art. 50 i Załącznik III.

Handel detaliczny, e-commerce i call center w świetle EU AI Act

Sektor handlu detalicznego i e-commerce jest jednym z najintensywniejszych użytkowników sztucznej inteligencji. Od momentu, gdy klient trafia na stronę internetową, AI decyduje o tym, jakie produkty są wyświetlane, jaką cenę zaproponować, które promocje pokazać i w jaki sposób obsługiwać zapytania klientów. W call center AI szkoli agentów w czasie rzeczywistym, ocenia rozmowy i wnioskuje o emocjach klientów na podstawie sygnałów głosowych. EU AI Act, obowiązujący od 1 sierpnia 2024 r., z kluczowymi obowiązkami w zakresie przejrzystości stosowanymi od 2 lutego 2025 r. i obowiązkami dotyczącymi systemów wysokiego ryzyka od 2 sierpnia 2026 r., nakłada ustrukturyzowane ramy compliance na ten obszar.

Co istotne, AI Act nie traktuje wszystkich systemów AI w handlu detalicznym tak samo. Rozporządzenie wprowadza precyzyjne rozróżnienie między systemami podlegającymi wyłącznie obowiązkom przejrzystości — a jest to większość AI skierowanego do konsumentów w handlu detalicznym — a systemami klasyfikowanymi jako systemy wysokiego ryzyka, na które nakłada się pełny zestaw obowiązków: ocenę zgodności, dokumentację techniczną, systemy zarządzania jakością i wymogi nadzoru ludzkiego. Zrozumienie, która kategoria ma zastosowanie do każdego wdrożonego systemu, jest podstawowym zadaniem compliance dla podmiotów z branży detalicznej i operatorów call center.

Sektor podlega jednocześnie przepisom GDPR, Dyrektywy o prawach konsumentów (2011/83/UE), Dyrektywy o nieuczciwych praktykach handlowych (2005/29/WE), Rozporządzenia P2B (UE 2019/1150) oraz — w przypadku call center — krajowym przepisom prawa pracy dotyczącym monitorowania pracowników. AI Act stanowi dodatkową warstwę, lecz nie zastępuje tych istniejących ram prawnych.

Obowiązki w zakresie przejrzystości na podstawie Art. 50 — podstawowa warstwa compliance

Dla większości wdrożeń AI w handlu detalicznym i e-commerce Art. 50 EU AI Act jest przepisem o zasadniczym znaczeniu. Jego obowiązki obowiązują od 2 lutego 2025 r. i nie są uzależnione od klasyfikacji systemu jako wysokiego ryzyka. Nieprzestrzeganie tych przepisów może być sankcjonowane niezależnie od harmonogramu dotyczącego systemów wysokiego ryzyka.

Ujawnianie chatbotów i konwersacyjnego AI — Art. 50(1)

Art. 50(1) nakłada obowiązkowy obowiązek informacyjny na każdego podmiotu wdrażającego konwersacyjny system AI — system zaprojektowany do interakcji z ludźmi za pomocą języka naturalnego — polegający na poinformowaniu użytkowników, że wchodzą w interakcję z AI, chyba że wynika to w sposób oczywisty z okoliczności.

W kontekście handlu detalicznego obowiązek ten dotyczy:

• Chatbotów na stronach internetowych i botów czatu na żywo — w tym widżetów czatu obsługiwanych przez duże modele językowe, chatbotów opartych na regułach z ulepszonym rozumieniem AI oraz systemów hybrydowych.
• Voicebotów i AI w systemach IVR — zautomatyzowanych systemów telefonicznych obsługujących przychodzące zapytania klientów przez głosowe AI, w tym systemów interaktywnej obsługi telefonicznej (IVR) ulepszonych przez AI.
• Wirtualnych asystentów w aplikacjach — funkcji pomocy opartych na AI wbudowanych w aplikacje sklepów, aplikacje programów lojalnościowych lub aplikacje bankowe zbliżone do tych oferowanych przez sprzedawców detalicznych.
• Botów obsługi klienta w mediach społecznościowych — agentów AI odpowiadających na wiadomości na WhatsApp, Instagramie lub Messengerze w imieniu sprzedawcy.

Wyjątek dla przypadków, gdy charakter AI jest „oczywisty z okoliczności", jest wąski. Chatbot o imieniu „Emma" lub opisany jako „wirtualny asystent" nie spełnia tego kryterium. Nagłówek informujący „Rozmawiasz teraz z automatycznym systemem AI — żaden agent-człowiek nie jest zaangażowany" byłby wystarczający. Sprzedawcy nie mogą polegać na domniemaniu wiedzy konsumenta — informacja musi być wyraźna, przekazana w momencie pierwszego kontaktu lub przed nim, i przedstawiona w sposób zrozumiały dla przeciętnego konsumenta.

Obowiązek spoczywa na podmiocie wdrażającym — sprzedawcy lub operatorze call center — a nie wyłącznie na dostawcy technologii. Postanowienia umowne przenoszące odpowiedzialność za informowanie na dostawcę nie zwalniają podmiotu wdrażającego z jego obowiązku regulacyjnego.

Ujawnianie systemu rozpoznawania emocji — Art. 50(2)

Art. 50(2) wymaga, aby każda osoba narażona na działanie systemu rozpoznawania emocji była informowana o jego działaniu. System rozpoznawania emocji to system AI wnioskujący stany emocjonalne z sygnałów fizjologicznych lub behawioralnych — wyrazu twarzy, tonu głosu, rytmu mowy, doboru słów lub mikroekspresji.

W sektorze handlu detalicznego i call center obowiązek ten dotyczy:

• Analizy nastrojów klientów podczas rozmów — AI analizującego akustyczne lub językowe cechy głosu klienta w celu wnioskowania o frustracji, satysfakcji lub stanie emocjonalnym podczas rozmowy z call center. Klient musi być poinformowany, że taka analiza jest prowadzona.
• Analizy zachowań klientów w sklepach stacjonarnych — systemów kamerowych opartych na AI, które próbują wnioskować o emocjach lub uwadze klientów na podstawie wyrazu twarzy. W przypadku gdy system spełnia definicję systemu rozpoznawania emocji, wymagane jest poinformowanie o tym fakcie w sklepie.
• Analizy głosu agentów — analizy nastrojów lub emocji stosowanej wobec głosu samego agenta call center (szerzej omawianej poniżej w sekcji dotyczącej monitorowania pracowników).

Informacja musi zostać przekazana przed rozpoczęciem przetwarzania przez system rozpoznawania emocji. W przypadku kanałów telefonicznych zazwyczaj wymaga to ogłoszenia IVR lub werbalnego powiadomienia na początku rozmowy. Milczenie — w tym komunikaty dźwiękowe, które informują jedynie o nagrywaniu rozmowy bez wzmianki o analizie emocji przez AI — nie spełnia obowiązku wynikającego z Art. 50(2).

Media syntetyczne wygenerowane przez AI — Art. 50(4)

Art. 50(4) wymaga, aby media wygenerowane lub zmanipulowane przez AI — obrazy, wideo i dźwięk — były oznaczane jako sztucznie wygenerowane lub zmanipulowane, gdy istnieje ryzyko, że użytkownicy uznają je za autentyczne.

Zastosowania specyficzne dla handlu detalicznego objęte zakresem tego przepisu obejmują:

• Obrazy produktów wygenerowane przez AI: zdjęcia produktów, pomieszczeń lub scen lifestyle'owych tworzone przez generatywne AI i prezentowane jako autentyczna fotografia w ofertach produktowych lub reklamach.
• Filmy promocyjne wygenerowane przez AI: filmy marki, treści w stylu referencji lub materiały marketingowe, w których treści wizualne lub dźwiękowe są w znacznej mierze wygenerowane przez AI.
• Narracja głosowa wygenerowana lub sklonowana przez AI używana w prezentacjach produktów, treściach markowych lub komunikacji z klientami.
• AI wirtualnych przymierzalni generujące syntetyczne obrazy klienta noszącego lub używającego produktu — gdy wynik jest prezentowany jako dokładne odwzorowanie.

Obowiązek oznaczania nie wymaga, aby pochodzenie z AI było ukryte, by uruchomić obowiązek compliance — standard polega na ocenie, czy konsument mógłby rozsądnie pomylić treść z autentyczną fotografią lub filmem. Brak oznaczenia stwarza również ryzyko na gruncie Dyrektywy o nieuczciwych praktykach handlowych (2005/29/WE), która zabrania wykorzystywania treści redakcyjnych do promowania produktów bez wyraźnego wskazania, że są to treści płatne lub sztucznie wytworzone.

AI monitorowania pracowników w call center — klasyfikacja jako system wysokiego ryzyka

Call center rutynowo wdrażają AI do monitorowania, oceniania, ewaluowania i szkolenia agentów w czasie rzeczywistym. W przypadku gdy systemy te wkraczają na obszar Załącznika III, kategorii 4, stosuje się pełen zestaw obowiązków dla systemów wysokiego ryzyka.

AI coachingu agentów i wskazówek w czasie rzeczywistym

AI coachingu agentów w czasie rzeczywistym — systemy monitorujące rozmowy na żywo i dostarczające agentom wskazówek podczas rozmowy, skryptów, monitów o zgodność lub informacji zwrotnych o stanie emocjonalnym — plasuje się na przecięciu kategorii 4(b) i 4(c). W przypadku gdy system monitoruje przestrzeganie przez agenta zobowiązań umownych (standardy obsługi rozmów, skrypty regulacyjne), stosuje się kategorię 4(b). W przypadku gdy wnioskuje o stanie emocjonalnym lub behawioralnym agenta i generuje alerty lub oznaczenia wydajności na podstawie tego wnioskowania, stosuje się kategorię 4(c).

Obie podkategorie uruchamiają pełny zestaw obowiązków dla systemów wysokiego ryzyka:

• System zarządzania ryzykiem na podstawie Art. 9: ciągła identyfikacja, ocena i ograniczanie ryzyk dla agentów i klientów wchodzących w interakcję z systemem.
• Zarządzanie danymi na podstawie Art. 10: zestawy danych treningowych muszą być trafne, reprezentatywne i zarządzane w sposób minimalizujący stronniczość dyskryminacyjną.
• Dokumentacja techniczna na podstawie Art. 11 i Załącznika IV: obszerna dokumentacja projektu systemu, zamierzonego przeznaczenia, ograniczeń, wskaźników wydajności i wyników testów.
• Przejrzystość wobec podmiotów wdrażających na podstawie Art. 13: dostawcy muszą dostarczać instrukcje użytkowania zawierające informacje o ograniczeniach systemu, warunkach eksploatacji i przewidywalnych ryzykach.
• Nadzór ludzki na podstawie Art. 14: podmioty wdrażające muszą wyznaczyć osoby posiadające uprawnienia, kompetencje i czas niezbędne do interweniowania w wynikach systemu lub ich nadrzędnego sterowania.
• Dokładność i niezawodność na podstawie Art. 15: systemy muszą działać niezawodnie w ramach zadeklarowanych parametrów.

AI oceniania jakości i oceny wydajności

Systemy AI przypisujące oceny jakości rozmowom, generujące rankingi wydajności agentów lub wyniki wykorzystywane w procesach oceny, ustalania premii lub decyzji o zwolnieniu mieszczą się w zakresie Załącznika III kat. 4(b) jako systemy stosowane w decyzjach o awansie, alokacji zadań lub monitorowaniu zobowiązań umownych. Obowiązki dotyczące systemów wysokiego ryzyka stosuje się w pełni.

Operatorzy muszą dodatkowo spełnić obowiązek informacyjny wynikający z Art. 50(2) w odniesieniu do agentów objętych komponentami rozpoznawania emocji w ramach tych systemów — niezależnie od harmonogramu wdrożenia obowiązków dotyczących systemów wysokiego ryzyka.

Krajowe obowiązki wynikające z prawa pracy

AI monitorowania pracowników w call center uruchamia krajowe prawa współdecydowania i konsultacji niezależnie od AI Act. W Niemczech §87(1) pkt 6 Betriebsverfassungsgesetz przyznaje radom zakładowym wiążące prawa współdecydowania w zakresie technicznych urządzeń monitorowania; systemy AI do monitorowania wymagają zgody rady zakładowej przed wdrożeniem. Równoważne prawa obowiązują w Niderlandach (WOR Art. 27), Austrii (ArbVG §96) i Francji (Code du Travail L. 2312-38). Obowiązków tych nie można odsuwać w czasie do momentu wejścia w życie przepisów AI Act dotyczących systemów wysokiego ryzyka w 2026 r.

AI skierowane do klientów, które nie jest systemem wysokiego ryzyka

Znaczna część AI w handlu detalicznym nie jest klasyfikowana jako system wysokiego ryzyka na gruncie Załącznika III. Poniższe kategorie nie są wyraźnie wymienione w Załączniku III i nie wymagają oceny zgodności na podstawie AI Act:

• Silniki rekomendacji produktów — AI personalizujące sugestie produktowe na podstawie historii przeglądania, wzorców zakupowych lub filtrowania kolaboratywnego.
• Systemy dynamicznego ustalania cen — AI dostosowujące ceny w czasie rzeczywistym na podstawie popytu, stanów magazynowych, cen konkurencji lub segmentów konsumentów.
• Prognozowanie popytu na zapasy — AI przewidujące zapotrzebowanie na stany magazynowe na poziomie SKU lub kategorii.
• Modele przewidywania odpływu klientów — AI oceniające prawdopodobieństwo odejścia klienta na potrzeby kampanii retencyjnych.
• Personalizacja wyszukiwania — AI przerankujące wyniki wyszukiwania na stronach sklepów detalicznych na podstawie sygnałów indywidualnych lub grupowych.
• Wykrywanie oszustw przy zwrotach — AI oceniające wnioski o zwrot pod kątem potencjalnych nadużyć, gdy wynik jest przekazywany do procesu decyzyjnego z udziałem człowieka.

Systemy te podlegają jednak przepisom GDPR w zakresie, w jakim obejmują indywidualne profilowanie klientów. Analityka behawioralna, agregacja historii zakupów i śledzenie między stronami wymagają podstawy prawnej przetwarzania na gruncie Art. 6 GDPR — zazwyczaj uzasadnionego interesu (wymagającego udokumentowanego testu równoważenia) lub zgody. W przypadku gdy profilowanie prowadzi do decyzji mających istotne skutki dla indywidualnych konsumentów — na przykład zawieszenia konta klienta na podstawie oceny ryzyka oszustwa — może mieć zastosowanie Art. 22 GDPR, wymagający ludzkiej weryfikacji zautomatyzowanych decyzji.

Rozporządzenie P2B (UE 2019/1150) nakłada wymogi przejrzystości na algorytmy rankingowe stosowane na platformach handlowych i narzędziach porównawczych online — operatorzy muszą ujawniać główne parametry determinujące ranking i ich względną wagę. AI-driven ranking nie jest z tego obowiązku zwolniony.

Ochrona konsumentów i Dyrektywa o nieuczciwych praktykach handlowych

Praktyki handlowe oparte na AI w handlu detalicznym stwarzają dodatkowe ryzyko na gruncie Dyrektywy o nieuczciwych praktykach handlowych (2005/29/WE), w szczególności po zmianach wprowadzonych Dyrektywą Omnibus, obowiązujących w państwach członkowskich od 2022 r.:

• Fałszywe recenzje wygenerowane przez AI: UCPD, w zmienionym brzmieniu, wyraźnie zabrania składania fałszywych recenzji konsumenckich i korzystania z serwisów kuratorowania recenzji, które nie ujawniają zaangażowania AI. Recenzje produktów wygenerowane przez AI i składane jako autentyczne recenzje konsumenckie są niezgodne z prawem.
• Spersonalizowane ceny bez ujawnienia: w przypadku gdy sprzedawca stosuje AI do prezentowania indywidualnie dostosowanych cen konkretnym konsumentom na podstawie profilowania, zmieniony UCPD wymaga ujawnienia faktu personalizacji w momencie, gdy konsument styka się z ceną spersonalizowaną.
• Manipulacyjna personalizacja: Art. 5 EU AI Act zabrania systemów AI stosujących techniki podprogowe lub exploitujących podatności w celu zniekształcenia zachowań konsumentów. Agresywna personalizacja ukierunkowana na konsumentów w momentach podatności poznawczej lub wyzyskująca stany emocjonalne wywnioskowane z wcześniejszych danych o interakcjach może stanowić zakazaną praktykę.
• Wprowadzające w błąd opisy wygenerowane przez AI: opisy produktów, specyfikacje lub twierdzenia porównawcze generowane przez AI, które są niedokładne lub sfabrykowane — w tym sfikcjonalizowane specyfikacje w treściach produktowych tworzonych przez LLM — mogą stanowić wprowadzające w błąd praktyki handlowe na gruncie UCPD.

Organy egzekucyjne i sankcje

Egzekwowanie obowiązków AI Act w sektorze handlu detalicznego jest rozłożone na wiele właściwych organów:

• Krajowe organy nadzoru AI: wyznaczane na podstawie przepisów wdrożeniowych AI Act w poszczególnych państwach członkowskich. Są to główne organy właściwe w zakresie naruszeń obowiązków przejrzystości wynikających z Art. 50 i naruszeń wymogów compliance dla systemów wysokiego ryzyka.
• Organy ochrony konsumentów: krajowe agencje konsumenckie i sieć BEUC będą szczególnie aktywne w monitorowaniu ujawniania chatbotów, oznaczania treści generowanych przez AI i praktyk AI zbliżonych do naruszeń UCPD. Sieć Współpracy w zakresie Ochrony Konsumenta (CPC) umożliwia skoordynowane egzekwowanie w państwach członkowskich.
• Organy ochrony danych: zachowują równoległą jurysdykcję egzekucyjną na gruncie GDPR w odniesieniu do profilowania klientów, automatycznego podejmowania decyzji i incydentów dotyczących przetwarzania danych biometrycznych.
• Inspekcje pracy: w państwach członkowskich z silnymi systemami inspekcji pracy — Francji (DREETS), Niemczech (Gewerbeaufsicht) i Hiszpanii (Inspección de Trabajo) — AI-based monitorowanie pracowników naruszające przepisy prawa pracy lub prawa współdecydowania podlega dochodzeniu niezależnie od postępowań prowadzonych na gruncie AI Act.

Narażenie na sankcje na gruncie AI Act: naruszenia obowiązków przejrzystości wynikających z Art. 50 podlegają karom w wysokości do 15 mln EUR lub 3% całkowitego rocznego obrotu globalnego, w zależności od tego, która z tych kwot jest wyższa. Naruszenia zakazanych praktyk (Art. 5) podlegają karom w wysokości do 35 mln EUR lub 7% całkowitego rocznego obrotu globalnego. Kary wynikające z GDPR stosuje się kumulatywnie. Dla dużych operatorów e-commerce o globalnych przychodach pułap 7% stanowi istotne narażenie finansowe.

Plan działań compliance dla podmiotów detalicznych i operatorów call center

Ustrukturyzowany program compliance z AI Act dla sektora detalicznego powinien obejmować następujące działania w kolejności:

1. Inwentaryzacja systemów AI: sporządzenie katalogu wszystkich narzędzi AI stosowanych w kanałach skierowanych do klientów (strona internetowa, aplikacja, telefon, media społecznościowe), funkcjach marketingowych i merchandisingowych (ceny, rekomendacje, generowanie treści) oraz operacjach call center (coaching, ocenianie, monitorowanie). Dla każdego systemu należy ustalić, czy jest to narzędzie ogólnego przeznaczenia, system podlegający obowiązkom przejrzystości, czy potencjalnie system wysokiego ryzyka.

2. Audyt ujawniania chatbotów i voicebotów: przegląd wszystkich wdrożeń konwersacyjnego AI pod kątem zgodności z Art. 50(1). Weryfikacja, że informacja jest wyraźna, przekazana przy pierwszym kontakcie i nie opiera się na domniemaniu wiedzy konsumenta. Aktualizacja treści interfejsu czatu, skryptów IVR i języka centrum pomocy.

3. Mapowanie systemów rozpoznawania emocji: identyfikacja wszystkich systemów — skierowanych do klientów i do agentów — wnioskujących o stanach emocjonalnych lub afektywnych. Wdrożenie powiadomień na podstawie Art. 50(2) dla wszystkich systemów objętych zakresem. Dla systemów skierowanych do agentów ocena klasyfikacji w ramach Załącznika III kat. 4 i zainicjowanie planowania compliance dla systemów wysokiego ryzyka.

4. Audyt mediów syntetycznych: audyt wszystkich zasobów marketingowych, grafiki produktowej i treści markowych pod kątem komponentów wygenerowanych przez AI. Wdrożenie procesu oznaczania na podstawie Art. 50(4) — zapewnienie identyfikacji wygenerowanych lub zmanipulowanych treści przed ich publikacją.

5. Należyta staranność w zakresie AI call center: dla każdego dostawcy AI dostarczającego narzędzia coachingowe, oceniające lub monitorowania należy zażądać potwierdzenia klasyfikacji na gruncie Załącznika III, statusu oznakowania CE (od 2 sierpnia 2026 r.) i instrukcji użytkowania. Zainicjowanie konsultacji z radą zakładową lub procedur współdecydowania na podstawie właściwego prawa krajowego.

6. Przegląd profilowania na gruncie GDPR: przeprowadzenie audytu podstawy prawnej przetwarzania dla działań profilowania klientów. W przypadku gdy podstawą jest uzasadniony interes, należy udokumentować i utrzymywać zapisy testów równoważenia. Aktualizacja informacji o ochronie prywatności w celu odzwierciedlenia praktyk profilowania opartego na AI.

7. Weryfikacja zgodności z UCPD: przegląd ujawniania spersonalizowanych cen, praktyk generowania recenzji i procesów tworzenia treści przez AI w oparciu o wymogi UCPD, w tym zmiany wprowadzone Dyrektywą Omnibus w jej brzmieniu przyjętym w poszczególnych państwach członkowskich.

8. Reagowanie na incydenty i ład organizacyjny: ustanowienie właścicielstwa obszaru ładu nad AI — zazwyczaj na poziomie funkcji prawnej, IOD, compliance oraz cyfrowej/technologicznej — z udokumentowanymi procedurami eskalacji dotyczącymi incydentów związanych z naruszeniami Art. 50 lub skargami pracowniczymi dotyczącymi AI monitorowania.

Podmioty detaliczne i operatorzy call center, którzy we wczesnym etapie włączyli AI do swoich procesów obsługi klientów i operacyjnych, mają najszerszą powierzchnię compliance. Obowiązki przejrzystości wynikające z Art. 50 już obowiązują; obowiązki dotyczące systemów wysokiego ryzyka dla AI monitorowania pracowników wymagają przygotowań na poziomie programu przed 2 sierpnia 2026 r.