Einzelhandel, E-Commerce & Callcenter — EU AI Act Compliance

EU AI Act Pflichten für Einzelhandel und Callcenter: Chatbot-Offenlegung, Transparenz bei Emotionserkennung, Mitarbeiterüberwachung und Kunden-KI. Behandelt Art. 50 und Annex III.

Einzelhandel, E-Commerce und Callcenter im Rahmen des EU AI Act

Der Einzel- und E-Commerce-Sektor gehört zu den intensivsten Anwendern künstlicher Intelligenz. Vom ersten Besuch einer Website an steuert KI, welche Produkte angezeigt werden, welcher Preis geboten wird, welche Aktionen sichtbar sind und wie Kundenserviceanfragen bearbeitet werden. In Callcentern coacht KI Mitarbeiter in Echtzeit, bewertet Gespräche und leitet aus Stimmsignalen den emotionalen Zustand von Kunden ab. Der EU AI Act, der seit dem 1. August 2024 in Kraft ist und für den wichtige Transparenzpflichten ab dem 2. Februar 2025 sowie Hochrisiko-Pflichten ab dem 2. August 2026 gelten, schafft einen strukturierten Compliance-Rahmen für diesen Sektor.

Wesentlich ist: Der AI Act behandelt nicht alle KI-Systeme im Einzelhandel als gleichwertig. Die Verordnung trifft eine präzise Unterscheidung zwischen Systemen, die ausschließlich Transparenzpflichten unterliegen — die Mehrheit der verbraucherorientierten Einzel­handels-KI — und Systemen, die als hochriskant eingestuft werden und den vollständigen Pflichtenkatalog tragen: Konformitätsbewertung, technische Dokumentation, Qualitätsmanagementsysteme und Anforderungen an die menschliche Aufsicht. Die Bestimmung, welche Kategorie auf jedes eingesetzte System zutrifft, ist die grundlegende Compliance-Aufgabe für Einzel­händler und Callcenter-Betreiber.

Der Sektor unterliegt gleichzeitig der GDPR, der Verbraucherrechterichtlinie (2011/83/EU), der Richtlinie über unlautere Geschäftspraktiken (2005/29/EG), der P2B-Verordnung (EU 2019/1150) sowie — für Callcenter — nationalen arbeitsrechtlichen Regelungen zur Mitarbeiterüberwachung. Der AI Act bildet eine zusätzliche Schicht, ersetzt aber diese bestehenden Rechtsrahmen nicht.

Art. 50 Transparenzpflichten — Die primäre Compliance-Ebene

Für die Mehrheit der KI-Einsätze im Einzel- und E-Commerce-Bereich ist Art. 50 des EU AI Act die maßgebliche Vorschrift. Die daraus resultierenden Pflichten gelten ab dem 2. Februar 2025 und sind nicht von einer Hochrisiko-Einstufung abhängig. Verstöße können unabhängig vom Hochrisiko-Zeitplan sanktioniert werden.

Offenlegungspflicht für Chatbots und konversationelle KI — Art. 50(1)

Art. 50(1) begründet eine verbindliche Offenlegungspflicht für jeden Betreiber eines konversationellen KI-Systems — eines Systems, das dafür ausgelegt ist, in natürlicher Sprache mit Menschen zu interagieren — dahingehend, Nutzer darüber zu informieren, dass sie mit einem KI-System interagieren, sofern dies nicht aus den Umständen offensichtlich ist.

Im Einzelhandelskontext gilt diese Pflicht für:

• Website-Chatbots und Live-Chat-Bots — einschließlich Chat-Widgets, die auf großen Sprachmodellen basieren, regelbasierte Chatbots mit KI-gestütztem Sprachverständnis und hybride Systeme.
• Voicebots und IVR-KI — automatisierte Telefonsysteme, die eingehende Kundenanfragen über sprachbasierte KI bearbeiten, einschließlich KI-gestützter interaktiver Sprachdialogsysteme.
• In-App-Assistenten — KI-gestützte Hilfsfunktionen, die in Einzelhandels-Apps, Treueprogramm-Apps oder banknahe Apps von Händlern eingebettet sind.
• Social-Media-Kundenservice-Bots — KI-Agenten, die im Auftrag eines Händlers auf Nachrichten über WhatsApp, Instagram oder Messenger reagieren.

Die Ausnahme für „aus den Umständen offensichtlich" ist eng auszulegen. Ein Chatbot namens „Emma" oder ein als „virtueller Assistent" bezeichnetes System erfüllt diese Schwelle nicht. Ein Header mit dem Text „Sie sprechen jetzt mit einem automatisierten KI-System — kein menschlicher Mitarbeiter ist beteiligt" würde ausreichen. Händler dürfen sich nicht auf Rückschlüsse der Verbraucher verlassen — der Hinweis muss ausdrücklich sein, beim oder vor dem ersten Kontakt erteilt werden und in einer für den durchschnittlichen Verbraucher verständlichen Weise präsentiert werden.

Die Pflicht liegt beim Betreiber — dem Händler oder Callcenter-Betreiber — und nicht allein beim Technologieanbieter. Vertragliche Regelungen, die die Offenlegungsverantwortung auf den Anbieter übertragen, entbinden den Betreiber nicht von seiner regulatorischen Pflicht.

Offenlegungspflicht bei Emotionserkennung — Art. 50(2)

Art. 50(2) verpflichtet dazu, jede Person, die einem Emotionserkennungssystem ausgesetzt ist, über dessen Betrieb zu informieren. Ein Emotionserkennungssystem ist ein KI-System, das emotionale Zustände aus physiologischen oder verhaltensbezogenen Signalen ableitet — Gesichtsausdrücke, Stimmton, Sprechrhythmus, Wortwahl oder Mikromimik.

Im Einzel- und Callcenter-Bereich gilt diese Pflicht für:

• Kundenstimmungsanalyse in Anrufen — KI, die akustische oder sprachliche Merkmale der Stimme eines Kunden analysiert, um Frustration, Zufriedenheit oder den emotionalen Zustand während einer Callcenter-Interaktion abzuleiten. Der Kunde muss darüber informiert werden, dass diese Analyse stattfindet.
• Kundenanalyse im Ladengeschäft — KI-gestützte Kamerasysteme, die versuchen, die Emotion oder Aufmerksamkeit von Einkäufern anhand von Gesichtsausdrücken abzuleiten. Soweit das System der Definition eines Emotionserkennungssystems entspricht, ist eine Offenlegung im Ladengeschäft erforderlich.
• Mitarbeiterstimmanalyse — Stimmungs- oder Emotionsanalyse, die auf die eigene Stimme des Callcenter-Mitarbeiters angewendet wird (wird im Abschnitt zur Mitarbeiterüberwachung weiter unten behandelt).

Der Hinweis muss erteilt werden, bevor das Emotionserkennungssystem mit der Verarbeitung beginnt. Bei telefonischen Kanälen erfordert dies in der Regel eine IVR-Ansage oder einen mündlichen Hinweis zu Beginn des Gesprächs. Schweigen — einschließlich Tonansagen, die lediglich auf die Anrufaufzeichnung hinweisen, ohne die KI-Emotionsanalyse zu erwähnen — erfüllt die Pflicht aus Art. 50(2) nicht.

KI-generierte synthetische Medien — Art. 50(4)

Art. 50(4) verpflichtet dazu, KI-generierte oder KI-manipulierte Medien — Bilder, Videos und Audiomaterial — als künstlich erzeugt oder manipuliert zu kennzeichnen, wenn die Gefahr besteht, dass Nutzer sie für authentisch halten.

Für den Einzelhandel relevante Anwendungsfälle im Anwendungsbereich umfassen:

• KI-generierte Produktbilder: Abbildungen von Produkten, Räumen oder Lifestyle-Szenen, die von generativer KI erstellt und in Produktlisten oder Werbematerialien als authentische Fotografien präsentiert werden.
• KI-generierte Werbevideos: Markenvideos, testimonialartiger Inhalt oder Marketingmaterialien, deren visueller oder auditiver Inhalt wesentlich KI-generiert ist.
• KI-generierte oder KI-geklonte Sprachkommentare in Produktdemos, Markeninhalten oder Kundenkommunikation.
• Virtual-Try-on-KI, die synthetische Bilder eines Kunden erzeugt, der ein Produkt trägt oder verwendet — sofern das Ergebnis als genaue Darstellung präsentiert wird.

Die Kennzeichnungspflicht setzt nicht voraus, dass der KI-Ursprung verschleiert wird, um Compliance-Relevanz auszulösen — der Maßstab ist, ob ein Verbraucher den Inhalt vernünftigerweise für authentische Fotografie oder ein Video halten könnte. Eine unterlassene Kennzeichnung begründet zudem ein Haftungsrisiko nach der Richtlinie über unlautere Geschäftspraktiken (2005/29/EG), die die Nutzung redaktioneller Inhalte zur Produktbewerbung ohne klaren Hinweis auf deren Entgeltlichkeit oder künstliche Erzeugung untersagt.

KI zur Mitarbeiterüberwachung in Callcentern — Hochrisiko-Einstufung

Callcenter setzen routinemäßig KI ein, um Mitarbeiter in Echtzeit zu überwachen, zu bewerten, zu beurteilen und zu coachen. Soweit diese Systeme in den Bereich von Annex III, Kategorie 4 fallen, gelten die vollständigen Hochrisiko-Pflichten.

KI für Mitarbeiter-Coaching und Echtzeit-Anleitungen

Echtzeit-Coaching-KI für Mitarbeiter — Systeme, die Live-Anrufe überwachen und Mitarbeitern während des Gesprächs Anleitungen, Skripte, Compliance-Hinweise oder Feedback zum emotionalen Zustand geben — befindet sich an der Schnittstelle von Kategorie 4(b) und Kategorie 4(c). Soweit das System die Einhaltung vertraglicher Pflichten durch den Mitarbeiter überwacht (Anrufbearbeitungsstandards, regulatorische Skripte), gilt Kategorie 4(b). Soweit es den emotionalen oder verhaltensbezogenen Zustand des Mitarbeiters ableitet und daraus Warnmeldungen oder Leistungskennzeichnungen generiert, gilt Kategorie 4(c).

Beide Unterkategorien lösen den vollständigen Hochrisiko-Pflichtenkatalog aus:

• Risikomanagementsystem nach Art. 9: kontinuierliche Identifizierung, Bewertung und Minderung von Risiken für Mitarbeiter und für Kunden, die mit dem System interagieren.
• Daten-Governance nach Art. 10: Trainingsdatensätze müssen relevant, repräsentativ und so verwaltet sein, dass diskriminierende Verzerrungen minimiert werden.
• Technische Dokumentation nach Art. 11 und Annex IV: umfassende Dokumentation von Systemdesign, Verwendungszweck, Einschränkungen, Leistungsmetriken und Testergebnissen.
• Transparenz gegenüber Betreibern nach Art. 13: Anbieter müssen Gebrauchsanweisungen liefern, die Informationen zu Systemgrenzen, Betriebsbedingungen und vorhersehbaren Risiken enthalten.
• Menschliche Aufsicht nach Art. 14: Betreiber müssen Personen benennen, die über die Befugnis, Kompetenz und Zeit verfügen, in Systemausgaben einzugreifen oder diese außer Kraft zu setzen.
• Genauigkeit und Robustheit nach Art. 15: Systeme müssen innerhalb der angegebenen Parameter zuverlässig funktionieren.

KI für Qualitätsbewertung und Leistungsbeurteilung

KI-Systeme, die Qualitätspunkte für Anrufe vergeben, Leistungsrankings von Mitarbeitern erstellen oder Ausgaben erzeugen, die in Beurteilungs-, Bonus- oder Entlassungsverfahren einfließen, fallen unter Annex III, Kategorie 4(b) als Systeme, die für Entscheidungen über Beförderung, Aufgabenzuweisung oder die Überwachung vertraglicher Pflichten eingesetzt werden. Die Hochrisiko-Pflichten gelten vollumfänglich.

Betreiber müssen darüber hinaus die Offenlegungspflicht nach Art. 50(2) für Mitarbeiter erfüllen, die von Emotionserkennungskomponenten innerhalb dieser Systeme erfasst werden — unabhängig vom Zeitplan für die Hochrisiko-Compliance.

Nationale arbeitsrechtliche Pflichten

KI zur Mitarbeiterüberwachung in Callcentern löst nationale Mitbestimmungs- und Konsultationsrechte unabhängig vom AI Act aus. In Deutschland gewährt §87 Abs. 1 Nr. 6 BetrVG dem Betriebsrat zwingende Mitbestimmungsrechte bei technischen Einrichtungen zur Verhaltens- oder Leistungsüberwachung; KI-Überwachungssysteme bedürfen vor dem Einsatz einer Betriebsvereinbarung. Gleichwertige Rechte gelten in den Niederlanden (WOR Art. 27), Österreich (ArbVG §96) und Frankreich (Code du Travail L. 2312-38). Diese Pflichten können nicht bis zum Hochrisiko-Fristbeginn des AI Act im Jahr 2026 aufgeschoben werden.

Kundenorientierte KI, die nicht hochriskant ist

Ein erheblicher Teil der KI im Einzelhandel ist nicht als hochriskant nach Annex III eingestuft. Die folgenden Kategorien sind in Annex III ausdrücklich nicht aufgeführt und erfordern keine Konformitätsbewertung nach dem AI Act:

• Produktempfehlungs-Engines — KI, die Produktvorschläge auf Basis von Browsing-Verlauf, Kaufmustern oder kollaborativer Filterung personalisiert.
• Dynamische Preisfindungssysteme — KI, die Preise in Echtzeit anhand von Nachfrage, Lagerbestand, Wettbewerberpreisen oder Verbrauchersegmenten anpasst.
• Bedarfsprognose für den Lagerbestand — KI, die Bestandsanforderungen auf SKU- oder Kategorieebene vorhersagt.
• Kundenbindungsmodelle (Churn-Prognose) — KI, die die Abwanderungswahrscheinlichkeit von Kunden für die Zielgruppenausrichtung von Rückgewinnungskampagnen bewertet.
• Suchpersonalisierung — KI, die Suchergebnisse auf Einzelhandels-Websites auf Basis individueller oder kohortenbasierter Signale neu ordnet.
• Retourenbetrugserkennung — KI, die Rückgabeanträge auf potenziellen Betrug bewertet, sofern das Ergebnis in einen menschlich überprüften Entscheidungsprozess einfließt.

Diese Systeme unterliegen gleichwohl der GDPR, soweit sie eine individuelle Kundenprofilerstellung beinhalten. Verhaltensanalysen, die Aggregation von Kaufhistorien und seitenübergreifendes Tracking erfordern eine Rechtsgrundlage nach Art. 6 GDPR — in der Regel berechtigtes Interesse (mit dokumentierter Interessenabwägung) oder Einwilligung. Soweit Profilerstellung zu Entscheidungen mit erheblichen Auswirkungen auf einzelne Verbraucher führt — etwa die Sperrung eines Kundenkontos auf Basis von Betrugsscoring — kann Art. 22 GDPR greifen, der eine menschliche Überprüfung automatisierter Entscheidungen erfordert.

Die P2B-Verordnung (EU 2019/1150) verpflichtet zu Transparenz hinsichtlich der Ranking-Algorithmen, die auf Online-Marktplätzen und Vergleichstools eingesetzt werden — Betreiber müssen die wesentlichen Parameter für die Rangfolge und deren relative Bedeutung offenlegen. KI-gesteuertes Ranking ist nicht ausgenommen.

Verbraucherschutz und die Richtlinie über unlautere Geschäftspraktiken

KI-gesteuerte Geschäftspraktiken im Einzelhandel begründen zusätzliche Risiken nach der Richtlinie über unlautere Geschäftspraktiken (2005/29/EG), insbesondere nach den Änderungen durch die Omnibus-Richtlinie, die in den Mitgliedstaaten ab 2022 in Kraft getreten sind:

• KI-generierte Gefälligkeitsbewertungen: Die UCPD in ihrer geänderten Fassung untersagt ausdrücklich die Einreichung gefälschter Verbraucherbewertungen und die Nutzung von Bewertungskuratierungsdiensten, die keine KI-Beteiligung offenlegen. KI-generierte Produktbewertungen, die als authentische Verbraucherbewertungen eingereicht werden, sind rechtswidrig.
• Personalisierte Preise ohne Offenlegung: Soweit ein Händler KI nutzt, um auf Basis von Profilerstellung individuell zugeschnittene Preise für bestimmte Verbraucher anzuzeigen, verpflichtet die geänderte UCPD zur Offenlegung des Personalisierungsumstands, wenn ein Verbraucher auf einen personalisierten Preis trifft.
• Manipulative Personalisierung: Art. 5 des EU AI Act untersagt KI-Systeme, die unterschwellige Techniken einsetzen oder Schwachstellen ausnutzen, um das Verbraucherverhalten zu verzerren. Aggressive Personalisierung, die Verbraucher in Momenten kognitiver Verwundbarkeit anspricht oder emotionale Zustände ausnutzt, die aus früheren Interaktionsdaten abgeleitet wurden, kann eine verbotene Praktik darstellen.
• Irreführende KI-generierte Beschreibungen: Produktbeschreibungen, Spezifikationen oder Vergleichsaussagen, die von KI generiert wurden und unzutreffend oder erfunden sind — einschließlich halluzinierter Spezifikationen in LLM-generiertem Produktinhalt — können unlautere Geschäftspraktiken nach der UCPD darstellen.

Aufsichtsbehörden und Sanktionen

Die Durchsetzung der AI-Act-Pflichten im Einzelhandelssektor verteilt sich auf mehrere zuständige Behörden:

• Nationale KI-Aufsichtsbehörden: gemäß den nationalen AI-Act-Umsetzungsgesetzen der jeweiligen Mitgliedstaaten benannt. Diese sind die primären Behörden für Verstöße gegen die Transparenzpflichten nach Art. 50 und für Hochrisiko-Compliance-Verstöße.
• Verbraucherschutzbehörden: Nationale Verbraucherschutzbehörden und das BEUC-Netzwerk werden besonders aktiv bei der Überwachung von Chatbot-Offenlegung, der Kennzeichnung KI-generierter Inhalte und UCPD-naher KI-Praktiken sein. Das Netzwerk für Zusammenarbeit im Verbraucherschutz (CPC) ermöglicht eine koordinierte Durchsetzung über Mitgliedstaaten hinweg.
• Datenschutzbehörden: behalten eine parallele Durchsetzungszuständigkeit nach der GDPR für Kundenprofilerstellung, automatisierte Entscheidungsfindung und Vorfälle bei der Verarbeitung biometrischer Daten.
• Arbeitsaufsichtsbehörden: In Mitgliedstaaten mit starken Arbeitsaufsichtsregimes — Frankreich (DREETS), Deutschland (Gewerbeaufsicht) und Spanien (Inspección de Trabajo) — unterliegt KI-gestützte Mitarbeiterüberwachung, die gegen Arbeitsrecht oder Mitbestimmungspflichten verstößt, der Untersuchung unabhängig von AI-Act-Verfahren.

Sanktionsrisiken nach dem AI Act: Verstöße gegen die Transparenzpflichten nach Art. 50 können mit Bußgeldern von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes geahndet werden, je nachdem, welcher Betrag höher ist. Verstöße gegen verbotene Praktiken (Art. 5) können Bußgelder von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes nach sich ziehen. GDPR-Bußgelder kommen kumulativ hinzu. Für große E-Commerce-Betreiber mit globalem Umsatz stellt die 7-%-Obergrenze ein erhebliches finanzielles Risiko dar.

Compliance-Fahrplan für Händler und Callcenter-Betreiber

Ein strukturiertes AI-Act-Compliance-Programm für den Einzelhandelssektor sollte folgende Schritte der Reihe nach angehen:

1. KI-System-Inventar: Katalogisierung aller im Einsatz befindlichen KI-Tools über kundenorientierte Kanäle (Website, App, Telefon, Social Media), Marketing- und Merchandising-Funktionen (Pricing, Empfehlungen, Content-Generierung) sowie den Callcenter-Betrieb (Coaching, Bewertung, Überwachung). Für jedes System ist zu bestimmen, ob es sich um ein Allzweck-Tool, ein Transparenzpflichten-System oder ein potenziell hochriskantes System handelt.

2. Audit zur Offenlegung bei Chatbots und Voicebots: Überprüfung aller konversationellen KI-Einsätze auf Compliance mit Art. 50(1). Verifikation, dass der Hinweis ausdrücklich, beim ersten Kontakt erteilt und nicht von Rückschlüssen der Verbraucher abhängig ist. Entsprechende Aktualisierung von Chat-Interface-Texten, IVR-Skripten und Hilfecenter-Texten.

3. Kartierung von Emotionserkennungssystemen: Identifizierung aller Systeme — kunden- und mitarbeiterseitig — die emotionale oder affektive Zustände ableiten. Implementierung von Art. 50(2)-Hinweisen für alle betroffenen Systeme. Für mitarbeiterseitige Systeme Bewertung der Annex-III-Kategorie-4-Einstufung und Einleitung der Hochrisiko-Compliance-Planung.

4. Audit synthetischer Medien: Prüfung aller Marketingmaterialien, Produktbilder und Markeninhalte auf KI-generierte Komponenten. Implementierung eines Art.-50(4)-Kennzeichnungsworkflows — Sicherstellung, dass generierte oder manipulierte Inhalte vor der Veröffentlichung kenntlich gemacht werden.

5. Due Diligence für Callcenter-KI: Einholung einer Bestätigung von jedem KI-Anbieter, der Coaching-, Bewertungs- oder Überwachungstools liefert, hinsichtlich der Annex-III-Einstufung, des CE-Kennzeichnungsstatus (ab dem 2. August 2026) und der Gebrauchsanweisungen. Einleitung von Betriebsratsanhörungen oder Mitbestimmungsverfahren nach anwendbarem nationalem Recht.

6. GDPR-Profilerstellungsprüfung: Durchführung einer GDPR-Rechtsgrundlagen-Prüfung für Kundenprofilerstellungsaktivitäten. Soweit auf berechtigtes Interesse gestützt wird, sind Interessenabwägungs-Nachweise zu dokumentieren und aufzubewahren. Aktualisierung der Datenschutzhinweise, um KI-gestützte Profilerstellungspraktiken zu berücksichtigen.

7. UCPD-Compliance-Prüfung: Überprüfung der Offenlegung personalisierter Preise, der Praktiken bei der Bewertungserstellung und der Workflows für KI-generierte Inhalte anhand der UCPD-Anforderungen, einschließlich der Omnibus-Richtlinie in ihrer jeweiligen nationalen Umsetzung.

8. Incident Response und Governance: Einrichtung einer KI-Governance-Verantwortlichkeit — typischerweise übergreifend für Rechts-, DSB-, Compliance- und Digital-/Technologiefunktionen — mit dokumentierten Eskalationsverfahren für Vorfälle im Zusammenhang mit Art.-50-Verstößen oder Mitarbeiterbeschwerden bezüglich Überwachungs-KI.

Händler und Callcenter-Betreiber, die KI frühzeitig in ihre Kunden- und Betriebsabläufe integriert haben, weisen die breiteste Compliance-Fläche auf. Die Transparenzpflichten nach Art. 50 gelten bereits; die Hochrisiko-Pflichten für Mitarbeiterüberwachungs-KI erfordern eine Vorbereitung auf Programmebene vor dem 2. August 2026.