KI-Chatbots im Kundenservice: Pflichten nach DSGVO und KI-Verordnung

Ein Kundenservice-Chatbot wirkt wie eine kleine Funktion: eine Sprechblase in der Ecke der Seite, die Fragen zu Lieferung, Öffnungszeiten oder Rechnungen beantwortet. Rechtlich ist er zwei Dinge zugleich. Er ist ein KI-System, das direkt mit Menschen interagiert, was die EU-KI-Verordnung durch Transparenzregeln regelt. Und er ist eine Verarbeitung personenbezogener Daten, denn Kunden tippen Namen, Bestellnummern, E-Mail-Adressen und manchmal weit mehr ein, was die DSGVO regelt, unabhängig davon, ob eine KI beteiligt ist.

Der Zeitpunkt ist aktuell. Die Europäische Kommission erklärt, dass die Transparenzregeln des Art. 50 der KI-Verordnung ab 2. August 2026 gelten, und ihr Umsetzungszeitplan nennt dasselbe Datum für den Beginn der Durchsetzung der geltenden Regeln. Eine Änderung durch das Digital Omnibus hat seither einige Termine verschoben, nicht aber die Offenlegungspflicht für Chatbots. Dieser Leitfaden richtet sich daher an Unternehmen, die in Deutschland einen Bot einsetzen oder bereits betreiben und ihn an beiden Regelwerken messen wollen.

Er ist ein praktischer Leitfaden, keine Rechtsberatung. Er stützt sich auf die eigene Erläuterung der Kommission zu Art. 50, die Orientierungshilfe der deutschen Datenschutzaufsichtsbehörden zu KI-Anwendungen und die Stellungnahme des Europäischen Datenschutzausschusses zu KI-Modellen. Lassen Sie die endgültige Ausgestaltung von Ihrem Datenschutzbeauftragten oder einem Anwalt bestätigen, besonders wenn der Bot Gesundheits-, Finanz- oder Beschäftigungsthemen behandelt.

Die KI-Verordnung trennt Rollen, und Art. 50 weist jeder unterschiedliche Pflichten zu. Die FAQ der Kommission erklärt, dass ein Anbieter eine Person oder Stelle ist, die ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke in Verkehr bringt oder in Betrieb nimmt. Ein Betreiber ist jeder, der ein KI-System in eigener Verantwortung im beruflichen Kontext verwendet.

Ein typischer deutscher Shop, der einen Chatbot-Dienst von einem Anbieter lizenziert und auf seiner Website einbettet, ist Betreiber. Der Anbieter ist der Provider. Zwei Situationen rücken Sie aber in Richtung der Anbieterrolle: einen eigenen Bot auf einem allgemeinen Modell zu bauen und unter Ihrer Marke zu veröffentlichen, und den Bot eines Anbieters unter eigenem Namen so darzustellen, als wäre er Ihr Produkt. Die Definition der Kommission stellt darauf ab, das System unter eigenem Namen oder eigener Marke in Betrieb zu nehmen; ein White-Label-Bot mit Ihrer Marke verdient daher eine sorgfältige Lektüre des Vertrags. Im Zweifel gehen Sie davon aus, dass Sie die Gestaltungspflicht des Anbieters erfüllen müssen, und lassen Sie sich vom Anbieter schriftlich bestätigen, wie sein Produkt sie erfüllt.

Die praktische Folge ist einfach. Gleich, welches Etikett das Gesetz vergibt: Der Kunde sollte eine klare Offenlegung sehen, dass er mit einer KI spricht, und Ihr Vertrag sollte sagen, welche Partei sicherstellt, dass das Produkt sie unterstützt.

Laut der Kommission verlangt Art. 50 Abs. 1 von Anbietern von KI-Systemen, die direkt mit natürlichen Personen interagieren, sie so zu gestalten und zu entwickeln, dass die betroffenen Personen informiert werden, dass sie mit einem KI-System interagieren, es sei denn, das ist offensichtlich. Die Leitlinien der Kommission nennen vier kumulative Kriterien, damit die Pflicht greift: Das System muss als KI-System gelten; es muss für einen echten Austausch in beide Richtungen mit Menschen ausgelegt sein, nicht nur zum Sammeln von Daten oder für automatisierte Antworten; die Interaktion muss direkt sein, die KI selbst also kommunizieren und nicht über einen menschlichen Mittler; und die Interaktion muss mit natürlichen Personen stattfinden, seien es Verbraucher, Fachleute oder andere Nutzer.

Ein Kundenservice-Chatbot erfüllt normalerweise alle vier Kriterien. Ein Formular, das nur feste Antworten liefert, oder ein Hintergrundsystem, das nie mit einer Person spricht, kann außerhalb des Anwendungsbereichs liegen, ein Freitext-Assistent, der in natürlicher Sprache antwortet, dagegen nicht.

Wann und wie zu informieren ist: Die Kommission sagt, Personen müssen ab Beginn der ersten Interaktion in klarer und unterscheidbarer Weise und unter Beachtung der Barrierefreiheitsanforderungen informiert werden. Die Ausnahme für Fälle, in denen offensichtlich ist, dass man es mit einer KI zu tun hat, muss restriktiv ausgelegt werden, weil sie Menschen die Transparenz nimmt. Die Kommission nennt als Maßstab eine durchschnittlich informierte, angemessen aufmerksame und verständige Person. Ein Bot namens „Assistent“ mit einem Foto eines Menschen und einem menschlichen Vornamen besteht diesen Test nicht.

Setzen Sie die Offenlegung in der Praxis in die erste Nachricht und halten Sie sie sichtbar: „Sie chatten mit einem KI-Assistenten. Ein Kollege kann jederzeit übernehmen.“ Verstecken Sie sie nicht in der Fußzeile oder der Datenschutzerklärung. Prüfen Sie, dass Screenreader sie vorlesen, und übersetzen Sie sie in jede Sprache, die der Bot unterstützt.

Art. 50 enthält vier weitere Elemente, die Kundenservice-Teams oft verwechseln. Anbieter generativer KI-Systeme müssen synthetische Audio-, Bild-, Video- oder Textausgaben in einem maschinenlesbaren Format kennzeichnen, damit sie als KI-generiert erkennbar sind. Diese Pflicht liegt beim Anbieter, etwa dem Hersteller des Dienstes, wobei für vor dem 2. August 2026 in Verkehr gebrachte Systeme ein Übergang bis Dezember 2026 möglich ist, wie der Zeitplan der Kommission festhält.

Betreiber haben gesonderte Pflichten: Personen zu informieren, die Emotionserkennungs- oder biometrischen Kategorisierungssystemen ausgesetzt sind, und Deepfakes sowie KI-generierte Texte zu kennzeichnen, die zur Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse ohne menschliche Prüfung oder redaktionelle Kontrolle veröffentlicht werden. Ein Chatbot, der eine Lieferfrage beantwortet, tut nichts davon, ein Bot aber, der die Emotionen von Anrufern analysiert oder KI-geschriebene öffentliche Mitteilungen veröffentlicht, schon.

Die Kurzinfo-Seite der Kommission ergänzt, dass die nationalen Marktüberwachungsbehörden die Transparenzregeln durchsetzen, mit Bußgeldern von bis zu EUR 15 Mio. oder bis zu 3 % des gesamten weltweiten Jahresumsatzes bei Unternehmen, mit Verhältnismäßigkeit für kleine und mittlere Unternehmen. Diese Zahlen beschreiben die Obergrenze der Spanne, nicht ein typisches Ergebnis. Die Seite vermerkt außerdem, dass der Übergang für ältere Systeme nur für die Kennzeichnung gilt, nicht für die Offenlegung beim Chatbot.

Die deutschen Datenschutzaufsichtsbehörden (Datenschutzkonferenz, DSK) haben im Mai 2024 eine Orientierungshilfe zu KI und Datenschutz veröffentlicht. Ihre erste Botschaft ist die älteste Regel des Datenschutzes: Für jeden Verarbeitungsschritt, in dem eine KI-Anwendung personenbezogene Daten verarbeitet, ist eine Rechtsgrundlage erforderlich. Bei einem Kundenservice-Bot ist das oft der Vertrag mit dem Kunden (Beantwortung einer Bestellanfrage) oder das berechtigte Interesse des Unternehmens an effizientem Service, doch jeder Zweck braucht eine eigene Prüfung, und eine Einwilligung ist nötig, wenn Sie Gespräche für etwas Anderes nutzen wollen, etwa Training oder Marketing.

Die Stellungnahme 28/2024 des EDSA zu KI-Modellen behandelt das berechtigte Interesse unmittelbar. Sie beschreibt einen dreistufigen Test und nennt als Beispiel einen Konversationsagenten zur Unterstützung von Nutzern als Dienst, der sich auf berechtigtes Interesse stützen kann, aber nur, wenn die Verarbeitung nachweislich unbedingt erforderlich ist und die Abwägung der Rechte beachtet wird. Dokumentieren Sie diese Prüfung vor dem Start.

Die weiteren Punkte der DSK-Orientierungshilfe, die für einen Bot zählen, sind diese:

• Auftragsverarbeitungsvertrag: Ist der Bot ein Cloud-Dienst, ist der Anbieter in der Regel Auftragsverarbeiter nach Art. 28 DSGVO, und Sie müssen eine Vereinbarung nach Art. 28 Abs. 3 schließen. Der Auftragsverarbeiter muss Ihnen außerdem helfen, Betroffenenrechte zu erfüllen.
• Offenes oder geschlossenes System: In einem offenen System verlassen Eingaben Ihren geschützten Bereich und können für Antworten an andere Nutzer oder für weiteres Training verwendet werden und Drittländer erreichen, sodass Kapitel V zu Übermittlungen gilt. Die DSK bevorzugt aus Datenschutzsicht technisch geschlossene Systeme.
• Trainingsnutzung: Prüfen Sie, ob Eingaben und Ausgaben zum Training verwendet werden, ob Personen informiert werden und ob die Nutzung abgeschaltet werden kann. Lässt sie sich nicht ausschließen und sind personenbezogene Daten betroffen, ist eine Rechtsgrundlage für diesen Zweck nötig.
• Datenschutz durch Technikgestaltung: Art. 25 verlangt technische und organisatorische Maßnahmen. Die Orientierungshilfe nennt als Beispiel Konten, die so konfiguriert sind, dass keine Eingaben für das Training verwendet und keine Historie über die Sitzung hinaus gespeichert wird.
• Folgenabschätzung: Wo die Verarbeitung voraussichtlich ein hohes Risiko zur Folge hat, ist eine Datenschutz-Folgenabschätzung nach Art. 35 erforderlich, was laut DSK bei KI-Anwendungen oft der Fall sein wird.
• Besondere Kategorien: Gesundheits-, Religions- und ähnliche Daten sind nach Art. 9 Abs. 1 grundsätzlich verboten, sofern keine Ausnahme nach Art. 9 Abs. 2 bis 4 greift, was für Eingaben, Verarbeitung und Ausgaben zu prüfen ist.

Die Offenlegung nach der KI-Verordnung ist von den Informationspflichten der DSGVO getrennt, und Sie brauchen beide. Die DSK weist darauf hin, dass Betreiber, die das System nicht entwickeln, sicherstellen müssen, dass der Anbieter genügend Dokumentation liefert, damit sie Art. 12 ff. erfüllen können, und dass Informationen zu automatisierten Entscheidungen, einschließlich der involvierten Logik sowie Tragweite und Auswirkungen, verlangt werden können. Behandeln Sie die Dokumentation des Anbieters im Vertrag als Lieferpunkt.

Aktualisieren Sie Ihre Datenschutzerklärung um den Bot als neue Verarbeitungstätigkeit: Zweck, Rechtsgrundlage, Datenkategorien, Empfänger (der Anbieter und etwaige Unterauftragsverarbeiter), Übermittlungen außerhalb der EU und Speicherdauer. Ergänzen Sie im Chatfenster selbst einen kurzen Hinweis mit Link zum vollständigen Text, zum Beispiel „Geben Sie keine Gesundheits- oder Zahlungsdaten ein. Nachrichten werden zur Beantwortung Ihrer Anfrage verarbeitet.“ Hier treffen sich die beiden Regelwerke: Die erste Nachricht sagt, dass es eine KI ist, und der Link sagt, was mit den Daten geschieht.

Geben Sie Kunden außerdem einen Weg am Bot vorbei. Eine sichtbare Option „Mit einer Person sprechen“ und eine echte Übergabe an einen menschlichen Kollegen, der das Gespräch einsehen kann, wenn der Kunde zustimmt, macht den Service nützlicher und senkt das Risiko unfairer automatisierter Ergebnisse. Unsere KI-Chatbot-Integration umfasst dieses Übergabedesign.

Chat-Protokolle sind nützlich für die Qualitätskontrolle und gefährlich als Archiv. Entscheiden Sie vorab, was Sie wie lange speichern, und schreiben Sie es auf. Ein tragfähiges Muster ist, den Gesprächstext für einen kurzen, festgelegten Zeitraum zur Qualitätsprüfung und Beschwerdebearbeitung aufzubewahren und ihn dann zu löschen oder zu anonymisieren; ein minimales technisches Protokoll (Zeit, Sitzungs-ID, Fehlercodes) bewahren Sie länger für die Sicherheit auf. Trennen Sie die Protokolle von der Kundendatenbank, sofern ein Ticket nicht das Transkript braucht.

Kontrollieren Sie, was der Bot sehen kann. Verbinden Sie ihn nicht mit der gesamten Kundendatenbank; geben Sie ihm nach Authentifizierung des Kunden Zugriff auf die konkreten Bestelldaten, die für die Frage nötig sind. Ein Bot, der jedem eine Adresse nennt, der eine Bestellnummer errät, ist eine Datenpanne, die auf ihren Moment wartet.

Warnen Sie Nutzer, keine sensiblen Daten einzugeben, und filtern Sie offensichtliche Muster wie Kartennummern und Sozialversicherungsnummern, bevor sie das Modell erreichen. Die DSK betont, dass Ausgaben personenbezogene Daten enthalten können, auch wenn die Eingaben es nicht tun; testen Sie den Bot daher mit Prompts, die darauf angelegt sind, Daten anderer Kunden herauszulocken. Beziehen Sie den Bot schließlich in den Notfallplan ein: Wer wird gerufen, wenn er falsche oder personenbezogene Informationen herausgibt?

Ein Support-Bot sollte keine Entscheidungen mit Rechtswirkung gegenüber Kunden treffen. Die DSK weist darauf hin, dass Art. 22 Abs. 1 DSGVO Entscheidungen mit Rechtswirkung grundsätzlich nur durch Menschen erlaubt, mit begrenzten Ausnahmen wie der Einwilligung, und dass dort, wo eine KI ein Ergebnis vorschlägt, der menschliche Entscheider echten Entscheidungsspielraum haben muss und dem Vorschlag nicht einfach folgen darf. Erstattungsfreigaben, Vertragskündigungen, Kontoschließungen und Kreditentscheidungen sind Beispiele, bei denen ein Bot den Fall vorbereiten und eine Person entscheiden sollte.

Schreiben Sie Grenzen in die Anweisungen des Bots und in Ihren Prozess: was er beantworten darf, was er eskalieren muss und welche Themen (Rechtsansprüche, Beschwerden über Diskriminierung, Sicherheitsfragen) direkt an einen Menschen gehen. Prüfen Sie Transkripte regelmäßig und dokumentieren Sie die Prüfungen.

Der Bot braucht auch Inhalts-Governance. Geben Sie ihm eine freigegebene Wissensbasis, versionieren und datieren Sie sie, und stellen Sie sicher, dass Preise, Lieferzeiten und Bedingungen aus derselben Quelle stammen wie die Website. Wo eine falsche Antwort des Bots als verbindliches Versprechen gewertet werden könnte, lassen Sie die Nutzungsbedingungen und den Haftungshinweis von einem Anwalt prüfen.

Prüfen Sie die Tabelle, sobald der Anbieter das Modell oder die Bedingungen ändert. Für die Budgetplanung führt unsere Preisseite einfache Websites ab EUR 300 zuzüglich Umsatzsteuer auf; Chatbot-Projekte werden gesondert kalkuliert, kontaktieren Sie uns daher mit einer kurzen Beschreibung Ihres Anwendungsfalls und der beteiligten Daten. Vielleicht interessiert Sie auch, was wir zu DSGVO-konformen Websites schreiben.

• Transparency obligations under Article 50 of the AI Act - European Commission
• Quick Facts: Transparency rules for AI systems - European Commission
• Timeline for the implementation of the EU AI Act - AI Act Service Desk
• Orientierungshilfe KI und Datenschutz, May 2024 - Datenschutzkonferenz
• EDPB opinion on AI models: GDPR principles support responsible AI - EDPB