KI-Agenten und Datenschutz: BayLDA erläutert rechtliche Anforderungen

KI-Agenten greifen selbstständig auf Unternehmensdaten zu, verknüpfen Informationen und erledigen Aufgaben. Welche Datenschutzregeln gelten dabei? Das Bayerische Landesamt für Datenschutzaufsicht erläutert, worauf Unternehmen achten müssen.

Anders als herkömmliche KI-Anwendungen, die meist auf einzelne Eingaben reagieren, können KI-Agenten komplexere Aufgaben weitgehend selbstständig erledigen. Sie planen Arbeitsschritte, greifen auf unterschiedliche Datenquellen zu und lösen eigenständig Aktionen aus.

Ein Unternehmen könnte einen solchen Agenten beispielsweise damit beauftragen, Kundenanfragen zu bearbeiten. Dafür benötigt er möglicherweise Zugriff auf Bestellungen, E-Mails und Einträge im Kundenverwaltungssystem. Welche Informationen er dabei tatsächlich abruft und miteinander verknüpft, ist häufig erst nachträglich erkennbar.

Diese Eigenständigkeit erschwert es Unternehmen, sämtliche Verarbeitungsschritte im Voraus zu überblicken. An den datenschutzrechtlichen Anforderungen ändert sie jedoch nichts.

Das Bayerische Landesamt für Datenschutzaufsicht (BayLDA) hat hierzu FAQ zum Einsatz von KI-Agenten veröffentlicht. Darin erläutert die für den nicht-öffentlichen Bereich in Bayern zuständige Datenschutzaufsicht, wie die Vorgaben der Datenschutz-Grundverordnung (DSGVO) beim Einsatz solcher Systeme zu beachten sind.

Auf welche Unternehmensdaten dürfen KI-Agenten zugreifen?

KI-Agenten benötigen für ihre Aufgaben häufig Zugriff auf unterschiedliche Unternehmensdaten, etwa auf E-Mail-Postfächer, Dokumentenablagen oder Kundenverwaltungssysteme. Dabei können sie auch personenbezogene Informationen über Kunden oder Beschäftigte verarbeiten.

Für solche Zugriffe gilt der Grundsatz der Datenminimierung nach Art. 5 Abs. 1 lit. c DSGVO. Ein KI-Agent darf nur diejenigen personenbezogenen Daten verarbeiten, die für den jeweiligen Zweck erforderlich sind. Dass ihm weitere Informationen technisch zugänglich sind, rechtfertigt deren Verarbeitung nicht.

In den Datenbeständen können sich zudem besondere Kategorien personenbezogener Daten nach Art. 9 DSGVO befinden, beispielsweise Gesundheitsinformationen in Personalakten.

Jede Verarbeitung personenbezogener Daten benötigt eine Rechtsgrundlage nach Art. 6 DSGVO. Bei besonderen Kategorien müssen zusätzlich die Voraussetzungen des Art. 9 Abs. 2 DSGVO erfüllt sein.

Unternehmen sollten deshalb vorab festlegen, welche Daten und Funktionen der KI-Agent für seine Aufgaben benötigt. Das BayLDA empfiehlt, seine Berechtigungen möglichst auf bestimmte Datenbestände, einzelne Nutzer, Aufgaben oder Funktionen zu beschränken.

Dürfen KI-Agenten vorhandene Daten für andere Zwecke verwenden?

Der rechtmäßige Zugriff auf personenbezogene Daten erlaubt es einem KI-Agenten nicht, diese beliebig weiterzuverwenden. Gerade durch die Verknüpfung verschiedener Datenquellen können neue Verwendungsmöglichkeiten entstehen, die vom ursprünglichen Erhebungszweck nicht mehr gedeckt sind.

Auch für KI-Agenten gilt der Zweckbindungsgrundsatz des Art. 5 Abs. 1 lit. b DSGVO. Danach dürfen personenbezogene Daten grundsätzlich nicht in einer Weise weiterverarbeitet werden, die mit dem ursprünglichen Erhebungszweck unvereinbar ist.

Allein der Einsatz eines KI-Agenten stellt allerdings noch keine Zweckänderung dar. Entscheidend ist, wofür die Daten tatsächlich verwendet werden.

Soll ein KI-Agent personenbezogene Daten für einen anderen Zweck verwenden, muss das Unternehmen die Zulässigkeit dieser Weiterverarbeitung prüfen. Soweit sie nicht auf einer Einwilligung oder einer entsprechenden gesetzlichen Grundlage beruht, richtet sich ihre Vereinbarkeit mit dem ursprünglichen Zweck nach Art. 6 Abs. 4 DSGVO.

Dabei sind insbesondere der Zusammenhang zwischen den Zwecken, die Art der Daten und die möglichen Folgen für die betroffenen Personen zu berücksichtigen.

Unternehmen müssen daher die zulässigen Verarbeitungszwecke festlegen und dabei auch berücksichtigen, welche neuen Verwendungsmöglichkeiten sich durch die eigenständige Verknüpfung unterschiedlicher Informationen ergeben können.

Was müssen Unternehmen bei Memory-Funktionen von KI-Agenten beachten?

Manche KI-Agenten verfügen über sogenannte Memory-Funktionen. Damit können sie Informationen aus früheren Gesprächen oder Arbeitsabläufen dauerhaft speichern und bei späteren Aufgaben erneut verwenden. So kann sich ein Agent beispielsweise persönliche Vorlieben eines Kunden oder Einzelheiten früherer Aufträge merken.

Werden solche Informationen über längere Zeit gesammelt und miteinander verknüpft, können umfangreiche Datenbestände über einzelne Personen entstehen. Unter Umständen lassen sich daraus auch detaillierte Persönlichkeitsprofile ableiten.

Für den Einsatz solcher Speicherfunktionen müssen Unternehmen klären, welche Informationen dauerhaft gespeichert werden dürfen, zu welchen Zwecken dies geschieht und wie lange die Daten benötigt werden. Ebenso ist festzulegen, unter welchen Voraussetzungen der Agent später erneut darauf zugreifen darf.

Maßgeblich sind insbesondere die Grundsätze der Datenminimierung und Speicherbegrenzung nach Art. 5 Abs. 1 lit. c und e DSGVO.

Das BayLDA empfiehlt zudem, Informationen unterschiedlicher Personen oder Verarbeitungszwecke möglichst voneinander zu trennen. Gespeicherte personenbezogene Daten müssen sich bei Bedarf berichtigen und unter den gesetzlichen Voraussetzungen löschen lassen.

Wie lassen sich Auskunft, Berichtigung und Löschung sicherstellen?

Die eigenständige Verarbeitung durch KI-Agenten kann es Unternehmen erschweren, die Betroffenenrechte nach der DSGVO zu erfüllen. Schwierigkeiten entstehen insbesondere dann, wenn ein Agent aus vorhandenen Informationen neue personenbezogene Daten ableitet und diese an unterschiedlichen Stellen speichert.

Verlangt eine Person Auskunft nach Art. 15 DSGVO, muss das Unternehmen feststellen können, welche personenbezogenen Daten über sie verarbeitet werden. Dazu gehören gegebenenfalls auch Informationen, die der KI-Agent selbst erzeugt hat, etwa Bewertungen oder Einschätzungen.

Solche Daten können sich in Gesprächsverläufen, Memory-Funktionen oder Protokollen befinden.

Auch die Berichtigung unrichtiger Daten nach Art. 16 DSGVO und deren Löschung nach Art. 17 DSGVO müssen möglich bleiben. Insbesondere ist zu verhindern, dass fehlerhafte oder zu löschende Informationen aus dauerhaften Speicherfunktionen bei späteren Aufgaben erneut verwendet werden.

Wurden personenbezogene Daten in mehreren Speicherbereichen abgelegt, müssen bei einem berechtigten Löschungsverlangen gegebenenfalls auch diese Kopien entfernt werden. Sind die Daten gegenüber weiteren Empfängern offengelegt worden, können zudem Mitteilungspflichten nach Art. 19 DSGVO bestehen.

Die technische Gestaltung eines KI-Agenten sollte deshalb gewährleisten, dass personenbezogene Daten auffindbar bleiben und sich erforderlichenfalls berichtigen oder löschen lassen. Dies entspricht dem Grundsatz des Datenschutzes durch Technikgestaltung nach Art. 25 DSGVO.

Für die Bearbeitung entsprechender Anträge gilt grundsätzlich die Monatsfrist des Art. 12 Abs. 3 DSGVO. Daneben können weitere Betroffenenrechte relevant werden, insbesondere die Einschränkung der Verarbeitung nach Art. 18 DSGVO, die Datenübertragbarkeit nach Art. 20 DSGVO und das Widerspruchsrecht nach Art. 21 DSGVO.

Müssen Unternehmen über den Einsatz von KI-Agenten informieren?

Verarbeitet ein KI-Agent personenbezogene Daten, gelten die Informationspflichten nach Art. 13 und 14 DSGVO.

Nach den FAQ des BayLDA muss der Einsatz eines KI-Agenten dabei nicht in jedem Fall ausdrücklich erwähnt werden. Entscheidend ist, dass die betroffenen Personen nachvollziehen können, wie und zu welchen Zwecken ihre Daten verarbeitet werden.

Je nach Art der Verarbeitung kann es erforderlich sein, näher zu erläutern, welche Datenquellen der KI-Agent nutzt und ob personenbezogene Informationen an weitere Empfänger weitergegeben werden.

Besondere Anforderungen an die Transparenz können sich ergeben, wenn der Agent Daten aus unterschiedlichen Quellen verknüpft, Bewertungen über einzelne Personen erstellt oder umfangreiche Verarbeitungsschritte eigenständig ausführt.

Die bestehenden Datenschutzinformationen müssen auch diese Verarbeitung abdecken. Greift ein KI-Agent auf zusätzliche Datenquellen zu, werden weitere Empfänger eingebunden oder personenbezogene Daten für neue Zwecke verwendet, können Ergänzungen erforderlich sein.

Sollen bereits erhobene personenbezogene Daten für einen anderen Zweck weiterverarbeitet werden, müssen die Betroffenen nach Art. 13 Abs. 3 beziehungsweise Art. 14 Abs. 4 DSGVO grundsätzlich vor dieser Weiterverarbeitung entsprechend informiert werden.

Daneben können zusätzliche Transparenzpflichten nach der europäischen KI-Verordnung bestehen, insbesondere wenn ein KI-System unmittelbar mit natürlichen Personen interagiert.

Dürfen KI-Agenten automatisiert Entscheidungen über Personen treffen?

KI-Agenten können nicht nur Informationen auswerten, sondern innerhalb ihrer technischen Berechtigungen auch eigenständig Entscheidungen auslösen.

Dabei sind insbesondere die Grenzen des Art. 22 DSGVO zu beachten. Dieser stellt enge Anforderungen an ausschließlich automatisierte Entscheidungen, die rechtliche Auswirkungen auf betroffene Personen haben oder sie in ähnlicher Weise erheblich beeinträchtigen.

Nicht jede Entscheidung, bei der KI eingesetzt wird, fällt unter Art. 22 DSGVO. Wird das Ergebnis eines KI-Agenten von einem Menschen überprüft, kommt es darauf an, ob dieser die Entscheidung tatsächlich eigenständig beurteilen und beeinflussen kann.

Eine bloß formale Bestätigung des KI-Ergebnisses reicht dafür nicht aus.

Ausschließlich automatisierte Entscheidungen mit den in Art. 22 Abs. 1 DSGVO genannten Auswirkungen sind nur unter den Voraussetzungen des Art. 22 Abs. 2 DSGVO zulässig. Werden dabei besondere Kategorien personenbezogener Daten verarbeitet, gelten zusätzlich die Anforderungen des Art. 22 Abs. 4 DSGVO.

Auch die gesetzlich vorgesehenen Schutzmaßnahmen sowie die einschlägigen Informations- und Auskunftspflichten müssen eingehalten werden.

Unternehmen müssen deshalb festlegen, welche Entscheidungen ein KI-Agent selbstständig treffen darf und wann eine menschliche Prüfung erforderlich ist. Soll ein Mensch die abschließende Entscheidung übernehmen, muss er das Ergebnis des Agenten eigenständig bewerten und gegebenenfalls korrigieren können.

Daneben können KI-Systeme zur Bewerberauswahl oder Beschäftigtenbewertung als Hochrisiko-KI nach Anhang III Nr. 4 der europäischen KI-Verordnung einzustufen sein. Eine menschliche Letztentscheidung schließt diese Einstufung nicht aus.

Die besonderen Anforderungen der KI-Verordnung sind unter Berücksichtigung der jeweiligen Anwendungsfristen zu beachten.

Wer ist für die Datenverarbeitung durch KI-Agenten verantwortlich?

Auch wenn ein KI-Agent Aufgaben weitgehend selbstständig erledigt, bleibt das Unternehmen, das über Zwecke und Mittel der Datenverarbeitung entscheidet, für die Einhaltung der DSGVO verantwortlich. Die technische Eigenständigkeit des Agenten ändert daran nichts.

Werden externe KI-Dienste eingebunden, kommt es darauf an, welche Rolle der jeweilige Anbieter bei der Verarbeitung personenbezogener Daten übernimmt.

Verarbeitet der Anbieter die Daten ausschließlich im Auftrag und nach Weisung des Unternehmens, ist grundsätzlich ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO erforderlich.

Nutzt er die Daten dagegen für eigene Zwecke, kann er insoweit selbst datenschutzrechtlich Verantwortlicher sein. Legen Unternehmen und Anbieter Zwecke und wesentliche Mittel einer Verarbeitung gemeinsam fest, kommt eine gemeinsame Verantwortlichkeit nach Art. 26 DSGVO in Betracht. In diesem Fall müssen sie eine entsprechende Vereinbarung treffen.

Entscheidend ist, wie der Anbieter die Daten tatsächlich verarbeitet. Allein der Abschluss eines Auftragsverarbeitungsvertrags reicht nicht aus, wenn personenbezogene Daten darüber hinaus für eigene Zwecke genutzt werden.

Besondere Aufmerksamkeit verdient deshalb die Frage, ob der Anbieter Eingaben oder Ergebnisse des KI-Agenten zur Verbesserung seiner KI-Modelle verwendet. Eine solche Nutzung ist nicht ohne Weiteres von einem bestehenden Auftragsverarbeitungsvertrag gedeckt und muss gesondert datenschutzrechtlich beurteilt werden.

Wie lassen sich KI-Agenten datenschutzkonform absichern?

KI-Agenten können eigenständig auf Daten zugreifen, Informationen weitergeben und Aktionen in verbundenen Systemen ausführen. Daraus ergeben sich besondere Anforderungen an die technische Absicherung.

Nach Art. 25 und Art. 32 DSGVO müssen Unternehmen geeignete technische und organisatorische Maßnahmen treffen, um die Datenschutzgrundsätze umzusetzen und ein dem jeweiligen Risiko angemessenes Schutzniveau zu gewährleisten.

Als mögliche Maßnahmen nennt das BayLDA insbesondere:

• Zugriffsrechte beschränken: KI-Agenten sollten nur auf die Daten und Funktionen zugreifen können, die sie für ihre Aufgaben benötigen.
• Datenbestände trennen: Informationen unterschiedlicher Verarbeitungszwecke sollten möglichst getrennt verarbeitet und gespeichert werden.
• Memory-Funktionen begrenzen: Dauerhaft gespeicherte Informationen sollten auf das erforderliche Maß beschränkt und angemessene Speicher- und Löschfristen festgelegt werden.
• Kritische Aktionen freigeben: Besonders risikoreiche Handlungen sollten eine vorherige menschliche Freigabe erfordern.
• Aktionen protokollieren: Relevante Datenzugriffe und Verarbeitungsschritte sollten nachvollziehbar dokumentiert werden, ohne dabei unnötige personenbezogene Daten zu speichern.
• Eingriffe ermöglichen: KI-Agenten sollten sich bei Bedarf stoppen oder in einzelnen Funktionen deaktivieren lassen.
• Manipulationen abwehren: Technische Schutzmaßnahmen sollten das Risiko verringern, dass eingeschleuste Anweisungen unberechtigte Datenzugriffe oder Datenübermittlungen auslösen.
• Betroffenenrechte unterstützen: Die technische Gestaltung sollte es ermöglichen, personenbezogene Daten aufzufinden, zu berichtigen und unter den gesetzlichen Voraussetzungen zu löschen.

Welche Schutzmaßnahmen erforderlich sind, hängt von den konkreten Risiken und Handlungsmöglichkeiten des KI-Agenten ab.

Kommt es dennoch zu einer Verletzung des Schutzes personenbezogener Daten, müssen Unternehmen prüfen, ob eine Meldung an die Aufsichtsbehörde nach Art. 33 DSGVO erforderlich ist. Bei einem voraussichtlich hohen Risiko für die Rechte und Freiheiten betroffener Personen kann zusätzlich eine Benachrichtigung nach Art. 34 DSGVO notwendig werden.

Ein besonderes Risiko sind sogenannte Prompt-Injection-Angriffe. Dabei werden manipulierte Anweisungen beispielsweise in Dokumenten oder E-Mails versteckt, die ein KI-Agent verarbeitet. Ziel kann es sein, den Agenten dazu zu bringen, vertrauliche Informationen abzurufen oder an unberechtigte Empfänger weiterzugeben.

Deshalb genügt es nicht, einem KI-Agenten lediglich durch Anweisungen vorzugeben, was er tun darf. Seine technischen Berechtigungen müssen vielmehr so begrenzt werden, dass manipulierte Inhalte möglichst keine unzulässigen Datenzugriffe oder Datenübermittlungen auslösen können.

Wann ist eine Datenschutz-Folgenabschätzung erforderlich?

KI-Agenten können durch weitreichende Datenzugriffe, die Verknüpfung unterschiedlicher Informationen und eigenständige Entscheidungen besondere Datenschutzrisiken verursachen.

Ob deshalb eine Datenschutz-Folgenabschätzung (DSFA) nach Art. 35 DSGVO erforderlich ist, hängt vom konkreten Einsatz ab.

Eine DSFA ist vorgeschrieben, wenn die geplante Verarbeitung personenbezogener Daten voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat.

Dabei kommt es nicht nur auf Art und Umfang der verarbeiteten Daten an, sondern auch darauf, welche Verarbeitungsschritte und Entscheidungen der KI-Agent eigenständig ausführen darf.

Besonders relevant kann eine DSFA werden, wenn ein Agent umfangreiche personenbezogene Daten aus unterschiedlichen Quellen zusammenführt, besondere Kategorien personenbezogener Daten nach Art. 9 DSGVO verarbeitet, Beschäftigte bewertet oder Entscheidungen mit erheblichen Auswirkungen auf betroffene Personen trifft.

Nicht jeder KI-Agent erfordert eine DSFA. Unternehmen müssen jedoch vorab die Risiken seines konkreten Einsatzes beurteilen und das Ergebnis dieser Prüfung dokumentieren.

Liegt ein voraussichtlich hohes Risiko im Sinne des Art. 35 DSGVO vor, ist die Datenschutz-Folgenabschätzung vor Beginn der Verarbeitung durchzuführen.

Fazit

Der Einsatz von KI-Agenten erfordert keine grundlegend neuen Datenschutzregeln. Entscheidend ist vielmehr, die bestehenden Anforderungen der DSGVO auch dann einzuhalten, wenn ein System Daten eigenständig abruft, miteinander verknüpft und Aktionen ausführt.

Unternehmen sollten deshalb insbesondere die zulässigen Datenzugriffe und Verarbeitungszwecke festlegen, Speicherfunktionen begrenzen und sicherstellen, dass Verarbeitungsschritte nachvollziehbar bleiben. Auch die Wahrung der Betroffenenrechte und die Absicherung gegen unberechtigte Aktionen müssen technisch gewährleistet sein.

Je eigenständiger ein KI-Agent handeln darf, desto wichtiger werden wirksame Zugriffsbeschränkungen, Kontrollmöglichkeiten und eine sorgfältige Prüfung der Datenschutzrisiken.