Bevor Sie eine KI-Anwendung einführen: Fünf Fragen, die jeder beantworten können sollte

Dieser Beitrag zeigt welche Fragen Sie sich und einem KI-Anbieter vor einer Beschaffungs- oder Freigabeentscheidung stellen müssen um datenschutzrechtliche Aspekte klären zu können

Schritt 1: Beschreiben Sie den konkreten Einsatzzweck

Beginnen Sie nicht mit dem Produkt, sondern mit Ihrem Anwendungsfall.

Die Aussage „Wir möchten Microsoft Copilot einsetzen“ oder „Wir interessieren uns für einen KI-Agenten“ beschreibt noch keinen Einsatzzweck. Dasselbe Produkt kann in unterschiedlichen Unternehmen für völlig verschiedene Aufgaben, Daten und Entscheidungen verwendet werden.

Beschreiben Sie daher zunächst:

• Welche konkrete Aufgabe soll die Anwendung erfüllen?
• Welche Personen sollen die Anwendung nutzen?
• Wer ist von der Verarbeitung betroffen?
• Sollen Kunden oder andere externe Personen mit der KI interagieren?
• Welche Informationen sollen eingegeben oder hochgeladen werden?
• Welche Ergebnisse soll die Anwendung erzeugen?
• Werden diese Ergebnisse von einem Menschen geprüft?
• Fließen die Ergebnisse in Entscheidungen über Personen ein?
• Wird die Anwendung intern genutzt oder Dritten angeboten?

Eine geeignete Kurzbeschreibung könnte beispielsweise lauten:

„Unsere Beschäftigten sollen die KI-Anwendung verwenden, um eingehende Kundenanfragen zusammenzufassen und Antwortentwürfe zu erstellen. Die Antwortentwürfe werden vor dem Versand durch Beschäftigte geprüft. Eine automatisierte Entscheidung über Kunden findet nicht statt.“

Diese Beschreibung bildet die Grundlage für alle weiteren Prüfungen. Nach der Matrix richten sich insbesondere Transparenz-, Schulungs- und mögliche Hochrisikopflichten nach dem tatsächlichen Einsatzzweck der KI-Anwendung und nicht allein nach dem verwendeten Modell oder dem Produktnamen.

Erstellen Sie eine kurze, intern abgestimmte Beschreibung des geplanten Einsatzes. Halten Sie dabei auch fest, was die Anwendung ausdrücklich nicht tun soll.

Schritt 2: Lassen Sie die Anwendung einem Feld der Matrix zuordnen

Im zweiten Schritt muss geklärt werden, wie die angebotene Lösung technisch aufgebaut ist.

Unsere Matrix unterscheidet zunächst zwischen zwei Ebenen:

Modell: das eigentliche Sprach- oder Basismodell
Anwendung beziehungsweise KI-System: die Software, die das Modell mit Oberfläche, Logik, Datenquellen und weiteren Komponenten einbindet

Daneben unterscheidet sie vier Betriebsformen:

• On-Premise
• Self-hosted Cloud
• Nutzung eines Modells per API
• vollständige SaaS-Anwendung

Aus dieser Kombination ergeben sich acht Felder.

Die acht Felder im Überblick:

• Lokales LLM: Ein Modell wird auf eigener Hardware betrieben.
• Lokale KI-Anwendung: Eine vollständige KI-Anwendung läuft auf eigener Infrastruktur.
• Eigenes Modell auf einer Fremd-VM: Das Modell läuft auf einer selbst verwalteten Cloud-Instanz.
• Eigene Anwendung in der Cloud: Die eigene KI-Anwendung wird auf fremder Infrastruktur betrieben.
• Fremdes LLM per API: Ein extern betriebenes Modell wird unmittelbar über eine Schnittstelle genutzt.
• Eigene Anwendung mit API-LLM: Eine eigene Anwendung oder ein eigener Agent bindet ein externes Modell ein.
• KI-SaaS-Anwendung: Anwendung und Modell werden als vollständiger Dienst genutzt.
• Modell innerhalb einer SaaS-Anwendung: Das Modell ist Bestandteil des SaaS-Angebots und wird über dessen Subprozessorkette mitgeprüft.

Diese Fragen sollten Sie dem Anbieter stellen

• Wie ist Ihre KI-Anwendung technisch aufgebaut und welchem Feld unserer 8-Felder-Matrix entspricht sie?
• Wird das verwendete Modell lokal, auf einer von uns kontrollierten Cloud-Instanz, über eine externe API oder vollständig innerhalb Ihrer SaaS-Anwendung betrieben?
• Welche Modellanbieter, Schnittstellen, Hostinganbieter und weiteren Dienstleister sind an der Verarbeitung beteiligt?
• Falls Ihre Lösung aus mehreren Komponenten besteht: Wie ist jede wesentliche Komponente einzuordnen?

Gerade die letzte Frage ist wichtig. Eine vermeintlich europäische SaaS-Anwendung kann im Hintergrund ein Modell eines weiteren Anbieters über eine API nutzen. Für die Prüfung müssen deshalb sowohl der SaaS-Anbieter als auch der Modellanbieter und weitere Unterauftragnehmer betrachtet werden. Für KI-SaaS-Anwendungen sieht die Matrix ausdrücklich eine Prüfung beider Ebenen und der Subprozessorkette vor.

Achtung bei unklaren Anbieterantworten!

Aussagen wie diese reichen für eine Bewertung regelmäßig nicht aus:

• „Die Daten werden sicher in der Cloud verarbeitet.“
• „Unsere Server stehen in Europa.“
• „Wir sind vollständig DSGVO-konform.“
• „Die Daten werden verschlüsselt.“
• „Wir verwenden nur vertrauenswürdige KI-Modelle.“
• Die Antworten müssen erkennen lassen, welche Komponente welche Daten zu welchem Zweck verarbeitet und wer darauf zugreifen kann.

Schritt 3: Prüfen Sie die Verarbeitung von Eingaben und Ausgaben

Wenn die technische Grundstruktur feststeht, folgen die konkreten Datenflüsse.

Fragen Sie nicht nur danach, wo „die Daten“ gespeichert werden. Bei KI-Anwendungen können Eingaben, Outputs, Logs, Backups und Supportdaten an unterschiedlichen Orten und mit unterschiedlichen Fristen verarbeitet werden.

Lassen Sie sich für folgende Datenarten jeweils den Verarbeitungs- und Speicherort nennen:

• Prompts und sonstige Eingaben
• hochgeladene Dateien
• von der KI erzeugte Ausgaben
• Gesprächs- und Bearbeitungsverläufe
• Log- und Protokolldaten
• Telemetrie- und Diagnosedaten
• Datenbanken
• Embeddings und Vektorspeicher
• Dokumenten- und Suchindizes
• temporäre Zwischenspeicher
• Sicherungskopien und Backups
• Daten im Rahmen von Wartung und Support
• Daten für Training, Qualitätssicherung oder Produktverbesserung

Die Drittlandprüfung der KI Matrix betrachtet ausdrücklich nicht nur den Sitz des Vertragspartners. Relevant sind der tatsächliche Verarbeitungsort, die Modellinferenz, Log- und Telemetriedaten, Supportzugriffe sowie eine etwaige Trainingsnutzung.

Konkrete Fragen an den Anbieter

• Wo werden unsere Eingaben, hochgeladenen Dateien und die generierten Ausgaben verarbeitet und gespeichert?
• Wo findet die Modellinferenz statt?
• An welchen Standorten werden Logs, Telemetriedaten, Backups, Embeddings und Vektorspeicher verarbeitet?
• Können Beschäftigte, Supporteinheiten oder Unterauftragnehmer außerhalb der EU beziehungsweise des EWR auf die Daten zugreifen?
• Wie lange werden die einzelnen Datenarten aufbewahrt?
• Werden Eingaben oder Ausgaben für Training, Fine-Tuning, Qualitätssicherung oder Produktverbesserung verwendet?
• Gibt es einen vertraglichen Trainingsausschluss, einen EU-Endpunkt oder eine Zero-Data-Retention-Option?
• Wie werden Daten einschließlich Backups, Protokollen, Embeddings und Indexeinträgen gelöscht?
• Bei Dokumentenassistenten und RAG-Systemen verdient die Löschung besondere Aufmerksamkeit. Nach der Matrix müssen nicht nur die Ausgangsdokumente betrachtet werden. Auch die aus ihnen erzeugten Embeddings und Einträge in einem Dokumentenindex können die betreffenden Inhalte weiterhin abbilden und müssen vom Löschkonzept erfasst werden.

Erstellen Sie eine einfache Datenflussübersicht. Für jede Datenart sollte dokumentiert sein:

• Zweck der Verarbeitung
• Empfänger oder verarbeitende Stelle
• Verarbeitungs- und Speicherort
• Aufbewahrungsfrist
• Löschverfahren
• möglicher Drittlandzugriff
• Nutzung für Training oder Produktverbesserung

Schritt 4: Ordnen Sie Ihre Eingaben einer Datenstufe zu

Der Anbieter kann beschreiben, welche Daten sein System technisch verarbeitet. Welche Daten Ihre Beschäftigten oder Kunden tatsächlich eingeben, muss Ihr Unternehmen jedoch selbst beurteilen.

Die Matrix unterscheidet vier Datenstufen.

Datenstufe 0: keine personenbezogenen Daten

Hierunter können beispielsweise fallen:

• allgemeine, nicht personenbezogene Informationen
• synthetische Testdaten
• anonymisierte Daten
• Ideen- oder Textentwürfe ohne Personenbezug

Bei dieser Stufe stehen insbesondere AI-Act- und Governance-Fragen im Vordergrund.

Datenstufe 1: personenbezogene Daten

Hierzu können unter anderem gehören:

• Namen und Kontaktdaten
• Kundendaten
• Beschäftigtendaten
• Vertragsinformationen
• Kommunikationsinhalte mit Personenbezug
• Informationen über identifizierbare Personen

Für diese Stufe nennt die Matrix unter anderem die Prüfung von Rechtsgrundlage, Auftragsverarbeitung, Informationspflichten, Verzeichnis von Verarbeitungstätigkeiten und der Schwelle für eine Datenschutz-Folgenabschätzung.

Datenstufe 2a: besondere Kategorien personenbezogener Daten

Dazu gehören die besonderen Kategorien nach Art. 9 DSGVO. Die Matrix nennt insbesondere zusätzliche Anforderungen an Rechtsgrundlage und Datenschutz-Folgenabschätzung und sieht eine stärkere Orientierung an kontrollierbaren Betriebsmodellen vor.

Datenstufe 2b: Daten unter Berufsgeheimnis

Diese Stufe betrifft insbesondere besondere Daten, die zusätzlich einem Berufsgeheimnis nach § 203 StGB unterliegen können.

Für diese Konstellation nennt die Matrix weitere Prüfpunkte:

• Ist die Einbeziehung des Dienstleisters erforderlich?
• Ist der Dienstleister schriftlich zur Geheimhaltung verpflichtet?
• Wurde er über die Strafbarkeit belehrt?
• Ist eine angemessene rechtliche Einbindung gewährleistet?
• Stellen Sie nicht nur auf den gewünschten Gebrauch ab

Berücksichtigen Sie auch realistisch vorhersehbare Fehleingaben.

Wenn eine Anwendung beispielsweise freie Texteingaben oder Datei-Uploads ermöglicht, könnten Beschäftigte trotz einer internen Vorgabe versehentlich Kunden-, Beschäftigten- oder Gesundheitsdaten eingeben. Solche Risiken sollten durch technische Begrenzungen, Berechtigungskonzepte, Schulungen und verbindliche Nutzungsregeln reduziert werden.

Die Basisprüfung der Matrix verlangt unter anderem die Erfassung der Datenkategorien, Zugriffsberechtigungen, Protokollierung sowie eine KI-Richtlinie und Nutzungsregeln. Außerdem soll nicht freigegebene Schatten-KI berücksichtigt werden.

Schritt 5: Bestimmen Sie Ihre Rolle nach dem AI Act

„Anwender“ ist eine alltagssprachliche Bezeichnung, aber nicht immer eine ausreichende regulatorische Einordnung.

Die Matrix unterscheidet insbesondere danach, ob ein Unternehmen ein Modell lediglich nutzt, eine eigene Anwendung entwickelt, Veränderungen vornimmt oder eine Lösung unter eigenem Namen bereitstellt.

• Fragen für Ihre Rollenbestimmung
• Setzen wir ein fertiges KI-System innerhalb des vorgesehenen Verwendungszwecks ein?
• Binden wir ein fremdes Modell in eine eigene Anwendung ein?
• Entwickeln wir einen eigenen KI-Agenten oder Chatbot?
• Verändern oder feinjustieren wir das Modell?
• Stellen wir die Anwendung unter eigenem Namen bereit?
• Bieten wir die Lösung Kunden oder anderen Unternehmen an?
• Verändern wir den vorgesehenen Verwendungszweck?
• Entscheiden wir selbst über Funktionsweise, Datenquellen oder Ausgabeverwendung?

Wer ein fremdes KI-System einsetzt, kann Betreiber des Systems sein. Wer eine eigene KI-Anwendung entwickelt, kann nach der Matrix zugleich Anbieter und Betreiber des KI-Systems sein. Bei Fine-Tuning oder Bereitstellung eines Modells unter eigenem Namen können zusätzlich Anbieterpflichten für ein abgeleitetes GPAI-Modell zu prüfen sein.

Frage an den Anbieter

• Welche Rolle nimmt unser Unternehmen bei der vorgesehenen Nutzung Ihrer Lösung nach Ihrer Einschätzung ein?
• Bitte unterscheiden Sie zwischen unserer Rolle in Bezug auf das verwendete Modell und unserer Rolle in Bezug auf die konkrete KI-Anwendung.
• Können durch Konfiguration, Integration, Fine-Tuning, veränderten Einsatzzweck, Branding oder Bereitstellung gegenüber Dritten zusätzliche Pflichten entstehen?
• Die Einschätzung des Anbieters ist eine wichtige Informationsquelle. Sie sollte jedoch nicht ungeprüft übernommen werden. Die konkrete Rolle ergibt sich aus der tatsächlichen Nutzung, Veränderung und Bereitstellung der Lösung.

Fazit und Auswertung: Was bedeuten die Antworten?

Nach diesen fünf Schritten sollten Sie die folgenden Informationen zusammengetragen haben:

• klar beschriebener Einsatzzweck
• Zuordnung von Modell und Anwendung zu einem Matrixfeld
• Darstellung aller relevanten technischen Komponenten
• Modell-, Hosting- und Unterauftragnehmer
• Datenflussübersicht
• Speicher- und Verarbeitungsorte
• Drittlandzugriffe
• Aufbewahrungs- und Löschfristen
• Angaben zur Trainingsnutzung
• Zuordnung der Datenkategorien zu einer Datenstufe
• vorläufige Bestimmung Ihrer Rolle nach dem AI Act

Nun kann die Datenschutz- und Compliance-Prüfung beginnen.

• Die richtige Reihenfolge für die Entscheidung
• Einsatzzweck bestimmen
• Datenkategorien und Datenstufe festlegen
• Modell, Anwendung und Betriebsform identifizieren
• Matrixfeld zuordnen
• Datenflüsse und Drittlandzugriffe prüfen
• Rolle nach dem AI Act bestimmen
• Datenschutz- und AI-Act-Pflichten ableitenErst danach die Anwendung freigeben oder auswählen

Die Entscheidungsregel der Matrix beginnt ebenfalls mit Datenstufe und Einsatzzweck. Aus diesen Angaben folgt, welche Betriebsformen in Betracht kommen. Erst danach sollte die Produktdiskussion geführt werden.

Warnsignale bei der Anbieterprüfung

Eine vertiefte Prüfung ist insbesondere angezeigt, wenn der Anbieter:

• das verwendete Modell nicht nennt,
• keine vollständige Subprozessorliste bereitstellt,
• Speicherort und Ort der Modellinferenz nicht unterscheidet,
• Supportzugriffe aus Drittländern nicht erläutert,
• keine klaren Löschfristen mitteilt,
• die Trainingsnutzung nur vage beschreibt,
• keine Angaben zu Logs, Telemetrie oder Backups macht,
• nur auf allgemeine Sicherheitszertifikate verweist,
• seine AI-Act-Einordnung nicht nachvollziehbar erläutert.

Ein Zertifikat oder eine pauschale Aussage zur DSGVO-Konformität ersetzt keine Prüfung des konkreten Einsatzzwecks und Datenflusses.

Kompakte Checkliste für Ihre Anbieteranfrage

Sie können die folgenden Fragen direkt in eine Beschaffungs- oder Prüfungsanfrage übernehmen:

• Einsatzzweck
• Für welche Zwecke ist die Anwendung vorgesehen?
• Welche Nutzungen schließt der Anbieter aus?
• Trifft oder unterstützt die Anwendung Entscheidungen über Personen?
• Architektur
• Welches KI-Modell wird verwendet?
• Wo wird das Modell betrieben?
• Handelt es sich um On-Premise, Self-hosted Cloud, API oder SaaS?
• Welche weiteren Anbieter und Unterauftragnehmer sind beteiligt?
• Welchem Feld der 8-Felder-Matrix entspricht die Lösung?
• Datenverarbeitung
• Wo werden Eingaben und Outputs verarbeitet?
• Wo findet die Inferenz statt?
• Wo werden Logs, Backups, Telemetriedaten und Embeddings gespeichert?
• Welche Löschfristen gelten?
• Sind Zugriffe aus Drittländern möglich?
• Werden Daten für Training oder Produktverbesserung genutzt?
• Datenkategorien
• Welche Datenarten darf die Anwendung verarbeiten?
• Welche Datenarten sind ausgeschlossen?
• Können besondere Kategorien nach Art. 9 DSGVO verarbeitet werden?
• Kann die Anwendung Daten von Berufsgeheimnisträgern verarbeiten?
• Welche technischen Eingabebeschränkungen bestehen?
• AI-Act-Rolle
• Welche Rolle übernimmt der Anbieter?
• Welche Rolle übernimmt der Kunde?
• Welche Folgen haben Anpassung, Integration oder Branding?
• Welche Dokumentation und Nutzungsanweisungen stellt der Anbieter bereit?

Erst verstehen, dann freigeben

Eine KI-Anwendung sollte nicht allein deshalb freigegeben werden, weil sie bekannt, leistungsfähig oder laut Hersteller „DSGVO-konform“ ist.

Entscheidend ist, ob Sie nachvollziehen können:

• wie das System aufgebaut ist,
• welche Daten es verarbeitet,
• wohin diese Daten gelangen,
• was mit Eingaben und Ergebnissen geschieht,
• und welche Pflichten Ihr Unternehmen übernimmt.

Unterstützung durch den externen Datenschutzbeauftragten

Als externe Datenschutzbeauftragte unterstützen wir Unternehmen dabei,

• KI-Anwendungen vor der Einführung zu prüfen,
• Anbieterunterlagen und Datenflüsse zu bewerten,
• Auftragsverarbeitungsverträge und Subprozessoren zu kontrollieren,
• Drittlandtransfers einzuordnen,
• eine DSFA-Schwellenprüfung durchzuführen,
• Rollen und Pflichten nach dem AI Act zu bestimmen,
• sowie KI-Richtlinien und Freigabeprozesse aufzubauen.

Sie planen die Einführung einer KI-Anwendung? Lassen Sie Architektur, Datenflüsse und Anbieterunterlagen vor der Freigabe von uns strukturiert prüfen.