Ein interner Chatbot fasst vertrauliche Projektunterlagen zusammen. Ein Coding Assistant erhält Zugriff auf Repositories. Ein Agent legt Tickets an, fragt Daten ab und stößt Prozesse an. Der Nutzen kann hoch sein – doch mit jedem zusätzlichen Werkzeug wächst die Angriffsfläche. KI Sicherheit ist deshalb keine Eigenschaft eines Modells und keine Aufgabe, die sich an ein einzelnes Security-Team delegieren lässt. Sie entsteht im Zusammenspiel von Architektur, Identitäten, Daten, Betrieb und Governance.
Für viele Unternehmen liegt die schwierigste Frage nicht darin, ob ein Large Language Model halluzinieren kann. Entscheidend ist, welche Berechtigungen ein KI-System tatsächlich hat, welche Daten es erreicht, welche externen Komponenten mitwirken und wie sich Fehlverhalten zuverlässig begrenzen und nachvollziehen lässt. Das gilt besonders dort, wo aus einem sprachbasierten Assistenten ein handlungsfähiger Agent wird.
KI Sicherheit beginnt beim System, nicht beim Modell
Die Konzentration auf das Modell greift zu kurz. Prompt Injection, Datenabfluss oder schädliche Ausgaben sind relevante Risiken. In produktiven Umgebungen entscheidet aber die Einbettung, ob daraus ein Sicherheitsvorfall wird. Ein Modell, das einen manipulierten Text verarbeitet, verursacht zunächst noch keinen großen Schaden. Kritisch wird es, wenn es daraufhin ohne weitere Kontrolle sensible Informationen ausliest, eine Transaktion anstößt oder Berechtigungen verändert.
Betrachte KI-Anwendungen daher als verteilte Systeme. Dazu gehören Modellanbieter oder selbst betriebene Modelle, RAG-Pipelines, Vektordatenbanken, APIs, Tool-Server, Identitätsdienste, Clients und Observability-Komponenten. Jede dieser Schichten bringt eigene Vertrauensgrenzen mit. Die Sicherheitsarchitektur muss diese Grenzen sichtbar machen – und darf sich nicht darauf verlassen, dass das Modell Anweisungen korrekt priorisiert.
Gerade bei Retrieval Augmented Generation liegt ein verbreiteter Denkfehler nahe: Wenn die Quelldaten intern liegen, sei auch die Antwort automatisch vertrauenswürdig. Das stimmt nicht. Dokumente können fehlerhafte, veraltete oder absichtlich manipulierte Inhalte enthalten. Zudem können Inhalte versteckte Instruktionen transportieren, die ein Modell dazu bringen sollen, seine eigentliche Aufgabe zu verlassen. RAG verbessert den Kontext, ersetzt aber weder Zugriffskontrolle noch Validierung.
Datenzugriff: Berechtigungen müssen enger werden, nicht weiter
KI-Projekte scheitern im Sicherheitsdesign häufig an einer bequemen Abkürzung: Der Assistent erhält einen breit privilegierten technischen Account, damit die Integration schnell funktioniert. Damit überträgt die IT die Reichweite eines Systems auf eine Komponente, deren Ausgaben probabilistisch sind und deren Eingaben oft aus unstrukturiertem Text bestehen.
Das Gegenmodell ist konsequente, kontextbezogene Autorisierung. Ein KI-Dienst sollte nur auf Daten zugreifen können, die der jeweilige Nutzer oder Prozess auch ohne KI sehen dürfte. Diese Berechtigungsprüfung gehört möglichst nahe an die Datenquelle und nicht allein in die Prompt-Logik. Mandantentrennung, Datenklassifizierung und Policy Enforcement müssen für KI-Zugriffe genauso gelten wie für klassische Anwendungen.
Bei besonders schützenswerten Informationen reicht das nicht immer. Dann kann es sinnvoll sein, Daten vor der Modellverarbeitung zu minimieren, zu pseudonymisieren oder bestimmte Kategorien vollständig auszuschließen. Welche Variante angemessen ist, hängt vom Schutzbedarf, dem Verarbeitungszweck und der Betriebsform ab. Eine interne Installation reduziert etwa Risiken beim Datentransfer, löst aber nicht automatisch Fragen nach missbräuchlichen Berechtigungen oder unsicherem Logging.
Auch Telemetrie verdient Aufmerksamkeit. Prompts, Antworten und Traces sind für Fehlersuche und Qualitätsverbesserung wertvoll, können aber Geschäftsgeheimnisse, personenbezogene Daten oder Zugangsinformationen enthalten. Lege deshalb Aufbewahrungsfristen, Zugriffskreise und Maskierungsregeln fest, bevor Teams Observability im großen Stil einschalten.
Agenten verändern das Risikomodell
Ein Chatbot informiert. Ein Agent kann handeln. Diese Unterscheidung ist für Architekturentscheidungen wichtiger als die Bezeichnung des Produkts. Sobald ein System Tools aufruft, E-Mails versendet, Datenbanken abfragt oder Infrastruktur verändert, muss die Organisation nicht nur auf falsche Antworten reagieren. Sie muss ungewollte Aktionen verhindern, begrenzen und rückgängig machen können.
Das Prinzip der geringsten Privilegien ist hier notwendig, aber allein nicht ausreichend. Agenten brauchen zusätzlich klar definierte Aktionsgrenzen. Ein Tool für eine Bestellung darf nicht zugleich Zahlungsdaten ändern. Ein Agent für Incident-Triage sollte keine produktiven Deployments auslösen können. Riskante Aktionen benötigen je nach Kritikalität eine explizite Freigabe durch Menschen, ein Vier-Augen-Prinzip oder technische Policy Checks.
Besonders kritisch sind indirekte Prompt-Injection-Angriffe. Ein Agent verarbeitet beispielsweise ein Ticket, eine Website oder ein Dokument. Darin steht eine versteckte Anweisung, zusätzliche Daten abzurufen oder ein anderes Tool aufzurufen. Das Modell kann Inhalt und Handlungsanweisung nicht verlässlich so trennen, wie es ein regelbasiertes Programm täte. Deshalb müssen Tool-Aufrufe außerhalb des Modells validiert werden: mit festen Schemata, erlaubten Parametern, Rate Limits, Transaktionsgrenzen und einer wirksamen Bestätigung für irreversible Schritte.
Für Engineering-Teams folgt daraus eine nüchterne Regel: Ein LLM sollte keine Sicherheitsentscheidung allein treffen. Es kann Informationen priorisieren, Anträge vorbereiten oder Auffälligkeiten erklären. Die Durchsetzung von Policies gehört jedoch in deterministische Kontrollpunkte.
Lieferkette und Integrationen sind Teil der Angriffsfläche
KI-Anwendungen bestehen selten ausschließlich aus selbst entwickeltem Code. Sie nutzen Modelle, Open-Source-Bibliotheken, Embedding-Komponenten, Agent-Frameworks, Connectoren und vortrainierte Artefakte. Die klassische Software Supply Chain erweitert sich damit um Modelle und Daten.
Prüfe daher nicht nur Container-Images und Paketabhängigkeiten, sondern auch Herkunft, Version und Integrität von Modellen und Datensätzen. Ein manipuliertes Modellartefakt oder ein unsicherer Connector kann die Schutzmaßnahmen der eigentlichen Anwendung umgehen. Bei externen Modellservices gehören zudem Datenflüsse, Vertragsbedingungen, Regionen, Subprozessoren und Exit-Optionen in die Risikobewertung. Vendor Lock-in ist nicht nur ein Beschaffungsproblem, wenn Sicherheitskontrollen oder Auditdaten nur eingeschränkt portierbar sind.
In der Praxis hilft ein KI-spezifisches Inventar. Es sollte erfassen, welche Anwendung welches Modell nutzt, welche Datenklassen verarbeitet werden, welche Tools angebunden sind, wer fachlich verantwortlich ist und welche Schutzmaßnahmen gelten. Ohne diese Transparenz bleibt Governance ein Dokument, während sich die reale Landschaft über Pilotprojekte und Schatten-IT weiterentwickelt.
Testen heißt Angreifen, beobachten und begrenzen
Klassische funktionale Tests reichen nicht aus. Teams sollten KI-Anwendungen vor dem Go-live gezielt mit adversarialen Eingaben prüfen: Prompt Injections, Umgehungsversuche von Systemanweisungen, Datenexfiltration über Antworten, überlange Kontexte, unerwartete Tool-Parameter und Mehrschritt-Szenarien. Das ist kein einmaliger Abnahmetermin. Modelle, Datenquellen, Prompts und Tools ändern sich – und damit auch das Verhalten des Gesamtsystems.
Sinnvoll sind gestufte Umgebungen und ein kontrollierter Start. Beginne mit lesenden Zugriffen, eingeschränkten Datendomänen und wenigen klaren Use Cases. Miss nicht nur Antwortqualität und Akzeptanz, sondern auch sicherheitsrelevante Signale: abgewiesene Tool-Aufrufe, Policy-Verstöße, ungewöhnliche Zugriffsmuster und fehlgeschlagene Autorisierungen. Für produktive Systeme brauchst du außerdem einen Kill Switch, mit dem sich Tools oder Integrationen schnell deaktivieren lassen, ohne den gesamten Service abschalten zu müssen.
Red Teaming darf dabei nicht als Spezialdisziplin neben dem Betrieb stehen. Security, Fachbereich, Plattformteam und Datenschutz bringen unterschiedliche Angriffs- und Fehlerszenarien ein. Ein Security-Team erkennt möglicherweise Datenabfluss, während das Fachteam bemerkt, dass ein Agent eine fachlich falsche, aber formal zulässige Handlung vorbereitet. Erst beide Perspektiven ergeben ein realistisches Risikobild.
Governance muss Entscheidungen beschleunigen
Der EU AI Act, Datenschutzrecht, branchenspezifische Anforderungen und interne Sicherheitsvorgaben erhöhen den Druck auf nachvollziehbare Kontrollen. Der produktive Umgang damit ist nicht, jedes KI-Vorhaben durch ein zentrales Gremium zu verlangsamen. Besser sind wiederverwendbare Leitplanken: zugelassene Datenklassen, Referenzarchitekturen, Muster für Identitäten und Logging, klare Freigabeschwellen sowie definierte Verantwortlichkeiten.
CISOs und CIOs sollten gemeinsam festlegen, welche Risikoklassen für KI-Anwendungen im Unternehmen gelten. Ein interner Wissensassistent ohne Tool-Zugriff ist anders zu bewerten als ein Agent mit Zugriff auf Finanz-, Produktions- oder Administrationssysteme. Daraus müssen konkrete Anforderungen folgen – nicht nur Ampelfarben in einer Präsentation.
Für Entwickler und Plattformteams bedeutet Governance idealerweise weniger Interpretationsspielraum, nicht mehr Papierarbeit. Wenn sichere Tool-Gateways, zentral verwaltete Secrets, Audit-Logs und Policy-as-Code als Plattformfähigkeiten verfügbar sind, wird der sichere Weg auch der schnellere Weg. Genau daran entscheidet sich, ob KI Sicherheit in einzelnen Leuchtturmprojekten bleibt oder zum Standard im Engineering wird.
Die sinnvollste nächste Maßnahme ist oft kein neues Tool, sondern ein Architekturgespräch über einen konkreten Use Case: Welche Daten sieht das System, welche Aktion darf es ausführen, wer genehmigt sie und wie wird sie gestoppt? Wenn du diese vier Fragen präzise beantworten kannst, entsteht aus KI-Euphorie ein kontrollierbarer Betrieb.