KI-Cybersicherheit ist die Praxis, künstliche Intelligenz als Teil Ihrer Angriffsfläche abzusichern: die Modelle, Datensätze, Agenten, MCP-Server, Eingabeaufforderungen und den KI-generierten Code in Ihrer Software sowie die neuen Angriffstechniken, die darauf abzielen. Sie umfasst auch den umgekehrten Weg, die Nutzung von KI zur Stärkung der Verteidigung, aber der erste Weg ist derjenige, der heute die größte Angriffsfläche bietet. Das ist die Kurzfassung der Frage, was KI-Cybersicherheit ist. Es lohnt sich, vorbereitet zu sein.cisSeien Sie vorsichtig, denn der Begriff wird für zwei sehr unterschiedliche Dinge verwendet, und wenn man das Falsche kauft, ist das andere ungeschützt.
Bedeutung von KI-Cybersicherheit, in zwei Richtungen #
Die Bedeutung von KI-Cybersicherheit lässt sich entlang einer einfachen Linie spalten: Schützen Sie die KI oder werden Sie von ihr geschützt?
KI-Sicherheit. Ihre Organisation entwickelt mit KI und baut auf KI auf. Dadurch entstehen Ressourcen, die bisher nicht erfasst wurden, und Fehlermodi, für die herkömmliche Tools nicht ausgelegt waren: eine Eingabeaufforderung, die nicht vertrauenswürdige Daten akzeptiert, ein Agent mit mehr Berechtigungen als für seine Aufgabe nötig, ein Datensatz, der ein Modell verfälscht, ein MCP-Server, der nicht freigegeben wurde. Genau hier entstehen die Zwischenfälle.
KI für Sicherheit. Maschinelles Lernen angewendet auf Erkennung, Priorisierung, Erklärung und Behebung: Es reduziert Fehlalarme, priorisiert relevante Erkenntnisse und entwickelt die Lösung. Hier liegt die Grundlage für Effizienz.
Die meisten Anbieter und Artikel vermischen die beiden. Für die operative Bedeutung der KI-Cybersicherheit ist jedoch wichtig, dass es sich um separate Programme mit jeweils eigenen Verantwortlichen handelt. Das eine Problem betrifft die Angriffsfläche, das andere die Produktivität.
Was schützt KI-Cybersicherheit? #
Eine Bestandsaufnahme vor der Kontrolle. Jeder unten aufgeführte Gegenstand ist ein Vermögenswert, für den nun ein Sicherheitsteam verantwortlich ist.
- Modelsunabhängig davon, ob die Anwendung selbst gehostet, feinabgestimmt oder über eine Provider-API aufgerufen wird.
- Datensätze Wird für Training, Feinabstimmung, Evaluierung und Abruf verwendet
- Agenten und Agentenserver die autonom innerhalb Ihrer Systeme agieren
- MCP-Server die diesen Agenten Werkzeuge und Daten zugänglich machen
- Anregungen, Fertigkeitsdateien, Regeldateien und guardrails, die Konfigurationsschicht, die das Verhalten der KI steuert
- Inferenz-Endpunkte und die Zugangsdaten, die sie erreichen
- KI-Codierungsassistenten im Einsatz in Ihren Teams und der von ihnen generierte Code
- KI-Abhängigkeiten: die Frameworks und Pakete, die Ihr KI-Stack einbindet
Beachten Sie, wie wenig davon Anwendungscode ist. Das ist Vorprogrammcisely warum ein SAST Ein Tool, ein EDR-Agent und ein Cloud-Posture-Tool können alle grünes Licht geben, während ein Agent auf einem Laptop Daten über sein eigenes E-Mail-Tool exfiltriert. Beides ist kein Anwendungscode und wird daher nicht von den bereits verwendeten Tools abgedeckt.
Die drei Angriffe, die nur dank KI existieren #
Zu wissen, um welche Familie es sich handelt, verrät Ihnen, wo die Kontrolle liegt, und genau hier hört die Bedeutung von KI-Cybersicherheit auf, abstrakt zu sein.
Die erste Familie zielt auf die Anweisungen des Modells ab. Die sofortige Injektion hat ihre Spitzenposition in der OWASP Top 10 für LLM-Bewerbungen Da die Liste existiert, gibt es einen einfachen Grund: Jede Stelle, an der ein Modell Text liest, den es nicht selbst verfasst hat, stellt ein potenzielles Einfallstor dar. Die gefährliche Variante ist indirekt. Niemand tippt den Angriff, das Modell ruft ihn ab – beispielsweise aus einem Support-Ticket, einer Webseite oder einem anderen Dokument. pull request Ein Kommentar oder ein hochgeladenes Dokument. Das Modell kann Anweisungen nicht von Inhalten unterscheiden und befolgt daher beides. Gibt man diesem Modell Werkzeuge, wird dieselbe Technik zur Werkzeuginjektion: Ändert man die Annahme des Agenten über die Funktion eines Werkzeugs, agiert es mit den eigenen Zugangsdaten gegen den Nutzer. Übermäßige Handlungsfähigkeit wirkt als Multiplikator. Ein Agent mit weitergehenden Berechtigungen als für seine Aufgabe erforderlich, entscheidet darüber, ob es sich um eine Belästigung oder einen Vorfall handelt.
Die zweite Familie zielt auf die Konfigurationsschicht ab. Eingabeaufforderungen, Regeldateien, Kompetenzdateien und MCP-Serverdefinitionen bestimmen das Verhalten der KI in Ihrer Umgebung – und keines davon ist Anwendungscode. Die „Rules File Backdoor“ hat gezeigt, wie weit das geht: Unicode-Zeichen mit der Breite Null enthalten Anweisungen, die ein menschlicher Prüfer physisch nicht sehen kann. Der Assistent befolgt diese Anweisungen und erwähnt sie in seiner Antwort nie. Die Technik ist dokumentiert in … MITRE ATLAS wie AML.CS0041. Dieselbe Schicht speichert routinemäßig Anbieteranmeldeinformationen im Klartext und gewährt Assistenten Lesezugriff auf weit mehr Bereiche des Dateisystems, als beabsichtigt war. Agentencodierung, Diese Ebene ist das Lenkrad, und fast niemand überprüft sie.
Die dritte Gruppe zielt auf die Lieferkette für künstliche Intelligenz ab. Modelle, Datensätze und die dazugehörigen Pakete stammen von externen Quellen. Slopsquatting ist der deutlichste Fall: Sprachmodelle erfinden Paketnamen, Angreifer registrieren diese, und der Agent installiert auf Anfrage den Code des Angreifers. Forschungsergebnisse, die auf der USENIX Security 2025 vorgestellt wurden, zeigen, dass 19.7 % der von Sprachmodellen empfohlenen Pakete nicht existieren und dass erfundene Namen häufig genug wiederkehren, um gezielt ausgenutzt zu werden. Hinzu kommen manipulierte Trainings- und Abrufdaten, Einbettungen, die ihre Quelldaten preisgeben, nicht vertrauenswürdige MCP-Server, die direkt mit einem Agenten verbunden sind, und anfällige KI-Frameworks, die als Abhängigkeiten eingebunden werden.
Unter all dem verbirgt sich eine Schatten-KI: die Modelle, Agenten, Assistenten und MCP-Server Es läuft bereits ohne Genehmigung, Überprüfung oder Inventarisierung. Das ist der Standardzustand in den meisten Organisationen, und deshalb ist die erste Kontrollinstanz immer eine Liste.
Was ist nicht? #
Es handelt sich nicht um KI-Governance. Governance beantwortet die Frage, ob ein Modell eingesetzt werden sollte und unter welchen Richtlinien. KI-Cybersicherheit beantwortet die Frage, ob das Modell, der Agent und die Verbindungen zwischen ihnen angreifbar sind.
Es handelt sich nicht um einen Filter vor einem Chatbot. Die Filterung von Laufzeit-Eingabeaufforderungen ist eine von vielen Kontrollmöglichkeiten. Sie berücksichtigt weder den MCP-Server auf dem Laptop eines Entwicklers, noch die manipulierte Regeldatei im Repository oder die Anmeldeinformationen in einer KI-Konfiguration.
Es ist nicht durch das abgedeckt, was Sie bereits verwenden. Herkömmliche Anwendungssicherheit endet auf Ebene des Repositorys und kennt kein Modell. Endpoint-Tools überwachen das Betriebssystem, verstehen aber weder Pakete noch MCP-Server oder Assistenten. KI-Angriffe nutzen diese Lücke aus.
Es geht nicht nur um generative KI. Klassisches maschinelles Lernen in den Bereichen Betrug, Preisgestaltung und Risikobewertung ist ebenfalls ein Ziel, und zwar durch Manipulation, Ausnutzung und Extraktion von Modellen.
Die Rahmenwerke, die das Feld definieren #
OWASP Top 10 für LLM-BewerbungenDie Arbeitstaxonomie für LLM-Anwendungsrisiken, auf die die meisten Sicherheitsteams ihre Ergebnisse abbilden.
OWASP Top 10 für Agentenanwendungen 2026: die Begleitliste für autonome, werkzeugnutzende Systeme, veröffentlicht im Dezember 2025
OWASP GenAI Sicherheitsprojekt: die übergreifende Initiative, einschließlich Datensicherheit, MCP-Server-Anleitung und Red-Teaming-Ressourcen
NIST AI Risk Management Framework und sein Generatives KI-Profil: das Governance-Vokabular, das Regulierungsbehörden und Aufsichtsräte anerkennen
MITRE ATLAS: Die Wissensbasis für adversarielle Techniken in KI-Systemen mit realen Fallstudien
EU-KI-Gesetz: der rechtliche Rahmen, einschließlich der technischen Dokumentationspflichten, deren Erfüllung Ihnen ein KI-Inventar erleichtert.
Wo soll ich anfangen #
Inventar. Finden Sie jedes Modell, jeden Datensatz, jeden Agenten, jeden MCP-Server und jeden KI-Assistenten, der im Einsatz ist, anhand des Codes, der Abhängigkeiten und der Konfiguration und nicht anhand einer Umfrage.
Bilden Sie die Beziehungen ab. Das Risiko liegt in der Verkabelung: Welcher Akteur greift auf welches Werkzeug zu, welcher Datensatz speist welches Modell.
Lesen Sie die Konfigurationsschicht. Behandeln Sie Eingabeaufforderungen, Kompetenzdateien, Regeldateien und MCP-Definitionen als Sicherheitsartefakte und überprüfen Sie sie wie Code.
Bereichsberechtigungen. Jeder Mitarbeiter erhält den kleinstmöglichen Handlungsspielraum und die geringste Autonomie, die sein Job zulässt.
Setzen Sie es dort durch, wo es angewendet wird. Das größte KI-Risiko liegt auf den Rechnern der Entwickler, daher müssen die Richtlinien am Endpunkt angewendet werden, bevor ein nicht genehmigter Server oder ein schädliches Paket ausgeführt werden kann.
Sicherung der von Ihnen verwendeten und der von Ihnen entwickelten KI #
Die praktische Antwort auf die Frage, was KI-Cybersicherheit ist, lautet: Sie beginnt mit Transparenz und endet mit der Durchsetzung von Sicherheitsmaßnahmen. Xygeni erkennt jedes KI-Asset in Ihrem System. SDLCDie KI-Stückliste (AI-BOM) umfasst Modelle, Agenten, MCP-Server, Datensätze, Skill-Dateien und nicht deklarierte Eingabeaufforderungen, bildet deren Verbindungen ab und erkennt spezifische Risiken: Eingabeaufforderungs- und Tool-Injection, schädliche Anweisungen in Regel- und Skill-Dateien, unsichere MCP-Konfiguration, Geheimnisse in KI-Dateien und unkontrollierte KI-Abhängigkeiten. Die Ergebnisse entsprechen den OWASP Top 10 für LLM-Anwendungen und verweisen auf die exakte Datei und Zeile. Eine KI-Stückliste bietet Ihren Auditoren eine stichhaltige Grundlage, und die Richtlinien werden direkt beim Entwickler durchgesetzt, wo die meisten KI-Risiken tatsächlich auftreten.
Dieselbe Intelligenz wird auch auf die Ergebnisse Ihrer bereits vorhandenen Scanner angewendet. KI-Sicherheit erweitert also Ihre bestehende Sicherheitsarchitektur, anstatt sie zu ersetzen. Sehen Sie, womit Ihre Agenten verbunden sind unter Xygeni.
FAQ #
Entwicklung, bei der ein KI-Agent mithilfe von Tools mehrstufige Aufgaben in Ihrer Codebasis plant und ausführt, während gleichzeitig die KI innerhalb Ihrer Software und Ihres Entwicklungsprozesses gesichert und gegen Angriffe verteidigt wird, die speziell auf sie abzielen.
Eine neue Anlageklasse, für die Sie verantwortlich sind, die außerhalb des Geltungsbereichs Ihrer bestehenden Anwendungs- und Endpunkttools liegt und nach der bei Audits gefragt wird.
Nein. Das eine schützt die KI, die Sie verwenden und mit der Sie entwickeln. Das andere nutzt KI, um Ihr Sicherheitsteam zu beschleunigen. Beide sind nützlich und ersetzen sich nicht.
Die OWASP Top 10 für LLM-Anwendungen im Ingenieurwesen und das NIST AI Risk Management Framework für Governance. Fügen Sie die Agentenliste hinzu, sobald Agenten Tools in Ihrer Umgebung verwenden.
Eine Bestandsaufnahme. Jede andere Kontrollmaßnahme setzt voraus, dass man weiß, was vorhanden ist, und die meisten Teams entdecken Vermögenswerte, die niemand gemeldet hat.
