Was ist KI-Sicherheit? KI-Sicherheit ist die Praxis, die KI-Modelle, Agenten, Datensätze und die Infrastruktur, von der die Software abhängt, vor den Risiken zu schützen, die für die Entwicklung, das Training und den Betrieb von KI-Systemen spezifisch sind. Es umfasst die Ermittlung aller im Einsatz befindlichen KI-Ressourcen, die Erkennung KI-spezifischer Schwachstellen wie etwa das sofortige Einschleusen von Code und unsicheres Agentenverhalten sowie die Durchsetzung von Richtlinien, die unsichere KI-Aktionen verhindern, bevor sie Schaden anrichten. Dies ist der Kern der KI-Sicherheit, der im Folgenden näher erläutert wird.
Anders als die traditionelle Anwendungssicherheit, die Code, Abhängigkeiten und Infrastruktur schützt, schützt KI-Sicherheit eine neue Kategorie von Assets: Modelle, Eingabeaufforderungen, Agenten und die sie verbindenden Maschine-zu-Maschine-Protokolle. Da KI sich von einer Funktion zu einem integralen Bestandteil der Software-Lieferkette entwickelt hat, ist sie zu einer eigenständigen und notwendigen Verteidigungsebene geworden.
Bedeutung von KI-Sicherheit: Die Kurzdefinition #
Im einfachsten Sinne bedeutet KI-Sicherheit Folgendes: KI wird auf die gleiche Weise gesichert wie Code, jedoch für eine Reihe von Komponenten und Verhaltensweisen, für deren Erkennung herkömmliche Tools nie entwickelt wurden.
Eine hilfreiche Methode, um das Konzept von einer häufigen Verwechslungsquelle zu trennen: KI-Sicherheit ist nicht dasselbe wie „KI in der Sicherheit“. KI im Bereich der Sicherheit bezeichnet den Einsatz künstlicher Intelligenz zur Verbesserung bestehender Sicherheitsmaßnahmen, beispielsweise durch ein KI-Modell zur Priorisierung von Schwachstellenanalysen. KI-Sicherheit hingegen zielt auf die Absicherung der KI selbst ab: der Modelldateien, der Trainingsdaten, der Agenten, der Eingabeaufforderungen und der Server, die die Aktionen der KI-Tools ermöglichen. Beides sind legitime Anwendungsbereiche von KI, beantworten aber unterschiedliche Fragestellungen.
Warum es wichtig ist #
Softwareteams haben KI-Programmierassistenten, autonome Agenten und die Modellkontextprotokoll (MCP) in einem Tempo, das die zu ihrer Sicherung vorgesehenen Werkzeuge überholt hat. Einige Gründe, warum diese Entwicklung eine neue Angriffsfläche geschaffen hat:
KI-Abhängigkeiten können vergiftet oder erfunden werden. KI-Programmierassistenten empfehlen manchmal Pakete, die gar nicht existieren – ein Vorgehen, das als Slopsquatting bekannt ist und von Angreifern vorregistriert und als Waffe eingesetzt werden kann.
KI-generierter Code birgt sein eigenes Risikoprofil. Unabhängige Benchmark-Tests zur KI-Codegenerierung haben ergeben, dass ein erheblicher Anteil des von KI geschriebenen Codes gängige Schwachstellenmuster aufweist, selbst wenn das zugrunde liegende Modell leistungsfähig und gut trainiert ist.
Agenten und MCP-Server stellen eine neue, weitgehend unüberwachte Infrastruktur dar. Agenten können Dateien lesen, Tools aufrufen und im Namen eines Entwicklers Aktionen ausführen. Werden die Anweisungen, Regeldateien oder verbundenen MCP-Server eines Agenten manipuliert, kann der Agent gegen das System eingesetzt werden, das er eigentlich schützen soll.
Die KI-Konfiguration stellt nun eine Angriffsfläche dar. Skilldateien, Regeldateien und Eingabeaufforderungsvorlagen werden üblicherweise als Dokumentation und nicht als sicherheitsrelevante Artefakte behandelt. Angreifer haben bereits gezeigt, dass in diesen Dateien eingebettete versteckte Anweisungen einen KI-Assistenten dazu veranlassen können, Hintertürcode zu erzeugen, ohne dass dies in der Antwort sichtbar ist.
Was umfasst es? #
Ein vollständiges KI-Sicherheitsprogramm umfasst typischerweise drei Funktionen:
1. Entdeckung (KI-Inventar) #
Bevor etwas gesichert werden kann, muss es erst einmal gefunden werden. KI-Sicherheit beginnt mit der kontinuierlichen Erkennung aller KI-Ressourcen in den Repositories einer Organisation. pipelines: Modelle, KI-Frameworks, Datensätze, Inferenzendpunkte, Agenten, KI-Codierungswerkzeuge und die MCP-Server, mit denen sie verbunden sind. Dieses Inventar wird typischerweise als maschinenlesbare KI-Stückliste (AI-BOM) ausgedrückt, dem KI-Äquivalent einer Software-Stückliste (SBOM).
2. Erkennung (KI-Risiko) #
Sobald die KI-Assets bekannt sind, erkennt AI Security die spezifischen Risiken, die mit ihnen verbunden sind, darunter:
- Schnelle Einspritzung und Systemleckage, wo nicht vertrauenswürdige Inhalte das Verhalten eines KI-Modells manipulieren
- Unsichere MCP-Konfiguration, wo ein verbundenes Tool oder ein Server manipuliert oder imitiert werden kann
- Übermäßige Handlungsfreiheit, wenn es einem Agenten gestattet ist, ohne menschliche Kontrolle über seine vorgesehenen Grenzen hinaus zu handeln.
- Geheimnisse in KI-Dateien aufgedeckt, wo API-Schlüssel oder Anmeldeinformationen durch Konfigurationen, die von KI-Tools verwendet werden, durchsickern.
- Anfällige oder halluzinierte KI-Abhängigkeiteneinschließlich Slopsquatting
Diese Risikokategorien entsprechen veröffentlichten, von der Fachgemeinschaft geprüften Rahmenwerken, insbesondere den OWASP Top 10 für LLM-Bewerbungen.
3. Durchsetzung (Guardrails) #
Die letzte Schicht verhindert unsicheres KI-Verhalten, bevor es ausgeführt wird: Blockierung der Installation eines schädlichen PaketsDies umfasst die Validierung einer Fähigkeits- oder Regeldatei, bevor diese als vertrauenswürdig eingestuft wird, oder das Abfangen einer Agentenaktion, die gegen Richtlinien verstößt. Hier geht die KI-Sicherheit von der reinen Sichtbarkeit zur aktiven Verteidigung über.
Die wichtigsten KI-Sicherheitsrisiken, definiert #
| Bedingungen | Was es bedeutet |
|---|---|
| Sofortige Injektion | Bösartige Anweisungen, die in Inhalten versteckt sind, welche ein KI-Modell verarbeitet, veranlassen es dazu, entgegen seinem eigentlichen Zweck zu handeln. |
| Slopsquatting | Angreifer, die gefälschte Pakete registrieren, deren Namen mit denen eines KI-Modells übereinstimmen, werden wahrscheinlich Halluzinationen auslösen und Empfehlungen aussprechen. |
| MCP-Risiko | Schwachstellen in den Servern des Model Context Protocol, die es KI-Agenten ermöglichen, externe Tools aufzurufen, einschließlich Tool-Poisoning und unauthentifiziertem Zugriff |
| Übermäßige Handlungsfreiheit | Einem KI-Agenten wird mehr Autonomie oder Zugriff gewährt, als seine Aufgabe erfordert. |
| Hintertür für Regel-/Fertigkeitsdateien | Versteckte Zeichen oder Anweisungen in Konfigurationsdateien steuern einen KI-Programmierassistenten, ohne in dessen sichtbarer Ausgabe aufzutreten. |
| KI-BOM | Ein maschinenlesbares Inventar der KI-Ressourcen einer Organisation, das für Prüfungs- und Risikomanagementzwecke verwendet wird. |
KI-Sicherheitsframeworks und Standards #
Es basiert auf einer kleinen Anzahl veröffentlichter Werke. standards und nicht die Taxonomie eines einzelnen Anbieters:
- OWASP Top 10 für LLM-Bewerbungen (2025): die am häufigsten zitierte Liste der Risiken von KI-Anwendungen, die unter anderem die Bereiche Prompt-Injection, Offenlegung sensibler Informationen und Lieferkettenrisiken umfasst.
- NIST SP 800-218A: Leitfaden für sichere Softwareentwicklungspraktiken, angepasst an generative KI und Dual-Use-Grundlagenmodelle.
- Gartners AI-SPM und AI TRiSM: von Analysten definierte Kategorien für das AI Security Posture Management und die breitere Disziplin des AI Trust, Risk and Security Management.
Zusammen bieten diese Organisationen ein gemeinsames Vokabular für die Bedeutung von „sicherer KI“, anstatt sich allein auf Marketingdefinitionen zu verlassen.
KI-Sicherheit vs. verwandte Begriffe #
- KI-Sicherheit vs. AnwendungssicherheitAppSec sichert Anwendungscode und dessen Abhängigkeiten. Es sichert die KI-Modelle, Agenten und KI-spezifische Konfigurationen, die von AppSec-Tools nicht überprüft werden sollen.
- KI-Sicherheit vs. KI-GovernanceGovernance definiert die Richtlinien und Genehmigungen, die eine Organisation für den Einsatz von KI benötigt. Sie setzt diese Richtlinien in der Praxis durch und überprüft deren Einhaltung auf Code- und Agentenebene.
- KI-Sicherheit vs. MLSecOpsMLSecOps konzentriert sich auf die Absicherung des gesamten Lebenszyklus von maschinellem Lernen (Training, Daten, Modellbereitstellung). Der Ansatz ist jedoch umfassender und schließt Agenten, Programmierassistenten und die Protokolle ein, die diese mit Live-Systemen verbinden.
Wie Xygeni an die KI-Sicherheit herangeht
#
Xygenis Das Produkt AI Security wendet dieses Modell zum Erkennen, Reagieren und Durchsetzen von Sicherheitsmaßnahmen direkt auf den Softwareentwicklungszyklus an. Es erstellt kontinuierlich ein KI-Inventar über alle Repositories hinweg, erkennt KI-spezifische Risiken wie Prompt-Injection und unsichere MCP-Konfigurationen und ordnet jeden Befund den OWASP Top 10 für LLM-Anwendungen zu. So arbeiten Sicherheits- und Entwicklungsteams mit einer einheitlichen KI-Stückliste und einer einheitlichen Risikoanalyse, anstatt raten zu müssen, welche KI bereits in ihrem Code ausgeführt wird.
FAQ #
KI-Sicherheit ist der Schutz von KI-Modellen, Agenten, Daten und der sie verbindenden Infrastruktur vor Risiken, die spezifisch für die Art und Weise sind, wie KI-Systeme aufgebaut sind und funktionieren.
Nein. Cybersicherheit ist der Oberbegriff für alle digitalen Risiken. KI-Sicherheit ist ein spezialisierter Teilbereich der Cybersicherheit, der sich auf KI-spezifische Systeme und Fehlermodi konzentriert, wie z. B. das Einschleusen von Schadsoftware oder unsicheres Agentenverhalten.
Jede Organisation, deren Entwickler KI-Programmierassistenten einsetzen, deren Produkte KI-Modelle integrieren oder deren Arbeitsabläufe autonome Agenten und MCP-Server umfassen. Dies betrifft mittlerweile die meisten Softwareteams unabhängig von ihrer Größe.
