Bei der Sicherheit von KI-Agenten geht es nicht mehr darum, was ein Modell aussagt. Es geht darum, was ein Agent tut: die Tools, die er aufruft, die Daten, die er liest, die Anmeldeinformationen, die er speichert, und die Pakete, die er selbstständig installiert.
Und die meisten Teams können die erste Frage nicht beantworten: Welche Agenten verwenden wir eigentlich? Sie befinden sich in Repositories als LangChain-Graphen, MCP-Server, SKILL.md Dateien und KI-Codierungswerkzeuge, die einzelne Entwickler an einem Freitagnachmittag konfiguriert haben. Niemand hat sie überprüft, und eine bösartige Fähigkeit ist nichts weiter als einfacher Text.
TL; DR
KI-Agentensicherheit in vier Schritten: Erkennen, Bewerten, Absichern, Installieren schützen.
Agenten, die man nicht sehen kann, lassen sich nicht schützen. Die Sicherheit von KI-Agenten beginnt mit einer Bestandsaufnahme aller Agenten, MCP-Server, Skills, Modelle und KI-Codierungswerkzeuge in Ihrem Code.
- Risiken bei der Entwicklung von Agenten: Eingabeaufforderungen, die Benutzereingaben verketten, Tool-Aufrufagenten ohne guardrails, übermäßig privilegierte Zugangsdaten und Fähigkeiten mit versteckten Anweisungen. Der größte Teil davon ist im Code vor der Bereitstellung sichtbar und wird abgebildet auf OWASP Top 10 für Agentenanwendungen.
- Sicherheit innerhalb der Schleife: Codierungsagenten benötigen Sicherheit innerhalb ihrer Schleife, daher scannen und korrigieren sie den von ihnen geschriebenen Code, bevor er ausgeführt wird. committed, nicht Wochen später in einem Strafzettel.
- Schützen Sie die Installationen: Auch Agenten installieren Abhängigkeiten. Malware-Erkennung, die bereits vor dem Vorhandensein einer Signatur funktioniert, erfasst schädliche Pakete unabhängig davon, wer sie installiert – ob Entwickler oder Agent.
- Ein Arbeitsablauf: Die Ergebnisse der KI-gestützten Prüfung durchlaufen die gleichen Triage-, Ticket- und Berichtsverfahren wie die übrigen AppSec-Ergebnisse.
Der erste Schritt: Erstellen Sie ein Inventar der KI in Ihren Repositories, exportieren Sie es als KI-Stückliste und steuern Sie dann neuen Agentencode in CI.
Warum die Sicherheit von KI-Agenten ein anderes Problem darstellt
Eine LLM-Funktion liefert Text, und ein Mensch entscheidet über dessen Weiterverarbeitung. Ein Agent schließt diesen Kreislauf selbstständig: Er plant, ruft Tools auf, liest Webseiten, E-Mails und Dokumente, schreibt Dateien und führt Befehle aus. Jede Fähigkeit, die Sie einem Agenten geben, kann auch von einem Angreifer ausgenutzt werden.
OWASP traf dieselbe Unterscheidung. OWASP Top 10 für Agentenanwendungen 2026 (ASI01 bis ASI10) baut auf dem OWASP Top 10 für LLM-BewerbungenDie LLM-Liste beschreibt, was ein Modell aussagt; die Agentenliste beschreibt, was ein Agent tut.
Die meisten Organisationen setzen heute zwei Arten von Agenten ein:
- Agenten, die Sie in Ihre Anwendungen integrieren: Unterstützungsassistenten, interne Copiloten und Workflows, die mit Frameworks wie LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel oder LlamaIndex erstellt wurden, sind oft über Tools verbunden. MCP-Server.
- KI-Codierungsagenten, die Ihre Entwickler verwenden: Claude Code, Cursor, GitHub Copilot, Windsurf und andere, die Code schreiben, Konfigurationen bearbeiten und Abhängigkeiten hinzufügen.
Die Sicherheit von KI-Agenten muss beides abdecken, da beide mit Ihren Berechtigungen handeln.
Schritt 1: Alle Agenten, MCP-Server und Fähigkeiten inventarisieren
Die Sicherheit von KI-Agenten beginnt mit einem Fragebogen, und Prüfer fragen heute: Welche KI setzen wir ein? Xygeni KI-Sicherheit Die Antwort liegt in der Quelle: Code, Konfiguration, Manifeste und Abhängigkeiten.
Es erkennt Modelle, Agenten und Agentenserver, KI-Frameworks, MCP-Server und deren Tools, Fähigkeiten (SKILL.md, AGENTS.md), Eingabeaufforderungen, guardrailsEs bildet außerdem ab, wie diese miteinander verbunden sind: welcher Agent welches Modell verwendet, welche Tools ausführt und welche MCP-Server aufgerufen werden.
Das Ergebnis ist ein lebendiges KI-Inventar, das als KI-Stückliste im CycloneDX-Format exportiert werden kann, mit einem Governance-Datensatz pro Asset, der ein Risikokategoriefeld gemäß EU AI Act enthält.
Möchten Sie sehen, welche KI bereits in Ihrem Code enthalten ist? Buchen Sie einen Termin mit einem Ingenieur. und wir werden das KI-Inventar eines Ihrer Repositories erstellen.
Schritt 2: Die Risiken bei der Entwicklung von Agenten erkennen
Die meisten Agenten-Schwachstellen sind nicht ungewöhnlich. Es handelt sich beispielsweise um eine durch Stringverkettung erstellte Eingabeaufforderung, einen Tool-Aufruf durch einen Agenten ohne Eingabeschutzmechanismen oder Anmeldeinformationen mit weit größerem Umfang als für den Agenten erforderlich. Sie alle hinterlassen Spuren im Code, sodass sie in der CI-Pipeline vor der Bereitstellung erkannt werden können.
Risiken von KI-Agenten, die Sie im Code erkennen können
Jedes Risiko ist einer der folgenden Kategorien zugeordnet: OWASP Top 10 für LLM-Bewerbungen oder seinen agentischen Begleitern, sodass die Ergebnisse die gleiche Sprache sprechen wie Ihre Prüfer.
| Risiko | So sieht es im Code aus | OWASP-Kartierung |
|---|---|---|
| Sofortige Injektion | Systemaufforderungen, die Benutzerinhalte ohne Rollentrennung, Trennzeichen oder guardrails | LLM01 |
| Indirekte Injektion | Tool-Aufruf-Agenten ohne Eingabe guardrailsoder Agenten, die Webseiten, E-Mails oder abgerufene Dokumente ungeprüft aufnehmen | LLM01 |
| Unsichere Ausgabeverarbeitung | Modellausgabe erreicht eval oder andere gefährliche Quellen, die sich über Funktionen und Dateien hinweg verfolgen lassen. | LLM05 |
| Überprivilegierte AgentenidentitätenIdentitätsmissbrauch bei nicht-menschlichen Personen | Statische, langlebige Anmeldeinformationen, gemeinsam genutzte Anmeldeinformationen ohne Bereichseinschränkung, MCP- oder Tool-Server, die mit erhöhten Berechtigungen ausgeführt werden | ASI03 |
| böswillige oder typosquatte FähigkeitenAgentenqualifikations-Lieferkette | Versteckte bösartige Anweisungen in SKILL.md or AGENTS.md, Fertigkeitsnamen, die bekannte Fertigkeiten oder Integrationen imitieren | Agentenfähigkeiten Top 10 |
| Geheimnisse in den Prompts | Anmeldeinformationen werden in Eingabeaufforderungsdateien gespeichert | LLM07 |
Jeder Befund ist in der OWASP LLM Top 10-Kategorie sowie gegebenenfalls in den OWASP Agentic Applications- und Agentic Skills-Tags und den beteiligten Red-Team-Angriffsvektoren aufgeführt.
Skills erfordern besondere Aufmerksamkeit, da schädliche Anweisungen in Skill-Dateien als Fließtext und nicht als Code vorliegen und daher von keiner Signatur erkannt werden können. Eine optionale KI-Überprüfung beurteilt die Absicht markierter Skill- und Agenten-Anweisungsdateien anhand eines versionierten, deterministischen Systems, sodass dieselbe Datei stets zum gleichen Ergebnis führt. Die Überprüfung kann auf Ihrem eigenen, selbst gehosteten Modell ausgeführt werden, sodass Code und Eingabeaufforderungen Ihre Umgebung nicht verlassen müssen. Eine Skill-Bewertung fasst diese Signale anschließend zu einer einzigen Antwort zusammen: sicher, Vorsicht oder Nicht installieren.
Geh tiefer: Schauen Sie sich unsere Session an Explosionsradius: Wenn der Agent etwas berührt, worum Sie nicht gebeten haben, darüber, was passiert, wenn die Berechtigungen eines Agenten über seine Aufgabe hinausgehen.
Schritt 3: Sicherheit in die Schleife des Codierungsagenten einbauen
KI-Codierungsagenten schreiben und commit Der Code wird schneller erstellt, als er geprüft werden kann. Ein Fehler, der erst zwei Wochen später in einem Ticket auftaucht, wird selten behoben. Die Behebung muss erfolgen, während der Mitarbeiter noch arbeitet.
Der Xygeni MCP-Server läuft lokal und ist mit jedem KI-Codierungsagenten kompatibel, der MCP unterstützt, unabhängig vom verwendeten Modell. Der Agent kann den gerade geschriebenen Code scannen, neue Probleme auflisten, KI-Triage-Ergebnisse abrufen und Korrekturen anfordern. SAST und SCA Ergebnisse. Der Vorgang wird so lange wiederholt, bis die Änderung sauber ist, bevor irgendetwas anderes geschieht. committed, mit den Genehmigungen, die Ihr Team festlegt.
Es verwendet dieselben Engines, Richtlinien und Stummschaltungsregeln wie Ihr pipelineSo wird sichergestellt, dass der Agent und Ihre CI-Umgebung niemals in Konflikt geraten. Für die Entwickler, die mit dem Agenten zusammenarbeiten, gilt Folgendes: IDE-Plugins Die gleichen Ergebnisse und Korrekturen in den Editor einarbeiten.
Schritt 4: Schützen, was Agenten installieren
Ein KI-Programmieragent kann selbstständig Abhängigkeiten hinzufügen und prüft nicht, ob ein brandneues Paket mit einem bekannten Namen legitim ist. Angreifer wissen das und lauern in Open-Source-Repositorys.
Malware-Abwehr Markiert schädliche Pakete, bevor eine Signatur existiert, unabhängig davon, wer sie installiert – ein Entwickler oder ein Agent. Auf dem Rechner des Entwicklers Shield setzt Richtlinien durch, bevor irgendetwas ausgeführt wird: ein Mindestalter für neue Pakete, Abdeckung für IDE-Erweiterungen und Plugins, Blockierung von schädlichen Indikatoren und riskanten geografischen Regionen sowie Endpunktisolation, wenn ein Rechner isoliert werden muss.
Möchten Sie tiefer gehen?
Ein Fehler im Handler und der zugehörige exponierte Endpunkt bilden ein Problem mit einem Verantwortlichen. Wenn Sie bereits ein anderes DAST-Tool verwenden, importiert Xygeni dessen Ergebnisse in dieselbe Risikoansicht, ohne Sie zum Austausch aufzufordern.
Möchten Sie sehen, wie beide Ebenen zusammenarbeiten? Schauen Sie sich unsere Session an Vom Code zur Laufzeit: Warum SAST + DAST sind beide unerlässlich für moderne AppSec, wo wir erläutern, wie sich Code-Ergebnisse und Laufzeittests gegenseitig bestätigen.
Ein Workflow, keine weitere Konsole
Die Sicherheit von KI-Agenten ist gefährdet, wenn diese zu einem separaten Tool mit eigener Warteschlange werden. In Xygeni durchlaufen KI-Ergebnisse denselben Prozess. KI-TriageTickets und Berichte werden ebenso wie die übrigen Ergebnisse erfasst. AI Remediation bietet kontextbezogene Lösungsvorschläge für alle zehn OWASP LLM-Kategorien. ASPM Stellt KI-Risiken neben Code, Abhängigkeiten und pipeline Risiko aus einer bestimmten Perspektive.
Sicherheit und Compliance von KI-Agenten
Aufsichtsbehörden, Wirtschaftsprüfer und Kunden fordern zunehmend eine Übersicht über die eingesetzte KI und deren Risikoklassifizierung. EU-KI-Gesetz und ISO / IEC 42001 Beide drängen in diese Richtung, und eine KI-basierte Stückliste wird immer wichtiger. standard Punkt in Beschaffungsfragebögen.
Ein KI-Inventar mit einem Risikokategoriefeld pro Asset liefert Ihrem Governance-Team die notwendige Datengrundlage für seine Arbeit. Es unterstützt die Einhaltung der EU-KI-Richtlinie; es handelt sich jedoch nicht um eine Konformitätsbewertung und es ersetzt nicht Ihre rechtliche Prüfung.
oder mittelgroße Teams ist einfach:
- Auf jedem pull request: API-Sicherheit in CI für den geänderten Code, plus inkrementelle DAST-Scans.
- Vorher commit: als ein pre-commit Zugriff auf bereitgestellte Dateien.
- Nächtlich oder beim Zusammenführen: ein vollständiger DAST-Scan.
- Vor jeder größeren Veröffentlichung: KI-Penetrationstests gegen die Staging-Umgebung, um den Backlog zu validieren und zu bestätigen, dass jede Korrektur die Sicherheitslücke geschlossen hat.
Der API-Sicherheitsscanner läuft überall, auch in abgeschotteten Umgebungen, und meldet Daten an Xygeni SaaS oder Ihren Server. on-premiseDie Plattform liefert Ergebnisse im JSON-Format. SARIF 2.1.0, CSV und Markdown für pull request Kommentare.
API-Sicherheitstests und Konformität
Für Teams im Bankwesen, Versicherungswesen oder im öffentlichen Sektor dienen API-Sicherheitstests ebenfalls als Nachweis. Jeder Befund ist mit Compliance-Kennzeichnungen versehen. DSGVO Artikel 32, PCI-DSS 4.0 (Anforderungen 3.4, 6.4.3, 7.1, 7.2 und 8) und NIST-SP 800-53 (AC-3, AC-6, IA-2, IA-5), sichtbar in der Plattform sowie in JSON- und SARIF-Ausgabe.
Wenn Ihre Organisation unter DORA or NIS2Laufzeittests liefern Ihnen kontinuierliche Nachweise zwischen den manuellen Penetrationstests, die Ihre Aufsichtsbehörden weiterhin verlangen.
Wie man die Sicherheit von KI-Agenten in 7 Schritten implementiert
Hier ist die praktische Checkliste in der Reihenfolge, die dafür sorgt, dass die Sicherheit von KI-Agenten in einem realen Entwicklungsteam am schnellsten funktioniert.
- Entdecken
Inventarisieren Sie alle KI-Assets in Ihren Repositories.
Scannen Sie alle Repositories nach Agenten, MCP-Servern, Skills, Modellen, Prompts und KI-Codierungswerkzeugen und exportieren Sie das Ergebnis als KI-Stückliste. Dies ist Ihre Basis, auf der alle weiteren Schritte aufbauen.
- klassifizieren
Weisen Sie jedem Agenten einen Verantwortlichen und ein Risikoniveau zu.
Für jeden Agenten ist zu erfassen, wem er gehört, auf welche Daten und Tools er zugreifen kann und in welche Risikokategorie er gemäß EU-KI-Gesetz fällt. Ein Agent, dem niemand gehört, wird auch niemand reparieren.
- Entdecken
Scan-Agent-Code in CI bei jedem pull request
Führen Sie die KI-Risikoerkennung parallel zu Ihren anderen Scans durch. Beginnen Sie im nicht-blockierenden Modus, um die Ausgangslage zu ermitteln, und blockieren Sie anschließend die Zusammenführung kritischer Befunde, sobald die Teams diese bereinigt haben.
- Bewertung
Überprüfen Sie die Fähigkeiten, bevor sie jemand installiert.
Scannen Sie Fähigkeiten- und Agentenanweisungendateien wie z.B.
SKILL.mdundAGENTS.mdAktivieren Sie die KI-Absichtsprüfung und behandeln Sie ein „Nicht installieren“-Urteil als endgültigen Stopp. - einschränken
Berechtigungen des Schrumpfungsbeauftragten
Ersetzen Sie statische, langlebige Anmeldeinformationen durch bereichsbezogene, vermeiden Sie die gemeinsame Nutzung von Anmeldeinformationen zwischen Agenten und betreiben Sie MCP- oder Tool-Server niemals mit erhöhten Berechtigungen, die sie nicht benötigen.
- Fehlerbehebung in der Schleife
Integrieren Sie die Sicherheit in die Codierungsagentenschleife.
Verbinden Sie Ihre KI-Codierungsagenten mit einem Sicherheits-MCP-Server, damit diese ihren eigenen Code scannen und korrigieren, bevor er ausgeliefert wird. committed, mit den gleichen Richtlinien wie Ihre pipeline.
- Schützen
Schützen Sie, was auf den Rechnern der Entwickler landet.
Erzwingen Sie ein Mindestalter für neue Pakete, erkennen Sie schädliche Pakete, bevor eine Signatur existiert, und decken Sie IDE-Erweiterungen und -Plugins ab, unabhängig davon, wer sie installiert, ob ein Entwickler oder ein Agent.
Dann: Leiten Sie alle Befunde in denselben Triage-, Ticketing- und Reporting-Workflow wie den Rest Ihrer AppSec-Aktivitäten ein, damit KI-Risiken nicht in einer eigenen Warteschlange landen.
Man kann keinen Agenten engagieren, den man noch nie getroffen hat.
Die Sicherheit von KI-Agenten ist mehr als nur ein weiterer Scanner. Es geht darum, zu wissen, welche Agenten eingesetzt werden, die Risiken in ihrer Architektur zu erkennen, Sicherheit direkt in den Codierungsprozess der Agenten zu integrieren und die Installationen der Agenten zu schützen. Beginnen Sie mit der Bestandsaufnahme: Alles andere baut darauf auf.
Möchten Sie jeden Agenten, MCP-Server und jede Fähigkeit in Ihrem Code sehen? Vereinbaren Sie einen Termin mit einem Ingenieur. um das KI-Inventar Ihrer Repositories zu erstellen und dessen Ergebnisse zu überprüfen. Oder Kostenlos starten mit AI SAST, SCAGeheimniserkennung, IDE-Plugins und Malware-Erkennung in Open-Source-Paketen. Keine Kreditkarte erforderlich.
Häufig gestellte Fragen zur Sicherheit von KI-Agenten
Worin unterscheidet sich die Sicherheit von KI-Agenten von der Sicherheit von LLM?
Bei der LLM-Sicherheit geht es darum, was ein Modell ausgibt: durchgesickerte Daten, manipulierte Antworten, unsichere Ausgaben. Die Sicherheit von KI-Agenten hingegen befasst sich damit, wie ein Agent mit Werkzeugen, Speicher, Zugangsdaten und anderen Agenten umgeht. Aus diesem Grund veröffentlicht OWASP zusätzlich zur LLM-Top-10 eine separate Top-10-Liste für agentenbasierte Anwendungen (ASI01 bis ASI10).
Wie finde ich die KI-Agenten und MCP-Server in meiner Organisation?
Beginnen Sie mit dem Code. Xygeni AI Security erkennt Agenten, MCP-Server, Skills, Modelle, Prompts und KI-Codierungswerkzeuge in Ihren Repositories, bildet deren Verbindungen ab und exportiert das Ergebnis als KI-BOM im CycloneDX-Format. Es läuft in der CI-Umgebung parallel zu Ihren anderen Scans.
Kann eine bösartige Fähigkeit oder ein MCP-Server meine Entwickler gefährden?
Ja: Die Anweisungen einer Fähigkeit liegen im Klartext vor und werden von einem Agenten mit den Berechtigungen des Entwicklers ausgeführt. Xygeni erkennt versteckte, schädliche Anweisungen und gefälschte Fähigkeitsnamen, kann die Absicht einer Fähigkeit mithilfe einer optionalen KI-Überprüfung beurteilen und jede Fähigkeit als sicher, mit Vorsicht zu genießen oder nicht zu installieren einstufen. Malware-Abwehr und Shield die von Agenten eingebrachten Pakete und Erweiterungen abdecken.







