TL; DR
Ein Penetrationstest beweist, was ein Angreifer anrichten kann. Dank KI existiert das System, das Sie im letzten Quartal getestet haben, nicht mehr. Modelle erhalten neue Versionen, Eingabeaufforderungen werden angepasst, Tools werden verbunden – und all das, ohne dass Ihr Code auch nur eine Zeile verändert wird. KI-Penetrationstests zielen auf das Verhalten ab, nicht auf die Codepfade: Was lässt sich das Modell tun? Welche Funktionen kann der Agent aufrufen? Und welche Sicherheitslücken verlassen dadurch das System? Der Anwendungsbereich entspricht nun den OWASP Top 10 für LLM-Anwendungen und den OWASP Top 10 für Agentenanwendungen 2026.
Die Nutzlast ist ein Satz, und nichts an der Anfrage scheint fehlerhaft zu sein. Da es keine Parameter gibt, die man testen könnte, wenn der Angriff über ein Support-Ticket, einen Code-Kommentar oder ein abgerufenes Dokument erfolgt, ist indirektes Prompt-Injection eine skalierbare Technik: Niemand muss die Benutzeroberfläche berühren. Sobald das System Tools verwendet, entsteht der Schaden über die Tools, die es nutzen darf. Tool-Missbrauch, übermäßige Berechtigungen und Datenexfiltration durch die Integrationen des Agenten selbst sind die entscheidenden Erkenntnisse – nicht, ob die Antworten verständlich sind.
Ein gescheiterter Versuch beweist gar nichts. KI-Systeme arbeiten probabilistisch, daher ist ein aussagekräftiges Ergebnis eine Erfolgsrate, kein einzelnes Ereignis: Dieser Angriff war in 12 von 100 Fällen erfolgreich. Das Ziel ist jedoch größer als das Modell selbst. Dokumentierte Angriffe haben bereits die umliegenden Systeme beeinträchtigt: versteckter Unicode in Regeldateien, der einen Assistenten dazu bringt, manipulierte Ausgaben zu erzeugen, Tool-Poisoning auf MCP-Servern und die vollständige Ausführung von Remote-Code über eine MCP-Bridge, die mehr als 437,000 Mal ausgenutzt wurde. Nur wiederholte Tests bei jeder Änderung des Modells, der Eingabeaufforderung, des Tools und des Servers spiegeln die Realität wider.
Das Testen kommt an zweiter Stelle. Das Sehen kommt an erster Stelle: AI-SPM Erstellt das Inventar und die KI-Stückliste, damit Sie wissen, welche Agenten welche Tools verwenden und welche MCP-Server nicht genehmigt wurden; KI-Sicherheit bewertet diese Assets anhand der OWASP Top 10 für LLM-Anwendungen und verweist auf die genaue Datei und Zeile, und der Priorisierungsprozess beschränkt Tausende von Ergebnissen auf diejenigen, die in Gebrauch, erreichbar, ausnutzbar, privilegiert und geschäftskritisch sind; xy-dast testet weiterhin die Web- und API-Oberfläche, auf der die KI-Anwendung noch läuft. Die gleiche Intelligenz gilt auch für die Ergebnisse, die von den Scannern erfasst werden, die Sie bereits besitzen.Dadurch wird Ihr Stack erweitert, anstatt ihn zu ersetzen.
Was ist KI-Penetrationstesting?
KI-Penetrationstests sind Angriffstests von KI-Systemen: Dabei werden speziell präparierte Eingaben an ein Modell, einen Agenten oder einen MCP-Server gesendet, um zu beweisen, was ein Angreifer damit tatsächlich anstellen kann. Während klassische Penetrationstests auf Codepfade und Konfigurationen abzielen, zielen KI-Penetrationstests auf das Verhalten ab: abgefangene Anweisungen, missbrauchte Tools, durchgesickerte Kontextinformationen und Aktionen, die das System niemals ausführen sollte. Das ist die Kurzfassung dessen, was KI-Penetrationstests sind. Sie existieren aus einem zwar unangenehmen, aber einfachen Grund als eigenständige Disziplin. Ihr jährlicher Penetrationstestbericht beschreibt eine Anwendung, die nicht mehr existiert, weil sich das zugrunde liegende Modell seit dem Test dreimal geändert hat, ohne dass sich eine Zeile Ihres Codes verändert hat.
Warum deckt ein klassischer Penetrationstest keine KI ab?
Wer sich zum ersten Mal fragt, was KI-Penetrationstests sind, beginnt meist hier, bei der Lücke. Ein traditioneller Test geht von deterministischem Verhalten aus. Man sendet dieselbe Anfrage, erhält dieselbe Antwort, und das Ergebnis lässt sich entweder reproduzieren oder nicht. KI durchbricht diese Annahme an drei Stellen.
- Das System ist probabilistisch. Derselbe Test kann beim vierten Versuch erfolgreich sein und bei den ersten drei fehlschlagen. Ein einzelner negativer Test beweist nichts; deshalb geht es beim Penetrationstest von KI-Systemen um umfassende Abdeckung und Wiederholung und nicht um einen einmaligen Angriff.
- Die Angriffsfläche ist die Sprache, nicht nur die Schnittstellen. Es gibt keinen Parameter, der getestet werden kann, wenn die Nutzdaten ein Satz innerhalb eines Support-Tickets, ein Code-Kommentar oder ein abgerufenes Dokument sind. Nichts in der Anfrage scheint fehlerhaft zu sein.
- Der Explosionsradius entspricht der Werkzeugoberfläche. Ein Agent mit entsprechenden Werkzeugen kann E-Mails versenden, Datenbanken abfragen, interne APIs aufrufen und Dateien schreiben. Beim Penetrationstest von KI-Agenten geht es darum zu prüfen, wozu das Modell mithilfe dieser Werkzeuge bewegt werden kann, nicht darum, ob seine Antworten höflich sind.
Was KI-Penetrationstests tatsächlich testen
Der Fokus hat sich auf eine erkennbare Reihe von Zielen eingegrenzt, die auf die folgenden Punkte abgestimmt sind: OWASP Top 10 für LLM-Bewerbungen und der OWASP Top 10 für Agentenanwendungen 2026.
- Direkte Sofortinjektion. Kann ein Benutzer die Systemabfrage überschreiben und die Kontrolle über das Verhalten des Modells übernehmen?
- Indirekte Provokationsinjektion. Kann ein Angreifer Anweisungen in die vom System abgerufenen Inhalte einbetten, sodass niemand damit interagieren muss?
- Systemaufforderung zur Extraktion. Gibt das Modell seine eigenen Anweisungen preis? guardrails oder die darin eingebettete Geschäftslogik?
- Umgehung der Leitplanke und Gefängnisausbruch. Wie viele Versuche und welche Kodierungen überwinden die Sicherheits- und Richtlinienebene?
- Werkzeugmissbrauch. Lässt sich das Modell dazu bringen, ein Tool mit vom Angreifer gewählten Argumenten aufzurufen, beispielsweise um Daten über sein eigenes E-Mail-Tool an einen beliebigen Empfänger zu senden?
- Übermäßige Agentur. Was ist die umfassendste Aktion, die der Agent ausführen kann, und ist für irgendeine Aktion die Interaktion eines Menschen vor ihrer Ausführung erforderlich?
- Datenexfiltrationspfade. Können Kontextinformationen, Geheimnisse oder personenbezogene Daten einen Ausgabekanal, ein Protokoll oder ein Drittanbieter-Tool erreichen?
- Vergiftung durch Bergung. Führt der manipulierte Inhalt im Vektorspeicher zu einer Veränderung des nachfolgenden Verhaltens, und bleibt diese Veränderung bestehen?
- MCP-Server-Offenlegung. Welche Informationen stellt jeder verbundene Server bereit, werden Argumente validiert und wer kann sonst noch auf ihn zugreifen?
- Unsichere Ausgabeverarbeitung. Wird die Modellausgabe ungevalidiert an eine Shell, einen Browser, eine Abfrage oder eine Vorlage weitergeleitet?
Diese Liste ist der Grund, warum KI-Penetrationstests einen anderen Berichtstyp liefern. Der wertvolle Output ist nicht ein CVEDie praktische Antwort auf die Frage, was KI-Penetrationstests sind, ist eine reproduzierbare Sequenz: Diese Eingabe führte über diesen Pfad zu dieser unautorisierten Aktion mit diesen Beweisen.
KI-Penetrationstests im Vergleich zu dem, was Sie bereits ausführen
| Klassischer Penetrationstest / DAST | KI-Penetrationstests | |
|---|---|---|
| Ziel | Endpunkte, Parameter, Konfiguration | Modellverhalten, AgentendecisIonen, Werkzeugaufrufe |
| Nutzlast: XNUMX Kg | Fehlerhafte oder böswillige Anfragen | Natürliche Sprache und Inhalte, die das System abruft |
| Lösung | Deterministisch und reproduzierbar | Wahrscheinlichkeitsbasiert, benötigt Wiederholungen, um eine Rate zu ermitteln |
| Beweisbar | Anfrage, Antwort, CWE | Prompt, nachverfolgen, die vom System durchgeführte Aktion |
| Kadenz | Pro Veröffentlichung oder pro Jahr | Pro Modell, Eingabeaufforderung, Werkzeug oder Konfigurationsänderung |
KI-Penetrationstests und klassische Laufzeittests ergänzen sich, sie konkurrieren nicht. Eine KI-Anwendung läuft weiterhin auf einem Web-Stack mit Authentifizierung, APIs und Infrastruktur, und diese Oberfläche erfordert nach wie vor Laufzeittests. Xygeni DAST deckt es ab: xy-dast Simuliert reale Angriffstechniken gegen laufende Webanwendungen und APIs, testet dahinter login Mit formular-, token-, header- oder skriptbasierter Authentifizierung, ausgeführt von einem einzigen CLI-Befehl in jeder beliebigen Umgebung pipelineGates arbeitet auf Basis von Schwellenwerten und liefert bei jedem Treffer die Angriffsnutzlast sowie die vollständige Anfrage und Antwort als Beweismittel. Die Treffer durchlaufen anschließend einen Priorisierungsprozess, der herausfiltert, was im Internet zugänglich, ohne Zugangsdaten ausnutzbar und mit etwas verbunden ist, das für das Unternehmen relevant ist.
Was DAST nicht leistet, ist, mit einem Sprachmodell zu argumentieren. Genau diese Lücke schließt KI-Penetrationstests.
Vor der ersten Nutzlast
Zwei Dinge machen einen KI-Penetrationstest nützlich und nicht zu einer bloßen Show, und beides geschieht vor dem ersten Payload.
- Eine Zielliste. Man kann KI, die man nicht gefunden hat, nicht testen. Xygeni AI Security entdeckt jede KI-Komponente im System. SDLCeinschließlich der Modelle, Agenten, Agentenserver, Datensätze, MCP-Server, Skilldateien, Prompts und guardrails Niemand hat die Verwendung von Anwendungscode, deklarierten Abhängigkeiten und den von KI-Tools hinterlassenen Konfigurationsdateien deklariert. Es bildet die Beziehungen zwischen ihnen ab, wodurch aus einer Liste von Ressourcen ein Angriffspfad entsteht, der es wert ist, getestet zu werden.
- Eine Auswahlliste. Xygeni erkennt Schwachstellen, die einen Exploit wahrscheinlich machen, bevor jemand einen solchen Versuch unternimmt: Eingabeaufforderungsinjektion und -leckage im System, Einschleusung schädlicher Anweisungen und Tools in Regel- und Skilldateien, unsichere MCP-Konfiguration, übermäßige Handlungsfähigkeit und fehlende Informationen guardrailsGeheimnisse in KI-Dateien und anfällige oder unkontrollierte KI-Abhängigkeiten werden aufgedeckt. Die Ergebnisse entsprechen den OWASP Top 10 für LLM-Anwendungen und verweisen auf die exakte Datei und Zeile. Durch Priorisierung werden Tausende von Ergebnissen auf die wenigen reduziert, die genutzt, erreichbar, ausnutzbar, privilegiert und geschäftskritisch sind.
Wenn Sie die Schritte in dieser Reihenfolge ausführen, wird der Penetrationstest nicht länger zu einer Suche nach ungesicherten Informationen. Sie wissen dann genau, welcher Agent welche Tools verwendet, welcher Server nicht freigegeben wurde und welche Eingabeaufforderung nicht vertrauenswürdige Eingaben akzeptiert.
Wie man einen KI-Penetrationstest durchführt, der etwas Nützliches liefert
Sieben Gewohnheiten unterscheiden einen sinnvollen Penetrationstest für KI-Anwendungen von einer Demo, und Teams, die neu im Penetrationstesting von KI-Anwendungen sind, neigen dazu, die ersten beiden zu überspringen.
- Inventur zuerst Modelle, Agenten, MCP-Server, Datensätze, Eingabeaufforderungen. Das Testen einer unbekannten Oberfläche führt zu einem unbekannten Ergebnis.
- Definiere, was unautorisiert bedeutet. Notieren Sie die Aktionen, die das System unter keinen Umständen ausführen darf. Ohne diese Liste ist jede Erkenntnis eine Frage der Interpretation.
- Testen Sie den Abrufpfad, nicht nur das Chatfenster. Die indirekte Einspritzung ist eine skalierbare Technik, die Ihre Frontend-Komponenten nie berührt.
- Messen Sie Raten, nicht Ereignisse. Melden Sie, dass ein Angriff in 12 von 100 Fällen erfolgreich war, denn das ist die Zahl, auf die ein Techniker reagieren kann und die ein Vorstand verstehen kann.
- Testen Sie auch die Konfigurationsschicht. Das Testen von KI-Systemen ohne Kenntnis ihrer Konfiguration ist nur ein halber Test und eine sofortige Härtungsübung.cise ist verschwendet, wenn eine Regeldatei es stillschweigend überschreibt.
- Nach Änderung erneut testen Neue Modellversion, neues Werkzeug, neuer MCP-Server oder geänderte Eingabeaufforderung – all dies macht das letzte Ergebnis ungültig.
- Die Ergebnisse fließen zurück in die Körperhaltung. Ein Befund, der in einer PDF-Datei gespeichert ist, ändert nichts. Ein Befund, der mit dem Asset korreliert, aus dem er stammt, verändert die Prioritäten.
FAQ
- Was ist KI-Penetrationstesting in einem Satz? Adversarial Testing, das beweist, was ein Angreifer Ihre Modelle, Agenten und MCP-Server tatsächlich tun lassen kann.
- Ist KI-Penetrationstesting dasselbe wie KI-Red-Teaming? Sie überschneiden sich stark. Red Teaming ist umfassender und beinhaltet oft Sicherheits-, Voreingenommenheits- und Missbrauchsszenarien; KI-Penetrationstests konzentrieren sich eher auf Sicherheitsrisiken wie das Einschleusen von Schadcode, die Offenlegung von Daten und unautorisierte Aktionen.
- Worin unterscheidet sich Penetrationstests von KI von Tests einer Webanwendung? Die Nutzlast ist Sprache, das Ergebnis ist probabilistisch, und der Schaden entsteht durch Werkzeuge, die das Modell verwenden darf, und nicht durch einen anfälligen Codepfad.
- Wie häufig sollten KI-Penetrationstests durchgeführt werden? Bei jeder Änderung, die das Verhalten beeinflusst: Modellversion, Eingabeaufforderung, Werkzeugoberfläche, verbundener MCP-Server oder Abrufkorpus. Ein jährlicher Zyklus beschreibt ein System, das nicht mehr existiert.
- Benötigen wir DAST noch, wenn wir KI-Penetrationstests durchführen? Ja. Die Anwendung, ihre APIs und ihre Infrastruktur bleiben ein Ziel. KI-Penetrationstests fügen eine zusätzliche Ebene hinzu; sie ersetzen die darunterliegende nicht.
- Was sollten wir zuerst testen? Der Agent mit der größten Werkzeugoberfläche und jeder Pfad, auf dem Inhalte von außerhalb der Organisation eine Eingabeaufforderung erreichen.
Beginnen Sie mit dem, was Sie sehen können.
Die Antwort auf die Frage, was KI-Penetrationstests sind, lässt sich auf eine einzige Frage reduzieren: Ist das System ausnutzbar, und von wem? Um eine sinnvolle Antwort zu erhalten, muss man zunächst wissen, was existiert, denn eine Angriffssimulation gegen ein unvollständiges Inventar misst die Sichtbarkeit, nicht die tatsächliche Gefährdung.
Xygeni entdeckt die KI in Ihrem SDLC, bewertet, was tatsächlich ausnutzbar ist, und setzt Richtlinien am Entwicklerendpunkt durch, wo der Großteil der Anwendung ausgeführt wird. Sehen Sie, womit Ihre Agenten verbunden sind unter Xygeni.
