TL; DR
KI-gestützte Red-Team-Tools greifen das Modell über seine Endpunkte an: Jailbreaks, Prompt-Injection, Datenextraktion, unsichere Ausgabe. Sie sind darin gut, und der Open-Source-Stack ist wirklich ausgereift. Was sie jedoch nicht sehen, ist die Ebene, die darüber entscheidet, wie weit ein erfolgreicher Angriff reicht.
- Die Werkzeuge testen das Verhalten. Sende gegnerische Eingaben, bewerte die Antwort und wiederhole den Vorgang. Das beantwortet die Frage: „Kann dieses Modell zu etwas überredet werden, was es nicht sagen sollte?“
- Der Explosionsradius liegt woanders. Die Skill-Datei, die Regeldatei, die MCP-Serverkonfiguration, der Tool-Bereich und die Anmeldeinformationen, unter denen der Agent ausgeführt wird, sind alle vom Endpunkt aus nicht erreichbar.
- Ein einwandfreier Red-Team-Bericht und ein überprivilegierter Agent können problemlos nebeneinander existieren. Das Modell verweigerte die Veröffentlichung. Der Agent hatte weiterhin Schreibzugriff, den er nie benötigt hatte.
- Führe beide aus. KI-gestütztes Red Teaming zur Verhaltens-, Anlagen- und Konfigurationsanalyse für Reichweitenmessung. Der zweite Teil ist derjenige, mit dem die meisten Teams noch nicht begonnen haben.
Warum KI-Red-Teaming nicht mehr optional ist
Vor zwei Jahren war das adversarielle Testen eines Sprachmodells noch Forschungsarbeit. Im Jahr 2026 ist es ein Meilenstein für die Markteinführung.
Die erzwungene Funktion ist sowohl regulatorischer als auch technischer Natur: Das EU-KI-Gesetz sieht Adversarial Testing innerhalb eines Risikomanagementsystems für risikoreiche KI-Systeme vor, wodurch Red Teaming von einer bewährten Methode zu einem Beweismittel wird, das jemand erbringen muss. Und die Tools haben sich schnell genug entwickelt, um diese Anforderungen zu erfüllen. Der Open-Source-Stack bietet heute den Großteil dessen, wofür eine offensive Beratungsfirma vor zwei Jahren noch Gebühren verlangte.
Das Problem liegt nicht in der Schwäche von KI-gestützten Red-Team-Tools. Vielmehr ist es so, dass diese Kategorie eine Frage gut beantwortet, und die Teams fälschlicherweise annehmen, sie hätte auch eine zweite Frage beantwortet, die sie nie untersucht haben.
Was KI-Red-Team-Tools tatsächlich sind
Die Landschaft hat sich auf eine kleine Anzahl von Projekten verfestigt, die tatsächlich umgesetzt werden.
| Werkzeug | Shape | Am besten bei |
|---|---|---|
| Garak (NVIDIA, Apache 2.0) | Kommandozeilen-Schwachstellenscanner, über 120 Prüfmodule | Umfassende explorative Abdeckung gegen einen bereitgestellten Modellendpunkt |
| PyRIT (Microsoft, MIT) | Python-Orchestrierungsframework, mehrstufig | Individuell anpassbare Angriffsketten, die ein reales Gespräch widerspiegeln |
| Promptfoo (MIT, im März 2026 von OpenAI übernommen) | Konfigurationsbasierte Evaluierung und Red-Team-Trainingsgerät | CI-integrierte Regressionstests mit einem OWASP LLM Top 10-Voreinstellungsmerkmal |
| DeepTeam (Confident AI, Apache 2.0) | Python-Testframework | Das einfachste Onboarding und eine übersichtliche Zuordnung der OWASP LLM Top 10. |
| Kommerzielle Plattformen | Gemanagte, kontinuierliche Kampagnen | Geplante Prüfungen mit vorschriftsmäßiger Berichterstattung für Prüfer |
Eine sinnvolle Arbeitskonfiguration: ein umfassender Scan pro Release-Branch, eine schlankere Suite auf jedem pull requestund die Generierung neuer Angriffe periodisch statt kontinuierlich. Verfolgen Sie die Anzahl fehlgeschlagener Tests im Zeitverlauf. Wenn die Anzahl nicht mehr sinkt, hat jemand eine Regression eingeführt, die niemand bemerkt hat – und genau das ist die Erkenntnis.
Die Lücke: Verhalten ist nicht gleich Explosionsradius
Eines haben all diese Tools gemeinsam: Sie interagieren über den Endpunkt mit dem System auf die gleiche Weise wie ein Benutzer und bewerten die zurückgegebenen Daten.
Das ist genau richtig, um Verhalten zu testen. Es ist strukturell blind, um zu erreichen.
Überlegen Sie, was ein Agent Tatsächlich ist es das. Ein Modell, plus eine Reihe von Werkzeugen, die es aufrufen kann, plus eine Identität, unter der es agiert, plus persistenter Speicher, plus Konfigurationsdateien, die ihm mitteilen, was es tun und worauf es zugreifen darf. KI-Red-Teaming-Übung.cisEs handelt sich um die erste dieser Dateien. Die anderen vier sind einfacher Text, der in einem Repository gespeichert ist und festlegt, was nach einer erfolgreichen Eingabeaufforderung geschieht.
Ein praktisches Beispiel: Ihre Red-Team-Suite sendet tausend Injection-Payloads an einen Programmierassistenten. Das Modell funktioniert. Der Bericht ist fehlerfrei. Gleichzeitig im selben Repository:
- Eine Regeldatei weist den Assistenten an, ein internes Paketregister zu bevorzugen, das noch von niemandem validiert wurde. MITRE ATLAS dokumentiert dieses Muster als reale Fallstudie, nicht als hypothetische.
- Eine MCP-Serverkonfiguration gewährt einem Tool einen umfassenderen Dateisystemzugriff, als seine Funktion benötigt, da dies der schnellste Weg war, es zum Laufen zu bringen.
- Da der Agent unter einem gemeinsam genutzten Dienstkonto ausgeführt wird, zeichnet das Überwachungsprotokoll das Konto auf und nicht den Agenten, der die Aktion ausgewählt hat.
- Die Anmeldeinformationen eines KI-Anbieters befinden sich in einer Eingabeaufforderungsdatei, die committed wie Dokumentation.
Keines dieser vier Verhaltensweisen ist vorbildlich. Keines davon ist über einen Endpunkt erreichbar. Alle vier verändern die Reichweite eines erfolgreichen Angriffs, und ein perfektes Ergebnis des Red Teams sagt nichts darüber aus.
Dies ist keine abweichende Interpretation. Microsofts eigene Darstellung des Red Teaming. 100 generative KI-Produkte beschreibt den Übergang von der Testmodellierung zur Simulation von Systemangriffen, vorcisDer Grund dafür war, dass die entscheidenden Schwächen nicht allein im Modell lagen. Die Praktiker, die der Arbeit am nächsten standen, kamen zum selben Schluss.
Deshalb lautet die ehrliche Fragestellung beim Red Teaming mit KI-Unterstützung nicht „Ist es genug?“, sondern „Was ist die andere Hälfte?“.
KI-gestütztes Red Teaming, Penetrationstests und Konfigurationsanalyse
Drei Disziplinen, die in den Unterlagen der Anbieter routinemäßig vermischt werden, und ein Käufer, der sie vermischt, hat am Ende nur zwei der drei und einen blinden Fleck.
Lesen Sie die letzte Zeile. Der blinde Fleck jeder Disziplin ist Gegenstand einer anderen, weshalb es ein häufiger Fehler ist, sich für eine Disziplin zu entscheiden und sie als KI-Sicherheit zu bezeichnen.
Wie man KI-Red-Team-Tools bewertet
Wenn Sie sich für eines entscheiden müssen, sind dies die Fragen, die in einer Demo Bestand haben.
Das erste Kriterium ist der Bereich, in dem die aktuelle Generation am wenigsten abgedeckt ist. Scanner auf Modellebene wurden entwickelt, als das interessante Ziel ein Chatbot war, und die agentenbasierte Abdeckung ist die anerkannte Lücke in den Open-Source-Werkzeugen.
Was sollte man neben KI-Red-Teaming einsetzen?
Wenn beim Red Teaming das Verhalten von außen getestet wird, beginnt die ergänzende Arbeit innerhalb des Repositorys, wo sich die Konfiguration befindet.
- Zuerst muss man entdecken, denn was man nicht gefunden hat, kann man nicht testen. Xygeni KI-Sicherheit Erkennt kontinuierlich alle KI-Ressourcen in Ihren Repositories: Modelle, Frameworks, Datensätze, Inferenzendpunkte, Agenten, MCP-Server, Skill-Dateien, Prompts, guardrailsund die KI-Codierungswerkzeuge, die Ihre Entwickler tatsächlich verwenden. Nicht anhand von Umfragen oder Selbstauskünften, sondern anhand der Spuren, die diese Werkzeuge im Code hinterlassen. Es erstellt ein KI-Inventar, eine KI-Stückliste und ein Diagramm, das die Verbindungen der einzelnen Komponenten darstellt. Letzteres ist entscheidend, da Risiken in der Regel in der Vernetzung und nicht in einzelnen Komponenten liegen.
- Dann die Erkennung von Bereichen, die für Red Teaming nicht erreichbar sind. Es besteht ein Risiko durch Prompt-Injection in der Art und Weise, wie Prompts im Code erstellt werden. Die Ergebnisse sind der OWASP-LLM-Kategorie und dem entsprechenden Red-Team-Vektor zugeordnet und verweisen auf die genaue Datei und Zeile. Zugangsdaten von KI-Anbietern sind in Prompt-Dateien und der Agentenkonfiguration enthalten, was die wichtigsten Modellanbieter betrifft. Ein durchgesickerter Modellschlüssel ist ein Geheimnis wie jedes andere und befindet sich derzeit in einem unsicheren Bereich. Eine Datei, die niemand liest.
- Und nur eine Warteschlange, nicht eine vierte. Die Ergebnisse werden im selben Risikomodell und mit derselben Priorisierung wie Ihr Code, Ihre Abhängigkeiten und pipeline Ergebnisse, einschließlich derer, die von Scannern erfasst werden, die Sie nicht ersetzen. Standalone-KI-Red-Team-Tools liefern hervorragende Ergebnisse in ihrer eigenen Konsole. Eine separate Konsole ist eine weitere Warteschlange, die niemand bearbeitet.
Die Arbeitsteilung ist klar. KI-gestützte Red-Teaming-Tests zeigen, wie sich das Modell unter Angriffen verhält. Die Analyse von Assets und Konfigurationen belegt, welche Auswirkungen ein Angriff hätte. Beide Methoden ersetzen einander nicht, und fast jedes Team hat mit der ersten begonnen.
Wo Rahmenbedingungen und Regulierungsbehörden landen
Adversarial Testing hat sich von einer bewährten Vorgehensweise zu einem erwarteten Beweis entwickelt, wobei die Formulierung eine größere Rolle spielt, als die Anbieter in der Regel zugeben.
- NIST AI RMF und sein generatives KI-Profil Adversarial Testing sollte als Teil des KI-Risikomanagements gefördert werden. Red Teaming wird nicht als obligatorische Kontrollmaßnahme genannt, und Bedrohungen wie Prompt Injection fallen unter die Richtlinien zur Resilienz.
- Das EU-KI-Gesetz Die Modellevaluierung, einschließlich Adversarial Testing für Hochrisikosysteme, wird als Teil der Risikominderung vor der Markteinführung erwartet. Es wird weder ein bestimmtes Tool noch ein bestimmter Anbieter oder ein bestimmtes Berichtsformat vorgeschrieben.
- OWASP Top 10 für LLM-Bewerbungen liefert das gemeinsame Vokabular. Ein mit LLM01 gekennzeichneter Befund ist für einen Verteidiger relevant. Die Aussage „Das Modell hat etwas Negatives gesagt“ hingegen nicht.
- MITRE ATLAS liefert Kennungen für Techniken und dokumentierte Fallstudien, wodurch die Erkenntnisse eines Red Teams und ein Bedrohungsmodell auf dasselbe Bezug nehmen können.
Die praktische Umsetzung: Sie benötigen Nachweise über strukturierte Angriffstests, eine Liste der getesteten Systeme und eine Dokumentation der anschließenden Änderungen. Scan-Ergebnisse allein genügen keiner dieser drei Anforderungen.
Teste die andere Hälfte
Ein sauberer Red-Teaming-Bericht mit KI zeigt Ihnen, welches Modell die Kontrolle hatte. Er sagt Ihnen aber nicht, was der Agent daneben hätte erreichen können, wenn das Modell keine Kontrolle gehabt hätte.
Xygeni Er entdeckt alle KI-Ressourcen in Ihren Repositories, einschließlich der Agenten, MCP-Server und Skill-Dateien, die niemand deklariert hat, und findet die Risiken, die eher in der Konfiguration als im Modellverhalten liegen: wie Eingabeaufforderungen erstellt werden, worauf ein Agent zugreifen darf und welche Anmeldeinformationen in Dateien gespeichert sind, die nie als Code überprüft wurden.
Buchen Sie eine Demo um Ihren eigenen KI-Bestand einzusehen.
FAQ
Was sind KI-gestützte Red-Team-Tools?
Tools, die Angriffe auf Sprachmodelle und darauf basierende Anwendungen simulieren: Prompt-Injection, Jailbreaks, Datenextraktion, unsichere Ausgabebehandlung. Sie senden Angriffe an einen Endpunkt und bewerten die Antwort.
Ist KI-gestütztes Red Teaming dasselbe wie Penetrationstests?
Nein. Penetrationstests zielen auf deterministische Software ab, bei der dieselbe Eingabe dieselbe Ausgabe erzeugt. KI-gestützte Red Teaming-Angriffe hingegen zielen auf probabilistische Systeme ab. Daher werden zahlreiche Versuche durchgeführt und die Erfolgsraten gemessen, anstatt eine einzelne Sicherheitslücke zu bestätigen.
Sind KI-gestützte Red-Team-Tools auch für KI-Agenten geeignet?
Teilweise, und das ist die Schwäche der aktuellen Generation. Scanner auf Modellebene haben eine begrenzte Agentenabdeckung, und keiner von ihnen sieht die Konfiguration, die den Werkzeugzugriff, die Identität oder die Berechtigungen eines Agenten bestimmt.
Mit welchen KI-gestützten Red-Team-Tools sollte ein Team beginnen?
Beginnen Sie mit einem breit angelegten Open-Source-Scanner für die Abdeckung und einem in CI integrierten Framework für die Regression. Fügen Sie dann eine mehrstufige Orchestrierung hinzu, wenn Ihre Ergebnisse von der Gesprächshistorie oder dem Tool-Aufrufverhalten abhängen.
Was umfasst KI-gestütztes Red Teaming nicht?
Alles, was vom Modellendpunkt aus nicht erreichbar ist: welche Tools ein Agent aufrufen darf, unter welcher Identität er läuft, welche Daten sein Speicher speichert und welche Skills, Regeln und MCP-Konfigurationsdateien seine Berechtigungen definieren. Diese Daten befinden sich im Repository, nicht in der Konversation.
Erfüllt KI-Red-Teaming die Verpflichtungen des EU-KI-Gesetzes?
Kein einzelnes Tool kann das leisten. Das Gesetz sieht Adversarial Testing als Teil eines dokumentierten Risikomanagementsystems für KI-Systeme mit hohem Risiko vor, was Nachweise, Inventarisierung und Prozesse erfordert, nicht nur einen Scanbericht.
