Was ist Datenvergiftung?

Jedes Sicherheitsteam ist darauf geschult, den ausgelieferten Code zu überprüfen. Kaum ein Team ist jedoch darauf trainiert, die eingehenden Daten zu prüfen – und genau diese Schwachstelle wird von Data Poisoning ausgenutzt. Wenn ein manipuliertes Modell in der Produktion landet, wurde die Schwachstelle nie bei der Codeüberprüfung entdeckt. Sie befand sich in einem Datensatz, der Monate zuvor von niemandem geprüft worden war.

Dieser Glossareintrag erklärt, was Datenvergiftung ist, wie Datenvergiftungsangriffe in der Praxis ablaufen und warum Datenvergiftung im KI-Bereich zu einem der größten Probleme geworden ist. Die am schnellsten wachsenden Risiken im KI-Zeitalter SDLCund wie eine wirksame Verteidigung dagegen aussieht.

Bedeutung von Datenvergiftung #

Datenvergiftung ist die gezielte Manipulation der Daten, die zum Trainieren, Feinabstimmen oder Validieren eines KI-Modells verwendet werden, um das Modell dazu zu bringen, falsche Verhaltensweisen zu erlernen, sich so zu verhalten, wie der Angreifer es wünscht, oder Informationen preiszugeben, die es niemals offenlegen sollte. Anstatt das Modell nach der Bereitstellung anzugreifen, attackiert der Angreifer die Rohdaten, aus denen das Modell erstellt wurde.

Der Kerngedanke hinter Datenvergiftung ist simpel und beunruhigend: Ein KI-Modell ist nur so vertrauenswürdig wie die Daten, mit denen es trainiert wurde. Sind diese Daten bereits vor Trainingsbeginn verfälscht, voreingenommen oder mit Fallstricken versehen, kann weder eine gründliche Codeüberprüfung noch Tests oder Laufzeitüberwachung den zugrundeliegenden Fehler aufdecken, da das Modell exakt so arbeitet, wie es (böswillig) trainiert wurde.

KI-Datenvergiftung vs. traditionelle Software-Schwachstellen #

Traditionelle Anwendungssicherheit geht davon aus, dass die Gefahr im Code selbst liegt: eine fehlerhafte Funktion, eine ungepatchte Bibliothek, ein falsch konfigurierter Server. Datenmanipulation im KI-Bereich widerlegt diese Annahme jedoch vollständig. Es gibt keine angreifbare Codezeile zu finden, da die Manipulation in einem Trainingsdatensatz, einem Feinabstimmungsdatensatz oder einem Abrufindex stattfand, lange bevor Code geschrieben oder ein Modell bereitgestellt wurde.

Deshalb ist die Manipulation von KI-Daten mit herkömmlichen Werkzeugen besonders schwer aufzudecken. SAST Ein Scanner liest Code. Ein Abhängigkeitsscanner liest Paketmanifeste. Keiner von beiden liest einen mehrere Gigabyte großen Trainingskorpus oder eine Vektordatenbank voller eingebetteter Dokumente, was prä-cisIn einigen Fällen richtet die Vergiftung von KI-Daten Schaden an. Sicherheitsforscher legen diese Daten verantwortungsvoll offen. Andere Daten werden zuerst von Angreifern gefunden und missbraucht, was den größten Schaden verursacht.

Wie funktionieren Datenvergiftungsangriffe eigentlich? #

Datenvergiftungsangriffe treten im Allgemeinen in einer von wenigen Formen auf:

• Vergiftung von TrainingsdatenEin Angreifer fügt manipulierte, falsch gekennzeichnete oder bösartige Beispiele in den Datensatz ein, der zum Trainieren eines Modells von Grund auf oder zum Feinabstimmen eines bestehenden Modells verwendet wird, wodurch dieses eine versteckte Voreingenommenheit oder ein Hintertürverhalten erlernt.
• EtikettenumdrehenEine subtilere Variante des oben Genannten ist, dass ein Angreifer nur die Bezeichnungen einer kleinen Teilmenge der Trainingsbeispiele ändert und so unauffällig verfälscht, was das Modell lernt, mit was es zu assoziieren.
• RAG und KontextvergiftungBei Systemen mit abrufgestützter Datengenerierung platziert ein Angreifer manipulierte Dokumente in der Wissensbasis oder dem Vektorspeicher, aus dem das Modell zur Laufzeit Daten abruft, sodass das Modell falsche oder manipulierte Informationen so wiedergibt, als wären sie verifizierte Fakten.
• Hintertür-AuslöserEin Angreifer bettet einen spezifisches Muster in den Trainingsdaten sodass sich das Modell in fast allen Fällen normal verhält, aber im Moment des Auftretens einer versteckten Auslösephrase oder Eingabe eine vom Angreifer gewählte Ausgabe erzeugt.
• Vergiftung der Lieferkette: Ein Angreifer kompromittiert einen öffentlichen oder gemeinsam genutzten Datensatz. ein vortrainierter Modell-Checkpoint oder eine Einbettung pipeline so, dass jedes nachgelagerte Team, das darauf zugreift, das Gift erbt, ohne jemals den ursprünglichen Angriff zu berühren.

Was all diese Datenvergiftungsangriffe verbindet, ist der Zeitpunkt. Der Schaden entsteht, bevor das Modell überhaupt einem echten Nutzer antwortet. Genau deshalb beschreibt die Formulierung „bevor es auch nur eine Zeile Code schreibt“ diese Bedrohung so treffend.cisely: Das Modell ist in seinen Grundlagen kompromittiert, nicht in seinen Ergebnissen.

Wie Angreifer ein KI-Modell manipulieren, bevor es auch nur eine Zeile Code schreibt? #

Alle oben beschriebenen Datenvergiftungsangriffe haben denselben zeitlichen Vorteil: Die Kompromittierung erfolgt vorgelagert, lange bevor ein Modell auch nur eine einzige Ausgabe generiert, die ein Benutzer jemals sehen wird. Es gibt keine angreifbare Funktion, die gepatcht werden könnte, und keine bösartigen Elemente. commit Das muss noch überprüft werden, da das Modell noch nichts geschrieben hat. Es hat lediglich gelernt, und was es gelernt hat, ist bereits falsch.

Genau das unterscheidet KI-Datenvergiftung grundlegend von den Schwachstellen, nach denen Anwendungssicherheitsteams suchen. Ein mit einer Hintertür versehenes Modell sieht in einem Codevergleich identisch aus wie ein sauberes. Es besteht einen Test pull request Die Überprüfung funktioniert. Das System kompiliert, stellt bereit und beantwortet die meisten Anfragen korrekt – bis die vom Angreifer eingeschleuste Schwachstelle schließlich in der Produktionsumgebung auftritt. Dann lautet die Frage nicht mehr „Welcher Code hat das verursacht?“, sondern „Welche Daten haben das verursacht und wie weit reicht das zurück?“

Warum die Manipulation von KI-Daten immer wichtiger wird? #

Datenvergiftung durch KI ist keine theoretische Sorge mehr. Sie wird formell anerkannt als LLM04: Daten- und Modellvergiftung Generative KI zählt laut OWASP Top 10 für LLM-Anwendungen neben Prompt Injection und Lieferkettenrisiken zu den prägendsten Bedrohungen des Zeitalters der generativen KI. Drei Trends rücken sie dabei immer weiter in den Fokus der Sicherheitsteams:

• Der Schaden ist unsichtbar, bis er ausgelöst wird. Ein manipuliertes Modell kann jeden Funktionstest bestehen und monatelang einwandfrei funktionieren, bis die vom Angreifer platzierte spezifische Auslösebedingung schließlich in der Produktion eintritt.

• Die durch Abfragen unterstützte Datengenerierung ist allgegenwärtig. Jedes System, das es einem Modell ermöglicht, Live-Kontext aus Dokumenten, Wikis, Tickets oder einer Vektordatenbank abzurufen, verfügt über eine neue, ungeprüfte Eingabeschnittstelle, und genau diese Schnittstelle ist das Ziel von Datenvergiftungsangriffen.

• Datensätze sind heute Vermögenswerte der Lieferkette. Teams laden routinemäßig vortrainierte Modelle, Einbettungen und öffentliche Datensätze aus externen Quellen herunter, genau wie sie Open-Source-Pakete herunterladen, und genau wie ein kompromittiertes Paket kann ein kompromittierter Datensatz den Angriff unbemerkt in jedes Team einschleusen, das ihn verwendet.

Erkennung und Abwehr von Datenvergiftung #

Da die Datenvergiftung vor dem eigentlichen Modell stattfindet, muss auch die Verteidigung vorgelagert ansetzen:

• Achten Sie nicht nur auf fehlerhaften Code, sondern auch auf ungewöhnliche Datenquellen. Verhaltens- und Anomalieerkennung muss sich bis zu dem Punkt erstrecken, an dem Daten in den Dateneingang gelangen. pipeline, nicht an der Grenze des Repositorys enden.

• Kenne jeden Datensatz im pipeline. Man kann ein Vergiftungsrisiko in einem Datensatz nicht prüfen, dessen Existenz einem unbekannt ist. Die kontinuierliche Suche nach Trainings-, Evaluierungs- und Abrufdatensätzen ist die erste Verteidigungslinie.

• Verfolgen Sie den Datenfluss vom Datensatz über das Modell bis zum Ergebnis. Die Abbildung des Weges, den ein Datensatz in ein Modell und von einem Modell in einen Agenten, einen Endpunkt oder ein Codierungswerkzeug nimmt, verwandelt „Wir haben eine fehlerhafte Ausgabe erhalten“ in „Wir wissen genau, welcher Datensatz sie verursacht hat“.

• Prüfen Sie nicht nur die Trainingsdatensätze, sondern auch die Datenquellen. In RAG-Systemen benötigen der Vektorspeicher und die Wissensbasis die gleichen Integritätsprüfungen wie die Trainingsdaten, da Kontextvergiftung zur Abfragezeit und nicht zur Trainingszeit auftritt.

Wie Xygeni dazu beiträgt, die Datenvergiftungslücke zu schließen? #

Die Abwehr von Datenvergiftung beginnt mit Transparenz, die den meisten Organisationen schlichtweg fehlt. Xygeni's AI Inventory erkennt kontinuierlich alle KI-Assets im gesamten System. SDLCeinschließlich der zugrunde liegenden Datensätze: Trainingsdaten, Evaluierungsdatensätze und RAG- oder Abrufquellen, und bildet diese in einem Live-Beziehungsdiagramm ab, das vom Datensatz über das Modell bis zum Endpunkt reicht. zum Agenten zum MCP-Server zum Codierungstool. Dieser Graph macht aus einer verdächtigen Modellausgabe eine nachvollziehbare Frage: Welcher Datensatz diente als Grundlage und woher stammt er?

Zusätzlich zu diesem Warenbestand verfügt Xygeni über KI-Sicherheit Erkennt Schwächen in Vektoren und Einbettungen, einschließlich vergiftetem Kontext bei der Suche und RAG. pipelines, ausgerichtet auf die OWASP Top 10 für LLM-Bewerbungen. Anstatt darauf zu vertrauen, dass die Trainings- und Abrufquellen eines Modells sauber sind, behandelt Xygeni sie als Teil der Angriffsfläche, genauso wie es bereits Code, Abhängigkeiten und … behandelt. pipelines. Wenn Sie derzeit die Frage „Welche Daten wurden verwendet, um dieses Modell zu trainieren, und können wir das beweisen?“ nicht beantworten können, dann ist das genau die Lücke, die es zu schließen gilt, bevor ein Vorfall von Datenvergiftung im KI-Bereich diese Frage erzwingt.

FAQ #