Każdy zespół ds. bezpieczeństwa jest przeszkolony w zakresie monitorowania kodu w momencie jego wysyłki. Prawie żaden nie jest przeszkolony w zakresie monitorowania danych w momencie ich napływu, a właśnie ten martwy punkt jest wykorzystywany w procesie zatruwania danych. Zanim zatruty model trafi do produkcji, luka w zabezpieczeniach nie została jeszcze poddana przeglądowi kodu. Znajdowała się w zbiorze danych, którego nikt nie audytował miesiącami wcześniej.
W tym wpisie w słowniku wyjaśniono, czym jest zatruwanie danych, jak w praktyce przebiegają ataki zatruwania danych i dlaczego zatruwanie danych sztuczną inteligencją stało się jednym z najszybciej rosnące ryzyka w erze sztucznej inteligencji SDLCi jak wygląda prawdziwa obrona przed nią.
Znaczenie zatrucia danych #
Zatrucie danych (data poisoning) to celowa manipulacja danymi używanymi do trenowania, dostrajania lub uziemiania modelu sztucznej inteligencji (AI), w wyniku której model uczy się niewłaściwych rzeczy, zachowuje się w sposób pożądany przez atakującego lub ujawnia informacje, których nigdy nie powinien ujawniać. Zamiast atakować model po wdrożeniu, atakujący atakuje surowy materiał, z którego model został zbudowany.
Główna idea zatruwania danych jest prosta i niepokojąca: model sztucznej inteligencji jest tak wiarygodny, jak dane, z których się uczył. Jeśli te dane są uszkodzone, stronnicze lub zaminowane jeszcze przed rozpoczęciem szkolenia, żadna ilość przeglądu kodu, testów ani monitorowania środowiska uruchomieniowego nie wykryje ukrytej wady, ponieważ model działa dokładnie tak, jak został (złośliwie) nauczony.
Zatruwanie danych przez sztuczną inteligencję a luki w zabezpieczeniach tradycyjnego oprogramowania #
Tradycyjne zabezpieczenia aplikacji zakładają, że zagrożenie tkwi w kodzie: błędnej funkcji, niezałatanej bibliotece, źle skonfigurowanym serwerze. Zatrucie danych przez sztuczną inteligencję całkowicie obala to założenie. Nie ma żadnej podatnej linijki kodu do znalezienia, ponieważ uszkodzenie nastąpiło w zbiorze treningowym, zbiorze danych dostrajających lub indeksie pobierania na długo przed napisaniem jakiegokolwiek kodu lub wdrożeniem jakiegokolwiek modelu.
Dlatego zatrucie danymi za pomocą sztucznej inteligencji jest wyjątkowo trudne do wykrycia przy użyciu starszych narzędzi. SAST Skaner odczytuje kod. Skaner zależności odczytuje manifesty pakietów. Żaden z nich nie odczytuje wielogigabajtowego korpusu szkoleniowego ani wektorowej bazy danych pełnej osadzonych dokumentów, co jest…cisGdzie zatruwanie danych AI wyrządza szkody? Naukowcy zajmujący się bezpieczeństwem i odpowiedzialnie je ujawniają. Inne są najpierw wykrywane i wykorzystywane przez atakujących jako broń, co jest scenariuszem powodującym największe szkody.
Jak właściwie działają ataki polegające na zatruwaniu danych? #
Ataki polegające na zatruwaniu danych zazwyczaj przybierają jedną z kilku form:
- Zatruwanie danych szkoleniowych:atakujący wprowadza zmanipulowane, błędnie oznaczone lub złośliwe przykłady do zestawu danych używanego do trenowania modelu od podstaw lub dostrajania istniejącego, powodując, że uczy się on ukrytego uprzedzenia lub zachowania typu „tylne drzwi”.
- Odwracanie etykiet:subtelniejsza wersja powyższego, w której atakujący zmienia tylko etykiety w małym podzbiorze przykładów szkoleniowych, po cichu wypaczając to, co model uczy się kojarzyć z czym.
- RAG i zatrucie kontekstowe:w systemach generacji wspomaganej wyszukiwaniem atakujący umieszcza zatrute dokumenty w bazie wiedzy lub magazynie wektorów, z którego model pobiera dane w czasie wykonywania, dzięki czemu model pewnie powtarza fałszywe lub zmanipulowane informacje, jakby były zweryfikowanymi faktami.
- Wyzwalacze tylnych drzwi:atakujący osadza określony wzór w danych treningowych w ten sposób model zachowuje się normalnie w prawie każdym przypadku, ale generuje dane wyjściowe wybrane przez atakującego w momencie pojawienia się ukrytej frazy wyzwalającej lub danych wejściowych.
- Zatrucie łańcucha dostaw: atakujący narusza publiczny lub współdzielony zbiór danych, wstępnie wyszkolony punkt kontrolny modelu lub osadzanie pipeline w górę rzeki, tak aby każda drużyna, która z niej skorzysta, odziedziczyła truciznę, nie dotykając przy tym pierwotnego ataku.
To, co łączy wszystkie te ataki zatruwania danych, to czas. Szkody powstają, zanim model w ogóle odpowie prawdziwemu użytkownikowi, dlatego właśnie sformułowanie „zanim napisze choćby jedną linijkę kodu” opisuje to zagrożenie, więc…cisely: model jest zagrożony u podstaw, a nie na wyjściu.
Jak atakujący niszczą model sztucznej inteligencji, zanim ten napisze choćby jedną linijkę kodu? #
Każdy opisany powyżej atak zatruwania danych ma tę samą przewagę czasową: naruszenie następuje w górę strumienia, na długo zanim model wygeneruje jakiekolwiek dane wyjściowe, które użytkownik kiedykolwiek zobaczy. Nie ma żadnej podatnej funkcji, którą można by naprawić, ani żadnego złośliwego oprogramowania. commit do przechwycenia w przeglądzie, ponieważ model jeszcze nic nie napisał. Dopiero się uczył, a to, czego się nauczył, jest już błędne.
To właśnie odróżnia zatruwanie danych AI od luk w zabezpieczeniach, na które zespoły ds. bezpieczeństwa aplikacji są szkolone. Model z tylnymi drzwiami wygląda identycznie jak czysty w przypadku różnic w kodzie. Przechodzi on pull request Przegląd. Kompiluje, wdraża i poprawnie odpowiada na większość zapytań, aż do momentu, gdy konkretny stan, który stworzył atakujący, pojawi się w środowisku produkcyjnym. Wtedy pytanie nie brzmi już „jaki kod to wprowadził”, ale „jakie dane to spowodowały i jak daleko sięgają wstecz”.
Dlaczego zatruwanie danych sztuczną inteligencją staje się coraz większym problemem? #
Zatruwanie danych przez sztuczną inteligencję nie jest już problemem teoretycznym. Jest formalnie uznawane za LLM04: Zatruwanie danych i modeli W rankingu OWASP Top 10 dla aplikacji LLM, obok ryzyka związanego z szybkim wstrzykiwaniem kodu i ryzykiem łańcucha dostaw, jest to jedno z głównych zagrożeń ery generatywnej sztucznej inteligencji. Trzy trendy sprawiają, że problem ten jest coraz bardziej widoczny dla każdego zespołu ds. bezpieczeństwa:
- Uszkodzenia są niewidoczne do momentu ich wywołania. Zatruty model może przejść każdy test funkcjonalny i zachowywać się doskonale przez wiele miesięcy, dopóki konkretny warunek wyzwalający stworzony przez atakującego nie pojawi się w środowisku produkcyjnym.
- Generacja wspomagana wyszukiwaniem jest wszechobecna. Każdy system, który pozwala modelowi pobierać kontekst na żywo z dokumentów, wiki, zgłoszeń lub baz danych wektorowych, posiada nową, niesprawdzoną powierzchnię wejściową, a właśnie ta powierzchnia jest celem ataków polegających na zatruwaniu danych.
- Zbiory danych stały się obecnie zasobami łańcucha dostaw. Zespoły rutynowo pobierają wstępnie wytrenowane modele, osadzenia i publiczne zestawy danych z zewnętrznych źródeł w taki sam sposób, w jaki pobierają pakiety typu open source. Podobnie jak zainfekowany pakiet, zainfekowany zestaw danych może dyskretnie przenieść atak na każdy zespół, który z niego korzysta.
Wykrywanie i obrona przed zatruwaniem danych #
Ponieważ zatruwanie danych ma miejsce już na etapie modelu, obrona również musi rozpocząć się na tym etapie:
- Zwracaj uwagę na nietypowe źródła danych, nie tylko na nietypowy kod. Wykrywanie zachowań i anomalii musi obejmować obszar, w którym dane trafiają do pipeline, nie zatrzymywać się na granicy repozytorium.
- Poznaj każdy zestaw danych w pipeline. Nie można przeprowadzić audytu ryzyka zatrucia w zbiorze danych, o którego istnieniu się nie wie. Ciągłe odkrywanie zbiorów danych szkoleniowych, ewaluacyjnych i odzyskiwania danych to pierwsza linia obrony.
- Prześledź pochodzenie od zbioru danych, przez model, aż do wyniku. Mapowanie ścieżki, jaką pokonuje zbiór danych w modelu oraz od modelu do agenta, punktu końcowego lub narzędzia kodowania, pozwala zmienić stwierdzenie „otrzymaliśmy zły wynik” w „dokładnie wiemy, w którym zestawie danych został on wprowadzony”.
- Dokładnie sprawdź źródła wyszukiwania, nie tylko zbiory treningowe. W systemach RAG magazyn wektorów i baza wiedzy wymagają takich samych kontroli integralności jak dane treningowe, ponieważ zatruwanie kontekstu ma miejsce w czasie zapytania, a nie treningu.
W jaki sposób Xygeni pomaga wyeliminować zjawisko zatruwania danych? #
Obrona przed zatruciem danych zaczyna się od przejrzystości, której większość organizacji po prostu nie ma. Xygeni's AI Inventory stale wykrywa każdy zasób AI w SDLC, w tym zestawy danych, na których się opiera: dane szkoleniowe, zestawy ewaluacyjne i RAG lub źródła pobierania, a następnie mapuje je na żywy wykres relacji biegnący od zestawu danych do modelu i punktu końcowego do agenta do serwera MCP do narzędzia do kodowania. Ten graf zmienia podejrzany wynik modelu w możliwe do prześledzenia pytanie: który zestaw danych go zasilił i skąd pochodzi.
Na dodatek do tego inwentarza, Xygeni Bezpieczeństwo AI wykrywa słabości wektorów i osadzania, w tym zatruty kontekst w pobieraniu i RAG pipelines, wyrównany do OWASP Top 10 dla kandydatów na studia LLM. Zamiast ufać, że źródła szkolenia i pobierania modelu są czyste, Xygeni traktuje je jako część powierzchni ataku, tak samo jak traktuje już kod, zależności i pipelines. Jeśli obecnie nie potrafisz odpowiedzieć na pytanie „jakie dane posłużyły do wyszkolenia tego modelu i czy możemy to udowodnić”, to jest to właśnie luka, którą warto wypełnić, zanim incydent zatrucia danych przez sztuczną inteligencję wymusi to pytanie.
FAQ #
Zatruwanie danych w sztucznej inteligencji polega na uszkadzaniu lub manipulowaniu danymi, z których model się uczy (danymi szkoleniowymi, danymi dostrajającymi lub kontekstem wyszukiwania), tak aby model generował dane wyjściowe podatne na ataki lub mało wiarygodne.
Nie. Wstrzykiwanie komunikatów (prompting injection) manipuluje zachowaniem modelu w trakcie zapytania poprzez zmodyfikowane dane wejściowe. Zatruwanie danych (data poisoning) uszkadza dane bazowe, na których model został wytrenowany lub z których pobiera dane, więc szkody są już widoczne, zanim jakikolwiek komunikat zostanie wysłany.
Tak. W systemach generacji wspomaganej wyszukiwaniem atakujący może zatruć dokumenty lub bazę danych wektorów, z których model pobiera dane w czasie wykonywania, osiągając podobny efekt bez ingerencji w oryginalny zestaw treningowy.
Ponieważ tkwi w danych, a nie w kodzie. Tradycyjne narzędzia AppSec skanują kod źródłowy i manifesty zależności, a nie wielogigabajtowe zestawy treningowe czy bazy wektorów, dlatego ataki typu data poisoning często pozostają niezauważone przez narzędzia zbudowane dla modelu zagrożeń skoncentrowanego na kodzie.
Narażona jest każda organizacja, która dostraja modele w oparciu o dane wewnętrzne lub zewnętrzne, korzysta z generacji rozszerzonej o wyszukiwanie lub pobiera wstępnie wytrenowane modele i zestawy danych ze źródeł publicznych, ponieważ każde z tych działań stanowi punkt wejścia do zatrucia danych.
