TL; DR
Czym jest atak polegający na ekstrakcji modeli i dlaczego najpierw przeprowadza się inwentaryzację
Atak polegający na ekstrakcji modelu kopiuje Twoją sztuczną inteligencję przez własne API. Bez włamań, kradzieży odważników i złośliwego oprogramowania.
- Jak to działa: Atak ekstrakcji modelu (nazywany również kradzieżą modelu lub kradzieżą modelu) polega na wysyłaniu zapytań do punktu końcowego wnioskowania na dużą skalę i trenowaniu klonu na podstawie odpowiedzi. W logach atakujący wygląda na poważnego klienta.
- Gdzie się znajduje: OWASP klasyfikuje ekstrakcję modelu jako LLM10:2025 Nieograniczona konsumpcja i wymienia scentralizowany model inwentaryzacji wśród środków zaradczych.
- Dlaczego obrona zawodzi: Limity przepustowości, uwierzytelnianie i monitorowanie chronią tylko te punkty końcowe, o których wiesz. Punkty końcowe Shadow AI nie mają z nimi nic wspólnego.
Pierwsza obrona: Inwentaryzacja AI każdego modelu, agenta i punktu końcowego wnioskowania, który ujawnia Twój kod, odkryta u źródła przed jego wysłaniem. Nie można chronić punktów końcowych wnioskowania, których się nie zinwentaryzowało.
Twój model może zostać skradziony bez dotykania twoich serwerów przez kogokolwiek
Twój zespół spędził miesiące na dopracowywaniu modelu w oparciu o zastrzeżone dane. Działa on w oparciu o API, które odpowiada na tysiące żądań dziennie. Teraz wyobraź sobie konkurenta, który odbudowuje większość swojej wartości za cenę wywołań API.
To atak polegający na ekstrakcji modelu. Nikt nie narusza Twojej infrastruktury ani nie pobiera Twoich wag. Atakujący po prostu zadaje Twojemu modelowi odpowiednią liczbę dobrze dobranych pytań, zapisuje odpowiedzi i trenuje kopię.
Większość zespołów odpowiada na to ryzyko za pomocą limitów przepustowości, uwierzytelniania i monitorowania danych wyjściowych. Te mechanizmy kontroli działają. Mają jednak jeden wspólny mianownik: chronią tylko te punkty końcowe wnioskowania, o których istnieniu wiesz. W tym poradniku wyjaśniamy, czym jest atak polegający na ekstrakcji modeli, jak w praktyce działa kradzież modeli i dlaczego każda obrona zaczyna się od inwentaryzacji.
Czym jest atak polegający na ekstrakcji modelu?
Atak polegający na ekstrakcji modelu to atak, w którym atakujący rekonstruuje funkcjonalną kopię modelu uczenia maszynowego, wysyłając mu zapytania i ucząc się na podstawie jego wyników. Jest on również znany jako kradzież modelu. Atakujący nigdy nie potrzebuje oryginalnych wag, danych treningowych ani kodu źródłowego: wystarczy publiczny interfejs.
Pomysł nie jest nowy. Naukowcy pokazali go w 2016 roku w zestawieniu z komercyjnymi interfejsami API do prognozowania (Tramèr i wsp., USENIX Security). W 2024 roku zespół Google DeepMind odzyskał część modelu języka produkcyjnego za pośrednictwem swojego publicznego interfejsu API (Carlini i wsp.). ATLAS MITROWY śledzi to samo zachowanie, co technika przeciwnika stosowana wobec systemów AI.
W przypadku aplikacji LLM OWASP uwzględnia kradzież modelu LLM10:2025 Nieograniczona konsumpcjaOpisuje dwa warianty: ekstrakcję za pomocą spreparowanych zapytań API oraz replikację funkcjonalną, w której model docelowy generuje dane syntetyczne w celu dostrojenia konkurencyjnego modelu.
Atak ekstrakcji modelu: kluczowe terminy
To samo zagrożenie występuje pod kilkoma nazwami. Oto, co każda z nich oznacza i gdzie się pokrywają.
| Semestr | Co to znaczy |
|---|---|
| Atak polegający na ekstrakcji modelu | Odbudowa zachowania modelu na podstawie odpowiedzi na zapytania |
| Kradzież modeli / kradzież modeli | Popularne synonimy; kradzież modelu obejmuje również bezpośrednią kradzież plików wagowych |
| Replikacja modelu funkcjonalnego | Wykorzystanie wyników docelowych jako danych treningowych dla modelu zastępczego |
| Model cienia | Klon atakującego, wyszkolony w imitowaniu celu |
Jak działa atak polegający na ekstrakcji modelu
Każdy atak polegający na ekstrakcji modelu przebiega według tej samej pętli: znajduje się punkt końcowy, wykonuje zapytanie na dużą skalę, tworzy kopię.
- Znajdź punkt końcowy. Atakujący lokalizuje interfejs API wnioskowania: zaplecze czatu, usługę klasyfikacji, punkt końcowy osadzeń, model wewnętrzny, do którego może dotrzeć partner.
- Zaprojektuj zapytania. Dane wejściowe są wybierane tak, aby obejmowały de modelucisefektywnie zagospodarować przestrzeń jonową, czasami w połączeniu z szybkim wstrzykiwaniem, aby uzyskać bogatsze odpowiedzi.
- Zbierz wyniki. Etykiety, wyniki ufności, logity lub pełne uzupełnienia tekstu – wszystkie te elementy powodują wyciek informacji. Im bogatsza odpowiedź, tym szybsza kradzież.
- Wyszkolić zastępcę. Zebrane pary danych wejściowych i wyjściowych stają się zbiorem treningowym dla modelu cienia imitującego oryginał.
- Wykorzystaj klon. Kopię wykorzystuje się w celu pominięcia kosztów licencjonowania, bezpośredniej rywalizacji lub ćwiczenia ataków rywalizujących w trybie offline przed ich zastosowaniem w prawdziwym modelu.
Kradzież modeli jest trudna do wykrycia, ponieważ każde żądanie jest uzasadnione. Sygnałem jest wolumen, wzorzec i, przede wszystkim, miejsce, w którym trafiają żądania.
Dlaczego zwykłe metody obrony nie przynoszą rezultatu: luka w zapasach
standard Porady dotyczące ataków z ekstrakcją modelu są rozsądne: uwierzytelniaj osoby dzwoniące, ogranicz i ogranicz przepustowość, obniżaj wskaźniki zaufania z odpowiedzi, oznaczaj wyniki znakiem wodnym i obserwuj nietypowe wzorce zapytań. Każda kontrola jest stosowana dla każdego punktu końcowego. Właśnie tam się psuje.
Sztuczna inteligencja trafia teraz do baz kodu szybciej, niż zespoły ds. bezpieczeństwa są w stanie ją śledzić. Programista podłącza pakiet LLM SDK do mikrousługi. Zespół ds. danych udostępnia precyzyjnie dostrojony model dla narzędzia wewnętrznego. Struktura agenta tworzy własną warstwę obsługi. Żadna z tych warstw nie przechodzi przez kolejkę weryfikacji, a wiele z nich nigdy nie pojawia się w bramce API ani pliku specyfikacji.
Rezultatem jest sztuczna inteligencja typu shadow AI: modele, agenci i punkty końcowe wnioskowania, które istnieją w środowisku produkcyjnym, ale nie znajdują się na niczyjej liście. Punkt końcowy, o którym nikt nie wie, nie podlega limitowi przepustowości, weryfikacji uwierzytelniania ani monitorowaniu. Jest to idealny cel ataku polegającego na ekstrakcji modeli.
OWASP wskazuje na to samo. Wśród środków zaradczych dla LLM10 zaleca utrzymanie scentralizowanego inwentarza modeli uczenia maszynowego. Logika jest prosta: nie można chronić punktów końcowych wnioskowania, których nie zinwentaryzowano.
Najpierw inwentaryzacja: odkryj każdy punkt końcowy, a następnie go chroń
Przydatny inwentarz sztucznej inteligencji odpowiada na cztery pytania dotyczące każdego zasobu: czym jest, gdzie jest zadeklarowany, z czym się komunikuje i co go chroni.
| Pytanie o inwentaryzację | Dlaczego ma to znaczenie w kontekście ekstrakcji modelu |
|---|---|
| Jakie modele i punkty końcowe wnioskowania istnieją? | Każdy niewymieniony punkt końcowy jest niezabezpieczonym celem ekstrakcji |
| Gdzie są one deklarowane w kodzie? | Własność: ktoś musi naprawić brakującą kontrolę |
| Jakie dane i narzędzia są połączone? | Model wytrenowany na wrażliwych danych jest bardziej warty kradzieży |
| Który guardrails i jakie są zasady kontroli? | Pokazuje luki w pokryciu zanim atakujący je znajdzie |
Najlepszym miejscem do zbudowania takiego inwentarza jest kod źródłowy. To właśnie w kodzie powstaje punkt końcowy, więc odnajdywanie zasobów sztucznej inteligencji w repozytorium pozwala na ich znalezienie, zanim trafią do produkcji. Łączy również każdy zasób z projektem, commiti zespół, który zamienia listę w działanie.
Dwa kolejne nawyki zamykają pętlę. Eksportuj inwentaryzację jako zestawienie materiałowe AI (AI-BOM), aby zespoły zarządzające i audytorskie miały ten sam obraz. I skanuj ponownie po każdej zmianie, ponieważ inwentaryzacja jest tak dobra, jak jej ostatnia aktualizacja.
Jak Xygeni zamyka lukę przed rozpoczęciem ataku polegającego na ekstrakcji modelu
Bezpieczeństwo sztucznej inteligencji Xygeni Buduje inwentarz AI bezpośrednio z kodu źródłowego. Wykrywa modele AI, agentów, frameworki AI, serwery i narzędzia MCP, wyświetla monity, guardrails, magazyny wektorowe, zestawy danych, punkty końcowe wnioskowania i narzędzia kodowania AI w Twoich repozytoriach, w tym pliki modeli, takie jak .onnx, .pt oraz .pklMapowane są również relacje: który agent używa którego modelu, jakie narzędzia uruchamia, na których zestawach danych trenuje.
Każdy zasób w inwentarzu zasobów AI pokazuje swoje modele i dostawców, połączone źródła danych z flagami PII, zasięg guardrail oraz pola zarządzania, takie jak kategoria ryzyka wynikająca z unijnej ustawy o sztucznej inteligencji. Widok wykresu AI pokazuje, jak łączą się agenci, modele, narzędzia i zestawy danych. Jednym kliknięciem eksportujesz CycloneDX 1.6 ML-BOM obok swojego SBOM i CBOM.
Od inwentaryzacji do ochrony:
- Wykrywanie ryzyka zmapowane na OWASP. Pakiety detektorów obejmują wszystkie dziesięć kategorii OWASP LLM Top 10, w tym LLM10 Unbounded Consumption, dzięki czemu każde ustalenie jest zrozumiałe dla audytorów.
- Kontrolki punktów końcowych sprawdzane w kodzie. Bezpieczeństwo interfejsu API Xygeni wykrywa punkty końcowe API na podstawie kodu i specyfikacji oraz sygnalizuje nieuwierzytelnione punkty końcowe, brakujące ograniczenia przepustowości i ukryte interfejsy API, które odbiegają od specyfikacji.
- Dowód w działającej aplikacji. Xygeni AI Pentesting testuje wdrożoną aplikację i udowadnia, które słabości można wykorzystać.
- Napraw szybko. Funkcja AI Triage priorytetyzuje ustalenia dotyczące sztucznej inteligencji, a funkcja AI Remediation generuje wytyczne dotyczące rozwiązań dla wszystkich dziesięciu kategorii OWASP LLM.
Wszystko to działa jako skanowanie statyczne CI/CD lub lokalnie, z SaaS, on-premise i opcje z izolacją powietrzną. Zespoły, które potrzebują wewnętrznego etapu przeglądu semantycznego, mogą uruchomić go w modelu hostowanym samodzielnie.
Lista kontrolna zapobiegania atakom ekstrakcji modeli
Osiem elementów sterujących, w kolejności. Pierwsze dwa umożliwiają obsługę pozostałych sześciu.
- MagazynZinwentaryzuj każdy model, agenta i punkt końcowy wnioskowania z kodu źródłowego i utrzymuj go na bieżąco commit.
- WłasnośćPrzypisz właściciela do każdego zasobu AI w inwentarzu.
- UwierzytelnianieWymagaj uwierzytelniania na każdym punkcie końcowym wnioskowania, także na punktach wewnętrznych.
- Ograniczenie szybkościZastosuj limity szybkości, kwoty i limity czasu dla każdego dzwoniącego.
- Minimalizacja wynikówZwróć minimalną potrzebną ilość danych wyjściowych: usuń wyniki zaufania i logity, jeśli użytkownicy ich nie potrzebują.
- MonitorowanieMonitoruj liczbę i wzorce zapytań w celu systematycznego badania.
- Znak wodnyNależy rozważyć oznaczenie znakiem wodnym wyników wartościowych modeli zastrzeżonych.
- ZarządzanieEksportuj AI-BOM na potrzeby zarządzania i audytu oraz mapuj wyniki na OWASP LLM10.
Znajdź punkty końcowe wnioskowania, zanim zrobią to atakujący
Atak ekstrakcji modelu wymaga tylko jednego punktu końcowego, o którym zapomniałeś. Dowiedz się, jaką sztuczną inteligencję tak naprawdę uruchamia Twój kod: zobacz, jak Xygeni AI Security buduje Twój inwentarz AI, or zarezerwować demo.
FAQ
Jaka jest różnica między atakiem polegającym na ekstrakcji modelu a inwersją modelu?
Atak polegający na ekstrakcji modelu kopiuje sam model: jego zachowanie icisLogika jonowa. Inwersja modelu koncentruje się na danych treningowych, próbując odtworzyć wrażliwe rekordy, z których model się uczył. Oba nadużywają dostępu do zapytań, ale ekstrakcja kradnie własność intelektualną, podczas gdy inwersja ujawnia prywatne dane.
Czy atak polegający na ekstrakcji modeli może być skierowany przeciwko modelom LLM, czy tylko klasycznym modelom ML?
Oba. Wczesne badania koncentrowały się na klasyfikatorach stojących za API predykcyjnymi. Obecnie OWASP wymienia ekstrakcję modelu i replikację modelu funkcjonalnego jako zagrożenia LLM w ramach LLM10:2025 Unbounded Consumption, gdzie atakujący wykorzystuje własne dane wyjściowe LLM do precyzyjnego dostrojenia substytutu.
Jak mogę dowiedzieć się, które z moich punktów końcowych wnioskowania są narażone na kradzież modelu?
Zacznij od inwentaryzacji zbudowanej z kodu źródłowego: każdego modelu, agenta i punktu końcowego wnioskowania, które deklarują Twoje aplikacje. Następnie sprawdź każdy z nich pod kątem uwierzytelniania, limitowania przepustowości i ekspozycji danych wyjściowych. Xygeni AI Security wykrywa zasoby AI w Twoich repozytoriach i eksportuje je jako AI-BOM, a Xygeni API Security sygnalizuje punkty końcowe, którym brakuje uwierzytelniania lub limitowania przepustowości.
