Útok na extrakci modelu

Útok na extrakci modelu: Proč je inventář na prvním místě

TL, DR

Co je útok extrakcí modelu a proč je inventář na prvním místě

Útok s cílem extrakce modelu kopíruje vaši umělou inteligenci prostřednictvím jejího vlastního API. Žádné narušení, žádné krádeže vah, žádný malware.

  • Jak to funguje: Útok s cílem extrakce modelu (nazývaný také krádež modelu nebo krádež modelu) dotazuje inferenční koncový bod ve velkém měřítku a trénuje klon na odpovědích. Podle vašich protokolů útočník vypadá jako intenzivní zákazník.
  • Kde se nachází: OWASP klasifikuje extrakci modelu pod LLM10:2025 Neomezená spotřeba a mezi zmírňujícími opatřeními uvádí centralizovaný inventář modelů.
  • Proč obrana selhává: Limity rychlosti, ověřování a monitorování chrání pouze koncové body, o kterých víte. Koncové body stínové umělé inteligence se ničemu z toho nedostanou.

První obrana: inventář umělé inteligence všech modelů, agentů a inferenčních koncových bodů, které váš kód zpřístupňuje, zjištěný ze zdroje před jeho odesláním. Nelze chránit inferenční koncové body, které jste neprovedli.

Váš model může být ukraden, aniž by se kdokoli dotkl vašich serverů

Váš tým strávil měsíce dolaďováním modelu na základě proprietárních dat. Je to základ API, které denně odpovídá na tisíce požadavků. A teď si představte konkurenta, který za cenu těchto volání API znovu vybuduje většinu své hodnoty.

To je útok zaměřený na extrakci modelu. Nikdo nenaruší vaši infrastrukturu ani nestáhne vaše váhy. Útočník jednoduše položí vašemu modelu dostatek dobře zvolených otázek, zaznamená odpovědi a natrénuje kopii.

Většina týmů na toto riziko reaguje omezením rychlosti, ověřováním a monitorováním výstupu. Tyto kontroly fungují. Sdílejí však jedno slepé místo: chrání pouze inferenční koncové body, o kterých víte, že existují. V této příručce vysvětlíme, co je útok extrakcí modelu, jak funguje krádež modelu v praxi a proč každá obrana začíná inventarizací.

Co je to útok extrakcí modelu?

Útok zaměřený na extrakci modelu je útok, při kterém útočník rekonstruuje funkční kopii modelu strojového učení zasíláním dotazů a učením se z jeho výstupů. Je také známý jako krádež modelu nebo krádež modelu. Útočník nikdy nepotřebuje původní váhy, trénovací data ani zdrojový kód: stačí veřejné rozhraní.

Tato myšlenka není nová. Výzkumníci ji v roce 2016 prokázali v porovnání s komerčními predikčními API (Tramèr a kol., USENIX Security). V roce 2024 tým ve společnosti Google DeepMind obnovil část modelu produkčního jazyka prostřednictvím svého veřejného API (Carlini a kol.). ATLAS MITRŮ sleduje stejné chování jako útočná technika proti systémům umělé inteligence.

V případě LLM aplikací OWASP zahrnuje krádež modelu do LLM10:2025 Neomezená spotřebaPopisuje dvě varianty: extrakci pomocí vytvořených dotazů API a funkční replikaci, kde cílový model generuje syntetická data pro doladění konkurenčního modelu.

Útok na extrakci modelu: klíčové pojmy

Stejná hrozba má několik názvů. Zde je vysvětlení významu každého z nich a jejich překrývání.

ObdobíCo to znamená
Útok na extrakci modeluObnovení chování modelu z jeho odpovědí na dotazy
Krádež modelů / krádež modelůBěžná synonyma; krádež modelu zahrnuje i přímou krádež souborů s váhami
Replikace funkčního modeluPoužití výstupů cíle jako trénovacích dat pro náhradní model
Stínový modelKlon útočníka, vycvičený k napodobování cíle

Jak funguje útok extrakcí modelu

Každý útok na extrakci modelu sleduje stejnou smyčku: najít koncový bod, dotazovat se na něj ve velkém měřítku, natrénovat kopii.

  1. Najděte koncový bod. Útočník vyhledá inferenční API: chatovací backend, klasifikační službu, endpoint pro vkládání, interní model, ke kterému má partner přístup.
  2. Navrhněte dotazy. Vstupy jsou voleny tak, aby pokryly de modelcisiontový prostor efektivně, někdy v kombinaci s rychlou injekcí pro získání bohatších odpovědí.
  3. Sklidit výstupy. Štítky, skóre spolehlivosti, logitové testy nebo kompletní texty – to vše uniká informacím. Čím bohatší je odpověď, tím rychlejší je krádež.
  4. Zaškolit náhradníka. Shromážděné vstupní a výstupní páry se stanou trénovací sadou pro stínový model, který napodobuje originál.
  5. Využijte klon. Kopie se používá k obcházení licenčních nákladů, k přímé konkurenci nebo k nacvičování offline útoků před jejich vypálením na skutečný model.

Odhalení krádeže modelů je obtížné z toho důvodu, že každý jednotlivý požadavek je legitimní. Signál spočívá v objemu, vzorci a především v tom, kam požadavky přicházejí.

Proč obvyklé obranné mechanismy selhávají: mezera v zásobách

Jedno standard Rada proti útoku zaměřenému na extrakci modelu je rozumná: ověřujte volající, omezujte a regulujte rychlost, upravujte skóre spolehlivosti z odpovědí, označujte výstupy vodoznakem a sledujte anomální vzorce dotazů. Každý ovládací prvek se aplikuje na každý koncový bod. A přesně v tom selhává.

Umělá inteligence nyní vstupuje do kódových základen rychleji, než ji bezpečnostní týmy stihnou sledovat. Vývojář zapojí LLM SDK do mikroslužby. Datový tým zpřístupní vyladěný model pro interní nástroj. Framework agentů spouští vlastní obslužnou vrstvu. Žádný z nich neprochází frontou kontrol a mnoho z nich se nikdy neobjeví v API bráně ani v souboru specifikací.

Výsledkem je stínová umělá inteligence: modely, agenti a inferenční koncové body, které existují v produkčním prostředí, ale nejsou na ničím seznamu. Koncový bod, o kterém nikdo neví, nemá žádný limit rychlosti, žádnou kontrolu ověřování ani monitorování. Pro útok zaměřený na extrakci modelu je ideálním cílem.

OWASP ukazuje stejným směrem. Mezi zmírňujícími opatřeními pro LLM10 doporučuje udržovat centralizovaný inventář modelů strojového učení. Logika je jednoduchá: Nemůžete chránit koncové body odvození, které jste neinventarizovali.

Nejprve inventarizace: objevte každý koncový bod a poté jej chraňte

Užitečný inventář umělé inteligence odpovídá na čtyři otázky pro každé aktivum: co to je, kde je deklarováno, s čím komunikuje a co ho chrání.

Otázka k inventářiProč je to důležité proti extrakci modelu
Které modely a inferenční koncové body existují?Každý neuvedený koncový bod je nechráněný cíl extrakce.
Kde jsou v kódu deklarovány?Vlastnictví: někdo musí opravit chybějící kontrolu
Jaká data a nástroje jsou propojeny?Model trénovaný na citlivých datech má větší hodnotu, než aby byl ukraden
Který guardrails a platí kontrolní mechanismy?Zobrazuje mezery v pokrytí dříve, než je útočník objeví

Nejlepším místem pro vytvoření tohoto inventáře je zdrojový kód. Kód je místem, kde se rodí koncový bod, takže objevování prostředků umělé inteligence v repozitáři je najde dříve, než se dostanou do produkčního prostředí. Zároveň propojuje každé prostředky s projektem, tedy s commita tým, který promění seznam v akci.

Dva další návyky uzavírají smyčku. Exportujte zásoby jako kusovník s umělou inteligencí (AI-BOM), aby týmy pro správu a audit viděly stejný obrázek. A znovu je skenujte při každé změně, protože zásoby jsou jen tak dobré, jako jejich poslední aktualizace.

Jak Xygeni zmenšuje mezeru před zahájením útoku na extrakci modelu

Zabezpečení umělé inteligence Xygeni Vytváří inventář AI přímo ze zdrojového kódu. Objevuje modely AI, agenty, frameworky AI, servery a nástroje MCP, výzvy, guardrails, vektorová úložiště, datové sady, inferenční koncové body a nástroje pro kódování umělé inteligence napříč vašimi repozitáři, včetně modelových souborů, jako například .onnx, .pt a .pklVztahy jsou také mapovány: který agent používá který model, které nástroje spouští a na kterých datových sadách trénuje.

Každý aktivum v inventáři aktiv AI zobrazuje své modely a poskytovatele, připojené zdroje dat s příznaky PII, pokrytí guardrail a pole správy, jako je kategorie rizika podle zákona EU o AI. Zobrazení grafu AI ukazuje, jak se agenti, modely, nástroje a datové sady propojují. Jedním kliknutím exportujete CycloneDX 1.6 ML-BOM vedle vašeho SBOM a CBOM.

Od inventáře k ochraně:

  • Detekce rizik mapována na OWASP. Detektorové balíčky pokrývají všech deset kategorií OWASP LLM Top 10, včetně LLM10 Neomezená spotřeba, takže každé zjištění mluví jazykem, který používají vaši auditoři.
  • Ovládací prvky koncových bodů zkontrolované v kódu. Zabezpečení API Xygeni Zjišťuje koncové body API z kódu a specifikací a označuje neověřené koncové body, chybějící omezení rychlosti a stínová API, která se odchylují od specifikace.
  • Důkaz na běžící aplikaci. Penetrační testování umělé inteligence Xygeni otestuje nasazenou aplikaci a prokáže, které slabiny lze zneužít.
  • Rychlá oprava. AI Triage upřednostňuje zjištění AI a AI Remediation generuje pokyny k opravě pro všech deset kategorií OWASP LLM.

Všechno to běží jako statické skenování v CI/CD nebo lokálně, se SaaS, on-premise a možnosti s vzdušnou mezerou. Týmy, které potřebují fázi sémantického přezkoumání provozovat interně, ji mohou provozovat na vlastním hostovaném modelu.

Kontrolní seznam prevence útoků z extrakce modelu

Osm ovládacích prvků, v pořadí. První dva umožňují použití zbývajících šesti.

  1. InventářInventarizujte každý model, agenta a inferenční koncový bod ze zdrojového kódu a udržujte je aktuální na každém commit.
  2. VlastnictvíPřiřaďte vlastníka každému prvku umělé inteligence v inventáři.
  3. OvěřováníVyžadovat ověřování na každém inferenčním koncovém bodu, včetně interních.
  4. Omezení sazbyPoužijte limity rychlosti, kvóty a časové limity pro každého volajícího.
  5. Minimalizace výstupuVrátit minimální potřebný výstup: odečíst skóre spolehlivosti a logitové funkce tam, kde je uživatelé nepotřebují.
  6. monitorování Sledujte objem a vzorce dotazů pro systematické sondování.
  7. vodoznakyZvažte vodoznakování výstupů vysoce hodnotných proprietárních modelů.
  8. Správní radaExportujte AI-BOM pro účely správy a auditu a mapujte zjištění do OWASP LLM10.

Najděte své inferenční koncové body dříve, než je udělají útočníci

Útok s extrakcí modelu potřebuje pouze jeden koncový bod, na který jste zapomněli. Zjistěte, jakou umělou inteligenci váš kód skutečně spouští: Podívejte se, jak Xygeni AI Security vytváří váš inventář umělé inteligence, or rezervovat demo.

Nejčastější dotazy

Jaký je rozdíl mezi útokem extrakce modelu a inverzí modelu?

Útok zaměřený na extrakci modelu kopíruje samotný model: jeho chování a decislogika ionů. Inverze modelu se zaměřuje na trénovací data a snaží se rekonstruovat citlivé záznamy, ze kterých se model učil. Obojí zneužívá přístup k dotazům, ale extrakce krade duševní vlastnictví, zatímco inverze uniká soukromá data.

Může útok s cílem extrakce modelu cílit na LLM, nebo pouze na klasické ML modely?

Obojí. První výzkum se zaměřil na klasifikátory stojící za predikčními API. Dnes OWASP uvádí extrakci modelů a replikaci funkčních modelů jako rizika LLM podle LLM10:2025 Unbounded Consumption, kde útočník používá vlastní výstupy LLM k doladění náhrady.

Jak zjistím, které z mých inferenčních koncových bodů jsou vystaveny krádeži modelu?

Začněte s inventářem sestaveným ze zdrojového kódu: každý model, agent a inferenční koncový bod, který vaše aplikace deklarují. Poté každý z nich zkontrolujte z hlediska ověřování, omezení rychlosti a expozice výstupu. Xygeni AI Security vyhledává aktiva AI ve vašich repozitářích a exportuje je jako AI-BOM a Xygeni API Security označuje koncové body, které postrádají ověřování nebo omezení rychlosti.

nástroje pro analýzu složení softwaru SCA
Stanovte priority, opravte a zabezpečte svá softwarová rizika
Získejte svůj bezplatný účet.
Nevyžaduje se žádná kreditní karta.

Zajistěte si vývoj a dodávky softwaru

s produktovým balíčkem Xygeni