Modell Extraktioun Attack

Modell Extraktiounsattack: Firwat Inventar als éischt kënnt

TL; DR

Wat eng Modellextraktiounsattack ass, a firwat den Inventar als éischt kënnt

Eng Modellextraktiounsattack kopéiert Är KI iwwer seng eegen API. Kee Leck, keng geklaute Gewiichter, keng Malware.

  • Wéi et schafft: Eng Modellextraktiounsattack (och Modelldéifstall genannt) frot en Inferenzendpunkt a grousser Skala of a trainéiert e Klon op Basis vun den Äntwerten. An Äre Logbicher gesäit den Ugräifer aus wéi e schwéiere Client.
  • Wou et setzt: OWASP klasséiert Modellextraktioun ënner LLM10:2025 Onlimitéierte Konsum an lëscht en zentraliséierte Modellinventar ënnert senge Mitigatiounsmoossnamen op.
  • Firwat d'Verteidegung net funktionéiert: Geschwindegkeetslimiten, Authentifikatioun a Monitoring schützen nëmmen déi Endpunkten, vun deenen Dir kennt. Shadow AI Endpunkten kréien keng dovun.

Déi éischt Verteidegung: en KI-Inventar vun all Modell, Agent an Inferenzendpunkt, deen Äre Code exposéiert, entdeckt vun der Quell ier en verschéckt gëtt. Dir kënnt Inferenzendpunkte net schützen, déi Dir net inventariséiert hutt.

Äre Modell kann geklaut ginn, ouni datt iergendeen Är Server beréiert

Äert Team huet Méint laang e Modell op Basis vu proprietäre Daten verfeinert. Et baséiert op enger API, déi all Dag Dausende vun Ufroen beäntwert. Stellt Iech elo vir, datt e Konkurrent de gréissten Deel vu sengem Wäert fir de Präis vun dësen API-Uruff nei opbaut.

Dat ass eng Modell-Extraktiounsattack. Keen iwwerstëmmt an Är Infrastruktur oder luet Är Gewiichter erof. Den Ugräifer stellt Ärem Modell einfach genuch gutt gewielte Froen, notéiert d'Äntwerten a trainéiert eng Kopie.

Déi meescht Équipen beäntweren dëse Risiko mat Geschwindegkeetslimiten, Authentifikatioun an Output-Iwwerwaachung. Dës Kontrollen funktionéieren. Mee si deelen ee blanne Fleck: si schützen nëmmen déi Inferenz-Endpunkten, vun deenen Dir wësst, datt se existéieren. An dësem Guide erkläre mir, wat eng Modell-Extraktiounsattack ass, wéi Modell-Déifstall an der Praxis funktionéiert a firwat all Verteidegung mat engem Inventar ufänkt.

Wat ass eng Modellextraktiounsattack?

Eng Modellextraktiounsattack ass eng Attack, bei där en Géigner eng funktionell Kopie vun engem Maschinnléiermodell rekonstruéiert, andeems en him Ufroen schéckt a vun den Outputs léiert. Dëst ass och bekannt als Modellklau oder Modelldiebst. Den Ugräifer brauch ni déi originell Gewiichter, Trainingsdaten oder Quellcode: déi ëffentlech Interface ass genuch.

D'Iddi ass net nei. Fuerscher hunn et 2016 géint kommerziell Prognose-APIen gewisen (Tramèr et al., USENIX SecurityAm Joer 2024 huet en Team vu Google DeepMind en Deel vun engem Produktiounssproochmodell iwwer seng ëffentlech API erëmfonnt (Carlini et al.). MITER ATLAS verfollegt datselwecht Verhalen wéi eng Géignertechnik géint KI-Systemer.

Fir LLM-Applikatiounen integréiert OWASP Modelldéifstall an LLM10:2025 Onlimitéierte KonsumEt beschreift zwou Varianten: Extraktioun iwwer handwierklech API-Ufroen, a funktionell Replikatioun, wou den Zilmodell synthetesch Daten generéiert fir e konkurréierend Modell ze feinjustéieren.

Modellextraktiounsattack: Schlësselbegrëffer

Déi selwecht Bedroung gëtt et ënner verschiddene Nimm. Hei ass wat all Nimm bedeit, a wou se sech iwwerlappen.

BegrëffWat et heescht
Modell ExtraktiounsattackD'Verhale vun engem Modell aus senge Froenäntwerten nei opbauen
Modellklau / ModellklauHeefeg Synonyme; Modellklau ëmfaasst och direkten Klau vu Gewiichtsdateien
Replikatioun vu funktionellem ModellD'Ausgaben vum Zil als Trainingsdaten fir en Ersatzmodell benotzen
SchattenmodellDe Klon vum Ugräifer, trainéiert fir d'Zil ze imitéieren

Wéi eng Modellextraktiounsattack funktionéiert

All Modellextraktiounsattack follegt dem selwechte Schleif: en Endpunkt fannen, en a grousser Skala ofrufen, eng Kopie trainéieren.

  1. Fannt den Endpunkt. Den Ugräifer lokaliséiert eng Inferenz-API: e Chat-Backend, e Klassifikatiounsservice, en Embeddings-Endpoint, en internt Modell, op dat e Partner zougräife kann.
  2. Designt d'Ufroen. D'Inpute gi gewielt fir d'Definitioun vum Modell ofzedecken.cisIonenraum effizient, heiansdo kombinéiert mat enger schneller Injektioun fir méi räich Äntwerten erauszekréien.
  3. D'Resultater ernten. Etiketten, Vertrauensscores, Logits oder Volltext-Kompletterungen lecken all Informatiounen. Wat méi räich d'Äntwert ass, wat méi séier den Déifstall ass.
  4. Den Ersatz trainéieren. Déi gesammelt Input- an Output-Pairen ginn zu engem Trainingsset fir e Schattenmodell, deen den Original imitéiert.
  5. De Klon ausnotzen. D'Kopie gëtt benotzt fir Lizenzkäschten ze spueren, direkt ze konkurréieren oder Géignerattacken offline ze üben, ier se op dat richtegt Modell ofgeschoss ginn.

Wat et schwéier mécht, Modellklau ze erkennen, ass datt all eenzel Ufro legitim ass. D'Signal läit am Volumen, am Muster an, virun allem, do wou d'Ufro landen.

Firwat déi üblech Verteidegung feelen: d'Inventarlück

d' standard De Rot géint eng Modellextraktiounsattack ass vernünfteg: Uruffer authentifizéieren, d'Geschwindegkeet limitéieren an iwwerschütteren, d'Vertrauenswäerter vun den Äntwerten ofschneiden, d'Ausgaben mat Waasserzeechen markéieren a fir anormal Ufromuster oppassen. All Kontroll gëtt pro Endpunkt ugewannt. Dat ass genau wou et futti geet.

KI gëtt elo méi séier a Codebasen eran, wéi Sécherheetsteams se verfollege kënnen. En Entwéckler verbënnt en LLM SDK an e Mikroservice. En Datenteam stellt e fein ofgestëmmte Modell fir en internt Tool zur Verfügung. En Agent-Framework erstellt säin eegene Serving Layer. Keng vun dësen geet duerch eng Iwwerpréiwungsqueue, a vill erschéngen ni an engem API-Gateway oder enger Spezifikatiounsdatei.

D'Resultat ass Schied-KI: Modeller, Agenten an Inferenz-Endpunkten, déi an der Produktioun existéieren, awer net op iergendenger Lëscht sinn. En Endpunkt, vun deem keen eppes weess, kritt keng Limit fir d'Geschwindegkeet, keng Authentifikatiounskontroll a keng Iwwerwaachung. Fir eng Modellextraktiounsattack ass et dat ideal Zil.

OWASP weist an déiselwecht Richtung. Zu senge Mitigatiounsmoossname fir LLM10 empfeelt et, e zentraliséierten Inventar vun ML-Modeller ze féieren. D'Logik ass einfach: Dir kënnt Inferenz-Endpunkte net schützen, déi Dir net inventariséiert hutt.

Inventar als éischt: all Endpunkt entdecken, dann schützen

En nëtzlechen KI-Inventar beäntwert véier Froen fir all Verméigen: wat et ass, wou et deklaréiert gëtt, mat wat et schwätzt a wat et schützt.

InventarfroFirwat et géint Modellextraktioun wichteg ass
Wéi eng Modeller an Inferenzendpunkte gëtt et?All net opgezielt Endpunkt ass en ongeschützt Extraktiounsziel
Wou ginn se am Code deklaréiert?Besëtz: een muss déi fehlend Kontroll reparéieren
Wéi eng Daten an Tools sinn verbonnen?E Modell, dat op sensibel Donnéeën trainéiert ass, ass méi wäert ze klauen
wéi guardrails an d'Kontrollen uwenden?Weist Ofdeckungslücken un, ier en Ugräifer se fënnt

Déi bescht Plaz fir dësen Inventar opzebauen ass am Quellcode. Am Code gëtt en Endpunkt gebuer, sou datt d'Entdeckung vun KI-Assets am Repository se fënnt, ier se an d'Produktioun kommen. Et verbënnt och all Asset mat engem Projet, engem commit, an eng Equipe, déi eng Lëscht an Aktioun ëmsetzt.

Zwee weider Gewunnechten schléissen d'Schleef of. Exportéiert den Inventar als eng KI-Bill of Materials (AI-BOM), sou datt d'Governance- an Audit-Teams datselwecht Bild gesinn. A scannt bei all Ännerung nei, well den Inventar nëmme sou gutt ass wéi säin leschten Update.

Wéi Xygeni d'Lück schléisst, ier en Modell-Extraktiounsattack ufänkt

Xygeni AI Sécherheet baut den KI-Inventar direkt aus dem Quellcode op. Et entdeckt KI-Modeller, Agenten, KI-Frameworks, MCP-Serveren an Tools, Ufroen, guardrails, Vektorspeicher, Datensätz, Inferenzendpunkten an KI-Codéierungsinstrumenter an Äre Repositories, dorënner Modelldateien wéi z.B. .onnx, .pt an .pklBezéiunge ginn och kartéiert: wéi en Agent wéi e Modell benotzt, wéi eng Tools en ausféiert, op wéi enge Datensätz en trainéiert.

All Asset am Inventar vun AI Assets weist seng Modeller a Provider, verbonne Datenquellen mat PII-Flaggen, Schutzrail-Ofdeckung a Governance-Felder wéi d'Risikokategorie vum EU AI Act. D'AI Graph-Vue weist, wéi Agenten, Modeller, Tools an Datensätz sech verbannen. Mat engem Klick exportéiert Dir eng CycloneDX 1.6 ML-BOM, nieft Ärem ... SBOM an CBOM.

Vum Inventar bis zum Schutz:

  • Risikodetektioun op OWASP zougewisen. Detektorpakete decken all zéng OWASP LLM Top 10 Kategorien of, dorënner LLM10 Unbounded Consumption, sou datt all Befunde déi Sprooch schwätzt, déi Är Auditeure benotzen.
  • Endpunktkontrollen am Code iwwerpréift. Xygeni API Sécherheet entdeckt API-Endpunkte vu Code a Spezifikatioune a markéiert net authentifizéiert Endpunkte, fehlend Geschwindegkeetslimitéierung a Shadow-APIen, déi vun der Spezifikatioun ofgedriwwe sinn.
  • Beweis op der Laf-App. Xygeni AI Pentesting testt déi implementéiert Applikatioun a beweist, wéi eng Schwächten ausnotzbar sinn.
  • Schnell reparéieren. KI Triage prioritéiert KI-Befunde an KI Remediation generéiert Richtlinne fir d'Korrektur vun all zéng OWASP LLM Kategorien.

Alles leeft als statesche Scan an CI/CD oder lokal, mat SaaS, on-premise an Optiounen ouni Loftverdeelung. Équipen, déi d'Semantik-Iwwerpréiwungsphase intern brauchen, kënnen se op engem selbstgehosteten Modell ausféieren.

Checklëscht fir d'Preventioun vun Attacken op Modellextraktioun

Aacht Kontrollen, an der Reiefolleg. Déi éischt zwee maachen déi aner sechs méiglech.

  1. StamminventarInventariséiert all Modell, Agent an Inferenzendpunkt aus dem Quellcode a haalt en op all aktuell commit.
  2. iwwergaangenZouweisen all KI-Verméigen am Inventar en Eegentümer.
  3. ValidatiounAuthentifikatioun op all Inferenz-Endpunkt verlaangen, och intern.
  4. Taux limitéierenTauxlimiten, Quoten an Zäitlimiten pro Uruffer uwenden.
  5. OutputminiméierungGëtt déi minimal néideg Ausgab zréck: läscht Vertrauensscores a Logits do, wou d'Benotzer se net brauchen.
  6. iwwerwaachtIwwerwaacht d'Volumen an d'Muster vun Ufroen fir systematesch Probing.
  7. WatermarkingIwwerleet Iech d'Ausgaben vun héichwäertege proprietäre Modeller mat Waasserzeechen ze setzen.
  8. GouvernanceExportéiert eng AI-BOM fir Governance an Audit, a verkierpert d'Resultater op OWASP LLM10.

Fannt Är Inferenz-Endpunkten ier d'Attacker et maachen

Eng Modellextraktiounsattack brauch nëmmen een Endpunkt, deen Dir vergiess hutt. Fannt eraus, wéi eng KI Äre Code wierklech ausféiert: kuckt wéi Xygeni AI Security Ären AI-Inventar opbaut, or Buch eng Demo.

FAQ

Wat ass den Ënnerscheed tëscht engem Modellextraktiounsattack an enger Modellinversioun?

Eng Modellextraktiounsattack kopéiert de Modell selwer: säi Verhalen an d'EntwécklungcisIonenlogik. D'Modellinversioun zielt op d'Trainingsdaten of a probéiert sensibel Daten ze rekonstruéieren, aus deenen de Modell geléiert huet. Béid mëssbrauchen den Zougang zu Ufroen, awer d'Extraktioun klaut intellektuellt Eegentum, während d'Inversioun privat Daten ausléist.

Kann eng Modellextraktiounsattack LLMs oder nëmmen klassesch ML-Modeller zielen?

Béides. Fréi Fuerschung huet sech op Klassifizéierer hannert Prognose-APIen konzentréiert. Haut lëscht OWASP Modellextraktioun a funktionell Modellreplikatioun als LLM-Risiken ënner LLM10:2025 Unbounded Consumption, wou en Ugräifer déi eegen Outputs vun engem LLM benotzt fir en Ersatz ze feinjustéieren.

Wéi weess ech, wéi eng vu menge Inferenzendpunkte Modelldéifstall ausgesat sinn?

Fänkt mat engem Inventar un, deen aus dem Quellcode opgebaut ass: all Modell, Agent an Inferenzendpunkt, deen Är Applikatiounen deklaréieren. Da kontrolléiert all eenzel op Authentifikatioun, Ratelimitatioun an Output-Expositioun. Xygeni AI Security entdeckt KI-Verméigen an Äre Repositories an exportéiert se als AI-BOM, an Xygeni API Security markéiert Endpunkten, déi keng Authentifikatioun oder Ratelimitatioun hunn.

sca-tools-software-zesummesetzungsanalyse-tools
Prioritäriséiert, behënnert a séchert Är Softwarerisiken
Kritt Äre gratis Kont.
Kee Kreditkaart erfuerderlech.

Séchert Är Softwareentwécklung a Liwwerung

mat der Xygeni Produkt Suite