Atac d'extracció de models

Atac d'extracció de models: per què l'inventari és el primer

TL; DR

Què és un atac d'extracció de models i per què l'inventari és el primer

Un atac d'extracció de models copia la teva IA a través de la seva pròpia API. Sense violacions, sense pesos robats, sense programari maliciós.

  • Com funciona: Un atac d'extracció de models (també anomenat robatori de models o robatori de models) consulta un punt final d'inferència a escala i entrena un clon amb les respostes. Als vostres registres, l'atacant sembla un client important.
  • On s'ubica: L'OWASP classifica l'extracció de models sota LLM10:2025 Consum il·limitat i enumera un inventari de models centralitzat entre les seves mitigacions.
  • Per què fallen les defenses: Els límits de velocitat, l'autenticació i la supervisió només protegeixen els punts finals que coneixes. Els punts finals d'IA a l'ombra no en tenen cap.

La primera defensa: un inventari d'IA de cada model, agent i punt final d'inferència que exposa el vostre codi, descobert des de l'origen abans d'enviar-lo. No podeu protegir els punts finals d'inferència que no heu inventariat.

El vostre model pot ser robat sense que ningú toqui els vostres servidors

El vostre equip va passar mesos ajustant un model basat en dades pròpies. Es basa en una API que respon a milers de sol·licituds al dia. Ara imagineu-vos un competidor que reconstrueix la major part del seu valor pel preu d'aquestes crides a l'API.

Això és un atac d'extracció de models. Ningú viola la vostra infraestructura ni descarrega els vostres pesos. L'atacant simplement fa al vostre model prou preguntes ben escollides, registra les respostes i entrena una còpia.

La majoria dels equips responen a aquest risc amb límits de velocitat, autenticació i monitorització de la sortida. Aquests controls funcionen. Però comparteixen un punt cec: només protegeixen els punts finals d'inferència que sabeu que existeixen. En aquesta guia expliquem què és un atac d'extracció de models, com funciona el robatori de models a la pràctica i per què tota defensa comença amb un inventari.

Què és un atac d'extracció de models?

Un atac d'extracció de models és un atac en què un adversari reconstrueix una còpia funcional d'un model d'aprenentatge automàtic enviant-li consultes i aprenent de les seves sortides. També es coneix com a robatori de models o robatori de models. L'atacant no necessita mai els pesos originals, les dades d'entrenament o el codi font: la interfície pública és suficient.

La idea no és nova. Els investigadors la van demostrar contra les API de predicció comercials el 2016 (Tramèr et al., Seguretat USENIX). El 2024, un equip de Google DeepMind va recuperar part d'un model de llenguatge de producció a través de la seva API pública (Carlini et al.). ATLAS DE MITRE rastreja el mateix comportament que una tècnica adversaria contra els sistemes d'IA.

Per a aplicacions LLM, OWASP inclou el robatori de models en LLM10:2025 Consum il·limitatDescriu dues variants: l'extracció mitjançant consultes API elaborades i la replicació funcional, on el model de destinació genera dades sintètiques per ajustar un model competidor.

Atac d'extracció de models: termes clau

La mateixa amenaça té diversos noms. Això és el que significa cadascun i on se superposen.

terminiQue significa
Atac d'extracció de modelsReconstruir el comportament d'un model a partir de les respostes a les seves consultes
Robatori de models / robatori de modelsSinònims comuns; el robatori de models també inclou el robatori directe d'arxius de pes
Replicació del model funcionalÚs de les sortides de l'objectiu com a dades d'entrenament per a un model substitut
Model d'ombraEl clon de l'atacant, entrenat per imitar l'objectiu

Com funciona un atac d'extracció de models

Cada atac d'extracció de models segueix el mateix bucle: trobar un punt final, consultar-lo a escala, entrenar una còpia.

  1. Troba el punt final. L'atacant localitza una API d'inferència: un backend de xat, un servei de classificació, un punt final d'incrustacions, un model intern al qual pot arribar un soci.
  2. Dissenya les consultes. Les entrades es trien per cobrir la de del modelcisl'espai d'ions de manera eficient, de vegades combinat amb una injecció ràpida per obtenir respostes més riques.
  3. Collir els resultats. Les etiquetes, les puntuacions de confiança, els logits o les completacions de text complet filtren informació. Com més rica sigui la resposta, més ràpid serà el robatori.
  4. Entrena el substitut. Els parells d'entrada i sortida recollits esdevenen un conjunt d'entrenament per a un model d'ombra que imita l'original.
  5. Explota el clon. La còpia s'utilitza per evitar costos de llicència, competir directament o assajar atacs adversaris fora de línia abans de llançar-los contra el model real.

El que fa que el robatori de models sigui difícil de detectar és que totes i cadascuna de les sol·licituds són legítimes. El senyal rau en el volum, el patró i, sobretot, en on arriben les sol·licituds.

Per què fallen les defenses habituals: el dèficit d'inventari

L' standard Els consells contra un atac d'extracció de models són sòlids: autenticar els interlocutors, limitar i regular la velocitat, retallar les puntuacions de confiança de les respostes, marcar les sortides amb marques d'aigua i estar atent als patrons de consulta anòmals. Cada control s'aplica per punt final. Aquí és exactament on falla.

La IA ara entra a les bases de codi més ràpidament del que els equips de seguretat poden rastrejar-la. Un desenvolupador connecta un SDK de LLM a un microservei. Un equip de dades exposa un model ajustat per a una eina interna. Un marc de treball d'agent crea la seva pròpia capa de servei. Cap d'aquests passa per una cua de revisió i molts no apareixen mai en una passarel·la d'API ni en un fitxer d'especificacions.

El resultat és la IA a l'ombra: models, agents i punts finals d'inferència que existeixen en producció però que no estan a la llista de ningú. Un punt final que ningú coneix no té límit de velocitat, ni revisió d'autenticació ni supervisió. Per a un atac d'extracció de models, és l'objectiu ideal.

L'OWASP apunta en el mateix sentit. Entre les seves mitigacions per a LLM10, recomana mantenir un inventari centralitzat de models d'aprenentatge automàtic. La lògica és simple: No podeu protegir els punts finals d'inferència que no heu inventariat.

Inventari primer: descobreix cada punt final i després protegeix-lo

Un inventari d'IA útil respon a quatre preguntes per a cada actiu: què és, on es declara, amb què es relaciona i què el protegeix.

Pregunta d'inventariPer què és important contra l'extracció de models
Quins models i punts finals d'inferència existeixen?Cada punt final no llistat és un objectiu d'extracció no protegit
On es declaren al codi?Propietat: algú ha d'arreglar el control que falta
Quines dades i eines estan connectades?Un model entrenat amb dades sensibles val més de robar
Quin guardrails i s'apliquen els controls?Mostra les llacunes de cobertura abans que un atacant les trobi

El millor lloc per crear aquest inventari és al codi font. El codi és on neix un punt final, de manera que descobrir actius d'IA al repositori els troba abans que arribin a la producció. També vincula cada actiu a un projecte, a un commit, i un equip, que és el que converteix una llista en acció.

Dos hàbits més tanquen el cercle. Exporteu l'inventari com una llista de materials d'IA (AI-BOM) perquè els equips de governança i auditoria vegin la mateixa imatge. I torneu a escanejar cada canvi, perquè l'inventari només és tan bo com la seva última actualització.

Com Xygeni tanca la bretxa abans que comenci un atac d'extracció de models

Seguretat d'IA Xygeni crea l'inventari d'IA directament des del codi font. Descobreix models d'IA, agents, marcs de treball d'IA, servidors i eines MCP, indicacions, guardrails, magatzems de vectors, conjunts de dades, punts finals d'inferència i eines de codificació d'IA a través dels vostres repositoris, inclosos fitxers de models com ara .onnx, .pt i .pklTambé es mapegen les relacions: quin agent utilitza quin model, quines eines executa i amb quins conjunts de dades s'entrena.

Cada actiu de l'inventari d'actius d'IA mostra els seus models i proveïdors, fonts de dades connectades amb indicadors PII, cobertura de barrera i camps de governança com ara la categoria de risc de la Llei d'IA de la UE. La vista Gràfic d'IA mostra com es connecten els agents, els models, les eines i els conjunts de dades. Amb un sol clic, s'exporta un ML-BOM de CycloneDX 1.6, al costat del vostre SBOM i CBOM.

De l'inventari a la protecció:

  • Detecció de riscos mapejada a OWASP. Els paquets de detectors cobreixen les deu categories principals de l'OWASP LLM, inclòs el consum il·limitat de LLM10, de manera que cada troballa parla l'idioma que utilitzen els vostres auditors.
  • Controls de punt final comprovats al codi. Seguretat de l'API de Xygeni descobreix punts finals de l'API a partir del codi i les especificacions i marca els punts finals no autenticats, la manca de limitació de velocitat i les API ombres que s'han desviat de l'especificació.
  • Prova a l'aplicació en execució. Xygeni AI Pentesting prova l'aplicació desplegada i demostra quines debilitats són explotables.
  • Arreglar ràpid. AI Triage prioritza les troballes d'IA i AI Remediation genera orientació per a les deu categories de LLM d'OWASP.

Tot s'executa com una exploració estàtica a CI/CD o localment, amb SaaS, on-premise i opcions amb espais lliures. Els equips que necessiten que la fase de revisió semàntica es mantingui internament poden executar-la en un model autoallotjat.

Llista de control per a la prevenció d'atacs d'extracció de models

Vuit controls, per ordre. Els dos primers fan possibles els altres sis.

  1. InventoryInventariar tots els models, agents i punts finals d'inferència del codi font i mantenir-los actualitzats en tots els commit.
  2. PropietatAssigneu un propietari a cada actiu d'IA de l'inventari.
  3. AuthenticationRequereix autenticació a tots els punts finals d'inferència, inclosos els interns.
  4. Limitació de tarifesAplica límits de velocitat, quotes i temps d'espera per persona que truca.
  5. Minimització de la sortidaRetorna la sortida mínima necessària: elimina les puntuacions de confiança i els logits on els usuaris no els necessitin.
  6. MonitoringMonitoritzar el volum i els patrons de consultes per a una anàlisi sistemàtica.
  7. Marca d'aiguaConsidereu els resultats de marques d'aigua de models propietaris d'alt valor.
  8. GovernançaExporta una AI-BOM per a governança i auditoria, i assigna les troballes a OWASP LLM10.

Trobeu els vostres punts finals d'inferència abans que ho facin els atacants

Un atac d'extracció de models només necessita un punt final que hagis oblidat. Descobreix quina IA executa realment el teu codi: vegeu com Xygeni AI Security crea el vostre inventari d'IA, or reservar una demostració.

FAQ

Quina diferència hi ha entre un atac d'extracció de models i una inversió de models?

Un atac d'extracció de models copia el model en si: el seu comportament i les seves funcions.cislògica d'ions. La inversió del model es centra en les dades d'entrenament, intentant reconstruir els registres sensibles dels quals el model va aprendre. Ambdues abusen de l'accés a les consultes, però l'extracció roba la propietat intel·lectual mentre que la inversió filtra dades privades.

Pot un atac d'extracció de models tenir com a objectiu els LLM o només els models clàssics d'aprenentatge automàtic?

Ambdues coses. Les primeres investigacions es van centrar en els classificadors darrere de les API de predicció. Avui dia, l'OWASP enumera l'extracció de models i la replicació de models funcionals com a riscos LLM segons LLM10:2025 Consum il·limitat, on un atacant utilitza les pròpies sortides d'un LLM per ajustar un substitut.

Com puc saber quins dels meus punts finals d'inferència estan exposats al robatori de models?

Comenceu amb un inventari creat a partir del codi font: cada model, agent i punt final d'inferència que declaren les vostres aplicacions. A continuació, comproveu cadascun per verificar l'autenticació, la limitació de velocitat i l'exposició de la sortida. Xygeni AI Security descobreix actius d'IA als vostres repositoris i els exporta com a AI-BOM, i Xygeni API Security marca els punts finals que no tenen autenticació o limitació de velocitat.

sca-tools-software-composition-analyse-tools
Prioritzar, solucionar i protegir els riscos del programari
Obtén el teu compte gratuït.
No es requereix cap targeta de crèdit.

Assegura el desenvolupament i el lliurament del teu programari

amb el paquet de productes Xygeni