Mallin poistohyökkäys

Mallinpoimintahyökkäys: Miksi varasto on etusijalla

TL; DR

Mikä on mallinnushyökkäys ja miksi inventaario on etusijalla

Mallinpoimintahyökkäys kopioi tekoälysi oman API:nsa kautta. Ei tietomurtoa, ei varastettuja painoja, ei haittaohjelmia

  • Miten se toimii: Mallin louhintahyökkäys (jota kutsutaan myös mallin varastamiseksi) tekee kyselyn päättelypäätepisteeseen laajassa mittakaavassa ja kouluttaa kloonin vastausten perusteella. Lokitietojesi mukaan hyökkääjä näyttää raskaalta asiakkaalta.
  • Missä se sijaitsee: OWASP luokittelee mallin erottamisen LLM10:2025 Rajaton kulutus ja listaa keskitetyn mallivaraston lievennyksiensä joukossa.
  • Miksi puolustus epäonnistuu: Nopeusrajoitukset, todennus ja valvonta suojaavat vain tuntemiasi päätepisteitä. Varjo-tekoälypäätepisteet eivät saa mitään näistä.

Ensimmäinen puolustuspuhe: Tekoälyyn perustuva luettelo kaikista malleista, agenteista ja päättelypäätepisteistä, joita koodisi paljastaa, löydettynä lähdekoodista ennen sen lähettämistä. Et voi suojata päättelypäätepisteitä, joita et ole luetteloinut.

Mallisi voidaan varastaa ilman, että kukaan koskettaa palvelimiisi

Tiimisi käytti kuukausia mallin hienosäätöön omaan dataan perustuen. Se sijaitsee API:n takana, joka vastaa tuhansiin pyyntöihin päivässä. Kuvittele nyt kilpailija, joka rakentaa suurimman osan arvostaan ​​uudelleen näiden API-kutsujen hinnalla.

Se on mallinnushyökkäys. Kukaan ei murtaudu infrastruktuuriisi tai lataa painojasi. Hyökkääjä yksinkertaisesti kysyy malliltasi tarpeeksi hyvin valittuja kysymyksiä, tallentaa vastaukset ja kouluttaa kopion.

Useimmat tiimit vastaavat tähän riskiin nopeusrajoituksilla, todennuksella ja tulosteen valvonnalla. Nämä kontrollit toimivat. Mutta niillä on yksi yhteinen sokea piste: ne suojaavat vain niitä päättelypäätepisteitä, joiden tiedät olevan olemassa. Tässä oppaassa selitämme, mitä mallin poimintahyökkäys on, miten mallin varastaminen toimii käytännössä ja miksi jokainen puolustus alkaa inventaariolla.

Mikä on mallinnushyökkäys?

Mallin louhintahyökkäys on hyökkäys, jossa hyökkääjä rekonstruoi koneoppimismallin toimivan kopion lähettämällä sille kyselyitä ja oppimalla niiden tuotoksista. Se tunnetaan myös mallin varastamisena tai mallivarkautena. Hyökkääjä ei koskaan tarvitse alkuperäisiä painoja, harjoitusdataa tai lähdekoodia: julkinen rajapinta riittää.

Idea ei ole uusi. Tutkijat osoittivat sen kaupallisia ennustus-API-rajapintoja vastaan ​​vuonna 2016 (Tramèr ym., USENIX Security). Vuonna 2024 Google DeepMindin tiimi palautti osan tuotantokielimallia julkisen API:nsa kautta (Carlini ym.). MITER ATLAS seuraa samaa käyttäytymistä kuin vastustajatekniikka tekoälyjärjestelmiä vastaan.

LLM-sovelluksissa OWASP yhdistää mallivarkauden LLM10:2025 Rajaton kulutusSe kuvaa kaksi muunnosta: tiedon erottamisen muotoiltujen API-kyselyiden avulla ja toiminnallisen replikoinnin, jossa kohdemalli luo synteettistä dataa kilpailevan mallin hienosäätämiseksi.

Mallinpoimintahyökkäys: avainsanat

Samaa uhkaa kutsutaan monella eri nimellä. Tässä on mitä kukin nimi tarkoittaa ja missä kohtaa ne menevät päällekkäin.

TermiMitä se tarkoittaa
Mallin poistohyökkäysMallin toiminnan uudelleenrakentaminen sen kyselyvastauksista
Mallien varastaminen / mallien varastaminenYleisiä synonyymejä; mallivarkaus kattaa myös punnitustiedostojen suoran varkauden
Toiminnallisen mallin replikointiKohteen lähtöjen käyttäminen korvaavan mallin harjoitusdatana
VarjomalliHyökkääjän klooni, koulutettu matkimaan kohdetta

Miten mallinnushyökkäys toimii

Jokainen mallin poimintahyökkäys noudattaa samaa silmukkaa: etsi päätepiste, kysele siitä skaalautuvasti, kouluta kopio.

  1. Etsi päätepiste. Hyökkääjä paikantaa päättelyrajapinnan: chat-taustajärjestelmän, luokittelupalvelun, upotuspäätepisteen tai sisäisen mallin, johon kumppani voi tavoittaa.
  2. Suunnittele kyselyt. Syötteet valitaan kattamaan mallin määritelmätcisionitilaa tehokkaasti, joskus yhdistettynä nopeaan injektioon rikkaampien vastausten houkuttelemiseksi esiin.
  3. Kerää tuotokset. Tunnisteet, luotettavuuspisteet, logiikat tai koko tekstin täydennykset vuotavat kaikki tietoa. Mitä monipuolisempi vastaus, sitä nopeampi varkaus.
  4. Kouluttaa vaihtopelaajaa. Kerätyistä syöte- ja tulostepareista tulee harjoitusjoukko alkuperäistä jäljittelevälle varjomallille.
  5. Hyödynnä kloonia. Kopiota käytetään lisenssikustannusten ohittamiseen, suoraan kilpailuun tai vihollishyökkäysten harjoitteluun offline-tilassa ennen niiden ampumista todelliseen malliin.

Mallin varastamisen havaitsemisen vaikeus johtuu siitä, että jokainen pyyntö on laillinen. Signaali on volyymissa, kuviossa ja ennen kaikkea siinä, mihin pyynnöt päätyvät.

Miksi tavalliset puolustuskeinot epäonnistuvat: varastovaje

standard Mallinpoimintahyökkäystä vastaan ​​on hyviä neuvoja: todenna soittajat, rajoita nopeutta ja rajoita käyttöä, leikkaa luotettavuuspisteitä vastauksista, lisää vesileima ja tarkkaile poikkeavia kyselykuvioita. Jokainen kontrolli sovelletaan päätepistekohtaisesti. Juuri siinä kohtaa se ei toimi.

Tekoäly siirtyy nyt koodikantoihin nopeammin kuin tietoturvatiimit pystyvät sitä seuraamaan. Kehittäjä kytkee LLM SDK:n mikropalveluun. Datatiimi julkaisee hienosäädetyn mallin sisäiselle työkalulle. Agenttikehys kehittää oman palvelukerroksensa. Mikään näistä ei mene läpi tarkistusjonoa, ja monet eivät koskaan näy API-yhdyskäytävässä tai spesifikaatiotiedostossa.

Tuloksena on varjotekoäly: malleja, agentteja ja päättelypäätepisteitä, jotka ovat olemassa tuotannossa, mutta eivät kenenkään listalla. Päätepiste, josta kukaan ei tiedä, ei saa nopeusrajoitusta, ei todennustarkistusta eikä valvontaa. Se on ihanteellinen kohde mallinluontihyökkäykselle.

OWASP viittaa samaan suuntaan. Yksi LLM10:n lieventävistä toimenpiteistään on koneoppimismallien keskitetyn luettelon ylläpitäminen. Logiikka on yksinkertainen: Et voi suojata päättelypisteitä, joita et ole inventoinut.

Inventaario ensin: löydä jokainen päätepiste ja suojaa se sitten

Hyödyllinen tekoälyinventaario vastaa neljään kysymykseen jokaisesta resurssista: mikä se on, missä se on ilmoitettu, mihin se kommunikoi ja mikä sitä suojaa.

VarastokysymysMiksi sillä on merkitystä mallin erottamista vastaan
Mitä malleja ja päättelyn päätepisteitä on olemassa?Jokainen listaamaton päätepiste on suojaamaton tiedonkeruukohde
Missä kohtaa koodia ne on ilmoitettu?Omistajuus: jonkun on korjattava puuttuva hallintalaite
Mitä tietoja ja työkaluja on yhdistetty?Arkaluontoisella datalla koulutettu malli on arvokkaampi varastettavaksi
Joka guardrails ja valvonta on voimassa?Näyttää kattavuusaukot ennen kuin hyökkääjä löytää ne

Paras paikka rakentaa tämä inventaario on lähdekoodissa. Koodi on se paikka, jossa päätepiste syntyy, joten tekoälyresurssien löytäminen arkistosta löytää ne ennen kuin ne pääsevät tuotantoon. Se myös linkittää jokaisen resurssin projektiin, a:han commitja tiimi, joka muuttaa listan toiminnaksi.

Kaksi muuta tapaa täydentävät kierteen. Vie varastotiedot tekoälypohjaisena osaluettelona (AI-BOM), jotta hallinto- ja tarkastustiimit näkevät saman kuvan. Ja skannaa ne uudelleen jokaisen muutoksen yhteydessä, koska varastotiedot ovat vain niin hyvässä kunnossa kuin viimeisin päivitys.

Kuinka Xygeni kuroo umpeen aukon ennen mallinnushyökkäyksen alkamista

Xygeni-tekoälyn tietoturva rakentaa tekoälyluettelon suoraan lähdekoodista. Se löytää tekoälymallit, agentit, tekoälykehykset, MCP-palvelimet ja -työkalut, kehotteet, guardrails, vektorivarastoja, tietojoukkoja, päättelypisteitä ja tekoälykoodaustyökaluja eri tietovarastoissasi, mukaan lukien mallitiedostot, kuten .onnx, .pt ja .pklMyös suhteet kartoitetaan: mikä agentti käyttää mitäkin mallia, mitä työkaluja se suorittaa ja mitä tietojoukkoja se käyttää koulutuksessaan.

Jokainen tekoälyresurssien luettelossa oleva resurssi näyttää sen mallit ja toimittajat, yhdistetyt tietolähteet PII-lipuilla, suojakaiteen kattavuuden ja hallintakentät, kuten EU:n tekoälylain riskikategorian. Tekoälykaavionäkymä näyttää, miten agentit, mallit, työkalut ja tietojoukot yhdistyvät. Yhdellä napsautuksella vie CycloneDX 1.6 ML-BOM:n viereen. SBOM ja CBOM.

Varastosta suojaukseen:

  • Riskien havaitseminen yhdistetty OWASP:iin. Detektoripaketit kattavat kaikki kymmenen OWASP LLM:n kymmenen parasta kategoriaa, mukaan lukien LLM10:n rajattoman kulutuksen, joten jokainen löydös puhuu auditoijiesi käyttämää kieltä.
  • Päätepisteiden ohjausobjektit tarkistettu koodissa. Xygeni API:n tietoturva löytää API-päätepisteitä koodista ja spesifikaatioista ja merkitsee todentamattomat päätepisteet, puuttuvat nopeusrajoitukset ja spesifikaatiosta poikkeavat varjo-API:t.
  • Todiste käynnissä olevasta sovelluksesta. Xygeni AI Pentesting testaa käyttöönotetun sovelluksen ja osoittaa, mitkä heikkoudet ovat hyödynnettävissä.
  • Korjaa nopeasti. Tekoälyn triage priorisoi tekoälylöydökset ja tekoälyn korjaustoiminto luo korjausohjeet kaikille kymmenelle OWASP LLM -kategorialle.

Kaikki se toimii staattisena skannauksena CI/CD tai paikallisesti SaaS-palvelun avulla on-premise ja ilmarakoisia vaihtoehtoja. Tiimit, jotka tarvitsevat semanttisen tarkistusvaiheen pysyäkseen yrityksen sisällä, voivat suorittaa sen itse isännöidyllä mallilla.

Mallin poistohyökkäysten estämisen tarkistuslista

Kahdeksan säätöä järjestyksessä. Kaksi ensimmäistä mahdollistavat kuusi muuta.

  1. InventaarioInventoi jokainen malli, agentti ja päättelypäätepiste lähdekoodista ja pidä se ajan tasalla joka kerta commit.
  2. OmistusMääritä omistaja jokaiselle tekoälyresurssille varastossa.
  3. AuthenticationVaadi todennus jokaisessa päättelypisteessä, myös sisäisissä.
  4. Nopeuden rajoittaminenKäytä soittajakohtaisia ​​nopeusrajoituksia, kiintiöitä ja aikakatkaisuja.
  5. Tulosteen minimointiPalauta tarvittava vähimmäistulos: poista luotettavuuspisteet ja logiitit sieltä, missä käyttäjät eivät niitä tarvitse.
  6. SeurantaSeuraa kyselyiden määrää ja kaavoja systemaattista tutkimista varten.
  7. vesileimausHarkitse arvokkaiden suljettujen mallien tulosteiden vesileimaamista.
  8. HallintoVie tekoälymallinnus (AI-BOM) hallintaa ja tarkastusta varten ja yhdistä löydökset OWASP LLM10:een.

Löydä päättelypisteesi ennen hyökkääjiä

Mallinpoimintahyökkäys tarvitsee vain yhden päätepisteen, jonka unohdit. Ota selvää, mitä tekoälyä koodisi todella käyttää: katso, miten Xygeni AI Security rakentaa tekoälyvarastosi, or varaa esittely.

FAQ

Mitä eroa on mallin poistohyökkäyksellä ja mallin inversiolla?

Mallin louhintahyökkäys kopioi itse mallin: sen käyttäytymisen ja ominaisuudetcisionilogiikka. Mallin inversio kohdistuu harjoitusdataan ja yrittää rekonstruoida arkaluontoisia tietueita, joista malli on oppinut. Molemmat väärinkäyttävät kyselyiden käyttöoikeuksia, mutta poiminta varastaa immateriaalioikeuksia, kun taas inversio vuotaa yksityisiä tietoja.

Voiko mallinluontihyökkäys kohdistua oikeustieteen opiskelijoihin (LLM) vai vain klassisiin koneoppimismalleihin?

Molemmat. Varhainen tutkimus kohdistui ennustus-APIen takana oleviin luokittimiin. Nykyään OWASP listaa mallin erottamisen ja toiminnallisen mallin replikoinnin LLM-riskeinä LLM10:2025 Unbounded Consumption -standardin mukaisesti, jossa hyökkääjä käyttää LLM:n omia tulosteita korvaavan mallin hienosäätöön.

Mistä tiedän, mitkä päättelypisteistäni ovat alttiita mallin varastamiselle?

Aloita lähdekoodista rakennetulla inventaariolla: jokaisesta mallista, agentista ja päättelypäätepisteestä, jonka sovelluksesi ilmoittavat. Tarkista sitten jokainen todennuksen, nopeusrajoituksen ja tulosteen näkyvyyden osalta. Xygeni AI Security löytää tekoälyresurssit tietovarastoistasi ja vie ne tekoäly-BOM-tiedostona, ja Xygeni API Security merkitsee päätepisteet, joilta puuttuu todennus tai nopeusrajoitus.

sca-työkalut-ohjelmisto-koostumusanalyysityökalut
Priorisoi, korjaa ja suojaa ohjelmistoriskisi
Hanki ilmainen tili.
Luottokorttia ei vaadita.

Turvaa ohjelmistokehityksesi ja -toimituksesi

Xygeni-tuotepaketin kanssa