Površina napada umetne inteligence

Površina napada umetne inteligence, ki je nihče ne upošteva

V zadnjih nekaj letih je imela varnost aplikacij jasno mejo: repozitorij in pipelineTam so bile kontrole, kjer so se izvajali pregledi, kjer so se ekipe odločale, ali bo nekaj poslano v produkcijo. Vse je temeljilo na eni predpostavki: razvijalec je izrecno izbral, katera koda in katere odvisnosti bodo vstopile v sistem.

Ta predpostavka ne drži več. Vedno večji delež kode danes napiše, predlaga ali namesti agent umetne inteligence, pogosto ne da bi kdo pogledal ime tega, kar se prenaša. Ko decisKo se premakne vsebina kode, se premakne tudi napad. Premakne se na sam začetek procesa: v trenutku, ko je koda ustvarjena, znotraj samega pomočnika in v datoteke, ki ga konfigurirajo.

To je vaša površina za napad z umetno inteligenco: vsak model, agent, strežnik MCP, veščina in odvisnost, ki jo predlaga umetna inteligenca, lahko zdaj predstavlja tveganje, še preden jo človek pregleda. Ista umetna inteligenca, ki ji zaupajo vaši razvijalci, je zdaj del tega. To ni prihodnje tveganje. To je premik, ki se je že zgodil, in takole je videti v praksi.

Val napadov, ne osamljen incident

Nič od naslednjega ni laboratorijska vajacise ali hipotetično. To so javni, dokumentirani incidenti, skoraj vsi iz preteklega leta, in vsak od njih je nekoliko bližje samemu agentu umetne inteligence:

  • Avgust 2025, s1ngularity: Napadalci so ukradli žeton za objavljanje iz Nx, enega najpogosteje uporabljenih sistemov za gradnjo, in zlonamerne različice potisnili v npm, pri čemer so z orodji umetne inteligence iskali skrivnosti na strojih razvijalcev.
  • September 2025, kreda/odpravljanje napak: Ena največjih kompromisov npm po dosegu, 18 paketov z več kot dvema milijardama tedenskih prenosov, prevzetih z ugrabitvijo računa enega samega vzdrževalca.
  • September 2025, Šaj-Hulud: eden prvih dokumentiranih črvov, ki se je lahko sam razmnoževal prek npm. Njegov drugi val, novembra, je bil bolj agresiven in povezan s skrivnostmi, razkritimi v več kot 25,000 repozitorijih.
  • Oktober 2025, neuporabljen uvoz: del kampanje PhantomRaven, kjer je halucinacija umetne inteligence v npm s tehniko površnega čepanja vnesla pravo zlonamerno programsko opremo.
  • Letos ClawHub: zastrupljen register spretnosti umetne inteligence, kjer je bilo pet od sedmih najpogosteje prenesenih spretnosti zlonamerne programske opreme.

Industrija formalizira isti sklep. OWASP Top 10 za aplikacije LLM uvršča promptno injiciranje na prvo mesto. OWASP MCP Top 10 (trenutno v beta različici) se osredotoča na protokol, ki ga agenti uporabljajo za komunikacijo z orodji. OWASP Agentic Skills Top 10, nov projekt v fazi inkubatorja, kot največje tveganje navaja zlonamerne veščine. OWASP se običajno giblje previdno; odpiranje treh front hkrati, ena od njih nujna, nekaj pove o tem, kako hitro se to dogaja.

Vse tri se združujejo v isti ideji: navodila, orodja in konfiguracije okoli modela so zdaj del površine napada umetne inteligence in običajno se nahajajo v vašem lastnem repozitoriju. Kar sproža prvo vprašanje, ki ga je vredno zastaviti svojim ekipam: kdo pregleduje datoteke s pravili, spretnosti in konfiguracije MCP, ki se nahajajo v vašem repozitoriju?

Površina napada umetne inteligence

 Vektor 1: zastrupljena veščina

Veščina je datoteka z navodili in zmožnostmi, ki uči agenta umetne inteligence, kako izvesti nalogo. Ni edini način za oblikovanje vedenja agenta (datoteke s pravili, hooksin konfiguracije MCP počnejo enako), vendar imajo vse skupno eno lastnost: potujejo znotraj repozitorija skupaj s kodo.

Raziskava je letos pregledala 4,000 teh veščin:

  • 36 % jih je imelo vsaj eno varnostno napako.
  • 13.4 % jih je bilo kritičnih.
  • Skoraj 100 jih je vsebovalo zlonamerne koristne tovore.

Bistveni premik: napadalec ne cilja več na vašo kodo. Cilja na agenta, ki piše vašo kodo, in vanjo vstavi skrite ukaze (včasih z nevidnimi znaki), ki jih model prebere in obravnava kot operativne. Človeški pregledovalec odobri pull request v dobri veri, ker se jim zdi datoteka čista. Model interpretira navodila, ki jih pregledovalec ni nikoli videl.

To ni teoretično. CVE-2025-59536 (CVSS 8.7) je omogočal zagon Claude Code iz nezaupanja vrednega repozitorija, kjer je zlonamerna konfiguracija lahko izvajala ukaze, preden je uporabnik sprejel pogovorno okno za zaupanje. Druga ranljivost, CVE-2026-21852, je omogočala krajo ključa API prek konfiguracije, ki jo je nadzoroval projekt, ne da bi uporabnik karkoli odobril.

H2: Vektor 2: položni počepi

Ime združuje besedo »pomiji« (smeti, ki jih včasih ustvari umetna inteligenca) s klasičnim napadom tipografske napake. Tipografska napaka je odvisna od človeške napake: napadalec registrira ime paketa, ki je blizu priljubljenemu, in čaka na tipkarsko napako. To je naključno.

Položajno počepljanje ne čaka na napako. V študiji, omenjeni na tej seji, 19.7 % referenc paketov, ki so jih ustvarili modeli umetne inteligence, je kazalo na pakete, ki ne obstajajo. Modeli ponavadi halucinirajo ista imena večkrat, zato napadalec opazuje, katera imena si izmisli umetna inteligenca, ta imena registrira z zlonamerno kodo in čaka na naslednjo namestitev, ki jo predlaga umetna inteligenca, da jo potegne v vašo aplikacijo.

Lestvica ni majhna: V letu 2025 je bilo odkritih več kot 450,000 novih zlonamernih paketov. Dva primera to konkretno potrjujeta:

  • Raziskovalec je podtaknil neškodljiv testni paket, imenovan objemanje-obraza-cli da bi dokazal svojo trditev. Zabeležil je več kot 30,000 prenosov v treh mesecih.
  • neuporabljen uvoz, glede na zgornjo časovnico, je bila potrjena zlonamerna programska oprema, ki je bila prisotna v javnem registru in je uporabljala točno to tehniko. Ta ni bil test.

Vprašanje ni, ali se to lahko zgodi vaši ekipi. Gre za to, koliko paketov, ki jih predlaga umetna inteligenca, danes vstopa v vašo kodo, ne da bi jih kdo pogledal.

Odgovor: standarddohitevajo

Dve sili delujeta vzporedno. Medtem ko se napadi pospešujejo, standardtelesa reagirajo:

  • NIST SP 800-218A razširja okvir varnega razvoja programske opreme s praksami, specifičnimi za modele umetne inteligence, vključno z dokazili o integriteti in izvoru.
  • In Maj 2026, CISA in njeni mednarodni partnerji G7 objavil smernice o popisu programske opreme za umetno inteligenco, v katerih je opredelil, kaj spada v ta popis: modeli, nabori podatkov, komponente, ponudniki in odvisnosti.

Smer je jasna: SBOM se širi v AI-BOM. Ne morete certificirati ali potrditi nečesa, česar ne morete popisati. In danes večina organizacij ne more:

  • 43% ne morejo revidirati ali popisati orodij umetne inteligence, ki jih že uporabljajo.
  • 79% nimajo vpogleda v agente umetne inteligence in sisteme MCP, ki delujejo v njihovem lastnem okolju.

V reguliranih okoljih se ta popis premika od dobre prakse do pogodbenih pričakovanj ali obveznosti skladnosti. Vendar vam popis pove le, kaj imate. Sam po sebi ne blokira napada.

Vrzel: EDR za AppSec

SAST in SCA Orodja so zasnovana za analizo kode in odvisnosti, ne pa vedenja agenta ali njegove konfiguracije. EDR vidi procese in omrežne povezave, vendar mu običajno manjka kontekst varnosti aplikacije za interpretacijo odvisnosti ali konfiguracije agenta. Med tema dvema kategorijama orodij je vrzel, točno tam, kjer se trenutno ustvarja koda in točno tam, kjer se nahaja površina za napad umetne inteligence.

Ta vrzel ima tri slepe pege:

  1. Sredstva umetne inteligence. Modeli, agenti in strežniki MCP se ne prikazujejo na vašem SASTje oz SCAradar. Ne moreš popisati tistega, česar ne vidiš.
  2. Konfiguracijske datoteke. Spretnosti, pravila in konfiguracije MCP oblikujejo vedenje agentov, vendar se običajno pregledujejo, kot da bi bilo neškodljivo navadno besedilo.
  3. Namestitve paketov. A Zlonamerna odvisnost se lahko izvaja, še preden se ugotovi, da je zlonamerna, nato pa izvleči skrivnosti in žetone, ne da bi to kdo odobril.

Kako Xygeni to zaključi

Kaj EDR naredi za končne točke, Ksigeni Shield služi življenjskemu ciklu razvoja s pomočjo umetne inteligence: ščiti kraj, kjer se koda ustvarja, hkrati pa razume kontekst varnosti aplikacije.

  • Vidljivost, kjer SAST in SCA ne dosežejo. Xygeni označuje zlonamerne datoteke z veščinami in pravili, analizira konfiguracije MCP in gradi sistem, pripravljen za revizijo. AI-BOM, kartiranega na lestvico OWASP LLM, MCP in Agentic Skills Top 10.
  • Obveščevalne informacije, ne samo podpisi. MEW (zgodnje opozorilo pred zlonamerno programsko opremo) analizira vedenje in tveganje paketa, da ga blokira, preden obstaja CVE, opozorilo ali javni podpis. Posodobljene omrežne informacije prekinejo povezave z znano zlonamerno infrastrukturo.
  • Ena kontrolna točka, od kode do končne točke. En sam agent, nameščen brez preoblikovanja okolja, z vgrajeno evropsko podatkovno suverenostjo in dokazili o skladnosti.

V demonstraciji v živo je to uveljavljanje pravilnika blokiralo poskus agenta umetne inteligence, da bi namestil zlonamerni paket v treh različnih namestitvenih poteh (virtualno okolje, upravitelj paketov in neposredni prenos), preden se je namestitev zaključila. Vse je bilo zabeleženo v realnem času in ga je bilo mogoče izvoziti v SOC. Uvajanje prvega projekta običajno traja približno eno uro; razširitev pokritosti na celotno organizacijo običajno traja od enega do dveh tednov, odvisno od strukture.

FAQ

Kakšna je površina napada umetne inteligence v enem odstavku? 

Površina napada umetne inteligence je niz modelov, agentov, strežnikov MCP, veščin, datotek s pravili in odvisnosti, ki jih predlaga umetna inteligenca, prek katerih lahko tveganje vstopi v aplikacijo, pogosto še preden jo pregleda človek. Sega onkraj tradicionalne kode in odvisnosti ter vključuje konfiguracijske datoteke in navodila, ki oblikujejo delovanje agenta umetne inteligence.

Kako lahko ugotovim, ali je ime paketa, ki ga predlaga moj pomočnik z umetno inteligenco, halucinacija ali le legitimno, a neznano? 

Pred namestitvijo preverite veljavnost: namesto da bi zaupali samo imenu, preverite register in analizirajte dejansko vsebino in namen paketa. Xygeni to preverjanje avtomatizira v realnem času med ustvarjanjem kode, tako da je namestitev odobrena ali blokirana pred zagonom, ne glede na to, ali paket prepoznate ali ne.

Ali površno počepljanje enako vpliva na vse modele umetne inteligence? 

Raziskava, na kateri temelji številka 19.7 %, je zajela več modelov in ugotovila, da je težava široko razširjena, z le majhnimi razlikami med njimi. To je vzorec, ki je značilen za celoten razvoj s pomočjo umetne inteligence, ne pa pomanjkljivost, specifična za enega samega asistenta.

Ali lahko retroaktivno preverimo, ali smo že namestili haluciniran ali zlonameren paket? 

Da. Platforma Xygeni strankam omogoča dostop do vzdrževane baze podatkov zaznanih zlonamernih paketov, ki jo je mogoče iskati v vašem obstoječem inventarju komponent, tako da lahko z nekaj kliki preverite, ali je katera od že nameščenih komponent znana grožnja.

Koliko časa traja implementacija za srednje veliko organizacijo z več ekipami? 

Uvajanje v prvi projekt običajno traja približno eno uro. Skaliranje na celotno organizacijo običajno traja od enega do dveh tednov, odvisno od strukture ekipe in načinov dela. 

Brezplačno preslikajte površino za napad z umetno inteligenco

Brezplačno preslikajte odtis umetne inteligence svoje aplikacije: ustvarite račun in zaženite prvo skeniranje v nekaj minutahZačnite z eno samo aplikacijo, poglejte, kakšna umetna inteligenca je v njej, in preverite, kateri del vaše površine za napad z umetno inteligenco je nevaren.

*Nekatere zgoraj omenjene zmogljivosti so uveljavljene prek Xygeni Shield in ASPM/Varnostni moduli AI; razpoložljivost se lahko razlikuje glede na paket. Glejte xygeni.io za trenutne podrobnosti o izdelku.

orodja-za-analizo-sestave-programske-programske-orodja-sca
Določite prednostne naloge, odpravite in zavarujte tveganja programske opreme
Pridobite svoj brezplačni račun.
Ni potrebna kreditna kartica.

Zagotovite si razvoj in dostavo programske opreme

z Xygeni Product Suite