Dirbtinio intelekto agento saugumas

Dirbtinio intelekto agentų saugumas: pažinkite kiekvieną agentą, pastebėkite riziką, apsaugokite tai, ką jis įdiegia

Dirbtinio intelekto agento saugumas nebėra susijęs su tuo, ką sako modelis. Svarbu, ką agentas daro: kokius įrankius jis iškviečia, kokius duomenis jis nuskaito, kokius prisijungimo duomenis jis turi ir kokius paketus jis pats įdiegia.

Ir dauguma komandų negali atsakyti į pirmąjį klausimą: kokius agentus mes iš tikrųjų naudojame? Jie gyvena saugyklose kaip „LangChain“ grafikai, MCP serveriai, SKILL.md failai ir dirbtinio intelekto kodavimo įrankiai, kuriuos atskiri kūrėjai konfigūruodavo penktadienio popietę. Niekas jų neperžiūrėjo, o kenkėjiškas įgūdis tėra paprastas tekstas

Lt; DR

Dirbtinio intelekto agento saugumas keturiais žingsniais: pamatykite, įvertinkite, užsaugokite kilpą, apsaugokite diegimus

Negalite apsaugoti agentų, kurių nematote. Dirbtinio intelekto agentų saugumas prasideda nuo kiekvieno agento, MCP serverio, įgūdžio, modelio ir dirbtinio intelekto kodavimo įrankio, esančio jūsų kode, inventorizacijos.

  • Rizika, susijusi su agentų kūrimu: raginimai, sujungiantys vartotojo įvestį, įrankių iškvietimo agentai be guardrails, pernelyg privilegijuoti įgaliojimai ir įgūdžiai su paslėptomis instrukcijomis. Didžioji dalis to matoma kode prieš diegimą ir yra susieta su OWASP 10 geriausių agentinių programų.
  • Saugumas kilpos viduje: Kodavimo agentams reikalingas saugumas savo ciklo viduje, todėl jie nuskaito ir pataiso tai, ką parašo, prieš tai committed, o ne po kelių savaičių gautu bilietu.
  • Apsaugokite diegimus: Agentai taip pat diegia priklausomybes. Kenkėjiškų programų aptikimas, veikiantis prieš atsirandant parašui, apima kenkėjiškus paketus, kad ir kas juos įdiegtų – kūrėjas ar agentas.
  • Vienas darbo eigos planas: Dirbtinio intelekto išvados peržiūrimos pagal tą patį kriterijų, bilietų ir ataskaitų procesą, kaip ir kitos jūsų programų saugumo išvados.

Pirmas žingsnis: Sukurkite dirbtinio intelekto (DI) inventorių savo saugyklose, eksportuokite jį kaip DI-BOM ir įtraukite naują agento kodą į integracinę sąsają (CI).

Kodėl dirbtinio intelekto agentų saugumas yra kita problema

LLM funkcija grąžina tekstą, o žmogus nusprendžia, ką su juo daryti. Agentas pats užbaigia šį ciklą: jis planuoja, iškviečia įrankius, skaito tinklalapius, el. laiškus ir dokumentus, rašo failus ir vykdo komandas. Kiekvieną agentui suteikiamą galimybę užpuolikas gali pasiskolinti.

OWASP padarė tą patį skirtumą. OWASP 10 geriausių agentinių programų 2026 m. (ASI01–ASI10) remiasi OWASP 10 geriausių LLM programųLLM sąrašas apima tai, ką sako modelis; agentų sąrašas apima tai, ką agentas daro.

Dauguma organizacijų dabar naudoja dviejų tipų agentus:

  • Agentai, kuriuos integruojate į savo programas: palaikymo asistentai, vidiniai kopilotai ir darbo eigos, sukurtos naudojant tokias sistemas kaip „LangChain“, „LangGraph“, „CrewAI“, „AutoGen“, „Semantic Kernel“ arba „LlamaIndex“, dažnai sujungtos su įrankiais per MCP serveriai.
  • Jūsų kūrėjų naudojami dirbtinio intelekto kodavimo agentai: „Claude Code“, „Cursor“, „GitHub Copilot“, „Windsurf“ ir kiti, kurie rašo kodą, redaguoja konfigūraciją ir prideda priklausomybes.

Dirbtinio intelekto agento saugumas turi apimti abu, nes abu veikia su jūsų leidimais.

1 veiksmas: suinventorizuokite kiekvieną agentą, MCP serverį ir įgūdį

Dirbtinio intelekto agentų saugumas prasideda nuo klausimų lentos, o auditoriai dabar klausia: kokį dirbtinį intelektą mes naudojame? „Xygeni“ dirbtinio intelekto saugumas atsako iš šaltinio: kodo, konfigūracijos, manifestų ir priklausomybių.

Jis atranda modelius, agentus ir agentų serverius, dirbtinio intelekto sistemas, MCP serverius ir jų įrankius, įgūdžius (SKILL.md, AGENTS.md), raginimai, guardrails, vektorinių saugyklų, duomenų rinkinių, išvadų galinių taškų ir jūsų saugyklose sukonfigūruotų dirbtinio intelekto kodavimo įrankių. Taip pat pateikiama jų ryšio schema: kuris agentas naudoja kurį modelį, vykdo kuriuos įrankius ir iškviečia kuriuos MCP serverius.

Rezultatas – gyvas dirbtinio intelekto inventorius, eksportuojamas kaip dirbtinio intelekto duomenų rinkinys „CycloneDX“ formatu, su kiekvieno turto valdymo įrašu, kuriame yra ES dirbtinio intelekto įstatymo rizikos kategorijos laukas.

Norite pamatyti, koks dirbtinis intelektas jau yra jūsų kode? Užsisakykite konsultaciją su inžinieriumi, ir mes sukursime vienos iš jūsų saugyklų dirbtinio intelekto inventorių.

2 veiksmas: nustatykite agentų kūrimo riziką

Dauguma agentų pažeidžiamumų nėra egzotiški. Tai raginimas, sukurtas sujungiant eilutes, įrankį iškviečiantis agentas be įvesties apsaugos ribos arba kredencialas, turintis daug platesnę taikymo sritį, nei reikia agentui. Visi jie palieka pirštų atspaudus kode, kad juos būtų galima aptikti CI prieš diegimą.

Dirbtinio intelekto agento rizika, kurią galite pastebėti kode

Kiekviena rizika atitinka OWASP 10 geriausių LLM programų arba jos agentinius kompanionus, todėl išvados kalba ta pačia kalba kaip ir jūsų auditoriai.

RizikaKaip tai atrodo kodeOWASP atvaizdavimas
Greita injekcijaSistemos raginimai, sujungiantys vartotojo turinį be vaidmenų atskyrimo, skyriklių ar guardrails01 LLM
Netiesioginis įpurškimasĮrankių iškvietimo agentai be įvesties guardrailsarba agentai, kurie priima neapdorotus tinklalapius, el. laiškus ar gautus dokumentus01 LLM
Nesaugus išvesties tvarkymasModelio išvestis pasiekia eval arba kitos pavojingos kriauklės, atsekamos per funkcijas ir failus05 LLM
Pernelyg privilegijuotos agentų tapatybėsNe žmogaus tapatybės piktnaudžiavimasStatiniai ilgalaikiai prisijungimo duomenys, bendrinami prisijungimo duomenys be taikymo srities susiaurinimo, MCP arba įrankių serveriai, veikiantys su padidintomis teisėmisASI03
Kenkėjiški arba rašybos klaidomis pažymėti įgūdžiaiAgento įgūdžių tiekimo grandinėPaslėptos kenkėjiškos direktyvos SKILL.md or AGENTS.mdįgūdžių pavadinimai, kurie atkartoja žinomus įgūdžius ar integracijasAgentinių įgūdžių dešimtukas
Paslaptys raginimuoseĮgaliojimai, saugomi raginimo failuose07 LLM

Kiekvienas radinys turi savo OWASP LLM 10 geriausiųjų kategoriją, taip pat OWASP agentinių programų ir agentinių įgūdžių žymas, jei jos taikomos, ir susijusius raudonosios komandos atakų vektorius.

Įgūdžiai nusipelno ypatingo dėmesio, nes kenkėjiška instrukcija įgūdžių faile yra proza, o ne kodas, ir joks parašas negali jos matyti. Pasirinktinai atliekama dirbtinio intelekto peržiūra įvertina pažymėtų įgūdžių ir agento instrukcijų failų tikslą naudodama versijavuotą, deterministinę sąranką, todėl tas pats failas visada gauna tą patį verdiktą. Jis gali būti paleistas jūsų pačių talpinamame modelyje, todėl kodas ir raginimai neturi palikti jūsų aplinkos. Įgūdžių lygio balas sujungia šiuos signalus į vieną atsakymą: saugu, atsargu arba neįdiegti.

Eiti giliau: stebėkite mūsų sesiją Sprogimo spindulys: kai agentas paliečia tai, ko neprašėte, apie tai, kas nutinka, kai agento teisės peržengia jo užduoties ribas.

3 veiksmas: įdiekite apsaugą kodavimo agento cikle

Dirbtinio intelekto kodavimo agentai rašo ir commit kodą greičiau, nei kas nors gali jį peržiūrėti. Radinys, pateiktas biliete po dviejų savaičių, retai kada ištaisomas. Taisymas turi įvykti, kol agentas dar dirba.

„Xygeni MCP“ serveris veikia lokaliai ir suderinamas su bet kuriuo dirbtinio intelekto kodavimo agentu, palaikančiu MCP, nepriklausomai nuo modelio, kuriame jis veikia. Agentas gali nuskaityti ką tik parašytą kodą, išvardyti naujas problemas, gauti dirbtinio intelekto triažo verdiktus ir prašyti pataisymų. SAST bei SCA išvados. Tai kartojasi tol, kol pakeitimas tampa aiškus, prieš tai, kai kas nors padaroma committed, su jūsų komandos nustatytais patvirtinimais.

Jis naudoja tuos pačius variklius, politikas ir nutildymo taisykles kaip ir jūsų pipeline, kad agentas ir jūsų CI niekada nesutartų. Kūrėjams, dirbantiems kartu su agentu, IDE įskiepiai į redaktorių įkelti tuos pačius radinius ir pataisymus.

4 veiksmas: apsaugokite, kuriuos agentus įdiegia

Dirbtinio intelekto kodavimo agentas gali pats pridėti priklausomybę ir nesustos tikrinti, ar visiškai naujas paketas su pažįstamu pavadinimu yra teisėtas. Užpuolikai tai žino ir laukia atvirojo kodo registruose.

Apsauga nuo kenkėjiškų programų pažymi kenkėjiškus paketus prieš atsirandant parašui, kad ir kas juos įdiegtų – kūrėjas ar agentas. Kūrėjo kompiuteryje Shield įgyvendina politiką prieš pradedant bet ką: minimalų naujų paketų amžių, IDE plėtinių ir papildinių aprėptį, kenkėjiškų indikatorių ir rizikingų geografinių vietovių blokavimą bei galinių taškų izoliaciją, kai reikia izoliuoti kompiuterį.

Nori gilintis?

Tvarkyklės trūkumas ir ją pasiekiantis atviras galinis taškas yra viena problema, turinti vieną savininką. O jei jau naudojate kitą DAST įrankį, „Xygeni“ importuoja jo rezultatus į tą patį rizikos rodinį, neprašydama jūsų jo pakeisti.

Norite pamatyti, kaip abu sluoksniai veikia kartu? Stebėkite mūsų sesiją Nuo kodo iki vykdymo aplinkos: kodėl SAST + DAST yra būtini šiuolaikinei programų apsaugai, kur apžvelgsime, kaip kodo išvados ir vykdymo laiko testai patvirtina vienas kitą.

Vienas darbo eigas, o ne kita konsolė

Dirbtinio intelekto agento saugumas sutrinka, kai jis tampa atskiru įrankiu su savo eile. „Xygeni“ sistemoje dirbtinio intelekto radiniai pereina per tą patį piltuvą, Dirbtinio intelekto triažas, bilietus ir ataskaitas kaip ir likusius jūsų radinius. AI taisymas teikia kontekstą atitinkančias taisymo gaires visoms dešimčiai OWASP LLM kategorijų ir ASPM DI riziką priartina prie kodo, priklausomybės ir pipeline rizika vienu požiūriu.

DI agento saugumas ir atitiktis

Reguliavimo institucijos, auditoriai ir klientai vis dažniau prašo pateikti jūsų valdomo dirbtinio intelekto ir jo rizikos klasifikavimo sąrašą. ES AI aktas bei ISO / IEC 42001 abu juda ta kryptimi, o dirbtinio intelekto bomba tampa standard punktas viešųjų pirkimų klausimynuose.

Dirbtinio intelekto inventorius su kiekvieno turto rizikos kategorijos lauku suteikia jūsų valdymo komandai įrodymų bazę šiam darbui. Tai padeda užtikrinti pasirengimą ES Dirbtinio intelekto įstatymui; tai nėra atitikties vertinimas ir nepakeičia jūsų teisinės peržiūros.

arba vidutinio dydžio komandoms tai paprasta:

  1. Ant kiekvieno pull request: API saugumas CI pakeistame kode, taip pat papildomi DAST nuskaitymai.
  2. prieš commit: kaip pre-commit vartai į etapinius failus.
  3. Naktį arba sujungimo metu: pilnas DAST nuskaitymas.
  4. Prieš kiekvieną svarbų leidimą: Dirbtinis intelektas atlieka sklandų testavimą pagal etapus, kad būtų galima patikrinti vėlavimą ir patvirtinti, jog kiekvienas pataisymas užpildė spragą.

API saugumo skaitytuvas veikia bet kur, įskaitant oro tarpais izoliuotas aplinkas, ir teikia ataskaitas „Xygeni SaaS“ arba jūsų on-premises platformoje. Rezultatai pateikiami JSON formatu, SARIF 2.1.0, CSV ir „Markdown“ pull request komentarai.

API saugumo testavimas ir atitiktis

Bankininkystės, draudimo ar viešojo sektoriaus komandoms API saugumo testavimas taip pat yra įrodymas. Kiekvienas radinys turi atitikties žymas. BDAR 32 straipsnis, PCI DSS 4.0 (3.4, 6.4.3, 7.1, 7.2 ir 8 reikalavimai) ir NIST SP 800-53 (AC-3, AC-6, IA-2, IA-5), matomi platformoje ir JSON bei SARIF išvestyje.

Jei jūsų organizacija patenka į DORA or NIS2Veikimo laiko testavimas suteikia nuolatinių įrodymų tarp rankinių skverbties testų, kurių vis dar reikalauja jūsų reguliatoriai. 

Kaip įdiegti dirbtinio intelekto agento saugumą 7 žingsniais

Pateikiame praktinį kontrolinį sąrašą tokia tvarka, kuri greičiausiai užtikrins dirbtinio intelekto agentų saugumo palaikymą realioje kūrimo komandoje.

  1. Atrask

    Inventorizuoti kiekvieną dirbtinio intelekto išteklių savo saugyklose

    Nuskaitykite visas saugyklas, ieškodami agentų, MCP serverių, įgūdžių, modelių, raginimų ir DI kodavimo įrankių, ir eksportuokite rezultatą kaip DI-BOM. Tai yra jūsų pradinis sąrašas, nuo kurio remiasi kiekvienas kitas žingsnis.

  2. Klasifikuoti

    Priskirkite kiekvienam agentui savininką ir rizikos lygį

    Kiekvienam agentui užrašykite, kam jis priklauso, kokius duomenis ir įrankius jis gali pasiekti, ir jo ES Dirbtinio intelekto įstatymo rizikos kategoriją. Agentas, kurio niekas neturi, yra agentas, kurio niekas ir nesutvarkys.

  3. Aptikti

    Nuskaitykite agento kodą CI kiekvieną kartą pull request

    Paleiskite dirbtinio intelekto rizikos aptikimą kartu su kitais nuskaitymais. Pradėkite neblokuojančiu režimu, kad matytumėte pradinę situaciją, tada, kai komandos sutvarkys kritinius radinius, atlikite blokų sujungimus.

  4. apžvalga

    Peržiūrėkite įgūdžius prieš kas nors juos įdiegiant

    Nuskaitykite įgūdžių ir agento instrukcijų failus, pvz. SKILL.md bei AGENTS.md, įjunkite dirbtinio intelekto ketinimų peržiūrą ir „neįdiegti“ verdiktą traktuokite kaip griežtą sustabdymą.

  5. apriboti

    Sumažinimo agento teisės

    Pakeiskite statinius ilgalaikius prisijungimo duomenis apribotais, nustokite dalytis prisijungimo duomenimis tarp agentų ir niekada neleiskite MCP ar įrankių serverių su padidintomis teisėmis, kurių jiems nereikia.

  6. Pataisyti cikle

    Įdėkite saugumą į kodavimo agento kilpą

    Prijunkite savo dirbtinio intelekto kodavimo agentus prie saugos MCP serverio, kad jie nuskaitytų ir pataisytų savo kodą prieš jį išsiunčiant. committed, taikant tą pačią politiką kaip ir jūsų pipeline.

  7. Apsauga

    Apsaugokite tai, kas patenka į kūrėjų kompiuterius

    Nustatyti minimalų naujų paketų amžių, aptikti kenkėjiškus paketus prieš atsirandant parašui ir aprėpti IDE plėtinius bei papildinius, nepriklausomai nuo to, kas juos įdiegė – kūrėjas ar agentas.

tada: Kiekvieną radinį nukreipkite į tą patį atrankos, bilietų pardavimo ir ataskaitų teikimo darbo eigą kaip ir likusią „AppSec“ dalį, kad dirbtinio intelekto rizika neatsidurtų eilėje.

Neįmanoma užsitikrinti agento, kurio niekada nesutikote

Dirbtinio intelekto agentų saugumas nėra dar vienas skeneris. Tai žinojimas, kuriuos agentus naudojate, rizikos nustatymas jų kūrimo procese, saugumo įtraukimas į kodavimo agento ciklą ir diegiamų agentų apsauga. Pradėkite nuo inventoriaus: visa kita priklauso nuo to.

Norite savo kode matyti kiekvieną agentą, MCP serverį ir įgūdį? Užsisakykite konsultaciją su inžinieriumi sukurti savo saugyklų dirbtinio intelekto inventorių ir peržiūrėti jo išvadas. Arba pradėti nemokamai su AI SAST, SCA, paslapčių aptikimas, IDE įskiepiai ir kenkėjiškų programų aptikimas atvirojo kodo paketuose. Nereikia kreditinės kortelės.

DI agento saugumo DUK

Kuo DI agento saugumas skiriasi nuo LLM saugumo?

LLM saugumas susijęs su tuo, ką rodo modelis: nutekėję duomenys, manipuliuoti atsakymai, nesaugi išvestis. Dirbtinio intelekto agento saugumas susijęs su tuo, ką agentas daro su įrankiais, atmintimi, kredencialais ir kitais agentais. Štai kodėl OWASP skelbia atskirą 10 geriausių agentinių programų (ASI01–ASI10) sąrašą, be LLM 10 geriausių.

Kaip rasti DI agentus ir MCP serverius savo organizacijoje?

Pradėkite nuo kodo. „Xygeni AI Security“ aptinka agentus, MCP serverius, įgūdžius, modelius, raginimus ir DI kodavimo įrankius jūsų saugyklose, susieja jų prisijungimo būdą ir eksportuoja rezultatą kaip AI-BOM „CycloneDX“ formatu. Jis veikia CI aplinkoje kartu su kitais jūsų nuskaitymais.

Ar kenkėjiškas įgūdis arba MCP serveris gali pakenkti mano kūrėjams?

Taip: įgūdžio instrukcijos yra paprasto teksto, o agentas jas vykdys gavęs kūrėjo leidimus. „Xygeni“ pažymi paslėptas kenkėjiškas direktyvas ir apsimestinius įgūdžių pavadinimus, gali įvertinti įgūdžio tikslą naudodama dirbtinio intelekto peržiūrą ir įvertina kiekvieną įgūdį kaip saugų, atsargų arba neįdiegti. Apsauga nuo kenkėjiškų programų ir Shield padengti siuntų ir pratęsimų išlaidas, kurias atneša agentai.

sca-tools-software-composition-analyses-tools
Prioritetizuoti, pašalinti ir apsaugoti savo programinės įrangos rizikas
Gaukite nemokamą paskyrą.
Nebūtina kreditinės kortelės.

Apsaugokite savo programinės įrangos kūrimą ir tiekimą

su „Xygeni“ produktų rinkiniu