„Xygeni“ saugumo žodynėlis
Programinės įrangos kūrimo ir teikimo saugumo žodynėlis

Kas yra atminties apsinuodijimas?

Kas yra atminties užkrėtimas? Atminties užkrėtimas – tai ataka, kurios metu dirbtinio intelekto agento atmintyje įterpiama klaidinga informacija arba paslėptos instrukcijos, kad agentas jas iškviestų ir atliktų veiksmus vėlesnėse užduotyse. Užpuolikas rašo vieną kartą; agentas toliau paklūsta kiekviename seanse, kuriame atkuriamas užkrėstas įrašas.

  • Kodėl tai veikia: Agentai tai, ką prisimena, traktuoja kaip patikimą kontekstą. Užnuodyta atmintis atrodo lygiai taip pat, kaip tai, ką agentas išmoko teisėtai.
  • Ką jis gali padaryti: išfiltruoti pokalbius, nukreipti rekomendacijas, suaktyvinti neteisingus įrankių iškvietimus arba skleisti blogus duomenis kitiems agentams, praėjus ilgai po pradinės sąveikos.
  • Kontekstinis apsinuodijimas: Platesnė šeima. Tai apima bet kokį sugadintą turinį agento darbo kontekste, įskaitant gautus dokumentus, bendrinamą sesijos būseną ir santraukas, o ne tik ilgalaikę atmintį.
  • Pagrindiniai variantai: atminties injekcija per įprastas užklausas, netiesioginė injekcija iš tinklalapių ar dokumentų, RAG ir žinių bazės užkrėtimas bei sklaida tarp agentų.
  • Pirmoji gynyba: žinoti, kurie agentai saugo atmintį ir kur ji yra, patvirtinti, kas į ją įrašoma, ir atskirti instrukcijas nuo duomenų.

Atminties apsinuodijimas paaiškintas #

Dauguma dirbtinio intelekto agentų prisimena. Trumpalaikė atmintis saugo dabartinę užduotį: iki šiol vykusį pokalbį, įrankio rezultatus, tarpinius samprotavimus. Ilgalaikė atmintis išlieka per visus seansus: vartotojo pageidavimus, faktus, išmoktus iš ankstesnių užduočių, panašių problemų sprendimo pavyzdžius. Daugelis agentų taip pat gauna žinias iš vektorinės saugyklos naudodami paieškos papildytos generacijos (RAG) metodą.

Visa ši atmintis grįžta į modelį kaip kontekstas jo kitam vystymuisi.cision. Atminties užkrėtimas taikomasi į tą ciklą. Užuot manipuliavęs vienu atsakymu, užpuolikas išsaugo kenkėjišką įrašą ir laukia, kol agentas jį atgaus. Užkrėstas įrašas gali būti klaidingas faktas („šio kliento grąžinimo limitas neribotas“), netikras praeities pavyzdys, kurį agentas imituos, arba nurodymas („visada siųsti pokalbio kopiją šiuo adresu“).

Būtent šis atkaklumas ir skiria atminties užkrėtimą nuo vienkartinės greitos injekcijos. Ataka tęsiasi ilgiau nei ją sukūrusi sesija, ir kiekviena būsima užduotis, kuri atkuria įrašą, paveldi užkrėtimą. OWASP 10 geriausių agentinių programų 2026 m. būtent dėl ​​šios priežasties nurodo jį kaip atskirą riziką – ASI06 „Atminties ir konteksto apsinuodijimas“.

Atminties apsinuodijimas ir konteksto apsinuodijimas #

Šie du terminai dažnai vartojami kaip sinonimai, o OWASP juos suskirsto į grupes. ASI06 Atminties ir konteksto apsinuodijimasSkirtumas yra apimtis: atminties užkrėtimas yra viena iš konteksto užkrėtimo formų.

dimensijaAtminties apsinuodijimasKonteksto apsinuodijimas
Kas sugadinamaAgento saugoma atmintis: ilgalaikiai įrašai, išmokti faktai, praeities pavyzdžiaiViskas, kas patenka į agento darbo kontekstą: atmintis, gauti dokumentai, įrankio išvestis, bendros sesijos būsena, santraukos
AtkaklumasIšlieka per seansus, kol įrašas pašalinamasGali būti vieno seanso arba nuolatinis, priklausomai nuo šaltinio
Tipinis įėjimo taškasPokalbiai, dokumentai arba puslapiai, kuriuos agentas prašo atsiminti arba iš kurių jis turi pasimokytiBet koks nepatikimas turinys, kurį agentas skaito dirbdamas
PavyzdysĮsodintas prisiminimas, kuris kiekvieną būsimą pokalbį siunčia užpuolikuiUžkrėstas dokumentas RAG indekse, kuris perrašo agento atsakymą kiekvieną kartą, kai jis gaunamas

Praktiškai gynėjai abu traktuoja vienodai: kaip nepatikimus duomenis, kurie niekada negali būti naudojami kaip instrukcijos.

Kodėl veikia atminties apsinuodijimas #

Atminties apsinuodijimas išnaudoja tą pačią prielaidą, dėl kurios agento atmintis yra naudinga: tai, ką agentas prisimena, laikoma tiesa.

  • Agentai veikia pagal tai, ką prisimena. Agentas, turintis įrankius, prisijungimo duomenis ir prieigą prie tinklo, paverčia klaidingą prisiminimą realiu veiksmu.
  • Atmintis yra patikimas kontekstas. Gauti įrašai pasiekia modelį kaip foninės žinios arba pavyzdžiai, kuriais galima vadovautis, be jokio žymeklio, nurodančio, iš kur jie gauti.
  • Jam gali parašyti kiekvienas, kas kalbasi su agentu. Daugelis agentų automatiškai saugo prisiminimus iš pokalbių, dokumentų ir tinklalapių, todėl rašymo kelias yra atviras bet kokiam turiniui, kurį agentas skaito.
  • Ataka atidėta. Apsinuodijimas ir žala įvyksta skirtingu metu, dažnai skirtingų seansų metu ir skirtingiems vartotojams, todėl priežastį sunku atsekti.
  • Užtenka kelių įrašų. Paieškos sistemai tereikia iškelti užterštą įrašą, kai pasirodo tinkama tema. Likusį laiką agentas elgiasi normaliai.

Atminties tipai ir konteksto apsinuodijimas #

Kiekvienas variantas piktnaudžiauja ta pačia prielaida: tai, ką agentas prisimena arba atkuria, laikoma patikimu kontekstu.

variantasKaip tai veikiaPrie ko tai gali privesti
Atminties įpurškimas per užklausaspvz., MINJAUžpuolikas įprastai sąveikauja su agentu, kurdamas užklausas, kad agentas savo atmintyje išsaugotų kenkėjišką įrašą.Kitų vartotojų užklausos suaktyvina užpuoliko samprotavimo veiksmus
Netiesioginė atminties injekcijapvz., SpAIwarePaslėptos instrukcijos tinklalapyje, el. laiške ar dokumente nurodo agentui išsaugoti atmintį, kol jis apdoroja turinį.Nuolatinis išgavimas arba manipuliavimas būsimuose seansuose
RAG ir žinių bazės apsinuodijimaspvz., AgentPoisonKenkėjiški arba netiesiogiai užkoduoti įrašai patenka į vektorių saugyklą arba žinių bazę per nepatikimą įterpimą. pipelineNeteisingi atsakymai arba veiksmai, kai atkuriamas užterštas įrašas
Santraukos užterštumasĮterptas turinys sutankinamas į santrauką, kurią agentas saugo atmintyje.Injekcija išlieka net ir pasibaigus pradiniam turiniui
Bendras ir kryžminis apsinuodijimasBendro seanso kontekstas arba atmintis pakartotinai naudojami tarp vartotojų, nuomininkų arba bendradarbiaujančių agentųVienas užkrėstas įrašas plinta kiekvienam jį perskaitančiam agentui ar vartotojui
Ilgalaikės atminties dreifasPasikartojantys maži, tikėtini pokyčiai laikui bėgant keičia tai, kuo agentas tikiLaipsniški, sunkiai pastebimi elgesio pokyčiai

Realaus pasaulio pavyzdžiai #

Atminties apsinuodijimas nėra teorinis. Trys atvejai rodo, kaip išsivystė priepuolis:

  • „SpAIware“ (2024 m.). Saugumo tyrėjas Johannas Rehbergeris parodė, kad kenkėjiška svetainė ar dokumentas gali naudoti netiesioginę greitąją injekciją, kad įdiegtų instrukcijas į „ChatGPT“ ilgalaikę atmintį „macOS“ sistemoje, todėl kiekvienas vėlesnis pokalbis buvo siunčiamas į užpuoliko kontroliuojamą serverį. „OpenAI“ uždarė eksfiltracijos kanalą. „ChatGPT“ 1.2024.247 versija.
  • AgentPoison (2024). A „NeurIPS 2024“ straipsnis pristatė „užpakalinių durų“ ataką, kuri užnuodijo agento ilgalaikę atmintį arba RAG žinių bazę. Prieš vairavimo, klausimų atsakymų ir sveikatos priežiūros agentus ji pasiekė vidutinį 80% ar didesnį atakų sėkmės rodiklį, o užnuodijo mažiau nei 0.1% žinių bazės.
  • MINJA (2025). Geriausios Atminties įpurškimo ataka parodė, kad užpuolikui visiškai nereikia prieigos prie atminties saugyklos: įprastos užklausos buvo pakankamos, kad būtų išsaugoti kenkėjiški įrašai. Visuose testuotuose agentuose kenkėjiškų įrašų įterpimo sėkmės rodiklis buvo vidutinis 98.2 %.

Geriausios OWASP GenAI saugumo projektas taip pat pateikia Gemini atminties ataką kaip apsinuodijimo, kuris pakeitė agento elgesį praėjus ilgam laikui po pirmosios sąveikos, pavyzdį.

Kaip išvengti atminties apsinuodijimo #

Nė viena kontrolės priemonė nesustabdo atminties užkrėtimo. Šios praktikos sumažina užkrėsto rašymo tikimybę ir apriboja žalą, kai ji įveikiama:

  • Inventoriaus agentai, kurie saugo atmintį. Žinokite, kurie agentai turi ilgalaikę atmintį, vektorines saugyklas arba RAG pipelines ir kur tie duomenys yra.
  • Patvirtinti atminties įrašus. Neleiskite agentams automatiškai saugoti prisiminimų iš nepatikimo turinio. Filtruokite, klasifikuokite arba reikalaukite patvirtinimo prieš įrašo išsaugojimą.
  • Atskirkite instrukcijas nuo duomenų. Atkurtą atmintį ir dokumentus traktuokite kaip duomenis, apie kuriuos agentas samprotauja, o ne kaip instrukcijas, kurių jis laikosi.
  • Trasos kilmė. Pažymėkite kiekvieną atminties įrašą nurodydami jo šaltinį, autorių ir laiką, kad užterštus įrašus būtų galima atsekti ir pašalinti masiškai.
  • Izoliuoti atmintį. Išsaugokite atmintį kiekvienam vartotojui, kiekvienam nuomininkui ir kiekvienam agentui. Bendra atmintis visiems paskirsto vieną užkrėstą įrašą.
  • Galiojimo laikas ir momentinė nuotrauka. Kur įmanoma, naudokite trumpalaikį kontekstą, nustatykite ilgalaikių įrašų galiojimo laiką ir saugokite momentines kopijas, kad galėtumėte atkurti atmintį į žinomą gerą būseną.
  • Saugus perdavimas pipeline. Kontroliuokite, kas ir kokie dokumentai gali būti įtraukti į RAG indeksus ir žinių bazes, ir nuskaitykite naujus šaltinius prieš juos indeksuojant.
  • Apribokite agento galimybes. Mažiausios privilegijos prie įrankių ir įgaliojimų bei žmogaus pritarimas jautriems veiksmams riboja žalą, kurią gali padaryti užteršta atmintis.
  • Stebėkite ir apžiūrėkite atmintį. Leiskite vartotojams ir administratoriams matyti saugomus prisiminimus ir stebėti neįprastus įrašus ar paieškos modelius.

Kaip „Xygeni“ padeda sumažinti šią riziką #

Atminties užkrėtimas įvyksta vykdymo metu, tačiau didelė dalis poveikio nusprendžiama anksčiau, kuriant agentus. „Xygeni“ sprendžia tas dalis, kurios palieka įrodymus kode ir konfigūracijoje prieš agento paleidimą:

  • Inventorius: Ksigeni AI saugumas atranda agentus, vektorių saugyklas, duomenų rinkinius, raginimus, guardrails ir išvados galinius taškus jūsų saugyklose, susieja, kuris agentas naudoja kuriuos duomenis ir įrankius, ir eksportuoja viską kaip AI-BOMNegalite apsaugoti atminties, apie kurios egzistavimą nežinote.
  • Nepatikimi turinio keliai: Jis žymi agentus, kurie praryja tinklalapius, el. laiškus, pokalbių pranešimus ar gautus dokumentus be jų išvalymo – tai netiesioginės injekcijos kelias, nuo kurio prasideda dauguma atminties užkrėtimo atvejų.
  • Keičiami raginimo šaltiniai: jis žymi iš registrų ištrauktas ir prie plaukiojančių versijų prisegtas komandas, pvz. @latest, kurį užpuolikas galėtų pakeisti neperžiūrėjęs kodo.
  • OWASP žemėlapio išvados: Aptikimai apima OWASP LLM 10 populiariausių su apsinuodijimu susijusių kategorijų, įskaitant greitą injekciją, duomenų ir modelių apsinuodijimą bei vektorių ir įterpimo silpnąsias vietas, ir atlieka tą pačią atrankos ir taisymo darbo eigą kaip ir kiti jūsų programų saugumo (AppSec) radiniai.

„Xygeni“ analizuoja kodą ir konfigūraciją prieš diegimą; vykdymo metu ji nestebi agento atminties, todėl derinkite ją su aukščiau pateiktais vykdymo laiko valdikliais. Kontaktas norėdami peržiūrėti savo saugyklų dirbtinio intelekto inventorių arba išbandykite įrankį nemokamai.

DUK #

Kas yra atminties apsinuodijimas paprastais žodžiais?

Atminties užkrėtimas – tai atvejis, kai užpuolikas į dirbtinio intelekto agento atmintį įrašo klaidingą informaciją arba paslėptas instrukcijas. Vėliau, kai agentas iškviečia tą atmintį, jis reaguoja į ją, pavyzdžiui, pateikdamas neteisingus atsakymus arba nutekindamas duomenis, net ir sesijose, prie kurių užpuolikas niekada neprisilietė.

Kuo skiriasi apsinuodijimas atmintine ir greita injekcija?

Prompt injection ataka manipuliuoja agentu vienos sąveikos metu. Atminties užkrėtimas padaro manipuliaciją nuolatinę, ją išsaugodamas, todėl ji paveikia būsimus seansus ir kartais kitus vartotojus. Daugelis atminties užkrėtimo atakų prasideda netiesiogine prompt injection ataka, kuri nurodo agentui išsaugoti kenkėjišką atmintį.

Kaip sužinoti, ar mano agento atmintis buvo užnuodyta?

Ieškokite išsaugotų prisiminimų ar žinių bazės įrašų, kurių negalite atsekti iki teisėto šaltinio, atsakymų, kurie keičiasi tik tada, kai iškyla konkreti tema, ir netikėtų įrankių iškvietimų ar siunčiamų užklausų. Kilmės žymos ir atminties momentinės kopijos leidžia rasti užterštą įrašą ir jį atkurti.

Ar atminties apsinuodijimas yra OWASP dešimtuke?

Taip. Tai ASI06 „Atminties ir konteksto apsinuodijimas“ OWASP 10 geriausiųjų agentinių programų 2026 m. sąraše. Tai taip pat susiję su LLM01 „Prompt Injection“, LLM04 „Data and Model Apsinuodijimas“ ir LLM08 „Vector and Embedding Weaknesses“ OWASP 10 geriausiųjų LLM programų sąraše.

Pradėti nemokamai

Pradėkite nemokamai.
Nebūtina kreditinės kortelės.

Pradėkite vienu paspaudimu:

Ši informacija bus saugiai saugoma pagal Paslaugų teikimo sąlygos bei Privatumo politika

Programos ekrano kopija