واژه‌نامه امنیتی Xygeni
واژه‌نامه امنیت توسعه و تحویل نرم‌افزار

مسمومیت حافظه چیست؟

مسمومیت حافظه چیست؟ مسمومیت حافظه حمله‌ای است که در آن اطلاعات نادرست یا دستورالعمل‌های پنهان در حافظه یک عامل هوش مصنوعی کاشته می‌شود، بنابراین عامل آنها را به خاطر می‌آورد و در وظایف بعدی بر اساس آنها عمل می‌کند. مهاجم یک بار می‌نویسد؛ عامل در هر جلسه‌ای که ورودی مسموم را بازیابی می‌کند، به اطاعت ادامه می‌دهد.

  • چرا کار می کند: عامل‌ها آنچه را که به خاطر می‌آورند به عنوان یک زمینه قابل اعتماد در نظر می‌گیرند. یک حافظه مسموم دقیقاً شبیه چیزی است که عامل به طور قانونی آموخته است.
  • کاری که می تواند انجام دهد: مکالمات را شنود کنند، توصیه‌ها را هدایت کنند، فراخوانی‌های ابزار اشتباه را فعال کنند یا داده‌های بد را مدت‌ها پس از تعامل اولیه به سایر عوامل منتقل کنند.
  • مسمومیت با زمینه: خانواده گسترده‌تر. این شامل هرگونه محتوای خراب در زمینه کاری عامل، از جمله اسناد بازیابی شده، وضعیت جلسه مشترک و خلاصه‌ها می‌شود، نه فقط حافظه بلند مدت.
  • انواع اصلی: تزریق حافظه از طریق پرس‌وجوهای معمولی، تزریق غیرمستقیم از صفحات وب یا اسناد، مسمومیت RAG و پایگاه دانش، و انتشار متقابل عامل.
  • دفاع اول: بدانید کدام عامل‌ها حافظه را نگه می‌دارند و کجا نگهداری می‌شوند، آنچه در آن نوشته می‌شود را اعتبارسنجی کنید و دستورالعمل‌ها را از داده‌ها جدا نگه دارید.

مسمومیت حافظه توضیح داده شد #

بیشتر عامل‌های هوش مصنوعی به خاطر می‌سپارند. حافظه کوتاه‌مدت وظیفه فعلی را در خود نگه می‌دارد: مکالمه تاکنون، نتایج ابزار، استدلال میانی. حافظه بلندمدت در طول جلسات ادامه می‌یابد: ترجیحات کاربر، حقایق آموخته‌شده از وظایف گذشته، مثال‌هایی از چگونگی حل مسائل مشابه. بسیاری از عامل‌ها همچنین دانش را از یک مخزن برداری از طریق تولید افزوده بازیابی (RAG) بازیابی می‌کنند.

تمام آن حافظه به عنوان زمینه‌ای برای داده‌های بعدی به مدل بازخورد می‌دهد.cisیون. مسمومیت حافظه آن حلقه را هدف قرار می‌دهد. مهاجم به جای دستکاری یک پاسخ واحد، یک رکورد مخرب ذخیره می‌کند، سپس منتظر می‌ماند تا عامل آن را بازیابی کند. ورودی مسموم می‌تواند یک واقعیت نادرست ("محدودیت بازپرداخت برای این مشتری نامحدود است")، یک مثال گذشته جعلی که عامل تقلید می‌کند، یا یک دستورالعمل ("همیشه یک کپی از مکالمه را به این آدرس ارسال کن") باشد.

این ماندگاری همان چیزی است که مسمومیت حافظه را از تزریق سریع و یکباره متمایز می‌کند. این حمله بیشتر از جلسه‌ای که آن را ایجاد کرده، دوام می‌آورد و هر وظیفه بعدی که رکورد را بازیابی می‌کند، این نفوذ را به ارث می‌برد. ده مورد برتر OWASP برای برنامه‌های کاربردی عامل‌دار در سال ۲۰۲۶ دقیقاً به همین دلیل، آن را به عنوان ریسک خاص خود، ASI06 Memory and Context Poisoning، فهرست می‌کند.

مسمومیت حافظه در مقابل مسمومیت زمینه‌ای #

این دو اصطلاح اغلب به جای یکدیگر استفاده می‌شوند و OWASP آنها را در زیر گروه‌بندی می‌کند: ASI06 مسمومیت با حافظه و متنتفاوت در دامنه است: مسمومیت حافظه یکی از انواع مسمومیت زمینه است.

بعدمسمومیت حافظهمسمومیت با زمینه
چه چیزی خراب می‌شود؟حافظه ذخیره شده عامل: سوابق بلندمدت، حقایق آموخته شده، مثال‌های گذشتههر چیزی که وارد زمینه کاری عامل می‌شود: حافظه، اسناد بازیابی شده، خروجی ابزار، وضعیت جلسه مشترک، خلاصه‌ها
اصرارتا زمانی که رکورد حذف شود، در طول جلسات باقی می‌ماندبسته به منبع، می‌تواند تک جلسه‌ای یا مداوم باشد
نقطه ورود معمولیمکالمات، اسناد یا صفحاتی که از مأمور خواسته می‌شود آنها را به خاطر بسپارد یا از آنها درس بگیردهرگونه محتوای غیرقابل اعتمادی که عامل هنگام کار می‌خواند
مثالیک حافظه کاشته شده که هر چت آینده را برای مهاجم ارسال می‌کندیک سند مسموم در یک شاخص RAG که پاسخ عامل را هر زمان که بازیابی می‌شود، بازنویسی می‌کند.

در عمل، مدافعان با هر دو به یک شکل رفتار می‌کنند: به عنوان داده‌های غیرقابل اعتمادی که هرگز نباید اجازه داده شوند به عنوان یک دستورالعمل عمل کنند.

چرا مسمومیت حافظه مؤثر است؟ #

مسمومیت حافظه از همان فرضی سوءاستفاده می‌کند که حافظه عامل را مفید می‌سازد: آنچه عامل به خاطر می‌آورد به عنوان حقیقت در نظر گرفته می‌شود.

  • ماموران بر اساس آنچه به خاطر می‌آورند عمل می‌کنند. یک عامل با ابزارها، اعتبارنامه‌ها و دسترسی به شبکه، یک خاطره‌ی کاذب را به یک عمل واقعی تبدیل می‌کند.
  • حافظه، زمینه‌ای قابل اعتماد است. رکوردهای بازیابی شده به عنوان دانش پیش‌زمینه یا نمونه‌هایی برای دنبال کردن به مدل می‌رسند، بدون اینکه هیچ نشانگری نشان دهد که از کجا آمده‌اند.
  • هر کسی که با نماینده صحبت کند می‌تواند به آن نامه بنویسد. بسیاری از عامل‌ها خاطرات را به طور خودکار از مکالمات، اسناد و صفحات وب ذخیره می‌کنند، بنابراین مسیر نوشتن برای هر محتوایی که عامل می‌خواند باز است.
  • حمله به تعویق افتاده است. مسمومیت و آسیب در زمان‌های مختلف، اغلب در جلسات مختلف و برای کاربران مختلف اتفاق می‌افتد، که ردیابی علت را دشوار می‌کند.
  • چند رکورد کافی است. بازیابی فقط زمانی که موضوع درست مطرح می‌شود، نیاز به نمایش ورودی مسموم دارد. در بقیه مواقع، عامل به طور عادی رفتار می‌کند.

انواع مسمومیت حافظه و زمینه #

هر نوع از این فرضیه سوءاستفاده می‌کند: آنچه یک عامل به خاطر می‌آورد یا بازیابی می‌کند، به عنوان زمینه مورد اعتماد در نظر گرفته می‌شود.

نوع دیگرسازوکارچه چیزی می‌تواند منجر به آن شود؟
تزریق حافظه از طریق کوئری‌هامثلاً مینجامهاجم به طور عادی با عامل تعامل می‌کند و پرس‌وجوهایی را ایجاد می‌کند تا عامل یک رکورد مخرب را در حافظه خود ذخیره کند.درخواست‌های سایر کاربران، مراحل استدلال مهاجم را آغاز می‌کند.
تزریق غیرمستقیم حافظهمثلاً SpAIwareدستورالعمل‌های پنهان در یک صفحه وب، ایمیل یا سند به عامل می‌گویند که هنگام پردازش محتوا، یک حافظه را ذخیره کند.خروج یا دستکاری مداوم اطلاعات در طول جلسات آینده
مسمومیت با RAG و پایگاه دانشمثلاً AgentPoisonورودی‌های مخرب یا آلوده از طریق یک ورودی غیرقابل اعتماد وارد مخزن بردار یا پایگاه دانش می‌شوند. pipelineپاسخ‌ها یا اقدامات اشتباه هر زمان که ورودی مسموم بازیابی می‌شود
خلاصه آلودگیمحتوای تزریق‌شده در خلاصه‌ای خلاصه می‌شود که عامل آن را به عنوان حافظه نگه می‌دارد.تزریق حتی پس از از بین رفتن محتوای اصلی، همچنان ادامه دارد
مسمومیت مشترک و متقابل با عوامل بیماری‌زازمینه یا حافظه جلسه مشترک بین کاربران، مستاجران یا عوامل همکار مجدداً استفاده می‌شود.یک رکورد آلوده به هر عامل یا کاربری که آن را می‌خواند، سرایت می‌کند.
رانش حافظه بلندمدتتغییرات کوچک و قابل قبول مکرر، باورهای عامل را در طول زمان تغییر می‌دهند.تغییرات تدریجی و غیرقابل تشخیص در رفتار

نمونه های دنیای واقعی #

مسمومیت حافظه یک موضوع تئوریک نیست. سه مورد نشان می‌دهد که این حمله چگونه تکامل یافته است:

  • SpAIware (2024). یوهان رهبرگر، محقق امنیتی، نشان داد که یک وب‌سایت یا سند مخرب می‌تواند از تزریق غیرمستقیم دستور برای قرار دادن دستورالعمل‌ها در حافظه بلندمدت ChatGPT در macOS استفاده کند، بنابراین هر مکالمه بعدی به یک سرور تحت کنترل مهاجم ارسال می‌شود. OpenAI کانال استخراج را در چت جی پی تی نسخه ۴.
  • مامور سمی (۲۰۲۴). A مقاله NeurIPS 2024 یک حمله‌ی در پشتی معرفی کرد که حافظه‌ی بلندمدت یا پایگاه دانش RAG یک عامل را مسموم می‌کند. در برابر عوامل رانندگی، پرسش و پاسخ و مراقبت‌های بهداشتی، به میزان موفقیت حمله‌ی متوسط ​​۸۰٪ یا بیشتر رسید، در حالی که کمتر از ۰.۱٪ از پایگاه دانش را مسموم کرد.
  • مینجا (۲۰۲۵). La حمله تزریق حافظه نشان داد که یک مهاجم اصلاً نیازی به دسترسی به حافظه ندارد: پرس‌وجوهای معمولی برای ذخیره رکوردهای مخرب کافی بودند. در بین عامل‌های آزمایش‌شده، رکوردهای مخرب را با میانگین موفقیت ۹۸.۲٪ تزریق کرد.

La پروژه امنیتی OWASP GenAI همچنین حمله حافظه Gemini را به عنوان نمونه‌ای از مسمومیت ذکر می‌کند که رفتار یک عامل را مدت‌ها پس از اولین تعامل تغییر داد.

چگونه از مسمومیت حافظه جلوگیری کنیم #

هیچ کنترل واحدی مسمومیت حافظه را متوقف نمی‌کند. این شیوه‌ها احتمال نوشتن مسموم را کاهش می‌دهند و آسیب را هنگام عبور از آن محدود می‌کنند:

  • عوامل موجودی که حافظه را نگه می‌دارند. بدانید کدام عامل‌ها حافظه بلندمدت، حافظه برداری یا RAG دارند pipelineو اینکه آن داده‌ها کجا ذخیره می‌شوند.
  • اعتبارسنجی نوشتن‌های حافظه اجازه ندهید که عوامل، خاطرات را به طور خودکار از محتوای غیرقابل اعتماد ذخیره کنند. قبل از ذخیره یک رکورد، آن را فیلتر، طبقه‌بندی یا درخواست تأیید کنید.
  • دستورالعمل‌ها را از داده‌ها جدا کنید. حافظه و اسناد بازیابی شده را به عنوان داده‌هایی که عامل در مورد آنها استدلال می‌کند، در نظر بگیرید، نه به عنوان دستورالعمل‌هایی که از آنها پیروی می‌کند.
  • منشأ را ردیابی کنید. هر رکورد حافظه را با منبع، نویسنده و زمان آن برچسب‌گذاری کنید، تا ورودی‌های آلوده بتوانند به صورت عمده ردیابی و حذف شوند.
  • حافظه را ایزوله کنید. حافظه را به ازای هر کاربر، هر مستاجر و هر نماینده نگه دارید. حافظه مشترک، یک رکورد آلوده را برای همه پخش می‌کند.
  • منقضی و عکس فوری. در صورت امکان از داده‌های موقت استفاده کنید، برای رکوردهای بلندمدت تاریخ انقضا تعیین کنید و اسنپ‌شات‌ها را نگه دارید تا بتوانید حافظه را به حالت خوبِ شناخته‌شده برگردانید.
  • از بلعیدن مطمئن شوید pipeline. کنترل کنید چه کسی و چه چیزی می‌تواند اسناد را به فهرست‌ها و پایگاه‌های دانش RAG اضافه کند و منابع جدید را قبل از فهرست‌بندی اسکن کنید.
  • محدود کردن کارهایی که نماینده می‌تواند انجام دهد. حداقل دسترسی به ابزارها و اعتبارنامه‌ها، به علاوه‌ی تأیید انسانی برای اقدامات حساس، آسیبی را که یک حافظه‌ی مسموم می‌تواند ایجاد کند، محدود می‌کند.
  • حافظه را بررسی و نظارت کنید. به کاربران و مدیران اجازه دهید خاطرات ذخیره شده را ببینند و مراقب رکوردهای غیرمعمول یا الگوهای بازیابی باشند.

چگونه Xygeni به کاهش این خطر کمک می‌کند #

مسمومیت حافظه در زمان اجرا اتفاق می‌افتد، اما بخش زیادی از این آلودگی زودتر، در نحوه ساخت عامل‌ها، مشخص می‌شود. Xygeni به بخش‌هایی می‌پردازد که قبل از اجرای یک عامل، شواهدی را در کد و پیکربندی باقی می‌گذارند:

  • فهرست: شیگنی امنیت هوش مصنوعی عامل‌ها، مخازن برداری، مجموعه داده‌ها، اعلان‌ها را کشف می‌کند، guardrails و نقاط پایانی استنتاج در مخازن شما، نقشه‌هایی که کدام عامل از کدام داده‌ها و ابزارها استفاده می‌کند، و همه چیز را به عنوان یک خروجی صادر می‌کند. هوش مصنوعی-بامشما نمی‌توانید حافظه‌ای را که از وجود آن اطلاعی ندارید، ایمن کنید.
  • مسیرهای محتوای غیرقابل اعتماد: این عامل‌هایی را که صفحات وب، ایمیل‌ها، پیام‌های چت یا اسناد بازیابی شده را بدون پاکسازی (مسیر تزریق غیرمستقیم که اکثر مسمومیت‌های حافظه از آن شروع می‌شوند) دریافت می‌کنند، علامت‌گذاری می‌کند.
  • منابع اعلان قابل تغییر: این دستور، اعلان‌هایی را که از رجیستری‌ها گرفته شده و به نسخه‌های شناور مانند موارد زیر پین شده‌اند، علامت‌گذاری می‌کند. @latestکه یک مهاجم می‌تواند بدون بررسی کد آن را تغییر دهد.
  • یافته‌های نقشه‌برداری شده توسط OWASP: تشخیص‌ها، 10 دسته برتر OWASP LLM در زمینه مسمومیت، از جمله تزریق سریع، مسمومیت داده و مدل، و نقاط ضعف بردار و جاسازی را پوشش می‌دهند و از همان روند اولویت‌بندی و رفع مشکلات مانند بقیه یافته‌های AppSec شما عبور می‌کنند.

Xygeni قبل از استقرار، کد و پیکربندی را تجزیه و تحلیل می‌کند؛ حافظه یک عامل را در زمان اجرا رصد نمی‌کند، بنابراین آن را با کنترل‌های زمان اجرا در بالا جفت کنید. نسخه ی نمایشی را رزرو کنید برای دیدن موجودی هوش مصنوعی مخازن خودتان یا ابزار را به صورت رایگان امتحان کنید.

سوالات متداول #

مسمومیت حافظه به زبان ساده چیست؟

مسمومیت حافظه زمانی است که یک مهاجم اطلاعات نادرست یا دستورالعمل‌های پنهانی را در حافظه یک عامل هوش مصنوعی ذخیره می‌کند. بعداً، وقتی عامل آن حافظه را به یاد می‌آورد، روی آن عمل می‌کند، به عنوان مثال با دادن پاسخ‌های اشتباه یا نشت داده‌ها، حتی در جلساتی که مهاجم هرگز به آنها دست نزده است.

تفاوت بین مسمومیت با یادداشت و تزریق سریع چیست؟

تزریق سریع، عامل را در طول یک تعامل واحد دستکاری می‌کند. مسمومیت حافظه با ذخیره کردن دستکاری، آن را پایدار می‌کند، بنابراین بر جلسات آینده و گاهی اوقات سایر کاربران تأثیر می‌گذارد. بسیاری از حملات مسمومیت حافظه با یک تزریق سریع غیرمستقیم شروع می‌شوند که به عامل می‌گوید یک حافظه مخرب را ذخیره کند.

از کجا بفهمم که حافظه مامور من مسموم شده است؟

به دنبال خاطرات ذخیره شده یا ورودی‌های پایگاه دانش باشید که نمی‌توانید منبع معتبری برای آنها پیدا کنید، پاسخ‌هایی که فقط با مطرح شدن یک موضوع خاص تغییر می‌کنند، و فراخوانی‌های ابزار یا درخواست‌های خروجی غیرمنتظره. برچسب‌های منشأ و عکس‌های فوری از حافظه، یافتن رکورد مسموم و بازگرداندن آن به حالت اولیه را ممکن می‌سازند.

آیا مسمومیت حافظه جزو ده مورد برتر OWASP است؟

بله. این ASI06 Memory and Context Poisoning است که در بین 10 مورد برتر OWASP برای برنامه‌های کاربردی عامل‌دار در سال 2026 قرار دارد. همچنین به LLM01 Prompt Injection، LLM04 Data and Model Poisoning و LLM08 Vector and Embedding Weaknesses در بین 10 مورد برتر OWASP برای برنامه‌های کاربردی LLM مربوط می‌شود.

رایگان شروع کنید

به صورت رایگان شروع کنید.
بدون کارت اعتباری مورد نیاز است.

با یک کلیک شروع کنید:

این اطلاعات طبق دستورالعمل به طور ایمن ذخیره خواهد شد. شرایط استفاده از خدمات و سیاست حفظ حریم خصوصی

اسکرین شات برنامه