Глоссарий по безопасности Xygeni
Глоссарий по безопасности разработки и доставки программного обеспечения

Что такое отравление памяти?

Что такое отравление памяти? Отравление памяти — это атака, при которой в память ИИ-агента внедряется ложная информация или скрытые инструкции, чтобы агент мог вспомнить их и действовать в соответствии с ними в последующих задачах. Злоумышленник записывает данные один раз; агент продолжает подчиняться им в каждой сессии, когда извлекает отравленную запись.

  • Почему это работает: Агенты воспринимают свои воспоминания как достоверный контекст. Искаженное воспоминание выглядит в точности так, как будто агент усвоил его законным путем.
  • Что он может сделать: Несанкционированная передача информации из разговоров, некорректные рекомендации, неверные вызовы инструментов или распространение некорректных данных другим агентам спустя долгое время после первоначального взаимодействия.
  • Отравление контекста: Более широкое семейство. Оно охватывает любое поврежденное содержимое в рабочем контексте агента, включая извлеченные документы, состояние общей сессии и сводки, а не только долговременную память.
  • Основные варианты: Внедрение вредоносного ПО в память посредством обычных запросов, косвенное внедрение из веб-страниц или документов, отравление RAG и баз знаний, а также распространение вредоносного ПО между агентами.
  • Первая линия обороны: Необходимо знать, какие агенты хранят память и где она находится, проверять правильность записи в неё и отделять инструкции от данных.

Объяснение отравления памяти #

Большинство агентов ИИ помнят. Кратковременная память хранит информацию о текущей задаче: ход разговора, результаты работы инструмента, промежуточные рассуждения. Долговременная память сохраняется между сессиями: предпочтения пользователя, факты, полученные в ходе решения прошлых задач, примеры решения аналогичных проблем. Многие агенты также извлекают знания из векторного хранилища с помощью генерации, дополненной извлечением (RAG).

Вся эта память возвращается в модель в качестве контекста для ее следующего декодирования.cisИон. Отравление памяти нацелено на этот цикл. Вместо манипулирования одним ответом, злоумышленник сохраняет вредоносную запись, а затем ждет, пока агент ее извлечет. Отравленная запись может представлять собой ложный факт («лимит возврата средств для этого клиента неограничен»), поддельный пример из прошлого, который будет имитировать агент, или инструкцию («всегда отправляйте копию разговора на этот адрес»).

Именно эта устойчивость отличает отравление памяти от однократного внедрения подсказки. Атака переживает сессию, в которой она была создана, и каждая последующая задача, которая получает запись, наследует результат компрометации. OWASP Top 10 для агентных приложений 2026 года Именно по этой причине он указан как отдельный риск, ASI06 Отравление памяти и контекста.

Отравление памяти против отравления контекста #

Эти два термина часто используются как синонимы, и OWASP объединяет их под одной общей категорией. ASI06 Отравление памяти и контекстаРазница заключается в масштабе: отравление памяти — это одна из форм отравления контекста.

РазмерыОтравление памятиОтравление контекста
Что подвергается порчеПамять агента: долговременные записи, усвоенные факты, примеры из прошлого.Все, что попадает в рабочий контекст агента: память, полученные документы, выходные данные инструмента, состояние общей сессии, сводки.
НастойчивостьСохраняется между сессиями до тех пор, пока запись не будет удалена.Может быть разовым или постоянным, в зависимости от источника.
Типичная точка входаРазговоры, документы или страницы, которые агенту предлагается запомнить или из которых он должен извлечь информацию.Любой ненадежный контент, который агент читает во время работы.
ПримерЗаложенная в память функция, которая отправляет все будущие сообщения злоумышленнику.Заражённый документ в индексе RAG, который перезаписывает ответ агента при каждом его извлечении.

На практике защитники относятся к обоим типам данных одинаково: как к ненадежным данным, которые ни в коем случае нельзя использовать в качестве инструкций.

Почему работает отравление памяти #

Отравление памяти использует то же предположение, которое делает память агента полезной: то, что агент помнит, воспринимается как истина.

  • Агенты действуют, опираясь на то, что помнят. Агент, обладающий инструментами, учетными данными и доступом к сети, превращает ложное воспоминание в реальное действие.
  • Память – это доверенный контекст. Полученные записи поступают в модель в виде фоновых знаний или примеров для подражания, без указания источника.
  • Любой, кто поговорит с агентом, может написать ему письмо. Многие агенты автоматически сохраняют воспоминания из разговоров, документов и веб-страниц, поэтому путь записи открыт для любого контента, который читает агент.
  • Атака отложена. Отравление и причинение вреда происходят в разное время, часто в разных сеансах и у разных пользователей, что затрудняет установление причины.
  • Нескольких записей достаточно. Для извлечения информации необходимо обнаружить зараженную запись только тогда, когда всплывает нужная тема. В остальное время агент ведет себя как обычно.

Виды отравления памяти и контекста #

Все варианты основаны на одном и том же предположении: то, что агент запоминает или извлекает, рассматривается как доверенный контекст.

ВариантКак заказать?К чему это может привести
Внедрение данных в память посредством запросовнапример, MINJAЗлоумышленник взаимодействует с агентом обычным образом, формируя запросы таким образом, чтобы агент сохранил вредоносную запись в своей памяти.Запросы других пользователей запускают этапы логического мышления злоумышленника.
Непрямая инъекция в памятьнапример, SpAIwareСкрытые инструкции на веб-странице, в электронном письме или документе указывают агенту сохранить данные в памяти во время обработки содержимого.Постоянное извлечение информации или манипуляции в последующих сессиях.
RAG и отравление базы знанийнапример, AgentPoisonВредоносные или запрограммированные записи попадают в хранилище векторов или базу знаний через ненадежный источник данных. pipelineНеправильные ответы или действия при извлечении отравленной записи.
Сводная информация о загрязненииВнедренный контент сжимается в сводку, которую агент хранит в памяти.Инъекция сохраняется даже после того, как исходное содержимое исчезает.
Отравление общими и перекрестными агентамиОбщий контекст сессии или память используются повторно между пользователями, арендаторами или взаимодействующими агентами.Одна зараженная запись распространяется на каждого агента или пользователя, который ее читает.
Дрейф долговременной памятиПовторяющиеся небольшие, правдоподобные изменения со временем меняют убеждения субъекта.Постепенные, труднообнаружимые изменения в поведении.

Реальные примеры #

Отравление памяти — это не теория. Три случая показывают, как развивалась эта атака:

  • SpAIware (2024). Исследователь в области безопасности Йоханн Ребергер показал, что вредоносный веб-сайт или документ может использовать непрямую инъекцию подсказок для внедрения инструкций в долговременную память ChatGPT на macOS, так что все последующие разговоры отправлялись на сервер, контролируемый злоумышленником. Компания OpenAI закрыла канал утечки данных. ЧатGPT версии 1.2024.247.
  • AgentPoison (2024). A Статья с конференции NeurIPS 2024 Была внедрена атака с использованием бэкдора, которая отравляет долговременную память агента или базу знаний RAG. Против агентов, управляющих транспортными средствами, отвечающих на вопросы и работающих в сфере здравоохранения, она достигла средней успешности атаки в 80% и более, при этом отравляя менее 0.1% базы знаний.
  • МИНДЖА (2025). Атака путем внедрения в память Было показано, что злоумышленнику вообще не нужен доступ к хранилищу памяти: обычных запросов было достаточно для получения вредоносных записей. В ходе тестирования агентов вредоносные записи внедрялись со средней вероятностью успеха 98.2%.

Проект безопасности OWASP GenAI Также приводится пример атаки на память, вызванной воздействием «Близнецов», как пример отравления, изменившего поведение агента спустя долгое время после первого взаимодействия.

Как предотвратить отравление памяти #

Ни один отдельный механизм не предотвращает отравление памяти. Следующие методы снижают вероятность отравленной записи и ограничивают ущерб в случае её успешного выполнения:

  • Агенты инвентаризации, обладающие памятью. Знайте, какие агенты обладают долговременной памятью, векторными хранилищами или RAG. pipelineа также где хранятся эти данные.
  • Проверьте правильность записи в память. Не позволяйте агентам автоматически сохранять воспоминания из ненадежного контента. Фильтруйте, классифицируйте или требуйте подтверждения перед сохранением записи.
  • Отделяйте инструкции от данных. Воспринимайте извлеченные данные из памяти и документы как информацию, над которой работает агент, а не как инструкции, которым он следует.
  • Отслеживание происхождения. Каждую запись в памяти следует помечать указателями источника, автора и времени, чтобы можно было отслеживать и удалять зараженные записи сразу.
  • Изолируйте память. Необходимо хранить память для каждого пользователя, каждого арендатора и каждого агента. При использовании общей памяти одна зараженная запись распространяется на всех.
  • Срок действия и моментальный снимок. По возможности используйте временный контекст, устанавливайте срок действия для долговременных записей и создавайте снимки состояния, чтобы можно было восстановить память до заведомо исправного состояния.
  • Обеспечьте безопасное употребление pipeline. Контролируйте, кто и что может добавлять документы в индексы и базы знаний RAG, а также сканируйте новые источники до их индексации.
  • Ограничьте возможности агента. Принцип наименьших привилегий в отношении инструментов и учетных данных, а также одобрение человеком конфиденциальных действий, ограничивают ущерб, который может нанести отравленная память.
  • Проверяйте и отслеживайте состояние памяти. Предоставьте пользователям и администраторам возможность просматривать сохраненные воспоминания и отслеживать необычные записи или закономерности извлечения данных.

Как препарат Xygeni помогает снизить этот риск #

Отравление памяти происходит во время выполнения, но большая часть уязвимости определяется на более ранних этапах, на этапе создания агентов. Xygeni устраняет следы в коде и конфигурации до запуска агента:

  • Инвентарь: Ксигени AI Безопасность обнаруживает агентов, хранилища векторов, наборы данных, подсказки, guardrails и конечные точки вывода в ваших репозиториях, сопоставляет, какой агент использует какие данные и инструменты, и экспортирует все в виде файла. AI-BOMНевозможно защитить память, о существовании которой вы не знаете.
  • Ненадежные пути к контенту: Она выявляет агенты, которые обрабатывают веб-страницы, электронные письма, сообщения чата или полученные документы без предварительной очистки, что является косвенным путем внедрения, с которого начинается большинство случаев отравления памяти.
  • Изменяемые источники подсказок: Она помечает подсказки, извлеченные из реестра и закрепленные на плавающих версиях, таких как @latest, который злоумышленник может изменить без проверки кода.
  • Результаты, полученные с помощью OWASP-картирования: Обнаруженные уязвимости охватывают 10 основных категорий OWASP LLM, связанных с отравлением данных, включая быстрое внедрение вредоносного кода, отравление данных и моделей, а также уязвимости векторов и встраивания, и проходят тот же процесс сортировки и устранения, что и остальные обнаруженные уязвимости в области безопасности приложений.

Xygeni анализирует код и конфигурацию перед развертыванием; он не отслеживает память агента во время выполнения, поэтому используйте его в паре с указанными выше элементами управления во время выполнения. Забукировать демо чтобы просмотреть инвентаризацию ваших собственных репозиториев, созданную с помощью ИИ, или попробуйте инструмент бесплатно.

FAQ #

Что такое «отравление памяти» простыми словами?

Отравление памяти — это когда злоумышленник получает ложную информацию или скрытые инструкции, сохраненные в памяти агента искусственного интеллекта. Позже, когда агент вспоминает эти данные, он действует на их основе, например, давая неверные ответы или допуская утечку данных, даже в тех сессиях, к которым злоумышленник никогда не прикасался.

В чём разница между отравлением с помощью служебной записки и инъекцией в скорую руку?

Внедрение подсказки позволяет манипулировать агентом в течение одного взаимодействия. Отравление памяти делает манипуляцию устойчивой, сохраняя её, поэтому она влияет на будущие сессии, а иногда и на других пользователей. Многие атаки с отравлением памяти начинаются с косвенного внедрения подсказки, которая указывает агенту сохранить вредоносную память.

Как мне узнать, не искажена ли память моего агента?

Ищите сохраненные воспоминания или записи в базе знаний, которые невозможно отследить до достоверного источника, ответы, которые меняются только при появлении конкретной темы, а также неожиданные вызовы инструментов или исходящие запросы. Теги происхождения и снимки памяти позволяют найти искаженную запись и отменить ее.

Входит ли «отравление памяти» в десятку самых распространенных ошибок по версии OWASP?

Да. Это ошибка ASI06 «Отравление памяти и контекста», входящая в список 10 самых распространенных ошибок OWASP для агентных приложений 2026 года. Она также связана с ошибками LLM01 «Внедрение подсказок», LLM04 «Отравление данных и моделей» и LLM08 «Уязвимости векторов и встраивания», входящими в список 10 самых распространенных ошибок OWASP для приложений LLM.

Начать бесплатно

Начни бесплатно.
Нет необходимости кредитную карту.

Начните работу одним щелчком мыши:

Эта информация будет надежно сохранена в соответствии с Условия Предоставления Услуг и Персональные данные

Скриншот приложения