Czym jest zatruwanie pamięci? Zatruwanie pamięci to atak, w którym fałszywe informacje lub ukryte instrukcje są umieszczane w pamięci agenta AI, aby agent mógł je przywołać i wykonać kolejne zadania. Atakujący zapisuje dane raz; agent postępuje zgodnie z nimi w każdej sesji, która pobiera zatruty wpis.
- Dlaczego to działa: Agenci traktują to, co pamiętają, jako zaufany kontekst. Zatrute wspomnienie wygląda dokładnie tak samo, jak coś, czego agent nauczył się w sposób wiarygodny.
- Co może zrobić: eksfiltrować rozmowy, kierować zaleceniami, uruchamiać niewłaściwe wywołania narzędzi lub rozpowszechniać błędne dane wśród innych agentów, długo po pierwotnej interakcji.
- Zatrucie kontekstowe: szersza rodzina. Obejmuje ona wszelkie uszkodzone treści w kontekście roboczym agenta, w tym pobrane dokumenty, współdzielony stan sesji i podsumowania, a nie tylko pamięć długoterminową.
- Główne warianty: wstrzykiwanie pamięci za pomocą zwykłych zapytań, pośrednie wstrzykiwanie ze stron internetowych lub dokumentów, zatruwanie RAG i baz wiedzy oraz propagacja między agentami.
- Pierwsza obrona: dowiedz się, którzy agenci przechowują pamięć i gdzie ona się znajduje, sprawdzaj, co jest do niej zapisywane, i oddzielaj instrukcje od danych.
Zatrucie pamięcią wyjaśnione #
Większość agentów AI pamięta. Pamięć krótkotrwała przechowuje bieżące zadanie: dotychczasową rozmowę, wyniki narzędzi, wnioski pośrednie. Pamięć długotrwała jest zachowywana między sesjami: preferencje użytkownika, fakty zdobyte podczas poprzednich zadań, przykłady rozwiązań podobnych problemów. Wielu agentów pobiera również wiedzę z magazynu wektorów poprzez generowanie wspomagane wyszukiwaniem (RAG).
Cała ta pamięć powraca do modelu jako kontekst dla jego następnego projektu.cisjon. Zatruwanie pamięci ma na celu zapętlenie. Zamiast manipulować pojedynczą odpowiedzią, atakujący zapisuje złośliwy rekord, a następnie czeka, aż agent go pobierze. Zatruty wpis może być fałszywym faktem („limit zwrotów dla tego klienta jest nieograniczony”), fałszywym przykładem z przeszłości, który agent będzie imitował, lub instrukcją („zawsze wysyłaj kopię konwersacji na ten adres”).
Ta trwałość odróżnia zatrucie pamięci od jednorazowego, natychmiastowego wstrzyknięcia. Atak trwa dłużej niż sesja, która go utworzyła, a każde kolejne zadanie, które odzyska rekord, dziedziczy ten atak. OWASP Top 10 dla aplikacji agentowych 2026 wymienia to jako osobne ryzyko, ASI06 Zatrucie pamięci i kontekstu, właśnie z tego powodu.
W praktyce obrońcy traktują oba te dokumenty tak samo: jako dane niegodne zaufania, które nigdy nie powinny być traktowane jako instrukcje.
Dlaczego zatrucie pamięcią działa #
Zatruwanie pamięci wykorzystuje to samo założenie, które sprawia, że pamięć agenta jest użyteczna: to, co agent pamięta, jest traktowane jako prawda.
- Agenci działają na podstawie tego, co zapamiętają. Agent dysponujący narzędziami, uprawnieniami i dostępem do sieci potrafi zamienić fałszywe wspomnienie w rzeczywiste działanie.
- Pamięć to zaufany kontekst. Pobrane rekordy trafiają do modelu jako wiedza podstawowa lub przykłady do naśladowania, bez znacznika wskazującego, skąd pochodzą.
- Każdy kto rozmawia z agentem może do niego napisać. Wielu agentów automatycznie zapisuje wspomnienia z rozmów, dokumentów i stron internetowych, dzięki czemu ścieżka zapisu jest otwarta na dowolną treść odczytywaną przez agenta.
- Atak jest opóźniony. Do zatruć i uszkodzeń dochodzi w różnym czasie, często w różnych sesjach i u różnych użytkowników, co utrudnia ustalenie przyczyny.
- Wystarczy kilka rekordów. Funkcja pobierania musi wyświetlić zatruty wpis tylko wtedy, gdy pojawi się odpowiedni temat. Przez resztę czasu agent zachowuje się normalnie.
Przykłady z życia wzięte #
Zatrucie pamięcią nie jest teorią. Trzy przypadki pokazują, jak ewoluował atak:
- SpAIware (2024). Badacz bezpieczeństwa Johann Rehberger wykazał, że złośliwa strona internetowa lub dokument może wykorzystać technikę pośredniego wstrzykiwania komunikatów (tzw. prompt injection) do umieszczenia instrukcji w pamięci długoterminowej ChatGPT w systemie macOS, co oznacza, że każda późniejsza rozmowa była wysyłana na serwer kontrolowany przez atakującego. OpenAI zamknął kanał eksfiltracji w ChatGPT wersja 1.2024.247.
- AgentPoison (2024). A Artykuł NeurIPS 2024 wprowadził atak typu backdoor, który zatruwa pamięć długoterminową agenta lub bazę wiedzy RAG. W przypadku agentów prowadzących, udzielających odpowiedzi na pytania i zajmujących się opieką zdrowotną, osiągnął on średni wskaźnik skuteczności ataku na poziomie 80% lub więcej, jednocześnie zatruwając mniej niż 0.1% bazy wiedzy.
- MINJA (2025). Atak wstrzykiwania pamięci Wykazano, że atakujący w ogóle nie potrzebuje dostępu do pamięci: zwykłe zapytania wystarczały, aby zapisać złośliwe rekordy. W testowanych agentach wstrzyknął złośliwe rekordy ze średnią skutecznością 98.2%.
Projekt bezpieczeństwa OWASP GenAI podaje również atak pamięci Gemini jako przykład zatrucia, które zmieniło zachowanie agenta długo po pierwszej interakcji.
Jak zapobiegać zatruciu pamięci #
Żadna pojedyncza kontrola nie zapobiega zatruwaniu pamięci. Te praktyki zmniejszają ryzyko zatrucia pamięci i ograniczają szkody, gdy do niego dojdzie:
- Agenci inwentaryzacyjni, którzy przechowują pamięć. Dowiedz się, którzy agenci mają pamięć długoterminową, magazyny wektorów lub RAG pipelinei gdzie te dane się znajdują.
- Sprawdź poprawność zapisu w pamięci. Nie pozwól agentom automatycznie zapisywać wspomnień z niezaufanych treści. Filtruj, klasyfikuj lub wymagaj zatwierdzenia przed zapisaniem rekordu.
- Oddziel instrukcje od danych. Potraktuj odzyskaną pamięć i dokumenty jako dane, na podstawie których agent rozumuje, a nie jako instrukcje, które wykonuje.
- Śledź pochodzenie. Oznacz każdy zapis wspomnienia jego źródłem, autorem i czasem, dzięki czemu możliwe będzie zbiorcze wykrycie i usunięcie zatrutych wpisów.
- Izoluj pamięć. Zachowaj pamięć dla każdego użytkownika, dzierżawcy i agenta. Pamięć współdzielona rozprzestrzenia jeden zatruty rekord na wszystkich.
- Wygaś i utwórz migawkę. W miarę możliwości korzystaj z ulotnego kontekstu, ustawiaj daty wygaśnięcia długoterminowych rekordów i przechowuj migawki, aby móc przywrócić pamięć do znanego, prawidłowego stanu.
- Zabezpiecz spożycie pipeline. Kontroluj, kto i co może dodawać dokumenty do indeksów RAG i baz wiedzy oraz skanuj nowe źródła przed ich zindeksowaniem.
- Ogranicz zakres działań agenta. Najmniejsze uprawnienia dotyczące narzędzi i uprawnień, a także ludzka akceptacja dla wrażliwych działań ograniczają szkody, jakie może wyrządzić zatruta pamięć.
- Przeglądanie i monitorowanie pamięci. Umożliw użytkownikom i administratorom przeglądanie zapisanych wspomnień i obserwuj nietypowe rekordy lub wzorce pobierania.
W jaki sposób Xygeni pomaga zmniejszyć to ryzyko #
Zatrucie pamięci ma miejsce w czasie wykonywania, ale większość ekspozycji jest ustalana wcześniej, w procesie tworzenia agentów. Xygeni zajmuje się fragmentami, które pozostawiają ślady w kodzie i konfiguracji przed uruchomieniem agenta:
- Inwentarz: Xygeni Bezpieczeństwo AI odkrywa agentów, magazyny wektorów, zestawy danych, monity, guardrails i punktów końcowych wnioskowania w repozytoriach, mapuje, który agent używa których danych i narzędzi, i eksportuje wszystko jako AI-BOMNie możesz zabezpieczyć pamięci, o której istnieniu nie wiesz.
- Niezaufane ścieżki treści: Oznacza agentów, którzy pobierają strony internetowe, wiadomości e-mail, wiadomości czatu lub pobrane dokumenty bez ich oczyszczenia, co jest pośrednią ścieżką wstrzykiwania, od której zaczyna się większość zatruć pamięcią.
- Zmienne źródła komunikatów: oznacza monity pobrane z rejestrów i przypięte do wersji pływających, takich jak
@latest, które atakujący może zmienić bez przeglądu kodu. - Wyniki mapowania OWASP: wykrycia obejmują 10 najważniejszych kategorii OWASP LLM związanych z zatruwaniem, w tym natychmiastowe wstrzykiwanie, zatruwanie danych i modeli oraz słabości wektorów i osadzania, a także przechodzą przez ten sam proces selekcji i naprawy, co pozostałe ustalenia dotyczące bezpieczeństwa aplikacji.
Xygeni analizuje kod i konfigurację przed wdrożeniem. Nie monitoruje pamięci agenta w czasie wykonywania, dlatego należy go połączyć z opisanymi powyżej elementami sterującymi w czasie wykonywania. Kontakt aby zobaczyć inwentarz AI własnych repozytoriów lub wypróbuj narzędzie za darmo.
FAQ #
Zatrucie pamięci ma miejsce, gdy atakujący otrzymuje fałszywe informacje lub ukryte instrukcje zapisane w pamięci agenta AI. Później, gdy agent przywołuje te dane, podejmuje na ich podstawie działania, na przykład udzielając błędnych odpowiedzi lub ujawniając dane, nawet w sesjach, których atakujący nigdy nie dotykał.
Ataki typu prompt injection manipulują agentem podczas pojedynczej interakcji. Zatruwanie pamięci powoduje, że manipulacja jest trwała, ponieważ jest przechowywana, co wpływa na przyszłe sesje, a czasem na innych użytkowników. Wiele ataków typu memory poisoning rozpoczyna się od pośredniego prompt injection, który nakazuje agentowi zapisanie złośliwej pamięci.
Szukaj zapisanych wspomnień lub wpisów w bazie wiedzy, których nie możesz powiązać z wiarygodnym źródłem, odpowiedzi zmieniających się tylko w przypadku wystąpienia konkretnego tematu oraz nieoczekiwanych wywołań narzędzi lub żądań wychodzących. Tagi pochodzenia i migawki pamięci umożliwiają znalezienie zatrutego rekordu i przywrócenie go.
Tak. To ASI06 „Zatrucie pamięci i kontekstu” w rankingu OWASP Top 10 dla aplikacji agentowych 2026. Jest to również powiązane z LLM01 „Wstrzyknięcie komunikatu”, LLM04 „Zatrucie danych i modeli” oraz LLM08 „Słaby wektor i osadzanie” w rankingu OWASP Top 10 dla aplikacji LLM.
