TL, д-р
Пентест доказывает, на что способен злоумышленник. Благодаря ИИ система, которую вы тестировали в прошлом квартале, перестаёт существовать. Модели получают новые версии, подсказки редактируются, инструменты подключаются, и ничто из этого не затрагивает ни строчки вашего кода. Тестирование на проникновение в ИИ нацелено на поведение, а не на пути выполнения кода: что можно заставить модель сделать, что можно заставить агента вызвать и что в результате покидает здание. Теперь область применения соответствует OWASP Top 10 для приложений LLM и OWASP Top 10 для агентных приложений 2026 года.
В запросе содержится одно предложение, и в нем нет никаких некорректных данных. Когда атака проникает в заявку в службу поддержки, комментарий к коду или полученный документ, нет параметров для фаззинга, поэтому метод косвенного внедрения подсказок является масштабируемым: никому не нужно трогать ваш фронтенд. Как только модель получает доступ к инструментам, ущерб наносится через те инструменты, которые ей разрешено использовать. Злоупотребление инструментами, чрезмерная свобода действий и утечка данных через собственные интеграции агента — вот что имеет значение, а не то, насколько хорошо читаются ответы.
Одна неудачная попытка ничего не доказывает. Системы искусственного интеллекта работают по вероятностному принципу, поэтому полезным результатом является частота, а не событие: эта атака увенчалась успехом в 12 из 100 попыток. И цель шире, чем сама модель. Документированные атаки уже затронули окружающие ресурсы: скрытый Юникод в файлах правил, заставляющий помощника выдавать бэкдорированный вывод, отравление инструментов на серверах MCP и полное удаленное выполнение кода через мост MCP, запрошенный более 437 000 раз. Повторное тестирование каждой модели, запроса, инструмента и изменения сервера — единственный ритм, отражающий реальность.
Проверка отходит на второй план. На первом месте – визуальное восприятие. ИИ-СПМ Создает инвентарный список и спецификацию материалов на основе ИИ, чтобы вы знали, какие агенты держат какие инструменты и какие серверы MCP никому не были одобрены; AI Безопасность Система оценивает эти ресурсы по списку OWASP Top 10 для приложений LLM и указывает на конкретный файл и строку, а воронка приоритезации сужает круг из тысяч обнаруженных проблем до тех, которые используются, доступны, могут быть использованы злоумышленниками, являются привилегированными и критически важными для бизнеса; xy-dast продолжает тестировать веб-интерфейс и API, на которых по-прежнему работает приложение ИИ. Аналогичные принципы работы применяются и к данным, полученным с помощью сканеров, которые у вас уже есть.Таким образом, это расширяет ваш стек, а не заменяет его.
Что такое пентестинг с использованием искусственного интеллекта?
Тестирование на проникновение в ИИ — это состязательное тестирование систем искусственного интеллекта: отправка специально сформированных входных данных модели, агенту или серверу MCP, чтобы доказать, что злоумышленник действительно может заставить их делать. В то время как классическое тестирование на проникновение нацелено на пути выполнения кода и конфигурации, тестирование на проникновение в ИИ нацелено на поведение: перехваченные инструкции, злоупотребляемые инструменты, утечка контекста и действия, которые система никогда не должна была выполнять. Это краткое описание того, что такое тестирование на проникновение в ИИ. Оно существует как отдельная дисциплина по неудобной, но простой причине. В вашем ежегодном отчете о тестировании на проникновение описывается приложение, которое больше не существует, потому что модель, лежащая в его основе, менялась три раза с момента начала работы, а ни одна строка вашего кода не изменилась.
Почему классический пентест не охватывает искусственный интеллект?
Любой, кто впервые спрашивает, что такое пентестинг с использованием ИИ, обычно начинает с этого, с пробела. Традиционный тест предполагает детерминированное поведение. Отправьте один и тот же запрос, получите один и тот же ответ, и результат либо воспроизводится, либо нет. ИИ нарушает это предположение в трех местах.
- Система носит вероятностный характер. Одна и та же подсказка может сработать с четвертой попытки и провалиться с первых трех. Один отрицательный тест ничего не доказывает, поэтому тестирование систем искусственного интеллекта на проникновение — это вопрос охвата и повторения, а не одноразовой эксплуатации уязвимости.
- Поверхность атаки — это язык программирования, а не только интерфейсы. Если полезная нагрузка представляет собой предложение в заявке в службу поддержки, комментарий к коду или полученный документ, параметр для фаззинга отсутствует. В запросе нет ничего, что выглядело бы некорректно сформированным.
- Радиус взрыва — это площадь поверхности инструмента. Агент, обладающий необходимыми инструментами, может отправлять электронные письма, запрашивать базы данных, вызывать внутренние API и записывать файлы. Тестирование на проникновение агентов ИИ означает проверку того, на что модель можно научить с помощью этих инструментов, а не того, насколько вежливы ее ответы.
Что именно проверяет пентестинг с использованием ИИ
Сфера деятельности определена в рамках четко обозначенного набора целей, соответствующих... OWASP Top 10 для поступления на магистерскую программу. и OWASP Top 10 для агентных приложений 2026 года.
- Немедленная инъекция. Может ли пользователь игнорировать системное уведомление и взять под контроль поведение модели?
- Непрямая быстрая инъекция. Может ли злоумышленник внедрить инструкции в контент, получаемый системой, таким образом, чтобы никому не приходилось с ним взаимодействовать?
- Системное предложение извлечения. Раскрывает ли модель свои собственные инструкции, свои guardrails или бизнес-логика, заложенная в них?
- Обход ограждений и побег из тюрьмы. Сколько попыток и какие именно кодировки позволяют обойти уровень безопасности и политику безопасности?
- Злоупотребление инструментом. Можно ли заставить модель вызвать инструмент с аргументами, выбранными злоумышленником, например, отправить данные произвольному получателю через собственный почтовый сервис?
- Чрезмерная самостоятельность. Каковы максимальные возможности агента в плане действий, и требуется ли участие человека для выполнения каких-либо действий?
- Пути утечки данных. Может ли контекстная информация, секреты или персональные данные попасть в выходной канал, журнал или сторонний инструмент?
- Отравление при извлечении. Изменяет ли отравленное содержимое в векторном хранилище последующее поведение, и сохраняется ли это изменение?
- Раскрытие информации о сервере MCP. Что предоставляет каждый подключенный сервер, проверяет ли он аргументы и кто еще может получить к нему доступ?
- Небезопасная обработка выходных данных. Передаётся ли результат работы модели без проверки в командную оболочку, браузер, запрос или шаблон?
Именно поэтому тестирование на проникновение с помощью ИИ выдает отчеты другого типа. Ценный результат — это не просто... CVEПрактический ответ на вопрос о том, что такое тестирование на проникновение с использованием ИИ, заключается в воспроизводимой последовательности: эти входные данные, прошедшие по этому пути, привели к этому несанкционированному действию, о чем свидетельствуют эти доказательства.
Сравнение методов пентестинга с использованием ИИ с тем, что вы уже применяете.
| Классический пентест / DAST | тестирование на проникновение с использованием ИИ | |
|---|---|---|
| цель | Конечные точки, параметры, конфигурация | Модель поведения, агент деcisионы, вызовы инструментов |
| полезная нагрузка | Некорректные или вредоносные запросы | Естественный язык и контент, извлекаемый системой. |
| Результат | Детерминированный и воспроизводимый | Вероятностный метод, для установления скорости требуется повторение. |
| Доказательства | Запрос, ответ, CWE | Оперативное отслеживание, отслеживание действий, предпринятых системой. |
| Каденция | За каждый релиз или за год | Для каждой модели, подсказки, инструмента или изменения конфигурации. |
Тестирование на проникновение с использованием ИИ и классическое тестирование во время выполнения дополняют друг друга, а не конкурируют. Приложение с ИИ по-прежнему работает на веб-стеке с аутентификацией, API и инфраструктурой, и эта поверхность требует тестирования во время выполнения точно так же, как и раньше. Xygeni DAST это охватывает: xy-dast Имитирует реальные методы атак на работающие веб-приложения и API, тестирует их. login с аутентификацией на основе формы, токена, заголовка или скрипта, запускается из одной команды CLI в любом месте. pipelineGates обрабатывает данные на основе порогового значения и возвращает полезную нагрузку атаки, а также полный запрос и ответ в качестве доказательства по каждому обнаруженному факту. Затем обнаруженные факты проходят через воронку приоритезации, которая фильтрует данные, находящиеся в открытом доступе в интернете, которые могут быть использованы без учетных данных и связаны с чем-то важным для бизнеса.
DAST не вступает в спор с языковой моделью. Именно этот пробел заполняет тестирование на проникновение с использованием ИИ.
Перед первой полезной нагрузкой
Две вещи делают тестирование на проникновение с использованием ИИ полезным, а не театральным, и обе они предшествуют первой полезной нагрузке.
- Целевой список. Вы не можете протестировать ИИ, который не обнаружили. Xygeni AI Security обнаруживает каждый ресурс ИИ в сети. SDLCвключая модели, агентов, серверы агентов, наборы данных, серверы MCP, файлы навыков, подсказки и guardrails Никто не указывал, что, читая код приложения, были указаны зависимости и конфигурационные файлы, которые оставляют после себя инструменты ИИ. Он отображает взаимосвязи между ними, что и превращает список ресурсов в путь атаки, который стоит проверить.
- Краткий список. Xygeni обнаруживает уязвимости, повышающие вероятность эксплуатации уязвимости, еще до того, как кто-либо попытается ее использовать: внедрение подсказок и утечка системных подсказок, вредоносные инструкции и внедрение инструментов в файлы правил и навыков, небезопасная конфигурация MCP, избыточная активность и отсутствие guardrailsРассматриваются секреты в файлах ИИ, а также уязвимые или небрежно используемые зависимости ИИ. Результаты сопоставляются с OWASP Top 10 для приложений LLM и указывают на конкретный файл и строку, а алгоритм приоритизации сужает круг из тысяч обнаруженных уязвимостей до нескольких, которые используются, доступны, могут быть использованы злоумышленниками, являются привилегированными и критически важными для бизнеса.
Если выполнять действия в таком порядке, пентест перестанет быть попыткой выудить нужную информацию. Вы будете знать, какой агент использует какие инструменты, какой сервер не был одобрен и какая командная строка принимает ненадежные данные.
Как провести пентест с использованием ИИ, который выдаст полезный результат.
Семь правил отличают полезное тестирование на проникновение с использованием ИИ от демонстрации, и команды, только начинающие заниматься тестированием приложений ИИ на проникновение, как правило, пропускают первые два.
- Сначала проведите инвентаризацию. Модели, агенты, серверы MCP, наборы данных, подсказки. Тестирование неизвестной поверхности приводит к неизвестному результату.
- Дайте определение тому, что означает «несанкционированный доступ». Запишите действия, которые система ни в коем случае не должна совершать. Без этого списка каждое заключение будет лишь субъективным мнением.
- Проверяйте путь получения данных, а не только окно чата. Непрямое внедрение — это масштабируемый метод, который никогда не затрагивает интерфейс пользователя.
- Измеряйте показатели, а не события. Сообщите, что атака оказалась успешной в 12 из 100 попыток, поскольку это число, на основании которого инженер может принять меры, а совет директоров — понять ситуацию.
- Проверьте также уровень конфигурации. Тестирование ИИ на проникновение без изучения его конфигурации — это лишь половина теста и срочная мера по повышению уровня защиты.cisЗначение e будет потрачено впустую, если файл правил незаметно его переопределит.
- Повторная проверка изменений Новая версия модели, новый инструмент, новый сервер MCP или отредактированная подсказка — все это аннулирует последний результат.
- Результаты влияют на вашу осанку. Результат, зафиксированный в PDF-файле, ничего не меняет. Результат, соотнесенный с источником, из которого он был получен, меняет приоритеты.
FAQ
- Что такое тестирование на проникновение с использованием ИИ, если говорить одним предложением? Тестирование с использованием уязвимостей, позволяющее доказать, что именно злоумышленник может заставить делать ваши модели, агенты и серверы MCP.
- Можно ли считать пентестинг тем же самым, что и тестирование на проникновение с использованием ИИ, или же это же тестирование на проникновение с помощью Они во многом пересекаются. Тестирование на проникновение (red teaming) — более широкое направление, часто включающее сценарии, связанные с безопасностью, предвзятостью и злоупотреблениями; тестирование на проникновение с использованием ИИ, как правило, фокусируется на результатах в области безопасности, таких как внедрение кода, утечка данных и несанкционированные действия.
- Чем отличается тестирование на проникновение с использованием ИИ от тестирования веб-приложений? Полезная нагрузка представляет собой язык программирования, результат — вероятностный, а ущерб наносится с помощью инструментов, которые модель имеет право использовать, а не через уязвимый участок кода.
- Как часто следует проводить тестирование на проникновение с использованием ИИ? При каждом изменении, влияющем на поведение: версия модели, подсказка, поверхность инструмента, подключенный сервер MCP или корпус поиска. Годовой цикл описывает систему, которая больше не существует.
- Нужен ли нам DAST, если мы проводим тестирование на проникновение с использованием ИИ? Да. Приложение, его API и инфраструктура остаются целью для взлома. Тестирование на проникновение с использованием ИИ добавляет дополнительный уровень защиты, но не заменяет базовый.
- Что следует проверить в первую очередь? Агент с самой широкой областью инструментов, а также любой путь, по которому контент извне организации достигает запроса.
Начните с того, что вы видите.
Ответ на вопрос о том, что такое пентестинг с использованием ИИ, сводится к одному: можно ли это использовать в своих целях и кем? Получение полезного ответа зависит от того, что уже существует, поскольку моделирование атаки на неполный набор объектов измеряет вашу видимость, а не вашу уязвимость.
Xygeni обнаруживает искусственный интеллект в вашем организме. SDLCОценивает, что действительно можно использовать в своих целях, и обеспечивает соблюдение политики на стороне разработчика, где фактически выполняется большая часть кода. Узнайте, к чему подключены ваши агенты, по адресу Ксигени.
