Безопасность агентов ИИ больше не зависит от того, что говорит модель. Она зависит от того, что делает агент: какие инструменты он использует, какие данные считывает, какими учетными данными располагает и какие пакеты устанавливает самостоятельно.
И большинство команд не могут ответить на первый вопрос: какие агенты мы на самом деле запускаем? Они хранятся в репозиториях в виде графов LangChain, серверов MCP и т.д. SKILL.md файлы и инструменты для программирования ИИ, которые отдельные разработчики настроили в пятницу днем. Никто их не проверял, а вредоносный навык — это просто обычный текст.
TL, д-р
Безопасность ИИ-агентов в четыре этапа: обнаружение, оценка, обеспечение безопасности цикла, защита установок.
Невозможно обеспечить безопасность агентов, которых вы не видите. Безопасность агентов ИИ начинается с инвентаризации каждого агента, сервера MCP, навыка, модели и инструмента кодирования ИИ в вашем коде.
- Риск, связанный с тем, как создаются агенты: подсказки, которые объединяют пользовательский ввод, агенты вызова инструментов без guardrails, привилегированные учетные данные и навыки со скрытыми инструкциями. Большая часть этого видна в коде до развертывания и соответствует OWASP Top 10 для агентных приложений.
- Безопасность внутри контура управления: Агентам, занимающимся программированием, необходима безопасность внутри их цикла, поэтому они сканируют и исправляют написанный ими код до того, как он будет использован. commitТед, а не спустя несколько недель в билете.
- Защитите установки: Агенты также устанавливают зависимости. Система обнаружения вредоносных программ, работающая до появления сигнатуры, охватывает вредоносные пакеты независимо от того, кто их устанавливает — разработчик или агент.
- Один рабочий процесс: Результаты анализа с использованием ИИ проходят ту же процедуру сортировки, обработки заявок и составления отчетов, что и остальные результаты анализа безопасности приложений.
Первый шаг: Создайте список ИИ в ваших репозиториях, экспортируйте его в виде AI-BOM, а затем контролируйте добавление нового кода агента в CI.
Почему безопасность агентов ИИ — это другая проблема?
Функция LLM возвращает текст, и человек решает, что с ним делать. Агент замыкает этот цикл самостоятельно: он планирует действия, вызывает инструменты, читает веб-страницы, электронные письма и документы, записывает файлы и выполняет команды. Каждая возможность, которую вы предоставляете агенту, — это возможность, которую может перенять злоумышленник.
OWASP провела такое же различие. OWASP Top 10 для агентных приложений 2026 года (ASI01 до ASI10) основан на OWASP Top 10 для поступления на магистерскую программу.Список LLM описывает, что говорит модель; список агентских функций описывает, что делает агент.
В настоящее время большинство организаций используют два типа агентов:
- Агенты, которые вы встраиваете в свои приложения: Вспомогательные инструменты поддержки, внутренние помощники и рабочие процессы, созданные с использованием таких фреймворков, как LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel или LlamaIndex, часто подключаются к инструментам через MCP-серверы.
- Ваши разработчики используют агентов искусственного интеллекта для программирования: Claude Code, Cursor, GitHub Copilot, Windsurf и другие платформы, которые позволяют писать код, редактировать конфигурацию и добавлять зависимости.
Безопасность агентов ИИ должна охватывать оба аспекта, поскольку оба действуют с вашего разрешения.
Шаг 1: проведите инвентаризацию каждого агента, сервера MCP и навыка.
Безопасность агентов ИИ начинается с вопросов, и теперь аудиторы задают себе вопрос: какой именно ИИ мы используем? Xygeni AI Security Ответы поступают из первоисточника: кода, конфигурации, манифестов и зависимостей.
Она обнаруживает модели, агентов и серверы агентов, фреймворки ИИ, серверы MCP и их инструменты, навыки (SKILL.md, AGENTS.md), подсказки, guardrailsОн также отображает, как они связаны: хранилища векторов, наборы данных, конечные точки вывода и инструменты кодирования ИИ, настроенные в ваших репозиториях.
В результате получается постоянно обновляемый реестр ИИ, который можно экспортировать в виде спецификации материалов для ИИ в формате CycloneDX, с записью об управлении каждым активом, включающей поле категории риска в соответствии с Законом ЕС об ИИ.
Хотите увидеть, какие функции ИИ уже реализованы в вашем коде? Запишитесь на консультацию с инженером. и мы создадим инвентаризацию одного из ваших репозиториев с помощью ИИ.
Шаг 2: выявить риски, связанные с тем, как создаются агенты.
Большинство уязвимостей агентов не являются чем-то экзотическим. Это может быть запрос, сформированный путем конкатенации строк, агент, вызывающий инструменты без защиты от копирования входных данных, или учетные данные с гораздо большей областью действия, чем требуется агенту. Все они оставляют следы в коде, поэтому их можно обнаружить в CI до развертывания.
Риски, связанные с агентами ИИ, которые можно выявить в коде.
Каждый риск соответствует OWASP Top 10 для поступления на магистерскую программу. или его агентам-соратникам, поэтому результаты говорят на том же языке, что и ваши аудиторы.
| Снижение | Как это выглядит в коде | OWASP-картирование |
|---|---|---|
| Быстрая инъекция | Системные подсказки, объединяющие пользовательский контент без разделения ролей, разделителей или guardrails | ЛЛМ01 |
| Непрямой впрыск | Операторы вызова инструментов без ввода данных guardrailsили агенты, которые обрабатывают веб-страницы, электронные письма или полученные документы без предварительной очистки. | ЛЛМ01 |
| Небезопасная обработка выходных данных | Результаты работы модели достигают eval или другие опасные источники утечки данных, отслеживаемые по функциям и файлам. | ЛЛМ05 |
| Идентификаторы агентов с чрезмерными привилегиямиЗлоупотребление идентичностью нечеловеческих существ | Статические учетные данные с длительным сроком действия, общие учетные данные без сужения области действия, серверы MCP или инструментальные серверы, работающие с повышенными привилегиями. | ASI03 |
| Злонамеренные или опечатанные навыкицепочка поставок навыков агентов | Скрытые вредоносные директивы в SKILL.md or AGENTS.mdНазвания навыков, имитирующие известные навыки или интеграции. | Топ-10 агентских навыков |
| Секреты в подсказках | Учетные данные хранятся внутри файлов командной строки. | ЛЛМ07 |
Каждое обнаруженное нарушение имеет свою категорию OWASP LLM Top 10, а также метки OWASP Agentic Applications и Agentic Skills там, где это применимо, и указаны векторы атаки «красной команды».
Навыки заслуживают особого внимания, поскольку вредоносная инструкция в файле навыка представляет собой текст, а не код, и никакая сигнатура не может её обнаружить. Система проверки с использованием искусственного интеллекта (ИИ) оценивает намерения помеченных файлов навыков и инструкций агента с помощью версионированной, детерминированной настройки, поэтому один и тот же файл всегда получает один и тот же вердикт. Она может работать на вашей собственной размещенной модели, поэтому код и подсказки не должны покидать вашу среду. Затем оценка уровня навыка объединяет эти сигналы в один ответ: безопасно, осторожно или не устанавливать.
Идите глубже: Посмотрите нашу сессию Радиус поражения: Когда агент касается того, чего вы не просилио том, что происходит, когда права доступа агента выходят за рамки выполняемой им задачи.
Шаг 3: внедрите безопасность в цикл работы агента кодирования.
Агенты ИИ-программирования пишут и commit Код обновляется быстрее, чем кто-либо успевает его проверить. Проблема, обнаруженная в заявке две недели спустя, редко решается. Исправление должно быть произведено, пока агент еще работает.
Сервер Xygeni MCP работает локально и взаимодействует с любым агентом ИИ-программирования, поддерживающим MCP, независимо от используемой модели. Агент может сканировать только что написанный код, выводить список новых проблем, получать заключения ИИ-экспертов и запрашивать исправления. SAST и SCA Результаты. Процесс повторяется до тех пор, пока изменения не станут окончательными, прежде чем что-либо предпринимать. commitТед, с согласия вашей команды.
В нём используются те же движки, политики и правила отключения звука, что и в вашем приложении. pipelineТаким образом, агент и ваша система непрерывной интеграции никогда не будут расходиться во мнениях. Для разработчиков, работающих вместе с агентом, это IDE-плагины Внесите те же самые находки и исправления в редактор.
Шаг 4: защитите агенты от установки.
Программист, использующий искусственный интеллект, может самостоятельно добавить зависимость, не проверяя при этом легитимность совершенно нового пакета со знакомым именем. Злоумышленники это знают, и реестры открытого исходного кода — это то место, где они поджидают.
Защита от вредоносных программ Помечает вредоносные пакеты до того, как будет создана сигнатура, независимо от того, кто их устанавливает — разработчик или агент. На компьютере разработчика... Shield Перед запуском чего-либо устанавливается политика безопасности: минимальный срок действия новых пакетов, поддержка расширений и плагинов IDE, блокировка вредоносных индикаторов и рискованных регионов, а также изоляция конечных точек, когда необходимо изолировать машину.
Хотите глубже?
Ошибка в обработчике и доступная конечная точка, которая к нему обращается, — это одна проблема, и у неё один владелец. А если вы уже используете другой инструмент DAST, Xygeni импортирует его результаты в тот же интерфейс оценки рисков, не требуя от вас его замены.
Хотите увидеть, как оба слоя работают вместе? Посмотрите нашу сессию От кода к среде выполнения: почему? SAST И DAST, и DAST имеют важное значение для современной безопасности приложений.где мы подробно рассмотрим, как результаты анализа кода и тесты во время выполнения подтверждают друг друга.
Один рабочий процесс, а не другая консоль
Безопасность ИИ-агента нарушается, когда он становится отдельным инструментом со своей собственной очередью обработки. В Xygeni результаты работы ИИ проходят через тот же самый канал. ИИ-триаж, заявки и отчеты, как и остальные ваши выводы. AI Remediation предоставляет контекстно-зависимые рекомендации по исправлению для всех десяти категорий OWASP LLM, и ASPM ставит риски, связанные с ИИ, рядом с рисками, связанными с кодом, зависимостями и pipeline Риск с одной точки зрения.
Безопасность и соответствие требованиям агентов ИИ
Регуляторы, аудиторы и клиенты все чаще запрашивают инвентаризацию используемого вами ИИ и классификацию связанных с ним рисков. EU AI Act и ISO / IEC 42001 Обе компании движутся в этом направлении, и AI-BOM становится все более распространенным подходом. standard пункт в анкетах для закупок.
Инвентаризация ИИ с указанием категории риска для каждого актива предоставляет вашей команде по управлению доказательную базу для этой работы. Она способствует подготовке к соблюдению Закона ЕС об ИИ; это не оценка соответствия и не заменяет вашу юридическую экспертизу.
Для команд среднего размера все просто:
- На каждом pull request: Проверка безопасности API в рамках CI на измененном коде, а также инкрементальное сканирование DAST.
- Перед тем, как commit: как pre-commit контроль на файлах, находящихся в процессе подготовки.
- Ежедневно или при слиянии: полное DAST-сканирование.
- Перед каждым крупным релизом: Проведение пентестинга с использованием ИИ на тестовой площадке для проверки списка задач и подтверждения того, что каждое исправление устраняет уязвимость.
Сканер безопасности API работает где угодно, включая изолированные от сети среды, и отправляет отчеты в Xygeni SaaS или в вашу систему. on-premiseПлатформа. Результаты отображаются в формате JSON. САРИФ 2.1.0, CSV и Markdown для pull request комментариев.
Тестирование безопасности API и соответствие стандартам
Для команд в банковской сфере, страховании или государственном секторе тестирование безопасности API также служит доказательством. Каждое обнаруженное нарушение сопровождается соответствующими бирками соответствия. Статья 32 GDPR, PCI DSS 4.0 (требования 3.4, 6.4.3, 7.1, 7.2 и 8) и НИСТ СП 800-53 (AC-3, AC-6, IA-2, IA-5), видимые на платформе, а также в выходных данных JSON и SARIF.
Если ваша организация подпадает под ДОРА or NIS2Тестирование в режиме реального времени обеспечивает непрерывное получение данных между ручными тестами на проникновение, которые по-прежнему требуются вашими регулирующими органами.
Как внедрить систему безопасности для ИИ-агентов за 7 шагов
Вот практический контрольный список в порядке, который позволит быстрее всего внедрить безопасность ИИ-агентов в реальной команде разработчиков.
- Откройте для себя
Проведите инвентаризацию всех ресурсов ИИ в ваших репозиториях.
Просканируйте все репозитории на наличие агентов, серверов MCP, навыков, моделей, подсказок и инструментов для ИИ-программирования, а затем экспортируйте результат в виде AI-BOM. Это ваша отправная точка, и именно от этого списка отталкиваются все остальные шаги.
- классифицировать
Назначьте каждому агенту владельца и уровень риска.
Для каждого агента необходимо зафиксировать, кто им владеет, к каким данным и инструментам он имеет доступ, а также категорию риска в соответствии с Законом ЕС об ИИ. Агент, которым никто не владеет, — это агент, которого никто не сможет исправить.
- детектировать
Сканируйте код агента в CI при каждом pull request
Запустите обнаружение рисков с помощью ИИ параллельно с другими сканированиями. Начните в неблокирующем режиме, чтобы увидеть базовый уровень, а затем заблокируйте слияние критических обнаруженных проблем после того, как команды завершат очистку.
- Обзор
Перед установкой проверьте навыки.
Файлы с инструкциями по сканированию навыков и агентов, такие как
SKILL.mdиAGENTS.mdВключите проверку намерений ИИ и рассматривайте вердикт «не устанавливать» как окончательный отказ. - ограничивать
Разрешения агента по сокращению кода
Замените статические учетные данные с длительным сроком действия на данные с ограниченной областью действия, прекратите обмениваться учетными данными между агентами и никогда не запускайте MCP или серверы инструментов с повышенными привилегиями, которые им не нужны.
- Исправление в цикле
Внедрите безопасность в цикл работы агента кодирования.
Подключите ваших агентов ИИ к серверу безопасности MCP, чтобы они сканировали и исправляли свой собственный код до того, как он будет использован не по назначению. commitТед, с теми же правилами, что и у вас. pipeline.
- Защитите
Следите за тем, что попадает на компьютеры разработчиков.
Установите минимальный срок действия новых пакетов, выявляйте вредоносные пакеты до того, как появится сигнатура, и обеспечьте защиту расширений и плагинов IDE, независимо от того, кто их устанавливает — разработчик или агент.
Тогда: Направляйте все обнаруженные проблемы в тот же рабочий процесс сортировки, обработки заявок и составления отчетов, что и остальные задачи по обеспечению безопасности приложений, чтобы риски, связанные с ИИ, не попадали в отдельную очередь.
Невозможно заполучить агента, которого вы никогда не встречали.
Безопасность агентов ИИ — это не просто еще один сканер. Это знание того, какие агенты вы используете, выявление рисков, связанных с их конфигурацией, внедрение безопасности в процесс разработки агента и защита того, что устанавливают агенты. Начните с инвентаризации: все остальное зависит от нее.
Хотите увидеть всех агентов, серверы MCP и навыки в вашем коде? Запишитесь на консультацию с инженером создать инвентаризацию ваших репозиториев с помощью ИИ и проанализировать полученные результаты. Или начать бесплатно с ИИ SAST, SCAОбнаружение секретов, плагины для IDE и обнаружение вредоносных программ в пакетах с открытым исходным кодом. Кредитная карта не требуется.
Часто задаваемые вопросы о безопасности агентов ИИ
Чем безопасность агентов ИИ отличается от безопасности LLM?
Безопасность LLM связана с тем, что говорит модель: утечка данных, манипулированные ответы, небезопасные выходные данные. Безопасность ИИ-агента связана с тем, что агент делает с инструментами, памятью, учетными данными и другими агентами. Именно поэтому OWASP публикует отдельный список 10 самых важных проблем для агентных приложений (ASI01–ASI10) в дополнение к списку 10 самых важных проблем LLM.
Как мне найти агентов ИИ и серверы MCP в моей организации?
Начните с кода. Xygeni AI Security обнаруживает агентов, серверы MCP, навыки, модели, подсказки и инструменты для ИИ-программирования в ваших репозиториях, отображает их взаимосвязь и экспортирует результат в виде AI-BOM в формате CycloneDX. Он запускается в CI параллельно с другими вашими сканированиями.
Может ли вредоносный сервер навыков или MCP поставить под угрозу безопасность моих разработчиков?
Да: инструкции к навыку представлены в виде обычного текста, и агент будет следовать им с разрешения разработчика. Xygeni выявляет скрытые вредоносные директивы и поддельные имена навыков, может оценить намерения навыка с помощью добровольного анализа ИИ и присваивает каждому навыку рейтинг: безопасный, осторожный или не устанавливать. Защита от вредоносных программ и Shield покрывают пакеты и дополнительные услуги, которые приносят агенты.







