Сигурност на AI агенти

Сигурност на AI агентите: познавайте всеки агент, улавяйте риска, пазете какво инсталира

Сигурността на AI агентите вече не е свързана с това, което казва даден модел. Става въпрос за това, което прави агентът: инструментите, които извиква, данните, които чете, идентификационните данни, които съхранява, и пакетите, които инсталира самостоятелно.

И повечето екипи не могат да отговорят на първия въпрос: кои агенти всъщност използваме? Те се намират в хранилища като LangChain графики, MCP сървъри, SKILL.md файлове и инструменти за кодиране с изкуствен интелект, които отделни разработчици са конфигурирали в петък следобед. Никой не ги е прегледал, а злонамереното умение е просто обикновен текст.

TL; DR

Сигурност на AI агентите в четири стъпки: вижте го, оценете го, обезопасете цикъла, пазете инсталациите

Не можете да защитите агенти, които не виждате. Сигурността на AI агентите започва с инвентаризация на всеки агент, MCP сървър, умение, модел и инструмент за AI кодиране във вашия код.

  • Риск при изграждането на агентите: подкани, които обединяват потребителски вход, агенти за извикване на инструменти без guardrails, свръхпривилегировани идентификационни данни и умения със скрити инструкции. По-голямата част от тях са видими в кода, преди внедряването, и са съпоставени с OWASP Топ 10 за агентски приложения.
  • Сигурност вътре в цикъла: Агентите за кодиране се нуждаят от сигурност в рамките на цикъла си, така че те сканират и поправят написаното, преди то да бъде commitТед, а не седмици по-късно в билет.
  • Пазете инсталациите: Агентите също инсталират зависимости. Откриването на зловреден софтуер, което работи преди съществуването на сигнатура, обхваща злонамерени пакети, независимо от това, който ги инсталира, независимо дали е разработчик или агент.
  • Един работен процес: Констатациите, получени от изкуствен интелект, преминават през същия триаж, заявки и отчети, както и останалите ви констатации от AppSec.

Първата стъпка: Създайте инвентаризация на AI във вашите хранилища, експортирайте я като AI-BOM и след това попълнете кода на нов агент в CI.

Защо сигурността на AI агентите е различен проблем

Функцията LLM връща текст, а човек решава какво да прави с него. Агентът сам затваря този цикъл: той планира, извиква инструменти, чете уеб страници, имейли и документи, записва файлове и изпълнява команди. Всяка възможност, която давате на агент, е възможност, която атакуващият може да заимства.

OWASP направи същото разграничение. OWASP Топ 10 за агентски приложения 2026 (ASI01 до ASI10) надгражда върху OWASP Топ 10 за кандидатстване за LLM: списъкът LLM обхваща какво казва един модел; агентичният списък обхваща какво прави един агент.

Повечето организации сега използват два вида агенти:

  • Агенти, които вграждате в приложенията си: асистенти за поддръжка, вътрешни копилоти и работни процеси, изградени с рамки като LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel или LlamaIndex, често свързани с инструменти чрез MCP сървъри.
  • Агенти за кодиране с изкуствен интелект, които вашите разработчици използват: Claude Code, Cursor, GitHub Copilot, Windsurf и други, които пишат код, редактират конфигурация и добавят зависимости.

Сигурността на AI агентите трябва да обхваща и двете, защото и двете действат с вашите разрешения.

Стъпка 1: инвентаризация на всеки агент, MCP сървър и умение

Сигурността на AI агентите започва с дъска с въпроси, а одиторите сега питат: какъв AI използваме? Xygeni AI Security отговаря на него от източника: код, конфигурация, манифести и зависимости.

Той открива модели, агенти и агентски сървъри, AI рамки, MCP сървъри и техните инструменти, умения (SKILL.md, AGENTS.md), подкани, guardrails, векторни хранилища, набори от данни, крайни точки за извод и инструментите за AI кодиране, конфигурирани във вашите хранилища. Той също така картографира как те се свързват: кой агент използва кой модел, изпълнява кои инструменти и извиква кои MCP сървъри.

Резултатът е активен инвентар на ИИ, който може да се експортира като AI-BOM във формат CycloneDX, със запис за управление за всеки актив, който включва поле за категория риск по Закона на ЕС за ИИ.

Искате да видите какъв изкуствен интелект вече е в кода ви? Запазете час за среща с инженер, и ще изградим инвентаризацията на изкуствения интелект на едно от вашите хранилища.

Стъпка 2: Разберете рисковете при изграждането на агентите

Повечето уязвимости на агентите не са екзотични. Те представляват подкани, изградени чрез конкатенация на низове, агент, извикващ инструменти, без входна защита или идентификационни данни с много по-голям обхват, отколкото агентът се нуждае. Всички те оставят отпечатъци в кода, така че можете да ги уловите в непрекъснатата интеграция, преди внедряването им.

Рискове за AI агенти, които можете да уловите в кода

Всеки риск се съпоставя с OWASP Топ 10 за кандидатстване за LLM или неговите агентивни спътници, така че констатациите говорят на същия език като вашите одитори.

РискКак изглежда в кодOWASP картографиране
Бързо инжектиранеСистемни подкани, които свързват потребителско съдържание без разделяне на роли, разделители или guardrailsLLM01
Непряко инжектиранеАгенти за извикване на инструменти без входни данни guardrailsили агенти, които приемат уеб страници, имейли или извлечени документи без да санитизиратLLM01
Небезопасна обработка на изходаДостигане на изходния модел eval или други опасни канали, проследени през функции и файловеLLM05
Свръхпривилегировани самоличности на агентиЗлоупотреба с нечовешка идентичностСтатични дълготрайни идентификационни данни, споделени идентификационни данни без стесняване на обхвата, MCP или инструментални сървъри, работещи с повишени привилегииASI03
Злонамерени или правописни уменияВерига за доставки на умения на агентиСкрити злонамерени директиви в SKILL.md or AGENTS.md, имена на умения, които се представят за известни умения или интеграцииТоп 10 на агентските умения
Тайни в подканитеИдентификационни данни, съхранявани във файлове с подканиLLM07

Всяко откритие носи своята категория Топ 10 на OWASP LLM, плюс етикетите на OWASP Agentic Applications и Agentic Skills, където се прилагат, и участващите вектори на атака на „червения екип“.

Уменията заслужават специално внимание, защото злонамерената инструкция във файл с умения е проза, а не код, и никой подпис не може да я види. Преглед с изкуствен интелект с предварително зададени права преценява намерението на маркираните файлове с умения и инструкции за агенти с версирана, детерминистична настройка, така че един и същ файл винаги получава една и съща присъда. Той може да работи на вашия собствен самостоятелно хостван модел, така че кодът и подканите не е нужно да напускат вашата среда. Оценката на нивото на уменията след това обединява тези сигнали в един отговор: безопасно, внимателно или не инсталирайте.

По-дълбоко: гледайте нашата сесия Радиус на взрива: Когато агентът докосне това, което не сте поискали, за това какво се случва, когато разрешенията на агента надхвърлят задачата му.

Стъпка 3: поставете сигурността в цикъла на кодиращия агент

Агентите за кодиране с изкуствен интелект пишат и commit код по-бързо, отколкото някой може да го прегледа. Констатация, която пристига в заявка две седмици по-късно, рядко се поправя. Поправката трябва да се случи, докато агентът все още работи.

Xygeni MCP сървърът работи локално и работи с всеки AI кодиращ агент, който поддържа MCP, независимо от модела, на който работи. Агентът може да сканира кода, който току-що е написал, да изброи новите проблеми, да получи AI Triage решения и да поиска корекции за... SAST намлява SCA констатации. Повтаря се, докато промяната стане чиста, преди да се направи каквото и да било commitТед, с одобренията, които вашият екип задава.

Използва същите двигатели, правила и правила за заглушаване като вашия pipeline, така че агентът и вашият CI никога да не се съгласят. За разработчиците, работещи заедно с агента, IDE плъгини внесете същите открития и поправки в редактора.

Стъпка 4: Пазете инсталираните агенти

Агент за кодиране с изкуствен интелект може самостоятелно да добави зависимост и няма да спре да проверява дали чисто нов пакет с познато име е легитимен. Атакуващите знаят това и регистрите с отворен код са мястото, където чакат.

Защита от злонамерен софтуер маркира злонамерени пакети, преди да съществува сигнатура, независимо от това кой ги инсталира, разработчик или агент. На машината на разработчика, Shield прилага правила преди изпълнението на каквото и да е: минимална възраст за нови пакети, покритие за IDE разширения и плъгини, блокиране на злонамерени индикатори и рискови географски местоположения и изолиране на крайни точки, когато е необходимо да се ограничи дадена машина.

Искате ли да отидете по-дълбоко?

Грешка в манипулатора и изложената крайна точка, която го достига, са един проблем с един собственик. И ако вече изпълнявате друг DAST инструмент, Xygeni импортира резултатите му в същия изглед на риска, без да ви моли да го замените.

Искате ли да видите как двата слоя работят заедно? Гледайте нашата сесия От код до среда за изпълнение: Защо SAST + DAST са от съществено значение за съвременната AppSec, където разглеждаме как откритията в кода и тестовете по време на изпълнение се потвърждават взаимно.

Един работен процес, а не друга конзола

Сигурността на AI агентите се проваля, когато се превърнат в отделен инструмент със собствена опашка. В Xygeni, откритията на AI преминават през една и съща фуния, Сортиране с изкуствен интелект, билети и отчети, както и останалите ви открития. AI Remediation предоставя контекстно-зависими насоки за корекции за всичките десет категории OWASP LLM и ASPM поставя риска от изкуствен интелект до кода, зависимостите и pipeline риск от една гледна точка.

Сигурност и съответствие на AI агентите

Регулаторните органи, одиторите и клиентите все по-често изискват опис на изкуствения интелект, който използвате, и как е класифициран рискът от него. Закон за ИИ на ЕС намлява ISO / IEC 42001 и двете се движат в тази посока и AI-BOM се превръща в standard артикул във въпросниците за обществени поръчки.

Инвентаризация на ИИ с поле за категория риск за всеки актив предоставя на вашия екип за управление доказателствената база за тази работа. Тя подкрепя готовността за прилагане на Закона на ЕС за ИИ; не е оценка на съответствието и не замества вашия правен преглед.

или средно големи екипи е просто:

  1. На всеки pull request: API сигурност в CI върху променения код, плюс инкрементални DAST сканирания.
  2. Преди commit: като pre-commit порта на индексирани файлове.
  3. Всяка вечер или при сливане: пълно DAST сканиране.
  4. Преди всяко голямо издание: Тестване на проникване с изкуствен интелект срещу етапно изпълнение, за да се валидира натрупаното изоставане и да се потвърди, че всяка корекция е затворила дупката.

Скенерът за API сигурност работи навсякъде, включително в изолирани среди, и докладва на Xygeni SaaS или на вашия... on-premiseплатформата. Резултатите се издават като JSON, САРИФ 2.1.0, CSV и Markdown за pull request коментари.

Тестване на сигурността и съответствието на API

За екипи в банковото дело, застраховането или публичния сектор, тестването за сигурност на API също е доказателство. Всяко откритие носи етикети за съответствие за Член 32 от GDPR, PCI DSS 4.0 (изисквания 3.4, 6.4.3, 7.1, 7.2 и 8) и NIST SP 800-53 (AC-3, AC-6, IA-2, IA-5), видими в платформата и в JSON и SARIF изхода.

Ако вашата организация попада под ДОРА or 2 шекели, тестването по време на работа ви дава непрекъснати доказателства между ръчните тестове за проникване, които вашите регулатори все още изискват. 

Как да внедрите сигурност с AI агенти в 7 стъпки

Ето практическият контролен списък, в реда, който осигурява най-бърза работа на защитата на AI агентите в реален екип за разработка.

  1. ПОВЕЧЕ

    Инвентаризирайте всеки AI актив във вашите хранилища

    Сканирайте всички хранилища за агенти, MCP сървъри, умения, модели, подкани и инструменти за AI кодиране и експортирайте резултата като AI-BOM. Това е вашата базова линия и списъкът, от който работи всяка следваща стъпка.

  2. класифицирам

    Дайте на всеки агент собственик и ниво на риск

    За всеки агент, запишете кой го притежава, до какви данни и инструменти може да достигне и неговата рискова категория съгласно Закона на ЕС за изкуствения интелект. Агент, който никой не притежава, е агент, който никой няма да поправи.

  3. Откривам

    Сканирайте кода на агента в CI на всеки pull request

    Изпълнете откриването на риск с изкуствен интелект до другите си сканирания. Започнете в режим без блокиране, за да видите базовата линия, след което блокирайте сливанията при критични открития, след като екипите са почистили.

  4. Оценки на посетители

    Прегледайте уменията, преди някой да ги инсталира

    Сканиране на файлове с инструкции за умения и агенти, като например SKILL.md намлява AGENTS.md, включете проверката на намеренията с изкуствен интелект и третирайте решението „не инсталирай“ като твърдо спиране.

  5. ограничи

    Разрешения за свиване на агента

    Заменете статичните дълготрайни идентификационни данни с такива с ограничен обхват, спрете споделянето на идентификационни данни между агенти и никога не стартирайте MCP или сървъри с инструменти с повишени привилегии, от които не се нуждаят.

  6. Поправка в цикъла

    Поставете сигурността в цикъла на кодиращия агент

    Свържете вашите агенти за кодиране с изкуствен интелект към MCP сървър за сигурност, така че те да сканират и поправят собствения си код, преди да бъде... committed, със същите правила като вашите pipeline.

  7. Защитете

    Пазете какво попада на машините на разработчиците

    Въведете минимална възраст за нови пакети, откривайте злонамерени пакети преди да съществува сигнатура и покривайте IDE разширенията и плъгините, независимо от това кой ги инсталира, независимо дали е разработчик или агент.

Тогава: Насочвайте всяко откритие към същия работен процес за сортиране, регистрация и отчитане като останалата част от вашата AppSec, така че рискът, свързан с изкуствен интелект, да не се озовава в отделна опашка.

Не можеш да си осигуриш агент, когото никога не си срещал

Сигурността на AI агентите не е просто още един скенер. Става въпрос за това да знаете кои агенти използвате, да уловите риска в начина, по който са изградени, да поставите сигурността в цикъла на кодиране на агента и да предпазите какво инсталират агентите. Започнете с инвентара: всичко останало зависи от него.

Искате да видите всеки агент, MCP сървър и умение във вашия код? Запазете час за среща с инженер да изградите инвентаризация на вашите хранилища с изкуствен интелект и да прегледате нейните констатации. Или започнете безплатно с AI SAST, SCA, откриване на тайни, IDE плъгини и откриване на зловреден софтуер в пакети с отворен код. Без кредитна карта.

Често задавани въпроси за сигурността на AI агентите

По какво се различава сигурността на AI агентите от сигурността на LLM?

Сигурността на LLM е свързана с това, което казва моделът: изтичане на данни, манипулирани отговори, опасен изход. Сигурността на AI агентите е свързана с това, което агентът прави с инструменти, памет, идентификационни данни и други агенти. Ето защо OWASP публикува отделен Топ 10 за агентни приложения (ASI01 до ASI10) в допълнение към LLM Топ 10.

Как да намеря AI агентите и MCP сървърите в моята организация?

Започнете с кода. Xygeni AI Security открива агентите, MCP сървърите, уменията, моделите, подканите и инструментите за AI кодиране във вашите хранилища, картографира как се свързват и експортира резултата като AI-BOM във формат CycloneDX. Той работи в CI редом с другите ви сканирания.

Може ли злонамерено умение или MCP сървър да компрометира моите разработчици?

Да: инструкциите за умението са в обикновен текст и агент ще ги следва с разрешенията на разработчика. Xygeni маркира скрити злонамерени директиви и имена, които се представят за умения, може да прецени намерението на умението с преглед с изкуствен интелект с предварително записване и оценява всяко умение като безопасно, предпазливо или неинсталирано. Защита от зловреден софтуер и Shield покрийте пакетите и разширенията, които агентите носят.

инструменти за анализ на състава на софтуера SCA Tools
Приоритизирайте, отстранете и защитете софтуерните си рискове
Вземете своя безплатен акаунт.
Не е необходима кредитна карта.

Осигурете си разработването и доставката на софтуер

с продуктовия пакет Xygeni