TL;DR: инженеринг на агентски снопчета и неговата скрита повърхност за атака
Инженерингът на агентни снопове е практиката за изграждане на всичко около модел на изкуствен интелект (инструкции, инструменти, разрешения, памет и обратна връзка), който го превръща в работещ агент. Тозият колан, а не моделът, е мястото, където сега се крие по-голямата част от реалния риск за сигурността.
- Смяната: Екипите спряха настройването на подканите и започнаха да проектират снопове. Агент = модел + сноп.
- Проблемът: Снаряжението се съхранява в обикновени текстови файлове (правила, умения, MCP конфигурации), които се преглеждат като документация, ако изобщо се преглеждат.
- Доказателствата: Задната вратичка на файла с правила и истинските MCP CVE показват, че атакуващите вече са насочени към него.
- Определянето: Третирайте снопа като код. Инвентаризирайте го, прегледайте го и го сканирайте, преди да го изпратите.
Всеки разговор за сигурност, свързан с изкуствения интелект, в крайна сметка се спира на модела. Може ли да бъде джейлбрейкнат? Ще халюцинира ли? Обучава ли се доставчикът върху нашите данни?
Справедливи въпроси. Но те все по-често са грешни. Когато агент с изкуствен интелект изтрие производствена таблица, отвори задна вратичка или изпрати списък с клиенти по имейл на непознат, моделът рядко се проваля. Моделът е направил точно това, което му е позволявал неговият хайдър.
Агент = модел + колан
През последната година индустрията тихо промени значението на изграждането с изкуствен интелект. Бързото инженерство отстъпи място на контекстното инженерство, а контекстното инженерство отстъпи място на нещо по-голямо: инженерство на снопчетата на агентите.
Идеята е проста. Моделът сам по себе си е разсъждаваща машина без „ръце“. „Комплектът“ е всичко, което му дава „ръце“ и работа: инструкциите, които следва, инструментите, които може да извиква, разрешенията, които държи, паметта, която съхранява, и проверките, които откриват грешките му. Сайтът на Мартин Фаулър описва „свързващото инженерство“ като работата, която потребителите на кодиращи агенти сега извършват, за да направят агентите надеждни, и академична рамка, публикувана тази година разделя системата на единадесет отговорности, от достъп до инструменти и памет за проекти до разрешения и проверка.
Резултатите са реални. Екипи, практикуващи инженерство на агентски снопове, съобщават, че промяната само на снопа, със същия модел отдолу, може драстично да промени резултатите на агента. Това повдига неудобен момент за всеки, занимаващ се със сигурност: ако снопът решава как ще се държи агентът, тогава снопът решава и как може да бъде злоупотребен.
Вземете нещо толкова обикновено, като инсталирането на зависимост. Разработчикът спира, за да провери името на пакета. Агент с правилния инструмент в екипа си просто изпълнява командата и ако пакетът е злонамерен, нищо в модела няма да го спре. Точно това ще разгледаме в този епизод на SafeDev Talks: Какво се променя, когато AI агентите инсталират зависимости сами по себе си и защо инженерингът на агентите тихомълком се е превърнал в проблем на веригата за доставки.
Как изглежда инженерингът на агентни снопове в хранилище
Отворете хранилище, където разработчиците използват AI агенти, и хамутът е точно там, във файлове, които вероятно никога не сте сканирали:
- Правила и файлове с инструкции (
AGENTS.md,.cursorrules, инструкции на Copilot), които казват на агента как да се държи. - Файлове с умения тези пакети с възможности за многократна употреба, които агентът зарежда при поискване.
- Конфигурации на MCP сървъра които свързват агента с инструменти, бази данни и API.
- Системни подкани и шаблони за подкани вградени в кода на приложението.
- Окабеляване на агентдо кои инструменти може да достигне агентът, кои данни може да извлече и дали има предпазна ограда между тях.
Всичко е обикновен текст. Всичко е commitсъхранява се заедно с кода. И всичко това се преглежда по начина, по който се преглежда документацията: бърз поглед, одобрение, сливане. И все пак всеки от тези файлове може тихомълком да пренапише какво е инструктирано да прави агентът и какво му е позволено да докосва.
Това е истинското следствие от инженерството на агентните сбруи: най-мощната конфигурация във вашия софтуер сега е най-малко преглеждана.
Нападателите вече са забелязали
Това не е теоретичен проблем. Сбруята има кратка, но показателна история на инциденти.
- Задната вратичка на файла с правила. През март 2025 г. изследователи разкриха атака, при която скрити Unicode символи във файл с правила инструктираха асистенти по кодиране с изкуствен интелект да вмъкнат код с откраднат код, без да го споменават във видимия си отговор. Рецензент, прочел файла, не видя нищо необичайно. Сега той е каталогизиран като Казус MITRE ATLAS AML.CS0041.
- Отровени MCP инструменти. До 2025 г. изследователите многократно показаха, че агентите имплицитно се доверяват на описанията на инструментите, така че злонамерен MCP сървър може да насочи агент, просто като се опише по правилния начин. Същата година, CVE-2025 6514- в широко изтеглен MCP клиент е позволено дистанционно изпълнение на команди при свързване към ненадежден сървър, оценен с 9.6 в CVSS.
- Прекомерна свобода на действие. - OWASP Топ 10 за кандидатстване за LLM посочва прекомерната свобода на действие като основен риск: на агентите се предоставят повече инструменти, разрешения или автономия, отколкото изисква задачата. Това не е недостатък на модела. Това е хаотичен дизайн.cisйон.
Обърнете внимание на закономерността. Нито една от тези атаки не нарушава работата на модела. Те нарушават хамута, а моделът вярно прави останалото.
Защо вашият стек за сигурност не го вижда
Ето и неудобната част. Повечето организации вече използват добри инструменти за AppSec и почти нищо от тях не е създадено за този слой.
Статичният анализ разбира код, но не знае какво е модел или защо е важен ненадежден текст, вливащ се в системен подкаст. Анализът на композицията инвентаризира пакетите, но не изброява MCP сървърите или файловете с умения. Секретните скенери могат да пропуснат API ключ, намиращ се в конфигурационния файл на агент. Нито един от тези инструменти не е дефектен. Те просто са създадени за свят, в който конфигурацията не дава заповеди.
Така че инженерингът на агентските екипи се извършва бързо, а охраната преглежда частта, която може да види: модела и кода. Екипът е по средата.
Пет навика за закрепване на колана
Инженерингът на защитните агенти не се нуждае от нов екип. Необходими са няколко навика, които третират системата като това, което е: изпълнимо намерение.
| Навик | Защо това има значение | Какво да правя |
|---|---|---|
| 1. Инвентаризирайте всеки колан | Не можеш да осигуриш агенти, които никой не е декларирал. | Намерете всеки модел, агент, MCP сървър, умение и подкана във вашите хранилища, от самия код и конфигурационни файлове, а не от анкета. |
| 2. Прегледайте файловете с хамут, като например код | Правилата, уменията и MCP конфигурациите могат да пренапишат действията на даден агент, но въпреки това се преглеждат като документация. | Дай им същото pull request проверка като логика на приложението, включително проверки за скрити символи. |
| 3. Закачете това, което агентът зарежда | Подкана или модел, посочен от променлив етикет, може да бъде пренасочен без промяна на кода. | Закачете подканите и моделите към непроменяеми версии. |
| 4. Поставете предпазен парапет на всяка мивка | Извлечените документи, изходът от инструменти и потребителското съдържание могат да пренасят инжектирани инструкции към модела. | Поставете предпазен парапет по пътя, където съдържанието може да достигне до модела. |
| 5. Дръжте идентификационните данни извън колана | Ключовете на доставчика на изкуствен интелект в файловете с подкани и конфигурациите на агенти са лесна победа за атакуващия. | Премахнете ги и продължете да сканирате файловете на снопа за секретни данни. Лесно е да се поправи. |
Закрепване на колана, не само на модела
Xygeni AI Security започва там, където инженерството на агентите оставя своя отпечатък: във вашите хранилища. То открива AI ресурсите във вашата кодова база (модели, агенти, MCP сървъри, умения, подкани, guardrailsи използваните инструменти за кодиране на ИИ) от код, зависимости и конфигурационните файлове, които тези инструменти оставят след себе си.
След това анализира файлове с умения, файлове с правила и MCP конфигурации като артефакти за сигурност, а не като документация, и открива рискове от клас „инжектиране на prompt“ в окабеляването на агенти, като например ненадеждно съдържание, достигащо до системен prompt, или система за извличане без предпазни мерки. Сканирането на секрети на Xygeni маркира идентификационните данни на доставчика на ИИ в prompt-овете и конфигурационните файлове на агенти, а зависимостите на вашия ИИ стек получават същото откриване на зловреден софтуер като всичко останало, преди да съществува сигнатура.
Често задавани въпроси
Какво е инженеринг на агентни снопове?
Инженерингът на агентни снопове е дисциплината, която проектира средата около модел на изкуствен интелект (инструкции, инструменти, разрешения, памет, контекст и верификационни цикли), така че той да се държи като надежден агент. Моделът осигурява разсъждения; снопът решава какво може да вижда и прави агентът.
По какво се различава инженерството на сноповете на агенти от промптното инженерство?
Инженерството на подканите оформя една единствена инструкция. Инженерството на снопа на агентите оформя цялата система, в която агентът работи, в много стъпки, инструменти и сесии. Подканата е един файл в снопа.
Защо коланът представлява риск за сигурността?
Защото контролира какво е позволено на агента и се намира в обикновени текстови файлове, които рядко се преглеждат като артефакти за сигурност. Компрометирайте файл с правила или MCP конфигурация и ще контролирате агента, без да докосвате модела.
Кой трябва да притежава агент, използващ сигурността?
Сигурност на приложенията, работа с инженерите, които изграждат и конфигурират агенти. Комплектът е част от софтуера, който доставяте, така че той принадлежи към същите процеси на преглед, сканиране и инвентаризация като останалата част от вашия код.







