Zabezpečení agentů umělé inteligence už nespočívá v tom, co model říká. Jde o to, co agent dělá: nástroje, které volá, data, která čte, přihlašovací údaje, které uchovává, a balíčky, které sám instaluje.
A většina týmů nedokáže odpovědět na první otázku: které agenty vlastně používáme? Žijí v repozitářích jako grafy LangChain, MCP servery, SKILL.md soubory a nástroje pro kódování s umělou inteligencí, které jednotliví vývojáři konfigurovali v pátek odpoledne. Nikdo je nezkontroloval a škodlivá dovednost je jen obyčejný text
TL, DR
Zabezpečení agentů umělé inteligence ve čtyřech krocích: vidět, ohodnotit, zabezpečit smyčku, ochránit instalace
Agenty, které nevidíte, nemůžete zabezpečit. Zabezpečení agentů s umělou inteligencí začíná inventarizací každého agenta, MCP serveru, dovednosti, modelu a nástroje pro kódování s umělou inteligencí ve vašem kódu.
- Riziko spojené s konstrukcí agentů: výzvy, které zřetězují uživatelský vstup, agenty volající nástroje bez guardrails, nadměrně privilegované přihlašovací údaje a dovednosti se skrytými instrukcemi. Většina z nich je viditelná v kódu, před nasazením, a mapuje se na OWASP Top 10 pro agentní aplikace.
- Zabezpečení uvnitř smyčky: Programátoři potřebují zabezpečení uvnitř své smyčky, takže skenují a opravují, co napíší, než to bude commitTed, ne o několik týdnů později v lístku.
- Chraňte instalace: Agenti také instalují závislosti. Detekce malwaru, která funguje ještě před existencí signatury, pokrývá škodlivé balíčky od kohokoli, kdo je instaluje, ať už vývojáře nebo agenta.
- Jeden pracovní postup: Zjištění umělé inteligence procházejí stejným tříděním, tikety a hlášeními jako ostatní zjištění AppSec.
První krok: Vytvořte si inventář AI ve vašich repozitářích, exportujte ho jako AI-BOM a poté vložte nový kód agenta do CI.
Proč je zabezpečení agentů umělé inteligence jiný problém
Funkce LLM vrací text a člověk rozhoduje, co s ním udělá. Agent tuto smyčku sám uzavírá: plánuje, volá nástroje, čte webové stránky, e-maily a dokumenty, zapisuje soubory a spouští příkazy. Každá schopnost, kterou agentovi dáte, je schopností, kterou si útočník může vypůjčit.
OWASP učinil stejný rozdíl. OWASP Top 10 pro agentní aplikace 2026 (ASI01 až ASI10) staví na OWASP Top 10 pro přihlášky LLMSeznam LLM zahrnuje, co model říká; seznam agentů zahrnuje, co agent dělá.
Většina organizací nyní provozuje dva typy agentů:
- Agenti, které zabudujete do svých aplikací: asistenti podpory, interní kopiloti a pracovní postupy vytvořené pomocí frameworků jako LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel nebo LlamaIndex, často propojené s nástroji prostřednictvím MCP servery.
- Agenti pro kódování s umělou inteligencí, které vaši vývojáři používají: Claude Code, Cursor, GitHub Copilot, Windsurf a další, kteří píší kód, upravují konfiguraci a přidávají závislosti.
Zabezpečení agentů umělé inteligence musí zahrnovat obojí, protože obojí funguje s vašimi oprávněními.
Krok 1: inventarizace každého agenta, serveru MCP a dovednosti
Zabezpečení agentů umělé inteligence začíná diskusí na nástěnce a auditoři se nyní ptají: jakou umělou inteligenci používáme? Zabezpečení umělé inteligence Xygeni odpovídá na to ze zdroje: kód, konfigurace, manifesty a závislosti.
Objevuje modely, agenty a servery agentů, frameworky umělé inteligence, servery MCP a jejich nástroje, dovednosti (SKILL.md, AGENTS.md), výzvy, guardrails, vektorová úložiště, datové sady, inferenční koncové body a nástroje pro kódování umělé inteligence nakonfigurované ve vašich repozitářích. Také mapuje, jak se propojují: který agent používá který model, spouští které nástroje a volá které MCP servery.
Výsledkem je živý inventář umělé inteligence, exportovatelný jako kusovník AI ve formátu CycloneDX, se záznamem o správě a řízení pro každé aktivum, který obsahuje pole kategorie rizika dle zákona EU o umělé inteligenci.
Chcete vidět, jakou umělou inteligenci už máte ve svém kódu? Rezervujte si schůzku s inženýrem, a my vytvoříme inventář umělé inteligence pro jeden z vašich repozitářů.
Krok 2: Zachyťte rizika spojená s tím, jak jsou agenti vytvářeni
Většina zranitelností agentů není exotická. Jedná se o prompt vytvořený zřetězením řetězců, agenta volajícího nástroje bez vstupního ochranného rámečku nebo přihlašovací údaje s mnohem větším rozsahem, než agent potřebuje. Všechny zanechávají v kódu otisky prstů, takže je můžete zachytit v CI před nasazením.
Rizika AI agentů, která můžete zachytit v kódu
Každé riziko se mapuje na OWASP Top 10 pro přihlášky LLM nebo jeho agentní společníci, takže zjištění mluví stejným jazykem jako vaši auditoři.
| Riziko | Jak to vypadá v kódu | Mapování OWASP |
|---|---|---|
| Rychlá injekce | Systémové výzvy, které spojují uživatelský obsah bez oddělení rolí, oddělovačů nebo guardrails | 01 LLM |
| Nepřímé vstřikování | Agenti volající nástroje bez vstupu guardrailsnebo agenti, kteří přijímají webové stránky, e-maily nebo načtené dokumenty bez sanitizačních údajů | 01 LLM |
| Nebezpečné zpracování výstupu | Dosahování výstupu modelu eval nebo jiné nebezpečné úniky, sledovatelné napříč funkcemi a soubory | 05 LLM |
| Identity agentů s nadměrnými privilegiemiZneužívání nelidské identity | Statické dlouhodobé přihlašovací údaje, sdílené přihlašovací údaje bez zúžení rozsahu, servery MCP nebo nástrojů spuštěné se zvýšenými oprávněními | ASI03 |
| Škodlivé nebo překlepy v dovednostechDodavatelský řetězec dovedností agentů | Skryté škodlivé direktivy v SKILL.md or AGENTS.md, názvy dovedností, které zosobňují známé dovednosti nebo integrace | Agentské dovednosti Top 10 |
| Tajemství v promptech | Přihlašovací údaje uložené v souborech výzev | 07 LLM |
Každý nález má svou kategorii OWASP LLM Top 10, plus tagy OWASP Agentic Applications a Agentic Skills, kde se vztahují, a příslušné vektory útoku červeného týmu.
Dovednosti si zaslouží zvláštní pozornost, protože škodlivý pokyn v souboru dovedností je text, nikoli kód, a žádný podpis ho nevidí. Kontrola s využitím umělé inteligence s přihlášením posuzuje záměr označených souborů s dovednostmi a pokyny agenta s verzovaným, deterministickým nastavením, takže stejný soubor vždy dostane stejný verdikt. Může běžet na vašem vlastním modelu hostovaném v systému, takže kód a výzvy nemusí opustit vaše prostředí. Skóre úrovně dovednosti pak tyto signály spojí do jedné odpovědi: bezpečné, opatrně nebo neinstalovat.
Jít hlouběji: podívejte se na naši relaci Dosah výbuchu: Když se agent dotkne toho, o co jste nežádali, o tom, co se stane, když oprávnění agenta přesáhnou rámec jeho úkolu.
Krok 3: Vložte zabezpečení do smyčky kódovacího agenta
Agenti kódování s umělou inteligencí píší a commit kód rychleji, než si ho kdokoli může prohlédnout. Nález, který se objeví v tiketu o dva týdny později, se jen zřídka opraví. Oprava musí proběhnout, dokud agent ještě pracuje.
Server Xygeni MCP běží lokálně a spolupracuje s jakýmkoli kódovacím agentem s umělou inteligencí, který podporuje MCP, bez ohledu na model, na kterém běží. Agent může naskenovat kód, který právě napsal, vypsat nové problémy, získat verdikt AI Triage a požádat o opravy. SAST a SCA zjištění. Opakuje se, dokud není změna čistá, než se cokoli provede committed, se schváleními, která váš tým nastaví.
Používá stejné enginy, zásady a pravidla pro ztlumení jako vaše pipeline, aby se agent a vaše CI nikdy neshodli. Pro vývojáře pracující po boku agenta je Pluginy IDE přenést stejná zjištění a opravy do editoru.
Krok 4: Ochraňte, co agenti instalují
Kódovací agent s umělou inteligencí může přidat závislost sám o sobě a nezastaví se, aby ověřil, zda je zcela nový balíček se známým názvem legitimní. Útočníci to vědí a čekají v registrech open-source programů.
Ochrana před malwarem označí škodlivé balíčky ještě předtím, než existuje signatura, ať už je nainstaluje kdokoli, vývojář nebo agent. Na počítači vývojáře, Shield vynucuje zásady před spuštěním čehokoli: minimální stáří pro nové balíčky, pokrytí rozšíření a pluginů IDE, blokování škodlivých indikátorů a rizikových geografických oblastí a izolaci koncových bodů, když je potřeba počítač izolovat.
Chcete jít hlouběji?
Chyba v obslužném programu a odhalený koncový bod, který se k němu dostane, představují jeden problém s jedním vlastníkem. A pokud již spouštíte jiný nástroj DAST, Xygeni importuje jeho výsledky do stejného zobrazení rizik, aniž by vás požádal o jeho nahrazení.
Chcete vidět, jak obě vrstvy fungují společně? Sledujte naši relaci Od kódu k běhovému prostředí: Proč SAST + DAST jsou oba nezbytné pro moderní AppSec, kde si projdeme, jak se vzájemně potvrzují zjištění v kódu a běhové testy.
Jeden pracovní postup, ne další konzole
Zabezpečení agentů umělé inteligence selhává, když se z nich stane samostatný nástroj s vlastní frontou. V Xygeni procházejí nálezy umělé inteligence stejným trychtýřem, Třídění pomocí umělé inteligence, tikety a hlášení jako zbytek vašich zjištění. AI Remediation poskytuje kontextově orientované pokyny k opravám pro všech deset kategorií OWASP LLM a ASPM klade riziko umělé inteligence vedle kódu, závislostí a pipeline riziko z jednoho pohledu.
Zabezpečení a dodržování předpisů pro agenty umělé inteligence
Regulační orgány, auditoři a zákazníci stále častěji požadují inventář umělé inteligence, kterou provozujete, a klasifikaci jejích rizik. Zákon EU o umělé inteligenci a ISO / IEC 42001 oba se tímto směrem tlačí a AI-BOM se stává standard položka v dotaznících k zadávání veřejných zakázek.
Inventář umělé inteligence s polem kategorie rizika pro každé aktivum poskytuje vašemu týmu pro správu a řízení důkazní základnu pro tuto práci. Podporuje připravenost na zákon EU o umělé inteligenci; nejedná se o posouzení shody a nenahrazuje váš právní přezkum.
nebo středně velké týmy je to jednoduché:
- Na každém pull request: Zabezpečení API v CI na změněném kódu plus přírůstkové skenování DAST.
- Před commit: jako pre-commit brána u připravených souborů.
- Každou noc nebo při sloučení: kompletní DAST sken.
- Před každým velkým vydáním: Penetrační testování umělé inteligence proti stagingovým řešením pro ověření nevyřízených záležitostí a potvrzení, že každá oprava uzavřela mezeru.
Skener API Security běží kdekoli, včetně prostředí s ochrannou mezerou, a podává zprávy společnosti Xygeni SaaS nebo vašemu… on-premiseplatforma. Výsledky se zobrazují jako JSON, SARIF 2.1.0, CSV a Markdown pro pull request komentáře.
Testování zabezpečení API a dodržování předpisů
Pro týmy v bankovnictví, pojišťovnictví nebo veřejném sektoru je testování bezpečnosti API také důkazem. Každý nález nese štítky shody pro GDPR článek 32, PCI DSS 4.0 (požadavky 3.4, 6.4.3, 7.1, 7.2 a 8) a NIST SP 800-53 (AC-3, AC-6, IA-2, IA-5), viditelné na platformě a ve výstupu JSON a SARIF.
Pokud vaše organizace spadá pod DORA or NIS2, runtime testování vám poskytuje průběžné důkazy mezi manuálními průnikovými testy, které vaše regulátory stále vyžadují.
Jak implementovat zabezpečení agentů s umělou inteligencí v 7 krocích
Zde je praktický kontrolní seznam, seřazený tak, aby zabezpečení agentů umělé inteligence fungovalo nejrychleji v reálném vývojovém týmu.
- Objevit
Inventarizujte všechna aktiva umělé inteligence ve svých repozitářích
Prohledejte všechny repozitáře a vyhledejte agenty, MCP servery, dovednosti, modely, výzvy a nástroje pro kódování s využitím umělé inteligence a exportujte výsledek jako AI-BOM. Toto je vaše základní linie a seznam, ze kterého vychází každý další krok.
- Klasifikujte
Přiřaďte každému agentovi vlastníka a úroveň rizika
U každého agenta zaznamenejte, kdo ho vlastní, ke kterým datům a nástrojům má přístup a jeho rizikovou kategorii dle zákona EU o umělé inteligenci. Agent, kterého nikdo nevlastní, je agent, kterého nikdo neopraví.
- Rozpoznat
Skenujte kód agenta v CI každý pull request
Spusťte detekci rizik umělé inteligence vedle ostatních skenů. Začněte v neblokujícím režimu, abyste viděli základní stav, a poté, co týmy uklidí, zablokujte slučování u kritických nálezů.
- přezkoumání
Před instalací si dovednosti prověřte
Skenování souborů s dovednostmi a instrukcemi agentů, jako například
SKILL.mdaAGENTS.md, zapnout kontrolu záměru umělou inteligencí a verdikt „neinstalovat“ považovat za definitivní zastavení. - omezit
Oprávnění agenta zmenšení
Nahraďte statické dlouhodobé přihlašovací údaje omezenými, přestaňte sdílet přihlašovací údaje mezi agenty a nikdy nespouštějte servery MCP ani nástroje se zvýšenými oprávněními, která nepotřebují.
- Oprava ve smyčce
Vložte zabezpečení do smyčky kódovacího agenta
Připojte své agenty kódování s umělou inteligencí k bezpečnostnímu MCP serveru, aby si mohli naskenovat a opravit svůj vlastní kód před jeho zveřejněním. committed, se stejnými zásadami jako vaše pipeline.
- Chránit
Chraňte, co se dostane na počítače vývojářů
Zavést minimální stáří pro nové balíčky, detekovat škodlivé balíčky před existencí signatury a zahrnout rozšíření a pluginy IDE bez ohledu na to, kdo je instaluje, ať už vývojář nebo agent.
Pak řekl: Směrujte každý nález do stejného pracovního postupu pro třídění, ticketing a reporting jako zbytek vaší AppSec, aby riziko umělé inteligence neskončilo ve vlastní frontě.
Nemůžete si zajistit agenta, kterého jste nikdy nepotkali.
Zabezpečení agentů s umělou inteligencí není jen další skener. Jde o to vědět, které agenty spouštíte, zachytit rizika v jejich tvorbě, zařadit zabezpečení do smyčky kódování agenta a ochránit, co agenti instalují. Začněte s inventářem: všechno ostatní závisí na něm.
Chcete ve svém kódu vidět každého agenta, MCP server a dovednost? Rezervujte si schůzku s inženýrem vytvořit inventář umělé inteligence vašich repozitářů a zkontrolovat jeho zjištění. Nebo začněte zdarma s AI SAST, SCA, detekce tajných kódů, pluginy IDE a detekce malwaru v balíčcích s otevřeným zdrojovým kódem. Bez kreditní karty.
Nejčastější dotazy k zabezpečení agentů umělé inteligence
Jak se liší zabezpečení agentů AI od zabezpečení LLM?
Bezpečnost v LLM se zabývá tím, co model říká: úniky dat, manipulované odpovědi, nebezpečný výstup. Bezpečnost agentů umělé inteligence se zabývá tím, co agent dělá s nástroji, pamětí, přihlašovacími údaji a dalšími agenty. Proto OWASP publikuje samostatnou Top 10 pro agentické aplikace (ASI01 až ASI10) nad rámec Top 10 v LLM.
Jak najdu agenty AI a servery MCP v mé organizaci?
Začněte s kódem. Xygeni AI Security vyhledá agenty, MCP servery, dovednosti, modely, výzvy a nástroje pro kódování AI ve vašich repozitářích, namapuje jejich propojení a exportuje výsledek jako AI-BOM ve formátu CycloneDX. Spouští se v CI vedle vašich ostatních skenů.
Může škodlivá dovednost nebo MCP server ohrozit mé vývojáře?
Ano: instrukce k dovednosti jsou v prostém textu a agent se jimi bude řídit s povolením vývojáře. Xygeni označuje skryté škodlivé direktivy a napodobující názvy dovedností, dokáže posoudit záměr dovednosti na základě přihlášení k ověření pomocí umělé inteligence a každou dovednost hodnotí jako bezpečnou, opatrnou nebo neinstalovat. Ochrana před malwarem a Shield zakryjte balíčky a rozšiřující agenty, které přinesou.







