Správa bezpečnostních pozic s využitím umělé inteligence

Správa zabezpečení pomocí umělé inteligence: Proč samotné zjišťování informací nezabezpečí kód generovaný umělou inteligencí

TL, DR

Téměř každý inženýrský tým využívá asistenty pro kódování s využitím umělé inteligence. Téměř nikdo z nich nedokáže spočítat, jakou umělou inteligenci skutečně používají. Společnost Gartner ve své zprávě Hype Cycle for Data Security z roku 2025 definovala správu zabezpečení AI jako samostatnou kategorii, protože rozdíl je skutečný: modely, agenti, servery MCP a datové sady jsou aktiva AI na povrchu útoku a většina organizací nemá strukturovaný způsob, jak je vidět.

Objev bez nápravy je jen dashboard. Zhruba 40 % kódu generovaného umělou inteligencí obsahuje bezpečnostní zranitelnosti. Asistenti umělé inteligence reprodukují nebezpečné vzorce v objemu, pro který nebyla vytvořena žádná manuální kontrola. Znalost existujících aktiv umělé inteligence řeší pouze polovinu problému – druhou polovinou je vyhodnocení jejich rizik a oprava kódu před jeho odesláním, a to ve stejném pracovním postupu, ve kterém byl napsán.

Útočný povrch je širší než kód. Zdokumentované útoky již cílí na aktiva obklopující kód: skrytý Unicode v souborech pravidel, který způsobuje, že asistenti vydávají backdoorový výstup, otrava nástroji MCP a úplné vzdálené spuštění kódu prostřednictvím široce používaného mostu MCP (více než 437 000 stažení) a slopsquatting – registrace názvů balíčků, které modely umělé inteligence statisticky pravděpodobně halucinují. Tradiční SAST a SCA nic z toho nevidím.

Oprava spočívá v jedné smyčce, nikoli ve třech bodových nástrojích: AI-SPM vytváří inventář a kusovník s využitím umělé inteligence; Bezpečnost AI srovnává 10 nejlepších bodů žebříčku OWASP pro přihlášky k LLM; DevAI Opravuje zranitelný kód uvnitř IDE hned po jeho napsání, chrání kód generovaný umělou inteligencí i kód psaný lidmi a zachycuje, co se ostatní agenti chystají udělat, ještě než to udělají. Vztahuje se na zjištění z vlastních skenerů Xygeni a na vše, co již bylo získáno z použitých nástrojů. — není nutná žádná demontáž a výměna.

Téměř každý inženýrský tým si osvojil asistenty pro kódování s využitím umělé inteligence. Téměř nikdo z nich nedokáže odpovědět na jednoduchou otázku: jaké modely, agenty a servery MCP umělé inteligence skutečně používáme a jaké riziko každý z nich nese? Tato mezera má nyní své jméno. Gartner formálně definoval AI Security Posture Management (Správu zabezpečení umělé inteligence). (AI-SPM) jako kategorie ve svém Cyklus humbuku kolem zabezpečení dat v roce 2025 – stejná linie, která dala vzniknout CSPM a DSPM. Tato kategorie existuje, protože čísla jsou konkrétní: zhruba 40 % kódu generovaného umělou inteligencí obsahuje bezpečnostní zranitelnosti, umělá inteligence je nyní součástí útočné plochy, nikoli jen nástrojem používaným vývojáři, a většina organizací nemá strukturovaný inventář prostředků umělé inteligence, které provozují.

Je to také téma, o kterém budeme diskutovat na místě. OWASP AppSec Days Portugalsko 2026, 23.–24. září v Portu, kde Xygeni je zlatým sponzoremVíce o tom na konci, ale pokud chcete přeskočit dál, získejte si lístek zde.

Problém: Kód generovaný umělou inteligencí má svůj vlastní rizikový profil.

Zhruba 40 % kódu generovaného umělou inteligencí obsahuje bezpečnostní zranitelnosti. Nezávislý výzkum asistentů kódování s umělou inteligencí zjistil trvale vysokou míru selhání při řešení těchto problémů. OWASP Top 10, přičemž určité kategorie chyb, jako je cross-site scripting, se objevují ve velké většině generovaných vzorků. Asistenti umělé inteligence nejenže píší kód rychleji. Také rychleji reprodukují nezabezpečené vzory, nezabezpečené závislosti a nebezpečné konfigurace a dělají to v objemu, na který nebyl vytvořen žádný proces manuální kontroly.

Útoková plocha se neomezuje pouze na kód, který napíše asistent. Rozšiřuje se na prostředky umělé inteligence, které vaše týmy již provozují a jen zřídka inventarizují: modely, datové sady, agenty a servery MCP. Každý z nich již vytvořil skutečné, zdokumentované útoky:

  • Backdoor pro soubor s pravidly: Útočníci skrývají instrukce pomocí neviditelných znaků Unicode uvnitř pravidel a konfiguračních souborů, které čtou nástroje jako GitHub Copilot a Cursor, což způsobuje, že asistent vydává kód s backdoorem, aniž by se o něm vůbec zmínil. Katalogizováno jako Případová studie MITRE ATLAS.
  • Otrava nástrojů MCP a vzdálené spuštění kódu: Kritická zranitelnost v široce používaném mostu MCP, která byla stažena více než 437 000krát, umožňovala úplné vzdálené spuštění kódu v okamžiku, kdy se klient připojil k nedůvěryhodnému serveru MCP.
  • Nedbalé dřepy: Rozsáhlý akademický výzkum vygeneroval přes dva miliony vzorků kódu napříč šestnácti programy LLM a zjistil, že téměř každý pátý doporučený balíček vůbec neexistuje – názvy, které si útočníci mohou předem zaregistrovat a zneužít jako zbraň.

Nic z toho se v tradičním případě neobjevuje SAST or SCA skenování. Tyto nástroje rozumí kódu. Nechápou, co je model, co dělá MCP server nebo zda byl konfigurační soubor agenta zmanipulován.

Většina týmů řeší polovinu problému

Instinktivní reakcí je připojit jednotlivé nástroje: jeden pro skenování modelů, druhý pro firewally běhových příkazů a třetí pro... Asistenti IDEJe to stejná chyba, jakou udělal AppSec s SAST, SCA, a skenování tajemství před patnácti lety a výsledek je stejný: fragmentovaná viditelnost, šum upozornění a neexistence jediného místa, kde by se dala odpovědět na otázku „jakou umělou inteligenci vlastně používáme a je bezpečná“.

Objev bez nápravy vám jen řekne, kde je oheň. Náprava bez objevu znamená, že opravujete kód, zatímco vedle něj běží nemonitorované stínové MCP servery a neschválení agenti. Zabezpečení pomocí umělé inteligence musí pokrývat obojí na stejné platformě, jinak se nejedná o správu stavu. Je to... dashboard.

Lepší způsob: Správa zabezpečení pomocí umělé inteligence, která objevuje, detekuje a opravuje

Xygeni Bezpečnost AI uzavírá tento cyklus napříč celou érou umělé inteligence SDLC, z modelu a MCP serveru do koncového bodu vývojáře.

  • Objevit. AI-SPM vytváří aktuální inventář všech aktiv umělé inteligence v organizaci: modelů, datových sad, agentů, serverů MCP. Prokazuje, že inventář s AI-BOM, důkazní základnu, kterou auditoři a regulátoři stále častěji požadují, ať už se jedná o technickou dokumentaci pro vysoce rizikové systémy podle zákona EU o umělé inteligenci nebo o inventáře aktiv požadované rámci, jako je španělský ENS.
  • Detekovat. AI Security hodnotí každé aktivum podle skutečného rizika: rychlá injekce, nezabezpečené konfigurace MCP, vystavení dat, v souladu s OWASP Top 10 pro přihlášky LLMNálezy jsou seřazeny, ne zařazeny do fronty.
  • Oprava, v okamžiku, kdy je kód napsán. Zde je místo, kde je generováno umělou inteligencí code security skutečně vyřešeno. Xygeni DevAI běží jako souvislá vrstva uvnitř IDE a postupně skenuje, jak vývojáři pracují s kódem psaným lidmi i generovaným umělou inteligencí. Provádí agentní detekci zranitelností umělou inteligencí, mapuje Útočné cesty řízené umělou inteligencí ukázat, jak by se daná chyba dala skutečně zneužít, a poskytnout bezpečné opravy generované umělou inteligencí, které jsou ověřeny z hlediska zneužitelnosti a rizika závažných změn ještě předtím, než je vývojář použije. Guardrails Ověřovat změny podle bezpečnostních a compliance zásad předtím, než se dostanou do CI, a specializovaný agent DevAI zachycuje, co se chystají dělat ostatní agenti: ověřovat soubory dovedností a pravidel, kontrolovat každý balíček, který se agent pokusí nainstalovat, na přítomnost malwaru a vzorců nedbalé invaze, a sledovat chování nástroje MCP z hlediska otravy, to vše před spuštěním.
  • Vynucovat. Shield rozšiřuje stejnou politiku na koncový bod vývojáře a blokuje nebezpečnou aktivitu umělé inteligence před jejím spuštěním.

A protože Třídění pomocí umělé inteligence, Vysvětlení a Náprava se nevztahují pouze na vlastní zjištění společnosti Xygeni, ale na vše, co je získáno z již existujících nástrojů. Týmy to získají, aniž by musely vytrhávat to, do čeho již investovaly.

Seznamte se s Xygeni na OWASP AppSec Days Portugal 2026

Tuto konverzaci přinášíme do Porta. Xygeni je zlatým sponzorem OWASP AppSec Days Portugalsko 2026, běh Září 23-24 na Fundação António Cupertino de Miranda.

Na akci si probereme praktické příklady správy bezpečnostních pozic v oblasti umělé inteligence: jak týmy objevují prostředky umělé inteligence, o kterých nevěděly, jak je umělá inteligence generuje code security zapadá do stávajícího programu AppSec, místo aby stál vedle něj, a jak současná vlna hrozeb MCP a agentů ve skutečnosti vypadá v praxi.

Pokud se zúčastníte, Přijďte se podívat na tým Xygeni na stánek číslo 12. Pokud máte v plánu zajistit si bezpečnost umělé inteligence a nemůžete se dostat do Porta, rádi vás jím přímo provedeme. Ve stejných termínech jsme také na Německý den OWASP 2026 v Karlsruhe, hovoříme o zabezpečení umělé inteligence a Shieldkonkrétně vrstvu vynucování.

Rezervujte si schůzku s námi!

Nejčastější dotazy

  • Co je správa bezpečnostních pozic s využitím umělé inteligence (AI-SPM)?

AI-SPM je disciplína objevování, inventarizace a průběžného hodnocení rizik každého aktiva umělé inteligence, které organizace provozuje – modely, datové sady, agenty a servery MCP – stejným způsobem, jakým to dělá CSPM pro cloud a DSPM pro data. Gartner jej definoval jako kategorii ve svém Hype Cycle for Data Security z roku 2025. AI-SPM od společnosti Xygeni vytváří tento inventář a podkládá ho AI-BOM, čímž poskytuje bezpečnostním a compliance týmům důkazy, které mohou předat auditorovi.

  • Co dělá z umělé inteligence generované code security odlišné od tradičních SAST or SCA?

Tradiční statická analýza a skenování závislostí byly navrženy tak, aby pochopily kód a balíčky, nikoli rizika specifická pro umělou inteligenci. Nevidí prompt injection, škodlivá pravidla nebo soubory dovedností, otravu nástroji MCP ani nedbalé názvy balíčků, které by mohl asistent umělé inteligence nainstalovat. Generováno umělou inteligencí code security musí být součástí stejného pracovního postupu, který vývojáři již používají, a skenovat kód napsaný člověkem i kód generovaný umělou inteligencí společně, což je přesně to, co Xygeni DevAI dělá uvnitř IDE.

  • Proč zhruba 40 % kódu generovaného umělou inteligencí obsahuje zranitelnosti?

Asistenti kódování s umělou inteligencí se učí ze vzorců ve svých trénovacích datech a reprodukují je, včetně těch nezabezpečených, a generují kód mnohem rychleji, než s čím dokáže manuální kontrola držet krok. Nezávislý výzkum opakovaně zjistil vysokou míru zranitelností z žebříčku OWASP Top 10 ve vzorcích generovaných umělou inteligencí, přičemž určité kategorie chyb, jako je cross-site scripting, se objevují ve velké většině testů.

  • Nahrazuje AI-SPM naše stávající nástroje AppSec?

Ne, a ani by se o to neměla snažit. Triáž, vysvětlení a náprava s využitím umělé inteligence od společnosti Xygeni se vztahují na zjištění z vlastních skenerů společnosti Xygeni i na zjištění získaná z již zavedených nástrojů třetích stran, takže týmy získají jednotné krytí rizik spojených s umělou inteligencí, aniž by musely kopírovat a nahrazovat to, do čeho již investovaly.

  • Kde to můžu vidět v akci?

Xygeni je zlatým sponzorem konference OWASP AppSec Days Portugal 2026, 23.–24. září v Portu, a tým bude na místě v stánku 12 mluvení prostřednictvím AI-SPM, generované umělou inteligencí code security, a současnou vlnu hrozeb ze strany MCP a agentů. Zajistěte si lístek nebo se obraťte přímo na nás, pokud se do Porta nemůžete dostat.

Ve stejném týdnu jsme také na Německý den OWASP 2026 v Karlsruhe, zaměřený na bezpečnost s umělou inteligencí a Shieldvrstva vynucování.

nástroje pro analýzu složení softwaru SCA
Stanovte priority, opravte a zabezpečte svá softwarová rizika
Získejte svůj bezplatný účet.
Nevyžaduje se žádná kreditní karta.

Zajistěte si vývoj a dodávky softwaru

s produktovým balíčkem Xygeni