TL, DR
Každá správní rada se nyní ptá na rizika spojená s umělou inteligencí a většina bezpečnostních týmů odpovídá přídavnými jmény místo čísly. Rámce pro správu a řízení vám říkají, co máte řídit. Neříkají vám, co máte počítat. Všechny tyto metriky rizik umělé inteligence pocházejí ze stejného zdroje: z kódu, který vaše organizace již dodává.
- Agentní strategie umělé inteligence má tři vrstvy a pouze jednou z nich je model. Co agent zapíše, k čemu je agent připojen a co agent přijímá. Většina programů měří první údaj a další dva ignoruje.
- Poloměr výbuchu není v modelu. Je to v souboru dovedností, konfiguraci MCP, rozsahu nástroje a přihlašovacích údajích, pod kterými agent běží. Čisté vyhodnocení modelu a agent s nadměrnými privilegiemi mohou bez problémů koexistovat.
- Devět metrik rizika umělé inteligence, každá z nich je číslo, nikoli přídavné jméno. Neschválené prostředky umělé inteligence, cesty promptního vkládání dat, které dosáhnou úložiště nástrojů, tajemství v
.mcp/servers.json, závislosti přidané agentem byly označeny před existencí signatury. - Pokud toto číslo nedokážete poskytnout v tomto čtvrtletí, problém není v metrice. Inventář je. Začněte se třemi počty, ne s programem.
Co vlastně znamená riziko umělé inteligence, když software dodáváte vy?
Zeptejte se deseti lidí, co znamená riziko umělé inteligence, a dostanete deset odpovědí. Zkreslení modelu. Halucinace. Únik dat. Expozice regulačním orgánům. Ztráta zaměstnání. Všechno je skutečné, všechno stojí za pozornost a za nic z toho nenese odpovědnost bezpečnostní tým v úterý odpoledne.
Existuje užší verze otázky, kterou může bezpečnostní tým skutečně zodpovědět: Jaká umělá inteligence běží v softwaru, který vytváříme, čeho může dosáhnout a co se stane, když s ní někdo manipuluje. Tato verze má odpověď a ta odpověď je uložena ve vašich repozitářích a pipelinespíše než v politickém dokumentu.
Toto je verze rizika umělé inteligence, o které se tento příspěvek jedná. Ne proto, že by otázky správy a řízení nebyly důležité, ale proto, že na ně nelze odpovědět, dokud nebude zodpovězena tato otázka. Rámec vás požádá o inventuru vašich systémů umělé inteligence. Neříká vám, že inventář je uložen v... .mcp/servers.json soubor, který nikdo neotevřel od té doby, co byl committed.
Proč většina programů zaměřených na rizika umělé inteligence měří špatné věci?
Tři vzorce selhání a většina organizací používá alespoň dva z nich.
- Měření přijetí namísto vystavení. „72 % našich vývojářů používá nástroje umělé inteligence“ je metrika produktivity s bezpečnostním odznakem. Neříká vám nic o tom, čeho tyto nástroje dosáhnou.
- Měření modelu místo systému. Red teaming u koncového bodu odpovídá na otázku, zda lze model přesvědčit, aby řekl něco, co by neměl. Neodpovídá však na to, co se stane dál, protože poloměr výbuchu se nachází v rozsahu nástroje, v přihlašovacích údajích, pod kterými agent běží, a v konfiguračních souborech, které definují obojí. Čisté vyhodnocení modelu a agent s nadměrnými privilegiemi existují velmi pohodlně vedle sebe.
- Měření toho, co se dá snadno spočítat. Počet zveřejněných zásad pro umělou inteligenci. Počet zaměstnanců, kteří absolvovali školení v oblasti umělé inteligence. Tato čísla spolehlivě rostou a s ničím nekorelují.
Jedno Rámec řízení rizik NIST AI výslovně uvádí, že měření je jednou z jeho čtyř základních funkcí, vedle řízení, mapování a řízení. Rámec je záměrně založen na výsledcích, nikoli na normativním přístupu, což je správné pro standard a v úterý neužitečné. Pořád se musíte rozhodnout, co budete počítat.
Které metriky rizik umělé inteligence vám skutečně něco říkají?
Devět metrik. Každá z nich je číslo, každá se mění se změnou vaší expozice a každou z nich lze získat z kódu, nikoli z průzkumu.
| metrický | Proč je to důležité | Odkud číslo pochází |
|---|---|---|
| 01Celkový počet objevených aktiv umělé inteligence a změna od minulého měsíce | Nemůžete informovat o riziku umělé inteligence, které jste nikdy nezapočítali. Trend je důležitější než absolutní číslo. | Neustálé objevování modelů, frameworků, datových sad, inferenčních koncových bodů, agentů, MCP serverů, dovedností a nástrojů pro kódování umělé inteligence |
| 02Neschválené prostředky umělé inteligence jako procento z celkového počtu | Toto je vaše stínová míra AI. Je to nejcitovatelnější metrika rizika AI pro danou správní radu. | Stav schválení sledovaný pro každý aktivum v souladu s vašimi zásadami |
| 03Aktiva umělé inteligence bez uvedeného vlastníka | Aktivum, které nikdo nevlastní, je aktivum, které nikdo neopraví. Obvykle nejošklivější číslo v množině. | Vlastnictví sledované podle díla |
| 04Rychlé dráhy vstřikování, které dosáhnou jímky nástroje | Nedůvěryhodný vstup do systémového příkazového řádku má význam pouze tehdy, pokud se na druhém konci nachází něco nebezpečného. | Detekce rizik pomocí umělé inteligence namapovaná na OWASP Top 10 pro přihlášky LLM |
| 05Používané servery MCP a kolik z nich přenáší nálezy | Konfigurace MCP je místem, kde agent přijímá příkazy. Je to také místo, kde se hromadí přihlašovací údaje. | Konfigurace MCP serveru analyzovaná jako bezpečnostní artefakt |
| 06Tajemství nalezená v konfiguračních souborech AI | Výzkum z roku 2026 zjistil, že v konfiguračních souborech MCP na veřejném GitHubu se nachází přes 24 000 tajných kódů, z nichž více než 2 000 je stále platných. | Detekce tajemství napříč kódem, konfiguracemi, kontejnery a pipelines |
| 07Závislosti přidané agentem byly označeny před existencí veřejného podpisu. | Agenti rychle stahují balíčky a název, který váš model vymyslel, je farmařitelná útočná plocha. | Včasné varování před malwarem, detekce důkazů následovaná validací umělou inteligencí |
| 08Podíl zjištění umělé inteligence, která jsou dosažitelná a v aktivně vyvíjeném kódu | Odděluje nevyřízené záležitosti, které nikdy nevyřešíte, od práce, která mění vaši publicitu | Trychtýř prioritizace umělé inteligence |
| 09Procento autorů vytvořených agenty pull requests sloučeno s lidským schválením | Metrika správy a řízení, kterou regulátor požaduje, a ta, kterou nikdo nesleduje | Pull request analýza a schvalovací brány |
Pokud berete pouze jednu možnost, vezměte metriku 02. Poměr neschválených aktiv k celkovým aktivům AI je číslo, které přežije převod z bezpečnostního týmu do auditu. commitodpaliště a pohybuje se, když něco skutečně uděláte.
Co musí zahrnovat strategie agentní umělé inteligence?
Tři vrstvy. Chyba, kterou dělá téměř každý, je, že začne u první a tam skončí.
- První vrstva: co agent píše. Generovaný kód má stejné třídy zranitelností jako lidský kód a výzkum sahající až do roku 2022 opakovaně zjistil, že podstatná část programů generovaných umělou inteligencí obsahuje bezpečnostní chyby. Tato vrstva je nejznámější, a proto poutá veškerou pozornost.
- Druhá vrstva: k čemu je agent připojen. Soubory dovedností, soubory pravidel, konfigurace serveru MCP, rozsahy nástrojů, přihlašovací údaje, pod kterými agent běží. Toto je vrstva, která určuje, jak daleko se úspěšný útok dostane, a je neviditelná pro cokoli, co testuje model prostřednictvím jeho koncového bodu. ATLAS MITRŮ katalogizuje tuto zemi přímo: případová studie Rules File Backdoor, AML.CS0041, popisuje znaky s nulovou šířkou v souboru pravidel, které mění dokumentaci na instrukce, které agent tiše poslouchá. Recenzent čtoucí pull request nic nevidí.
- Třetí vrstva: co agent získá. Závislosti, modely, datové sady, externí nástroje. Výzkum prezentovaný na konferenci USENIX Security v roce 2025 vygeneroval 2.23 milionu vzorků kódu napříč 16 modely a zjistil, že 19.7 % doporučených balíčků neexistuje, což vede k více než 205 000 unikátních halucinovaných názvů. Útočníci již nemusí kompromitovat správce. Zaregistrují název, který váš agent vymyslel, a čekají.
Agentní strategie umělé inteligence, která pokrývá pouze první vrstvu, vytváří čistou zprávu a nezměněný rizikový profil umělé inteligence. OWASP Top 10 pro přihlášky LLM odráží to ve své vlastní struktuře: nadměrná aktivita je na vrcholu seznamu předcisprotože se jedná o problém s zapojením, nikoli o problém s modelem.
Jak to implementujete, aniž byste zpomalili agenty?
Instinkt říká všechno zablokovat. Selhává to, protože celým smyslem agenta je propustnost a kontrola, která propustnost snižuje na polovinu, je odstraněna během čtvrtiny.
Tři implementační principy, které obstojí:
- Měřte nepřetržitě, hradlujte selektivně. Všech devět metrik rizik umělé inteligence lze shromáždit při každém skenování, aniž by cokoli blokovalo. Pevné brány vyhraďte pro malou sadu, kde je selhání neopravitelné: škodlivá závislost, aktivní tajný klíč, neschválený model zpracovávající regulovaná data.
- Umístěte zabezpečení tam, kde už je agent. Agent připojený přes MCP volá bezpečnostní platformu během generování kódu, skenuje, co právě napsal, a iteruje na opravách, dokud kód nedosáhne požadovaných prahových hodnot. V této fázi není v smyčce žádný člověk a na místě, kde agent běží, není co instalovat. To je jediný intervenční bod, který se škáluje s propustností agenta, a ne proti ní.
- Udržujte člověka na místě pull request. U všeho, co se dostane do produkčního kódu, je daný člověk schválen. To není opatrnost, ale designová pozice, ke které vás stejně tlačí zákon EU o umělé inteligenci, a je mnohem levnější to zabudovat hned teď, než to dovybavovat pod tlakem auditu. Je to také metrika 09, a proto se vyplatí tuto metriku sledovat od prvního dne.
| vrstva | Majitel | Nahlásit |
|---|---|---|
| Co píše agent | Vedoucí oddělení AppSec | CISO, měsíčně |
| K čemu je agent připojen | Vedoucí platformy nebo DevOps | CISO, nepřetržitě |
| Co agent získá | Vedoucí oddělení AppSec | CISO, nepřetržitě |
| Hlášený stav rizik umělé inteligence | CISKancelář O | Představenstvo nebo audit commitodpaliště, čtvrtletní |
Druhý řádek, který ve většině organizací zůstává neobsazen, je ten druhý. Konfigurační soubory spadají mezi zabezpečení aplikací, které je považuje za infrastrukturu, a platformní inženýrství, které je považuje za dokumentaci. Právě v této mezeře se objevují zajímavé útoky.
Jak začnete měřit riziko umělé inteligence v tomto čtvrtletí?
Nevytvářejte celý program. Vygenerujte tři čísla. Spočítejte svá aktiva umělé inteligence. Spočítejte, kolik z nich nikdo neschválil. Spočítejte, kolik tajemství je uloženo v konfiguračních souborech umělé inteligence. Tyto tři se vejdou na jeden slajd; všechny jsou obhajitelné a budou horší, než kdokoli o ně žádal, očekává.
Pak vyberte ten nejhorší a opravte ho před příštím zasedáním představenstva. To je funkční program pro řízení rizik v oblasti umělé inteligence. Všechno ostatní je jen rozpracování.
Organizace, které se v roce 2027 budou potýkat s riziky spojenými s umělou inteligencí, nebudou ty, které jednaly rychle. Jsou to ty, které strávily rok 2026 psaním zásad pro umělou inteligenci a nikdy nic nezapočítaly. Zásada, se kterou se nikdo nemůže porovnávat, je dokument. Metriky rizik umělé inteligence z něj dělají kontrolu.
Podívejte se na svá vlastní čísla. Připojte repozitář a Xygeni vrátí váš inventář AI, neschválená aktiva, rizika namapovaná na frameworky, které vaši auditoři používají, a kusovník AI, který můžete exportovat. Začněte zdarma or rezervovat demo.
Nejčastější dotazy
Jaký je rozdíl mezi rizikem umělé inteligence a bezpečností umělé inteligence?
Bezpečnost umělé inteligence se týká především toho, co model dělá: zda se chová tak, jak má, zda jsou jeho výstupy škodlivé, zda jej lze manipulovat do něčeho, co by měl odmítnout. Riziko umělé inteligence se v kontextu bezpečnosti týká toho, čeho může kompromitovaný nebo chybně fungující systém umělé inteligence dosáhnout ve vašem prostředí. Tyto dva pojmy se překrývají, ale patří různým týmům a měří se různými nástroji. Bezpečnostní tým může dnes jednat i na základě druhého z nich.
Kolik metrik rizik umělé inteligence bychom měli hlásit představenstvu?
Tři až pět. Hrací deska nemůže jednat na základě devíti čísel a balíček s devítkou má tendenci skrývat to, na kterém záleží. Nahlaste celkový počet aktiv umělé inteligence, neschválené procento a jednu metriku expozice, jako jsou dosažitelné nálezy umělé inteligence v aktivním vývoji. Zbytek si nechte pro operační kontrolu.
Potřebujeme AI-BOM, když ho zatím žádný předpis nevyžaduje?
V současné době žádný předpis nenařizuje AI-BOM, a proto je jeho vytvoření nyní levné a později drahé. V současné době existují dva strojově čitelné formáty a auditor přijme kterýkoli z nich. Hodnota nespočívá v dodržování předpisů; jde o to, že vytvoření souboru vás nutí mít inventář a inventář je to, na čem závisí každá metrika rizika AI.
Naši vývojáři používají nástroje umělé inteligence, které jsme nikdy neschválili. Kde začít?
Nejprve počítejte, než začnete s hlídáním. Vyhlášení politiky proti nástrojům, které nevidíte, vede k jejich používání do skrytých rukou a ničí potřebnou viditelnost. Nejprve proveďte zjišťování informací, interně publikujte číslo bez uvedení zdroje a použijte ho k dohodě o schváleném seznamu, který odráží to, co lidé skutečně potřebují. Vymáhání funguje mnohem lépe, když následuje po důkazech, než když jim předchází.







