Metriky rizik umělé inteligence

Riziko umělé inteligence: Metriky, které vám prozradí, zda vaše strategie agentní umělé inteligence funguje

TL, DR

Každá správní rada se nyní ptá na rizika spojená s umělou inteligencí a většina bezpečnostních týmů odpovídá přídavnými jmény místo čísly. Rámce pro správu a řízení vám říkají, co máte řídit. Neříkají vám, co máte počítat. Všechny tyto metriky rizik umělé inteligence pocházejí ze stejného zdroje: z kódu, který vaše organizace již dodává.

  • Agentní strategie umělé inteligence má tři vrstvy a pouze jednou z nich je model. Co agent zapíše, k čemu je agent připojen a co agent přijímá. Většina programů měří první údaj a další dva ignoruje.
  • Poloměr výbuchu není v modelu. Je to v souboru dovedností, konfiguraci MCP, rozsahu nástroje a přihlašovacích údajích, pod kterými agent běží. Čisté vyhodnocení modelu a agent s nadměrnými privilegiemi mohou bez problémů koexistovat.
  • Devět metrik rizika umělé inteligence, každá z nich je číslo, nikoli přídavné jméno. Neschválené prostředky umělé inteligence, cesty promptního vkládání dat, které dosáhnou úložiště nástrojů, tajemství v .mcp/servers.json, závislosti přidané agentem byly označeny před existencí signatury.
  • Pokud toto číslo nedokážete poskytnout v tomto čtvrtletí, problém není v metrice. Inventář je. Začněte se třemi počty, ne s programem.

Co vlastně znamená riziko umělé inteligence, když software dodáváte vy?

Zeptejte se deseti lidí, co znamená riziko umělé inteligence, a dostanete deset odpovědí. Zkreslení modelu. Halucinace. Únik dat. Expozice regulačním orgánům. Ztráta zaměstnání. Všechno je skutečné, všechno stojí za pozornost a za nic z toho nenese odpovědnost bezpečnostní tým v úterý odpoledne.

Existuje užší verze otázky, kterou může bezpečnostní tým skutečně zodpovědět: Jaká umělá inteligence běží v softwaru, který vytváříme, čeho může dosáhnout a co se stane, když s ní někdo manipuluje. Tato verze má odpověď a ta odpověď je uložena ve vašich repozitářích a pipelinespíše než v politickém dokumentu.

Toto je verze rizika umělé inteligence, o které se tento příspěvek jedná. Ne proto, že by otázky správy a řízení nebyly důležité, ale proto, že na ně nelze odpovědět, dokud nebude zodpovězena tato otázka. Rámec vás požádá o inventuru vašich systémů umělé inteligence. Neříká vám, že inventář je uložen v... .mcp/servers.json soubor, který nikdo neotevřel od té doby, co byl committed.

Proč většina programů zaměřených na rizika umělé inteligence měří špatné věci?

Tři vzorce selhání a většina organizací používá alespoň dva z nich.

  • Měření přijetí namísto vystavení. „72 % našich vývojářů používá nástroje umělé inteligence“ je metrika produktivity s bezpečnostním odznakem. Neříká vám nic o tom, čeho tyto nástroje dosáhnou.
  • Měření modelu místo systému. Red teaming u koncového bodu odpovídá na otázku, zda lze model přesvědčit, aby řekl něco, co by neměl. Neodpovídá však na to, co se stane dál, protože poloměr výbuchu se nachází v rozsahu nástroje, v přihlašovacích údajích, pod kterými agent běží, a v konfiguračních souborech, které definují obojí. Čisté vyhodnocení modelu a agent s nadměrnými privilegiemi existují velmi pohodlně vedle sebe.
  • Měření toho, co se dá snadno spočítat. Počet zveřejněných zásad pro umělou inteligenci. Počet zaměstnanců, kteří absolvovali školení v oblasti umělé inteligence. Tato čísla spolehlivě rostou a s ničím nekorelují.

Jedno Rámec řízení rizik NIST AI výslovně uvádí, že měření je jednou z jeho čtyř základních funkcí, vedle řízení, mapování a řízení. Rámec je záměrně založen na výsledcích, nikoli na normativním přístupu, což je správné pro standard a v úterý neužitečné. Pořád se musíte rozhodnout, co budete počítat.

Které metriky rizik umělé inteligence vám skutečně něco říkají?

Devět metrik. Každá z nich je číslo, každá se mění se změnou vaší expozice a každou z nich lze získat z kódu, nikoli z průzkumu.

metrickýProč je to důležitéOdkud číslo pochází
01Celkový počet objevených aktiv umělé inteligence a změna od minulého měsíceNemůžete informovat o riziku umělé inteligence, které jste nikdy nezapočítali. Trend je důležitější než absolutní číslo.Neustálé objevování modelů, frameworků, datových sad, inferenčních koncových bodů, agentů, MCP serverů, dovedností a nástrojů pro kódování umělé inteligence
02Neschválené prostředky umělé inteligence jako procento z celkového počtuToto je vaše stínová míra AI. Je to nejcitovatelnější metrika rizika AI pro danou správní radu.Stav schválení sledovaný pro každý aktivum v souladu s vašimi zásadami
03Aktiva umělé inteligence bez uvedeného vlastníkaAktivum, které nikdo nevlastní, je aktivum, které nikdo neopraví. Obvykle nejošklivější číslo v množině.Vlastnictví sledované podle díla
04Rychlé dráhy vstřikování, které dosáhnou jímky nástrojeNedůvěryhodný vstup do systémového příkazového řádku má význam pouze tehdy, pokud se na druhém konci nachází něco nebezpečného.Detekce rizik pomocí umělé inteligence namapovaná na OWASP Top 10 pro přihlášky LLM
05Používané servery MCP a kolik z nich přenáší nálezyKonfigurace MCP je místem, kde agent přijímá příkazy. Je to také místo, kde se hromadí přihlašovací údaje.Konfigurace MCP serveru analyzovaná jako bezpečnostní artefakt
06Tajemství nalezená v konfiguračních souborech AIVýzkum z roku 2026 zjistil, že v konfiguračních souborech MCP na veřejném GitHubu se nachází přes 24 000 tajných kódů, z nichž více než 2 000 je stále platných.Detekce tajemství napříč kódem, konfiguracemi, kontejnery a pipelines
07Závislosti přidané agentem byly označeny před existencí veřejného podpisu.Agenti rychle stahují balíčky a název, který váš model vymyslel, je farmařitelná útočná plocha.Včasné varování před malwarem, detekce důkazů následovaná validací umělou inteligencí
08Podíl zjištění umělé inteligence, která jsou dosažitelná a v aktivně vyvíjeném kóduOdděluje nevyřízené záležitosti, které nikdy nevyřešíte, od práce, která mění vaši publicituTrychtýř prioritizace umělé inteligence
09Procento autorů vytvořených agenty pull requests sloučeno s lidským schválenímMetrika správy a řízení, kterou regulátor požaduje, a ta, kterou nikdo nesledujePull request analýza a schvalovací brány

Pokud berete pouze jednu možnost, vezměte metriku 02. Poměr neschválených aktiv k celkovým aktivům AI je číslo, které přežije převod z bezpečnostního týmu do auditu. commitodpaliště a pohybuje se, když něco skutečně uděláte.

Co musí zahrnovat strategie agentní umělé inteligence?

Tři vrstvy. Chyba, kterou dělá téměř každý, je, že začne u první a tam skončí.

  1. První vrstva: co agent píše. Generovaný kód má stejné třídy zranitelností jako lidský kód a výzkum sahající až do roku 2022 opakovaně zjistil, že podstatná část programů generovaných umělou inteligencí obsahuje bezpečnostní chyby. Tato vrstva je nejznámější, a proto poutá veškerou pozornost.
  2. Druhá vrstva: k čemu je agent připojen. Soubory dovedností, soubory pravidel, konfigurace serveru MCP, rozsahy nástrojů, přihlašovací údaje, pod kterými agent běží. Toto je vrstva, která určuje, jak daleko se úspěšný útok dostane, a je neviditelná pro cokoli, co testuje model prostřednictvím jeho koncového bodu. ATLAS MITRŮ katalogizuje tuto zemi přímo: případová studie Rules File Backdoor, AML.CS0041, popisuje znaky s nulovou šířkou v souboru pravidel, které mění dokumentaci na instrukce, které agent tiše poslouchá. Recenzent čtoucí pull request nic nevidí.
  3. Třetí vrstva: co agent získá. Závislosti, modely, datové sady, externí nástroje. Výzkum prezentovaný na konferenci USENIX Security v roce 2025 vygeneroval 2.23 milionu vzorků kódu napříč 16 modely a zjistil, že 19.7 % doporučených balíčků neexistuje, což vede k více než 205 000 unikátních halucinovaných názvů. Útočníci již nemusí kompromitovat správce. Zaregistrují název, který váš agent vymyslel, a čekají.

Agentní strategie umělé inteligence, která pokrývá pouze první vrstvu, vytváří čistou zprávu a nezměněný rizikový profil umělé inteligence. OWASP Top 10 pro přihlášky LLM odráží to ve své vlastní struktuře: nadměrná aktivita je na vrcholu seznamu předcisprotože se jedná o problém s zapojením, nikoli o problém s modelem.

Jak to implementujete, aniž byste zpomalili agenty?

Instinkt říká všechno zablokovat. Selhává to, protože celým smyslem agenta je propustnost a kontrola, která propustnost snižuje na polovinu, je odstraněna během čtvrtiny.

Tři implementační principy, které obstojí:

  • Měřte nepřetržitě, hradlujte selektivně. Všech devět metrik rizik umělé inteligence lze shromáždit při každém skenování, aniž by cokoli blokovalo. Pevné brány vyhraďte pro malou sadu, kde je selhání neopravitelné: škodlivá závislost, aktivní tajný klíč, neschválený model zpracovávající regulovaná data.
  • Umístěte zabezpečení tam, kde už je agent. Agent připojený přes MCP volá bezpečnostní platformu během generování kódu, skenuje, co právě napsal, a iteruje na opravách, dokud kód nedosáhne požadovaných prahových hodnot. V této fázi není v smyčce žádný člověk a na místě, kde agent běží, není co instalovat. To je jediný intervenční bod, který se škáluje s propustností agenta, a ne proti ní.
  • Udržujte člověka na místě pull request. U všeho, co se dostane do produkčního kódu, je daný člověk schválen. To není opatrnost, ale designová pozice, ke které vás stejně tlačí zákon EU o umělé inteligenci, a je mnohem levnější to zabudovat hned teď, než to dovybavovat pod tlakem auditu. Je to také metrika 09, a proto se vyplatí tuto metriku sledovat od prvního dne.
vrstvaMajitelNahlásit
Co píše agentVedoucí oddělení AppSecCISO, měsíčně
K čemu je agent připojenVedoucí platformy nebo DevOpsCISO, nepřetržitě
Co agent získáVedoucí oddělení AppSecCISO, nepřetržitě
Hlášený stav rizik umělé inteligenceCISKancelář OPředstavenstvo nebo audit commitodpaliště, čtvrtletní

Druhý řádek, který ve většině organizací zůstává neobsazen, je ten druhý. Konfigurační soubory spadají mezi zabezpečení aplikací, které je považuje za infrastrukturu, a platformní inženýrství, které je považuje za dokumentaci. Právě v této mezeře se objevují zajímavé útoky.

Jak začnete měřit riziko umělé inteligence v tomto čtvrtletí?

Nevytvářejte celý program. Vygenerujte tři čísla. Spočítejte svá aktiva umělé inteligence. Spočítejte, kolik z nich nikdo neschválil. Spočítejte, kolik tajemství je uloženo v konfiguračních souborech umělé inteligence. Tyto tři se vejdou na jeden slajd; všechny jsou obhajitelné a budou horší, než kdokoli o ně žádal, očekává.

Pak vyberte ten nejhorší a opravte ho před příštím zasedáním představenstva. To je funkční program pro řízení rizik v oblasti umělé inteligence. Všechno ostatní je jen rozpracování.

Organizace, které se v roce 2027 budou potýkat s riziky spojenými s umělou inteligencí, nebudou ty, které jednaly rychle. Jsou to ty, které strávily rok 2026 psaním zásad pro umělou inteligenci a nikdy nic nezapočítaly. Zásada, se kterou se nikdo nemůže porovnávat, je dokument. Metriky rizik umělé inteligence z něj dělají kontrolu.

Podívejte se na svá vlastní čísla. Připojte repozitář a Xygeni vrátí váš inventář AI, neschválená aktiva, rizika namapovaná na frameworky, které vaši auditoři používají, a kusovník AI, který můžete exportovat. Začněte zdarma or rezervovat demo.

Nejčastější dotazy

Jaký je rozdíl mezi rizikem umělé inteligence a bezpečností umělé inteligence?

Bezpečnost umělé inteligence se týká především toho, co model dělá: zda se chová tak, jak má, zda jsou jeho výstupy škodlivé, zda jej lze manipulovat do něčeho, co by měl odmítnout. Riziko umělé inteligence se v kontextu bezpečnosti týká toho, čeho může kompromitovaný nebo chybně fungující systém umělé inteligence dosáhnout ve vašem prostředí. Tyto dva pojmy se překrývají, ale patří různým týmům a měří se různými nástroji. Bezpečnostní tým může dnes jednat i na základě druhého z nich.

Kolik metrik rizik umělé inteligence bychom měli hlásit představenstvu?

Tři až pět. Hrací deska nemůže jednat na základě devíti čísel a balíček s devítkou má tendenci skrývat to, na kterém záleží. Nahlaste celkový počet aktiv umělé inteligence, neschválené procento a jednu metriku expozice, jako jsou dosažitelné nálezy umělé inteligence v aktivním vývoji. Zbytek si nechte pro operační kontrolu.

Potřebujeme AI-BOM, když ho zatím žádný předpis nevyžaduje?

V současné době žádný předpis nenařizuje AI-BOM, a proto je jeho vytvoření nyní levné a později drahé. V současné době existují dva strojově čitelné formáty a auditor přijme kterýkoli z nich. Hodnota nespočívá v dodržování předpisů; jde o to, že vytvoření souboru vás nutí mít inventář a inventář je to, na čem závisí každá metrika rizika AI.

Naši vývojáři používají nástroje umělé inteligence, které jsme nikdy neschválili. Kde začít?

Nejprve počítejte, než začnete s hlídáním. Vyhlášení politiky proti nástrojům, které nevidíte, vede k jejich používání do skrytých rukou a ničí potřebnou viditelnost. Nejprve proveďte zjišťování informací, interně publikujte číslo bez uvedení zdroje a použijte ho k dohodě o schváleném seznamu, který odráží to, co lidé skutečně potřebují. Vymáhání funguje mnohem lépe, když následuje po důkazech, než když jim předchází.

nástroje pro analýzu složení softwaru SCA
Stanovte priority, opravte a zabezpečte svá softwarová rizika
Získejte svůj bezplatný účet.
Nevyžaduje se žádná kreditní karta.

Zajistěte si vývoj a dodávky softwaru

s produktovým balíčkem Xygeni