Kybernetická bezpečnost s využitím umělé inteligence je postup zabezpečení umělé inteligence jako součásti vaší útočné plochy: modelů, datových sad, agentů, MCP serverů, výzev a kódu generovaného umělou inteligencí uvnitř vašeho softwaru, plus nových útočných technik, které na ně cílí. Zahrnuje také opačný směr, tedy použití umělé inteligence k posílení obrany, ale první směr je ten, který dnes vytváří prostor pro odhalení. To je stručná odpověď na to, co je kybernetická bezpečnost s využitím umělé inteligence. Stojí za to být předem připravený.cise o tom, protože tento termín se používá pro dvě velmi odlišné věci a koupě špatné věci nechává tu druhou bez povšimnutí.
Význam kybernetické bezpečnosti s využitím umělé inteligence ve dvou směrech #
Význam kybernetické bezpečnosti umělé inteligence se dá jednoduše rozdělit: chráníte umělou inteligenci, nebo jste jí chráněni?
Zabezpečení umělé inteligence. Vaše organizace buduje a vyvíjí se s využitím umělé inteligence. To zavádí aktiva, která nikdo neinventarizoval, a poruchové režimy, pro které konvenční nástroje nikdy nebyly navrženy: výzva, která přijímá nedůvěryhodné vstupy, agent s větším oprávněním, než jeho úkol potřebuje, datová sada, která otravuje model, server MCP, který nikdo neschválil. Právě zde dochází k incidentům.
Umělá inteligence pro bezpečnost. Strojové učení aplikované na detekci, třídění, vysvětlování a nápravu: omezování šumu při poplachu, upřednostňování zneužitelných zjištění a psaní oprav. Odtud pramení efektivita.
Většina dodavatelů a většina článků spojuje tyto dva pojmy. Z provozního hlediska je důležitý význam kybernetické bezpečnosti umělé inteligence, která se jedná o samostatné programy se samostatnými vlastníky. Jedním z nich je problém s povrchem útoku. Druhým je problém s produktivitou.
Co chrání kybernetická bezpečnost umělé inteligence? #
Inventarizace před kontrolou. Každá položka níže je aktivem, za které je nyní zodpovědný bezpečnostní tým.
- modely, ať už hostované samostatně, doladěné nebo voláno prostřednictvím API poskytovatele
- Datasety používá se pro trénování, doladění, vyhodnocování a vyhledávání
- Agenti a servery agentů které fungují autonomně uvnitř vašich systémů
- MCP servery které těmto agentům zpřístupňují nástroje a data
- Nápovědy, soubory dovedností, soubory pravidel a guardrails, konfigurační vrstva, která řídí chování umělé inteligence
- Koncové body inference a pověřovací listiny, které k nim dosáhnou
- Asistenti kódování s umělou inteligencí používané ve vašich týmech a kód, který generují
- Závislosti umělé inteligence: frameworky a balíčky, které váš AI stack načítá
Všimněte si, jak málo z toho tvoří aplikační kód. To je předemcisproč a SAST Nástroj, agent EDR a nástroj pro sledování cloudového stavu mohou hlásit zelenou barvu, když agent na notebooku extrahuje data prostřednictvím vlastních e-mailových nástrojů tool.ols, ke kterým jste se připojili. Ani jeden z nich není pokryt kódem aplikace, takže ani jeden z nich není pokryt nástroji, které již používáte.
Tři útoky, které existují pouze díky umělé inteligenci #
Vědět, na kterou rodinu se díváte, vám napoví, kam patří kontrola, a právě zde přestává být význam kybernetické bezpečnosti s využitím umělé inteligence abstraktní.
První rodina cílí na instrukce modelu. Rychlá injekce si udržela přední pozici v OWASP Top 10 pro přihlášky LLM Protože seznam existoval, z prostého důvodu: jakýkoli bod, kde model čte text, který sám nevytvořil, je vstupním bodem. Nebezpečná verze je nepřímá. Nikdo útok nezadává, model si ho načte z tiketu podpory, webové stránky, pull request komentář nebo dokument, který někdo nahrál. Model nedokáže rozlišit instrukce od obsahu, takže se řídí oběma. Dejte tomuto modelu nástroje a stejná technika se stane vstřikováním nástrojů: změňte to, co si agent myslí, že nástroj dělá, a bude jednat proti vám s použitím vašich vlastních přihlašovacích údajů. Nadměrná autonomie je multiplikátor. Agent s širšími oprávněními, než vyžaduje jeho úkol, je rozdílem mezi obtíží a incidentem.
Druhá rodina cílí na konfigurační vrstvu. Výzvy, soubory pravidel, soubory dovedností a definice MCP serveru určují, co umělá inteligence ve vašem prostředí dělá, a nic z toho není aplikační kód. Backdoor s pravidly souborů ukázal, jak daleko to jde: znaky Unicode s nulovou šířkou nesou instrukce, které lidský kontrolor fyzicky nevidí, asistent je poslouchá a nikdy se o nich ve své odpovědi nezmiňuje. Tato technika je katalogizována v ATLAS MITRŮ jako AML.CS0041. Stejná vrstva běžně uchovává přihlašovací údaje poskytovatele v prostém textu a uděluje asistentům přístup pro čtení k mnohem větší části souborového systému, než kdokoli zamýšlel. V agentické kódování, Tato vrstva je volant a téměř nikdo ho nerecenzuje.
Třetí rodina cílí na dodavatelský řetězec umělé inteligence. Modely, datové sady a balíčky kolem nich přicházejí zvenčí. Nejjasnějším případem je tzv. „slopsquatting“ (nedbalostní chování): jazykové modely si vymýšlejí názvy balíčků, útočníci je registrují a agent na vyžádání nainstaluje útočníkův kód. Výzkum prezentovaný na konferenci USENIX Security 2025 zjistil, že 19.7 % balíčků doporučených LLM neexistuje a že halucinované názvy se opakují dostatečně často na to, aby mohly být „farmovány“. Vedle toho existují otrávená trénovací a vyhledávací data, vkládání dat, která unikají jejich zdrojový materiál, nedůvěryhodné MCP servery připojené přímo k agentovi a zranitelné frameworky umělé inteligence stahované jako závislosti.
Pod všemi třemi se nachází stínová umělá inteligence: modely, agenti, asistenti a MCP servery již spuštěné bez schválení, kontroly nebo inventury. Ve většině organizací je to výchozí stav a proto je prvním ovládacím prvkem vždy seznam.
Co není? #
Není to správa věcí veřejných pomocí umělé inteligence. Řízení odpovídá na to, zda byste měli model používat a za jakých podmínek. Kybernetická bezpečnost umělé inteligence odpovídá na to, zda lze model, agenta a propojení mezi nimi napadnout.
Není to filtr před chatbotem. Filtrování běhových příkazů je jen jednou z mnoha kontrol. Nevidí nic o MCP serveru na notebooku vývojáře, souboru s napadenými pravidly v repozitáři ani o přihlašovacích údajích v konfiguraci umělé inteligence.
Není to zahrnuto v tom, co již provozujete. Tradiční zabezpečení aplikací se zastavuje u repozitáře a neví, co je model. Nástroje pro koncové body sledují operační systém a nerozumí balíčkům, MCP serverům ani asistentům. Útoky s využitím umělé inteligence se dostávají do mezery mezi nimi.
Nejde jen o generativní umělou inteligenci. Klasické strojové učení v oblasti podvodů, stanovování cen a bodování rizik je také terčem, a to prostřednictvím otravování, vyhýbání se rizikům a extrakce modelů.
Rámce, které definují obor #
OWASP Top 10 pro přihlášky LLMpracovní taxonomie pro aplikační rizika LLM a ta, na kterou většina bezpečnostních týmů mapuje zjištění
OWASP Top 10 pro agentní aplikace 2026: doprovodný seznam autonomních systémů využívajících nástroje, publikovaný v prosinci 2025
Bezpečnostní projekt OWASP GenAIzastřešující úsilí, včetně zabezpečení dat, pokynů pro server MCP a zdrojů pro red teaming
Rámec řízení rizik NIST AI a jeho generativní profil umělé inteligence: slovník správy a řízení, který regulátoři a rady uznávají
ATLAS MITRŮ: znalostní báze o adversarních technikách pro systémy umělé inteligence s reálnými případovými studiemi
Zákon EU o umělé inteligenciprávní rámec, včetně povinností týkajících se technické dokumentace, které vám inventář umělé inteligence pomůže splnit
Kde začít #
Inventář. Najděte všechny používané modely, datové sady, agenty, MCP servery a asistenty AI, a to z kódu, závislostí a konfigurace, nikoli z průzkumu.
Zmapujte vztahy. Riziko je v zapojení: který agent se dostane ke kterému nástroji, která datová sada napájí který model.
Přečtěte si konfigurační vrstvu. Zacházejte s výzvami, soubory dovedností, soubory pravidel a definicemi MCP jako s bezpečnostními artefakty a kontrolujte je jako kód.
Oprávnění rozsahu. Dejte každému agentovi co nejužší plochu nástrojů a co nejmenší autonomii, kterou mu jeho práce umožňuje.
Vynucovat tam, kde to běží. Většina rizik spojených s umělou inteligencí se nachází na počítačích vývojářů, takže zásady musí platit na koncovém bodě, ještě před spuštěním neschváleného serveru nebo škodlivého balíčku.
Zabezpečení umělé inteligence, kterou používáte, a umělé inteligence, s níž stavíte #
Praktická odpověď na otázku, co je kybernetická bezpečnost s využitím umělé inteligence, zní, že začíná viditelností a končí vynucováním. Xygeni odhaluje každý prvek umělé inteligence ve vašem SDLC, včetně modelů, agentů, MCP serverů, datových sad, souborů dovedností a výzev, které nikdo nedeklaroval, mapuje, jak se propojují, a detekuje rizika specifická pro ně: vkládání výzev a nástrojů, škodlivé instrukce v pravidlech a souborech dovedností, nezabezpečenou konfiguraci MCP, tajné kódy v souborech AI a nedbalé závislosti AI. Zjištění se mapují na OWASP Top 10 pro LLM aplikace a ukazují na přesný soubor a řádek. AI-BOM poskytuje vašim auditorům něco obhajitelného a zásady jsou vynucovány na koncovém bodě vývojáře, kde většina rizik AI skutečně probíhá.
Stejná inteligence platí i pro zjištění ze skenerů, které již vlastníte, takže zabezpečení pomocí umělé inteligence váš stack rozšiřuje, místo aby ho nahrazovalo. Podívejte se, k čemu jsou vaši agenti připojeni na adrese Xygeni.
Nejčastější dotazy #
Vývoj, kde agent umělé inteligence plánuje a provádí vícekrokovou práci ve vaší kódové základně pomocí nástrojů, přičemž zabezpečuje umělou inteligenci uvnitř vašeho softwaru a vývojového procesu a brání se útokům, které jsou na ni konkrétně zaměřeny.
Nová třída aktiv, za kterou jste zodpovědní, která se nachází mimo rámec pokrytí vašich stávajících aplikací a nástrojů pro koncové body a na kterou se vás v rámci auditů ptají.
Ne. Jeden chrání umělou inteligenci, kterou používáte a s jejíž pomocí stavíte. Druhý využívá umělou inteligenci k urychlení vašeho bezpečnostního týmu. Oba jsou užitečné a nenahrazují se.
Seznam 10 nejlepších aplikací OWASP pro LLM v inženýrství a rámec pro řízení rizik umělé inteligence NIST pro správu. Přidejte seznam agentů, jakmile agenti budou mít ve vašem prostředí nástroje.
Inventář. Každá další kontrola závisí na znalosti toho, co existuje, a většina týmů objeví majetek, který nikdo nenahlásil.
