Povrch pro útok s umělou inteligencí

Útok umělé inteligence na povrch, který nikdo nebere v úvahu

V posledních několika letech měla bezpečnost aplikací jasnou hranici: repozitář a pipelineTam se nacházely ovládací prvky, kde probíhaly skenování a kde se týmy rozhodovaly, zda se něco odešle do produkčního prostředí. Všechno to spočívalo na jednom předpokladu: vývojář si explicitně vybral, který kód a které závislosti se do systému dostanou.

Tento předpoklad již neplatí. Stále větší podíl kódu je dnes psán, navrhován nebo instalován agentem umělé inteligence, často aniž by se kdokoli podíval na název toho, co se stahuje. Když decisS tím, jak se pohybuje část kódu, se pohybuje i útok. Přesouvá se na úplný začátek procesu: v okamžiku vytvoření kódu, do samotného asistenta a do souborů, které ho konfigurují.

Toto je vaše útočná plocha pro umělou inteligenci: každý model, agent, MCP server, dovednost a závislost navržená umělou inteligencí, která nyní může představovat riziko ještě předtím, než ji člověk zkontroluje. Stejná umělá inteligence, které vaši vývojáři důvěřují, je nyní její součástí. Nejedná se o budoucí riziko. Je to posun, který se již stal, a takto to vypadá v praxi.

Vlna útoků, ne ojedinělý incident

Žádná z následujících činností není laboratorní cvičenícise nebo hypotetický. Jedná se o veřejné, zdokumentované incidenty, téměř všechny z minulého roku, a každý z nich se trochu více blíží samotnému agentovi umělé inteligence:

  • Srpen 2025, s1angularity: Útočníci ukradli publikační token z Nx, jednoho z nejpoužívanějších sestavovacích systémů, a odeslali škodlivé verze do npm, přičemž pomocí nástrojů umělé inteligence hledali tajné informace na počítačích vývojářů.
  • Září 2025, křída/ladění: Jeden z největších kompromisů npm co do dosahu, 18 balíčků s více než dvěma miliardami týdenních stažení, převzatých únosem účtu jediného správce.
  • Září 2025, Šaj-Hulúd: jeden z prvních zdokumentovaných červů schopných se samovolně množit prostřednictvím npm. Jeho druhá vlna, v listopadu, byla agresivnější a spojena s tajnými informacemi odhalenými ve více než 25 000 repozitářích.
  • Říjen 2025, nevyužitý dovoz: součást kampaně PhantomRaven, kde halucinace umělé inteligence zavedla skutečný malware do npm pomocí techniky slopsquattingu.
  • Letos ClawHub: otrávený registr dovedností umělé inteligence, kde pět ze sedmi nejstahovanějších dovedností tvořil malware.

Celé odvětví formalizuje stejný závěr. Žebříček OWASP Top 10 pro LLM aplikace umisťuje prompt injection na první místo. Žebříček OWASP MCP Top 10 (v současné době v beta verzi) se zaměřuje na protokol, který agenti používají ke komunikaci s nástroji. OWASP Agentic Skills Top 10, nový projekt ve fázi inkubátoru, uvádí škodlivé dovednosti jako své největší riziko. OWASP obvykle postupuje opatrně; otevření tří front najednou, z nichž jedna je naléhavá, něco vypovídá o tom, jak rychle se to vyvíjí.

Všechny tři se shodují na stejné myšlence: instrukce, nástroje a konfigurace modelu jsou nyní součástí útočné plochy AI a obvykle se nacházejí ve vašem vlastním repozitáři. Což vyvolává první otázku, kterou stojí za to položit vašim týmům: kdo kontroluje soubory s pravidly, dovednosti a konfigurace MCP, které se nacházejí ve vašem repozitáři?

Povrch pro útok s umělou inteligencí

 Vektor 1: otrávená dovednost

Dovednost je soubor instrukcí a schopností, které učí agenta s umělou inteligencí, jak provést úkol. Není to jediný způsob, jak formovat chování agenta (soubory s pravidly, hooksa konfigurace MCP dělají totéž), ale všechny sdílejí jednu vlastnost: putují uvnitř repozitáře spolu s kódem.

Výzkum letos zkoumal 4 000 těchto dovedností:

  • 36 % mělo alespoň jednu bezpečnostní chybu.
  • 13.4 % bylo kritických.
  • Téměř 100 jich obsahovalo přímo škodlivé datové zásilky.

Základní změna: útočník se již nezaměřuje na váš kód. Zaměřuje se na agenta, který váš kód píše, a vkládá do něj skryté instrukce (někdy s použitím neviditelných znaků), které model čte a považuje za funkční. Lidský kontrolor schvaluje... pull request v dobré víře, protože v jejich očích soubor vypadá čistě. Model interpretuje instrukce, které recenzent nikdy neviděl.

To není teoretické. Zranitelnost CVE-2025-59536 (CVSS 8.7) umožňovala spuštění Claude Code z nedůvěryhodného repozitáře, kde škodlivá konfigurace mohla spouštět příkazy dříve, než uživatel přijal dialogové okno důvěryhodnosti. Druhá zranitelnost, CVE-2026-21852, umožňovala únik klíče API prostřednictvím konfigurace řízené projektem, aniž by uživatel cokoli schválil.

H2: Vektor 2: dřepy bez důkladného přistání

Název je kombinací výrazu „slop“ (odpad, který umělá inteligence někdy generuje) s klasickým útokem typu typosquatting. Typosquatting závisí na lidské chybě: útočník zaregistruje název balíčku blízký populárnímu názvu a čeká na překlep. Je to náhodné.

Nedbalé dřepy nečeká na chybu. Ve studii, na kterou se v této relaci odkazuje, 19.7 % odkazů na balíčky generovaných modely umělé inteligence odkazovalo na balíčky, které neexistují. Modely mají tendenci opakovaně halucinovat stejná jména, takže útočník sleduje, která jména si umělá inteligence vymyslí, zaregistruje tato jména se škodlivým kódem a čeká na další instalaci navrženou umělou inteligencí, aby ji mohl nahrát do vaší aplikace.

Měřítko není malé: V roce 2025 bylo identifikováno více než 450 000 nových škodlivých balíčků. Dva příklady to konkretizují:

  • Výzkumník zasadil neškodný testovací balíček s názvem huggingface-cli aby to dokázal. Zaznamenalo se to více než 30 000 stažení za tři měsíce.
  • nevyužité-importy, z výše uvedené časové osy, byl potvrzen malware, žijící ve veřejném registru, používající přesně tuto techniku. Nejednalo se o test.

Otázkou není, zda se to může stát i vašemu týmu. Jde o to, kolik balíčků navržených umělou inteligencí dnes vstupuje do vašeho kódu, aniž by se na ně někdo podíval.

odpověď: standarddohánějí

Dvě síly působí paralelně. Zatímco útoky zrychlují, standardtěla reagují:

  • NIST SP 800-218A rozšiřuje rámec pro bezpečný vývoj softwaru o postupy specifické pro modely umělé inteligence, včetně důkazů o integritě a původu.
  • In Květen 2026, CISA a její mezinárodní partneři G7 publikoval pokyny k softwarovému seznamu materiálů pro umělou inteligenci, v nichž definuje, co do tohoto inventáře patří: modely, datové sady, komponenty, poskytovatelé a závislosti.

Směr je jasný: SBOM se rozšiřuje do podoby AI-BOM. Nemůžete certifikovat ani doložit, co nemůžete inventarizovat. A dnes většina organizací nemůže:

  • 43% nemohou auditovat ani inventarizovat nástroje umělé inteligence, které již používají.
  • 79% nemají žádný přehled o agentech AI a systémech MCP běžících v jejich vlastním prostředí.

V regulovaném prostředí se tento inventář přesouvá od osvědčených postupů ke smluvním očekáváním nebo povinnosti dodržování předpisů. Inventář vám však říká pouze to, co máte k dispozici. Sama o sobě útok neblokuje.

Mezera: EDR pro AppSec

SAST a SCA Nástroje jsou navrženy k analýze kódu a závislostí, nikoli chování agenta nebo jeho konfigurace. EDR vidí procesy a síťová připojení, ale obvykle postrádá kontext zabezpečení aplikací k interpretaci závislostí nebo konfigurace agenta. Mezi těmito dvěma kategoriemi nástrojů je mezera, přesně tam, kde se nyní vytváří kód a přesně tam, kde se nachází povrch pro útoky umělé inteligence.

Tato mezera má tři slepá místa:

  1. Aktiva umělé inteligence. Modely, agenti a servery MCP se nezobrazují na vašem SASTje nebo SCAradar. Nemůžete inventarizovat to, co nevidíte.
  2. Konfigurační soubory. Dovednosti, pravidla a konfigurace MCP formují chování agentů, ale obvykle jsou posuzovány, jako by se jednalo o neškodný prostý text.
  3. Instalace balíčků. A Škodlivá závislost může běžet dříve, než se zjistí, že je škodlivá, a poté odcizit tajné informace a tokeny, aniž by to kdokoli schválil.

Jak to Xygeni uzavírá

Co EDR dělá pro koncové body, Xygeni Shield plní životní cyklus vývoje s podporou umělé inteligence: chrání místo, kde se kód vytváří, a zároveň chápe kontext zabezpečení aplikace.

  • Viditelnost, kde SAST a SCA nedosahuj. Xygeni označuje škodlivé dovednosti a soubory pravidel, analyzuje konfigurace MCP a vytváří systém připravený k auditu. AI-BOM, namapované na žebříčky OWASP LLM, MCP a Agentic Skills Top 10.
  • Inteligence, ne jen podpisy. MEW (Malware Early Warning) analyzuje chování a riziko balíčku, aby jej zablokoval dříve, než se objeví CVE, upozornění nebo veřejný podpis. Aktuální síťové informace přeruší připojení ke známé škodlivé infrastruktuře.
  • Jeden kontrolní bod, od kódu až po koncový bod. Jeden agent, nasazený bez nutnosti přepracování prostředí, s integrovanou evropskou datovou suverenitou a důkazy o shodě s předpisy.

V živé demonstraci toto vynucování zásad zablokovalo pokus agenta umělé inteligence o instalaci škodlivého balíčku napříč třemi různými instalačními cestami (virtuální prostředí, správce balíčků a přímé stažení) před dokončením instalace. Všechny cesty byly zaznamenány v reálném čase a bylo možné je exportovat do SOC. Zavedení prvního projektu obvykle trvá asi hodinu; rozšíření pokrytí na celou organizaci obvykle trvá jeden až dva týdny v závislosti na struktuře.

Nejčastější dotazy

Jaká je plocha útoku umělé inteligence v jednom odstavci? 

Útočná plocha umělé inteligence (AI) je sada modelů, agentů, MCP serverů, dovedností, souborů s pravidly a závislostí navržených umělou inteligencí, jejichž prostřednictvím může riziko vstoupit do aplikace, často ještě předtím, než je člověk zkontroluje. Rozšiřuje se nad rámec tradičního kódu a závislostí a zahrnuje konfigurační soubory a instrukce, které formují chování agenta umělé inteligence.

Jak poznám, zda je název balíčku navržený mým asistentem s umělou inteligencí halucinace, nebo jen legitimní, ale neznámý? 

Ověření před instalací: zkontrolujte registr a analyzujte skutečný obsah a záměr balíčku, místo abyste důvěřovali pouze názvu. Xygeni toto ověřování automatizuje v reálném čase během generování kódu, takže instalace je schválena nebo zablokována před spuštěním, ať už balíček poznáváte, nebo ne.

Ovlivňuje slopsquatting všechny modely umělé inteligence stejnou měrou? 

Výzkum, který vedl k číslu 19.7 %, zahrnoval více modelů a zjistil, že problém je široce rozprostřený, s pouze malými rozdíly mezi nimi. Jedná se o vzorec napříč vývojem s podporou umělé inteligence, nikoli o vadu specifickou pro jednoho asistenta.

Můžeme zpětně zkontrolovat, zda jsme již nainstalovali halucinovaný nebo škodlivý balíček? 

Ano. Platforma Xygeni poskytuje zákazníkům přístup k udržované databázi detekovaných škodlivých balíčků, kterou lze prohledávat ve vašem stávajícím inventáři komponent, takže si můžete několika kliknutími ověřit, zda je některá z již nainstalovaných součástí známou hrozbou.

Jak dlouho trvá implementace pro středně velkou organizaci s více týmy? 

Zavedení prvního projektu obvykle trvá asi hodinu. Škálování napříč celou organizací obvykle trvá jeden až dva týdny, v závislosti na struktuře týmu a způsobu práce. 

Zmapujte si zdarma útočnou plochu pro vaši AI

Zmapujte zdarma stopu umělé inteligence vaší aplikace: vytvořte si účet a spustit první skenování během několika minutZačněte s jednou aplikací, podívejte se, jaká umělá inteligence se v ní nachází, a zjistěte, která část vaší útočné plochy s využitím umělé inteligence je nebezpečná.

*Některé výše uvedené funkce jsou vynucovány prostřednictvím Xygeni Shield a ASPM/Moduly zabezpečení AI; dostupnost se může lišit v závislosti na tarifu. Viz xygeni.io pro aktuální informace o produktu.

nástroje pro analýzu složení softwaru SCA
Stanovte priority, opravte a zabezpečte svá softwarová rizika
Získejte svůj bezplatný účet.
Nevyžaduje se žádná kreditní karta.

Zajistěte si vývoj a dodávky softwaru

s produktovým balíčkem Xygeni