Xygeni na ENISE 2026 AI kódovací agent bezpečnost

Kdo rozhodl, že tato verze může být vydána? Bezpečnostní ponaučení agentů s umělou inteligencí z ENISE 2026

TL, DR

Co nás ENISE 2026 naučila o bezpečnosti kódovacích agentů s umělou inteligencí

Umělá inteligence už píše váš kód. Rozhodnutí o tom, co se dostane do produkčního prostředí, je stále na vás.

  • Stačila jedna věta: Výzva skrytá v názvu problému na GitHubu vedla agenta pro třídění s umělou inteligencí k zahájení řetězce, který skončil v neoprávněné propuštění Cline, programátorský asistent s více než pěti miliony uživatelů.
  • Nebylo zapojeno žádné CVE: Útok zneužil pět chybějících ovládacích prvků, což nebyla klasická zranitelnost, takže tradiční skenery neměly co označit.
  • Úzké hrdlo se posunulo: Umělá inteligence píše kód a rychle nachází zranitelnosti. Nejtěžší je nyní bezpečná integrace kódu a ověření, které zjištění jsou skutečná.
  • Kódovací agenti jsou součástí vašeho dodavatelského řetězce: Útočníci cílí na cokoli, co píše váš kód: vymyšlené názvy balíčků, napadené závislosti, dokonce i na asistenty umělé inteligence na notebooku vývojáře.

První krok: odpovězte na čtyři otázky. Kteří činitelé působí ve vašem vývoji, co mohou přinést a co vaše pipelinelze spustit a která zjištění můžete skutečně ověřit.

Na konferenci ENISE 2026 v Leónu zahájil náš generální ředitel Jesús Cuadrado svou přednášku o bezpečnosti kódovacích agentů s umělou inteligencí příběhem, nikoli slajdem se statistikami. Zde je to, co řekl v místnosti, a čtyři otázky, které každý den zanechával. CISO s.

Jedna věta stačila

Začátkem tohoto roku bezpečnostní výzkumník ukázal, že je možné publikovat falešnou verzi programátorského asistenta, kterého používají miliony vývojářů, bez exploitu, zero-day útoku nebo ukradeného hesla. Stačila k tomu jediná věta v názvu problému na GitHubu.

Nástrojem byl Cline, populární open-source asistent pro kódování. Stejně jako mnoho dnešních projektů, i jeho tým automatizoval část své práce pomocí umělé inteligence: agent četl každý nový problém na GitHubu, klasifikoval ho a odpovídal. Aby mohl vykonávat svou práci, měl tento agent přístup k terminálu a běžel na problémech otevřených kýmkoli na internetu. Výzkumník Adnan Khan pojmenoval řetězec útoků „Clinejection“ a Simon Willison… jasné shrnutí toho, jak to fungovalo.

 

Řetěz se přetrhl na pěti místech:

  1. Z externího textu se staly instrukce. Název problému se zobrazoval přímo v příkazovém řádku agenta, takže požadavek na instalaci nástroje vypadal jako příkaz.
  2. Agent měl více moci, než potřeboval. Bylo to tam od toho, aby řešilo problémy, ale mohlo to spouštět příkazy, takže to dělalo.
  3. Třídění a propuštění sdílelo mezipaměť. Nainstalovaný nástroj otrávil mezipaměť CI a pracovní postup vydání ji zdědil.
  4. Vydání používala token s dlouhou životností. S otrávenou mezipamětí byl publikační token npm na dosah ruky.
  5. Nikdo vydání neschválil. Nic nevyžadovalo, aby člověk ověřil verzi před jejím odesláním.

O několik týdnů později někdo útok skutečně zneužil a publikoval neoprávněnou verzi s názvem cline@2.3.0. Zůstala online asi osm hodin a byla nainstalována asi čtyři tisícekrát. Tentokrát datový balíček nainstaloval pouze dalšího agenta umělé inteligence. Mohlo se jednat o program pro krádež přihlašovacích údajů nebo ransomware.

Všimněte si, co tam chybělo: žádná SQL injection, žádné CVE, nic, co by tradiční skener označil. Kdo tedy rozhodl, že se tato verze může vydat?

Nikdo.

Pět chybějících ovládacích prvků a co každý z nich zavírá

Každý článek v řetězci Clinejection byl kontrolou, která tam nebyla. Žádný z nich nevyžadoval k zneužití CVE.

Článek v řetězuCo chyběloOvládací prvek, který ho zavírá
1. Název problémuNedůvěryhodný text se odeslal přímo do výzvy agenta.Veškeré externí vstupy považovat za nedůvěryhodné a vyloučit je z pokynů agenta.
2. Triážní agentTriážní agent mohl spustit jakýkoli příkazNejmenší privilegia: každému agentovi poskytněte pouze nástroje, které jeho úkol potřebuje
3. Sdílená mezipaměťPracovní postupy třídění a propouštění používaly stejný klíč mezipamětiIzolace pracovních postupů a jejich kontrola pipeline konfigurace jako kód
4. npm tokenVydání se spoléhala na dlouhodobý publikační tokenKrátkodobé, omezené přihlašovací údaje pro publikování
5. UvolněteŽádné lidské schválení ani ověření před zveřejněnímVyžaduje se schválení a podepsaný původ pro každé vydání

Psaní kódu už není úzkým hrdlem

Cline není žádný výjimek. Je to jen ukázka. Agenti kódování s umělou inteligencí nyní píší, instalují a commit kódovat tempem, pro které nebyl žádný proces kontroly navržen, a dokonce i laboratoře umělé inteligence uvádějí, že integrují změny rychleji, než zvládnou jejich vlastní nástroje.

Úzké hrdlo se posunulo. Psaní kódu je levné. Jeho bezpečná integrace ne.

Nalezení zranitelností je levné. Vědět, které z nich jsou skutečné, už ne.

Umělá inteligence je také velmi dobrá v hledání zranitelností. Co sama o sobě nedokáže, je říct, které z nich jsou skutečné.

Správci knihovny Curl, která běží na miliardách zařízení, to bolestně zviditelnili. Většina bezpečnostních hlášení, která obdrželi, nebyla skutečnými zranitelnostmi, přesto každé z nich svázalo členy malého dobrovolnického týmu na hodiny. V lednu 2026 Curl ukončil svůj program odměn za nalezení chybs odkazem na záplavu nekvalitních zpráv generovaných umělou inteligencí.

Stejná schopnost, objevování poháněné umělou inteligencí, může vést k stovkám skutečných zjištění nebo lavině šumu. Rozdíl je v tom, kdo je ověří a kolik to stojí.

Váš kódovací agent je nyní součástí vašeho dodavatelského řetězce.

Útočníci dospěli k logickému závěru: pokud kód píší agenti, proč na kód útočit? Útočit na kohokoli, kdo ho napíše.

  • Dřepání na nohou. Výzkum kódu generovaného umělou inteligencí zjistil, že modely pravidelně doporučují balíčky, které neexistují, a často opakují stejné vymyšlené názvy. Útočník si stačí zaregistrovat jeden a čekat.
  • Asistenti s umělou inteligencí se obrátili proti svým majitelům. Při útoku s1ngularity na populární nástroj pro sestavení Nx malware hledal na počítači vývojáře asistenty kódování s umělou inteligencí a požádal je o nalezení tajných informací: souborů .env, SSH klíčů, cloudových tokenů. Vlastní umělá inteligence oběti vykonala práci útočníka.

Útokovou plochou už není jen váš kód. Je to všechno, co za vás píše kód. Mnoho z těchto rizik je nyní mapováno v OWASP Top 10 pro přihlášky LLM a v žebříčku OWASP Top 10 pro agentní aplikace, který vysvětlujeme v našem průvodci OWASP Agentic AI Top 10.

Zabezpečení kódovacích agentů s umělou inteligencí: čtyři otázky každý CISO by měl být schopen odpovědět

otázky týkající se bezpečnosti kódovacích agentů s umělou inteligencí

Jesús tohle všechno proměnil ve čtyři otázky. Zkuste na ně odpovědět pro vaši vlastní organizaci:

  1. Kteří agenti a modely působí v našem dnešním vývoji? Ne ty, které jste schválili: ty, které tam jsou. IDE asistenti, GitHub boti, agenti, které někdo nastavil, aby šetřil čas.
  2. Co mohou přinést do našeho softwaru? Vynalezené balíčky, závislosti na návnadách, rozšíření IDE, MCP servery, modely stažené odkudkoli.
  3. Co mohou naši pipelinespustit a s jakými oprávněními? V Cline stačila sdílená mezipaměť k dosažení publikačního tokenu.
  4. Které zjištění z toho všeho, co nám bylo řečeno, můžeme skutečně ověřit?

Čtvrtá otázka je důležitější, než se zdá: nemůžete se spoléhat na shrnutí toho, co agent udělal. Potřebujete nezávislé důkazy.

Jak na ně Xygeni odpovídá?

Podívejte se, co tam je. Zabezpečení umělé inteligence Xygeni vytváří inventář modelů, agentů, MCP serverů a nástrojů pro kódování umělé inteligence ve vašich repozitářích s riziky namapovanými na OWASP Top 10 pro LLM aplikace. Nemůžete řídit něco, o čem nevíte, že existuje.

Bezpečnostní inventář umělé inteligence Xygeni - Raph

Zastavte to, co by se dovnitř dostat nemělo. Včasné varování před malwarem detekuje škodlivé balíčky ještě předtím, než existuje jejich signatura, a je zahrnut v našem bezplatném tarifu. Xygeni Shield blokuje škodlivé balíčky na vývojářských pracovních stanicích před jejich instalací a vynucuje minimální stáří balíčků, rozšíření IDE a pluginů, čímž uzavírá okno, na kterém tyto útoky závisí.

Ideové vývojové prostředí blokovaných balíčků Xygeni Shield

Chraňte pipeline. CI/CD Bezpečnostní kontroly pracovních postupů, oprávnění a tajných klíčů a Build Security přidává podepsané SLSA atestace, abyste mohli dokázat, že to, co jste publikovali, je to, co jste vytvořili. Přesně to selhalo v případě Cline.

Potvrďte důkazy, ne názory. Právě zde umělá inteligence nejvíce slibuje a nejčastěji se mýlí. Výsledek, který se mění s každým spuštěním, nemůže sloužit jako důkaz pro auditora ani jako brána do… pipelineTakže ve společnosti Xygeni se umělá inteligence nerozhoduje. V rámci penetračního testování umělé inteligence plánuje LLM útok stejně jako pentester, ale deterministický věštec rozhoduje o tom, zda útok fungoval, na základě skutečného a bezpečného signálu. Každý verdikt je zneužitelný, nikoli zneužitelný nebo neprůkazný a každý je dodáván s opakovaně spustitelným důkazem konceptu, který můžete ukázat auditorovi nebo představenstvu.

osvědčený nález pentestingu s umělou inteligencí Xygeni

Umělá inteligence navrhuje. Deterministický motor rozhoduje. Vy si ponecháváte důkazy.

DecisIon je stále tvůj

Jesús uzavřel tam, kde začal. Verze Cline byla odeslána bez jakéhokoli schválení, ne proto, že by tým byl nedbalý, ale proto, že nikdo včas nepoložil správné otázky. Na tom spočívá zabezpečení agentů pro kódování s využitím umělé inteligence: položit tyto otázky dříve, než vám agent něco odešle.

Umělá inteligence už píše váš kód. Rozhodnutí o tom, co se dostane do produkčního prostředí, je stále na vás.

Takže, na kterou ze čtyř otázek dnes nedokážete odpovědět?

Přesně o těchto otázkách jsme strávili tři dny na stánku 62 s bezpečnostními a vývojovými týmy. Děkujeme všem, kteří se zastavili.

Tým Xygeni na stánku 62 na veletrhu ENISE 2026

Tým Xygeni na ENISE 2026, zleva doprava: Jesús Cuadrado, Marcos Martin, a Agustín Sánchez Fonseca.

Chcete vidět, jak Xygeni na ně reaguje ve vašem prostředí? Začněte zdarma or rezervovat demo.

Nejčastější dotazy

Co je zabezpečení kódovacích agentů s umělou inteligencí?

Zabezpečení agentů pro kódování s využitím umělé inteligence je postup kontroly toho, co mohou asistenti a agenti pro kódování s využitím umělé inteligence vidět, instalovat, spouštět a publikovat v rámci životního cyklu vývoje softwaru. Zahrnuje samotné agenty, komponenty, které přinášejí, pipelineco mohou spustit, a důkazy, které potřebujete k tomu, abyste jejich výstupům důvěřovali.

Co byl útok Clinejection?

Clinejection byl řetězec útoků proti repozitáři Cline, ve kterém prompt skrytý v názvu problému na GitHubu oklamal agenta pro třídění s umělou inteligencí a přiměl ho spustit příkazy. Prostřednictvím otravy mezipaměti se útočník dostal k publikačnímu tokenu npm a vydal neoprávněnou verzi Cline, která byla nainstalována přibližně čtyři tisícekrát.

Co je to dřepání na nohou?

Slopsquatting je útok na dodavatelský řetězec, při kterém útočník registruje názvy balíčků, které si modely umělé inteligence obvykle vymýšlejí. Když vývojář nebo kódovací agent nainstaluje halucinovaný balíček, získá místo toho kód útočníka.

Může umělá inteligence sama ověřovat bezpečnostní zjištění?

Není spolehlivé. Umělá inteligence dokáže najít a vysvětlit zranitelnosti, ale její výstup se může mezi jednotlivými běhy měnit, což ji činí slabým důkazem. Bezpečnějším přístupem je nechat umělou inteligenci navrhovat a nechat deterministický engine rozhodovat, takže stejný vstup vždy produkuje stejný, ověřitelný výsledek.

nástroje pro analýzu složení softwaru SCA
Stanovte priority, opravte a zabezpečte svá softwarová rizika
Získejte svůj bezplatný účet.
Nevyžaduje se žádná kreditní karta.

Zajistěte si vývoj a dodávky softwaru

s produktovým balíčkem Xygeni