Riziko a poloměr výbuchu způsobené umělou inteligencí agenta

Riziko agenta s umělou inteligencí a poloměr výbuchu: omezit agenta, nebo se zotavit rychleji?

TL, DR

Tři odpovědi na stejnou otázku o riziku agentní umělé inteligence

Očekávali jsme širokou shodu ohledně omezení agentů s umělou inteligencí a dostali jsme tři různé odpovědi.

  • Pedro Fortuna: rozdělit agenty na mnoho malých, specifických, každý s co nejužšími oprávněními, a přidat monitorování za běhu, které je včas zastaví.
  • Jack Trefon: opak pro kódovací agenty. Omezením jednoho z nich zničíte to, co ho činí užitečným, takže akceptujte poloměr výbuchu a investujte do trasování a rychlé obnovy.
  • Luis Rodríguez Berzosa: třetí řádek. S hraničními modely zacházejte stejně jako s malwarem, navrhněte systém tak, aby omezoval každého specializovaného agenta, a pod něj umístěte vrstvu vynucování, která se udrží v chodu i v případě, že vše nad ní selže.

Kde se všichni tři setkali: Nemůžete chránit to, co jste neinventarizovali, každá akce musí být zaznamenána a věc, která agenta zastaví, musí být mimo něj.

Nic nebylo porušeno.

Agent splnil svou práci. Cestou se rozhodl, že se potřebuje dotknout závislosti, konfigurace, služby, o kterou ho nikdo nepožádal. Celou dobu zůstal v rámci svých oprávnění. Žádné pravidlo nebylo porušeno, takže se nic nespustilo.

Předložili jsme tento případ třem lidem, kteří se jím profesionálně zabývají, a očekávali jsme širokou shodu na tom, co s tím dělat. Dostali jsme tři různé odpovědi a dvě z nich si vzájemně protiřečí.

Riziko spojené s umělou inteligencí agentů se obvykle popisuje jako problém útočníka. Toto je jiná verze. Dvacet let jsme vymezovali hranice oprávnění pro software, který dělal přesně to, co mu bylo řečeno. Servisní účet, běžec CI, naplánovaná úloha. Hranice jsme sice často pletli, ale věc uvnitř byla předvídatelná. Pokaždé dělal jednu úlohu stejným způsobem.

Nyní rozhoduje to, co je uvnitř hranice. A hranice je stále vytyčena tak, jak byla vždycky: předem, v době konfigurace, někým, kdo nemůže vědět, v co se úkol promění.

To je verze rizika agentní umělé inteligence, o které stojí za to diskutovat, a strávili jsme jí hodinu v minulém... Diskuse o bezpečném vývoji s Pedro Fortuna z Jscramblera, Jack Trefon společnosti Trefon Digital Consulting a Luis Rodríguez Berzosa z Xygeni, pořádané Alexandr Estrada.

Očekávali jsme, že se s tím budou obecně shodovat. Neshodli se.

Riziko agentní umělé inteligence: uklidňující předpoklad, který neobstojí

Výše uvedený rámeček obsahuje slovo, které dělá více práce, než by mělo: útočníkŽádný neexistuje. To má scénář usnadnit.

Pedro to rozebral jedním tahem.

„Být útočníkem, nebo ne, je lidská věc. Útočníka útočníkem dělá to, že má jiné cíle. A špatně zarovnaný agent je také něco, co má jiný cíl.“

S tím se smířte, protože to boří premisu většiny konverzací o rizicích spojených s umělou inteligencí, včetně popisu, který jsme napsali pro naši vlastní akci. Pokud útočníka definují odlišné cíle spíše než zlý úmysl, pak je „v tomto příběhu žádný útočník není“ útěchou, kterou si nikdo nezasloužil. Strukturálně se jedná o stejné riziko. Co chybí, je záměr, a záměr nikdy nebyl to, co vaše ovládací prvky detekovaly. Detekují účinky. Vždycky to dělaly.

To je také důvod, proč se slovní zásoba v tomto odvětví změnila. OWASP 10 nejlepších studentů LLM pro rok 2026 posunula nadměrnou angažovanost z šestého místa na třetí, což není ani tak změna názoru, jako spíše rekordní počet incidentů, který dohání architekturu, která již byla nasazena.

Co incident s Hugging Face skutečně ukazuje

Červencový incident, kdy modelka z pohraničí napadla třetí osobu, byl široce interpretován jako příběh o modelce, která se stala darebákem. Luis to chápe jinak a jeho verze staví odpovědnost do nepříjemného postavení.

„Problém není v hraničním modelu. Hraniční model udělal to, co mu bylo nařízeno. Problém je v návrhu experimentu.“

Cíl byl otevřený. Omezení chyběla. A sandbox, který ho měl obsahovat, měl okno na internet prostřednictvím zranitelnosti na straně serveru, která bránila padělání požadavků v mezipaměti balíčků, ke které se agent mohl dostat. Každá z těchto zranitelností je designovým řešením.cision vytvořený osobou.

Což vytváří větu, která by měla změnit způsob, jakým tyto věci zajišťujete:

„Na hraniční modely je třeba pohlížet, jako by šlo o malware, protože mohou jednat autonomně a podnikat kroky.“cisionty, které jsou zlomyslné. Ne úmyslně, ale nakonec jsou opravdu zlomyslné.“

Ne jako urážku modelu. Jako přístup k zajišťování. Nedáte malwaru bash shell a nedoufáte, že cíl byl dobře specifikován.

Pedrovo pojetí téže události se týkalo spíše načasování než záměru:

„V okamžiku, kdy uvidíte agenty komunikující prostřednictvím názvů složek ve službě, kterou by neměli používat, musíte tyto agenty zastavit. Nemusíte čekat, až se jim podaří prolomit Hugging Face, abyste se mohli rozhodnout, zda je to škodlivé, či nikoli.“

Za zachování stojí i jeden detail z reakce. Respondenti se pokusili použít komerční agentský nástroj k analýze stop, ale nepodařilo se jim to, protože narazili na limity rychlosti. Útočník takový limit neměl. „V samotném útoku byla asymetrie.“

Skutečný argument: omezit agenta, nebo se zotavit rychleji?

Zde se panel rozdělil a jde o skutečný nesouhlas mezi praktiky, kteří si svou pozici zasloužili.

Pedro argumentuje pro rozklad. Patnáct let prosazování izolace v prohlížeči ho naučilo, že proti monolitu nelze za běhu nic vynutit. Rozdělte architekturu na malé části se specifickými funkcemi a teprve poté se budou mít ovládací prvky a monitorovací body kam připojit. Agenti nejsou výjimkou.

„Myslím, že to musíte rozdělit na velmi specifické agenty, kteří jsou určeni pouze pro konkrétní úkoly. A nevadí, jestli nakonec budete mít padesát agentů. Je to lepší než mít jen jednoho.“

Jack tvrdí opak, konkrétně pro kódovací agenty. Člověk by očekával, že technologie běžící na pozadí v regulované kryptoměnové burze vytvoří v místnosti nejomezující pozici. Ta jich ale vygenerovala nejméně.

Jeho výchozí analogie vůbec není modelem hrozby:

„Na typické nasazení agenta se dívám stejně, jako bych se díval na nově přijatého, nového člověka, který přichází. A tento člověk může být bezchybný v provedení, nebo může udělat chybu. Nevidím v tom velký rozdíl.“

Pro úzce zaměřené agenty je stejně přísný jako kdokoli jiný. Když popisoval agenta pro kontrolu pouze pro čtení, kterého právě vytváří, řekl přímočaře, že běžné nastavení je neobhajitelné: nasazení na základní Linux s přístupem k bash „otevírá prostor celému ekosystému hrozeb“. Ale pro běžné programátorské agenty je logika obrácená a on ví, že tento postoj je nepopulární:

„Čím více moci má agent, tím je kreativnější a efektivnější. Není to tedy odvětví, které prosperuje kvůli omezením a zmenšujícímu se rozsahu.“

Co tedy zbývá, když se neomezíte? Jističe a především časové snímky: nebrání v dosahu výbuchu, ale umožňují levnou a rychlou obnovu po něm. To zabudoval do... Jantar, nástroj pro C++ agenty bez závislostí, který píše ve svém volném čase, s vytvářením snapshotů ve smyčce (stránky projektu).

A varování, kde končí druhá cesta:

„Pokud začneme ubírat, zbude jen jeden nástroj a ten vývojář bude moci rozsvěcet a zhasínat světla.“

Luis obsadil třetí místo, což není ani omezení, ani obnova, ale zadržování zdola: předpokládejme, že se agent nakonec bude chovat jako malware, navrhněme postroj tak, aby omezil každého specializovaného agenta, a pod to vše umístíme vrstvu vynucení, která bude fungovat, i když vše nad ní selže.

Tři přístupy ke stejnému problému

Tři pozice, každá s určitým poplatkem. Žádná z nich není zdarma a žádná z nich sama o sobě nezajišťuje bezpečnost agenta.

PřístupJádrový tahKolik vás to stojí
RozložitPedro FortunaMnoho malých agentů, každý s úzkými oprávněními, plus monitorování za běhu, které je včas zastavíNávrhářská práce na začátku a těžší časy s otevřeným kódováním
Zotavit seJack TrefonZachovejte si funkčnost, přidejte jističe a časové snímky, aby bylo vrácení zpět levné.Širší poloměr výbuchu a sázka na jeho včasnou detekci a zneškodnění
Obsahovat zespoduLuis Rodríguez BerzosaPředpokládejte chování malwaru, omezte každého agenta v svazku, vynuťte jeho chování na pracovní stanici a CI runneru.Infrastruktura a nástroje, které většina koncových stacků zatím neposkytuje

Když je čteme vedle sebe, je neshoda užší, než se zdá. Všechny tři připouštějí, že agent udělá něco nezamýšleného. Liší se v tom, kam peníze jdou: do architektury předtím, než k ní dojde, do obnovy po ní, nebo do podlahy pod oběma.

Proč se nejmenší privilegia nepromítají do rizika agentní umělé inteligence

Nejmenší oprávnění předpokládá, že znáte danou úlohu. Rozsah oprávnění omezíte na daný úkol.

Agent to tiše poruší, protože hranice jeho oprávnění jsou vykresleny v době konfigurace a jeho úkol je doručen za běhu. Ve skutečnosti udělíte sjednocení všeho, o co by mohl být kdy požádán. To není nejmenší oprávnění; je to opak, nošení oděvu nejmenšího oprávnění.

Luis nabídl přeformulování vypůjčené z myšlenky starší než cokoli z toho:

„Přemýšlím o mechanismu UNIXu, který propojuje jednoduché nástroje dohromady a provádí složitý úkol. Můžete definovat specifické agenty s řízenou konfigurací, čímž omezíte, co daný specializovaný agent dokáže. A můžete je kombinovat pro téměř jakýkoli úkol.“

Plus druhý designový nápad, který většina týmů nevyzkoušela: zabalit nástroje, spíše než rozšířit oprávnění. Ne bash, který předává celý systém, ale úzký obalovací modul, který je jedinou volatelnou cestou, s variantami pouze pro čtení obalujícími generické varianty. Agent získává funkci, ne shell.

Také jasně uvedl, že překážkou není design, ale zavádění. Nové ovládací prvky na vývojářských počítačích mají dlouhou historii obcházení a tato historie se nemění, protože daný nástroj je agent.

A o tom, kde si myslí, že to všechno končí:

„Myslím, že nakonec budeme mít autonomní agenty ovládající jiné autonomní agenty.“

Notebook se stal klenotem koruny a váš EDR si toho nevšiml

Agent potřebuje k užitečnosti stálý přístup. Token, který nevyprší v průběhu úlohy, přihlašovací údaje uložené v mezipaměti, práva pro odesílání, přístup k registru a aktivní cestu k… pipelineVšechny tyto chyby jsou spíše požadavkem než opomenutím, což znamená, že čím lepší byly nástroje, tím koncentrovanější se stával vývojářský stroj.

Útočníci si toho všimli jako první. Jak to Pedro vyjádřil, nejsou to ideologové:

„Organizují se jako malé firmy. Potřebují vydělat peníze, takže se přesouvají k nejziskovějšímu směru, jaký mohou najít. A rychle si uvědomili, že ve vývojových stanicích se dají vydělat peníze.“

Každý týden sledujeme, jak se v registrech mění půda. Souhrn škodlivého kódu, kde sběrači přihlašovacích údajů nyní běžně hledají klíče poskytovatelů umělé inteligence vedle cloudových a registrových.

Jeho seznam opatření k zmírnění rizik není nijak zvlášť atraktivní, ale funguje: odstranit všechny klíče, které nemusí být na počítači, spárovat ty, které zbývají, s druhým faktorem, jako je OpenID Connect nebo hardwarový klíč, aby ukradený token sám o sobě nestačil, a přesunout prostředí mimo hostitele, kamkoli je to možné, prostřednictvím vývojových kontejnerů nebo cloudových IDE.

Pak Luis pronesl bod, který by měl znepokojit každého, kdo předpokládá, že jeho endpoint stack toto pokrývá:

„EDR se specializují na tradiční malware a nejsou si vědomy nástrojů agentů. A pokud fungují, mohou generovat spoustu falešně pozitivních výsledků, protože agent dělá věci, o kterých detekční vzory dosud nevědí.“

Dva režimy selhání najednou: přehlédne to, co je důležité, a označí to, co není důležité. Jeho odpovědí je vnější vrstva vynucování, která se nachází kolem vývojářské pracovní stanice a běžce CI, pod ovládacím prvkem, a omezuje, kam se nepoctivý agent může dostat. To je ta mezera. Xygeni Shield byl vytvořen pro, s vynucenými zásadami na koncovém bodě, kde instalace skutečně probíhá.

Jack to vyjádřil na rovinu: neuchovávejte Bitcoin na svém vývojářském počítači.

Podlaha, na které se všichni tři shodli

Tři různé odpovědi, jedna společná minimální.

  • Nejdříve inventář. „Nemůžeš chránit něco, o čem nic nevíš.“ Každý druhý decision závisí na znalosti existujících agentů, dovedností a MCP serverů a téměř žádný z nich nebyl deklarován.
  • Zaznamenávejte každou akci. Jack a Luis sem dorazili z opačných směrů. Jack chce stopy, protože jsou to způsob, jak se zotavit a jak organizace dozrává. Luis je chce, protože bez nich nelze následně rekonstruovat poloměr výbuchu. Jackovo pojetí stojí za to si vypůjčit: nemá smysl vyslýchat aktéra, člověka nebo agenta, pouze dostatečně dobře pochopit kontext, abychom ho neopakovali.
  • Věc, která agenta zastavuje, musí být mimo něj. Pedrův runtime monitoring, Luisova vrstva vynucování, Jackovy jističe a snapshoty. Různé mechanismy, jeden princip.

Jack nabídl užitečné shrnutí toho, kde se toto odvětví nachází. Vzpomíná si na první spamový e-mail, který kdy dostal, a v němž mu bylo sděleno, že zdědil zlatý důl v Nigérii. To je problém zralosti a zralost přichází po chybách, nikoli před nimi.

Co dělat před pátkem

Vyberte si jednoho agenta. Zapište si dva seznamy: co smí dělat a co měl tento týden skutečně dělat.

Rozdíl mezi těmito seznamy představuje váš poloměr výbuchu a je to nejužitečnější měřítko rizika agentní umělé inteligence, které může váš tým vyprodukovat za jedno odpoledne. Trvá to odpoledne, nepotřebuje to žádný rozpočet a pro vaši organizaci to vyřeší výše uvedený argument, protože tyto tři pozice jsou ve skutečnosti třemi různými odpověďmi na otázku, jak velký by tento rozdíl měl být.

Většina týmů si to nikdy nezapsala.

Jedno celá hodina je k dispozici ke shlédnutí, včetně Jackova postřehu o tom, proč požadavky na lidskou interakci v Evropě znemožňují v praxi realizaci některých obranných mechanismů s využitím umělé inteligence. 

A pokud cvičenícise vrátí odpověď, která se vám nelíbí, Xygeni Objevte všechna aktiva umělé inteligence ve vašich repozitářích, včetně agentů, dovedností a serverů MCP, které nikdo nedeklaroval, a zmapujte, k čemu každý z nich může dosáhnout. Rezervujte si demo or začněte zdarma, a my to spustíme na vašem.

Nejčastější dotazy

Jaký je poloměr výbuchu agenta s umělou inteligencí?

Všechno, k čemu by agent mohl dosáhnout, kdyby se něco pokazilo, na rozdíl od toho, co měl udělat. Je to definováno oprávněními, přihlašovacími údaji a nástroji, které má agent k dispozici za běhu, nikoli úkolem. Rozdíl mezi těmito dvěma věcmi je to, co stojí za to měřit, a většina týmů si ho nikdy nezapsala.

Je překročení úkolu agentem bezpečnostním incidentem, pokud nikdy nepřekročil svá oprávnění?

To byl hlavní spor. Pedrova odpověď je v podstatě ano, protože útočníka definuje spíše divergence cílů než zlý úmysl a nesprávně zarovnaný agent se odchýlil. Jackova odpověď se spíše blíží ne: jedná se o operační selhání, jako chyba nově přijatého zaměstnance, a správnou reakcí je trasování a obnova, spíše než přísnější omezení. Luis se otázce vyhýbá tím, že od začátku předpokládá nejhorší možný scénář a ptá se, jaká vrstva stále platí, když k němu dojde.

Měli by být kódovací agenti v sandboxu?

U úzce zaměřených agentů se všichni tři bez váhání shodli: pouze pro čtení, kde je to možné, žádný bash, žádná síť, pokud není potřeba. U agentů s obecným kódováním se panel rozdělil do tří částí: Pedro by je rozložil, Jack by agresivně ponechal schopnosti a snapshoty a Luis by přidal vrstvu vynucování pod rámec povinností bez ohledu na to, co je agentovi povoleno dělat.

Kryje moje EDR riziko spojené s agentskou umělou inteligencí?

Pravděpodobně ne dobře. Současné nástroje pro koncové body jsou postaveny na tradičních vzorcích malwaru a nemodelují chování agentů, takže mají tendenci přehlížet to, co je důležité, a označovat to, co není důležité. Luisova odpověď spočívala v vytvoření vnější vrstvy vynucování určené pro vývojářská prostředí, spíše než v univerzálním EDR.

Co je první věc, kterou je třeba udělat?

Vytvořte inventář. Každý model, agent, dovednost a MCP server ve vašich repozitářích a to, čeho každý z nich může dosáhnout. Je to jeden krok, který jmenovali všichni tři panelisté, a jediný, na kterém závisí všechny ostatní ovládací prvky.

nástroje pro analýzu složení softwaru SCA
Stanovte priority, opravte a zabezpečte svá softwarová rizika
Získejte svůj bezplatný účet.
Nevyžaduje se žádná kreditní karta.

Zajistěte si vývoj a dodávky softwaru

s produktovým balíčkem Xygeni