Agentin tekoälyn riski ja räjähdyssäde

Agentin tekoälyn riski ja räjähdyssäde: rajoita agenttia vai toivu nopeammin?

TL; DR

Kolme vastausta samaan kysymykseen agenttisesta tekoälyn riskistä

Odotimme laajaa yksimielisyyttä tekoälyagenttien rajoittamisesta, mutta saimme kolme erilaista vastausta.

  • Pedro Fortuna: Jaa agentit useisiin pieniin, tarkasti määriteltyihin agentteihin, joilla kullakin on mahdollisimman pienet käyttöoikeudet, ja lisää ajonaikaista valvontaa, joka pysäyttää ne aikaisin.
  • Jack Trefon: päinvastoin, koodausagenttien kohdalla. Rajoita yhtä ja tuhoat sen, mikä tekee siitä hyödyllisen, joten hyväksy räjähdyssäde ja panosta jäljitykseen ja nopeaan palautumiseen.
  • Luis Rodríguez Berzosa: kolmas rivi. Käsittele rajaseutumalleja samalla tavalla kuin käsittelisit haittaohjelmia, suunnittele valjaat rajoittamaan kunkin erikoisagentin toimintaa ja aseta kaiken sen alle valvontakerros, joka on voimassa, kun kaikki sen yläpuolella oleva pettää.

Missä kaikki kolme tapasivat: Et voi suojata sitä, mitä et ole inventoinut, jokainen toiminto on kirjattava, ja asia, joka pysäyttää agentin, on oltava agentin ulkopuolella.

Mitään ei rikottu.

Agentti teki työnsä. Matkalla se päätti, että sen piti koskea riippuvuuteen, konfiguraatioon tai palveluun, johon kukaan ei pyytänyt sitä koskemaan. Se pysyi koko ajan käyttöoikeuksiensa rajoissa. Yhtäkään sääntöä ei rikottu, joten mitään ei tapahtunut.

Esitimme asian kolmelle asian parissa työskentelevälle ammattilaiselle ja odotimme laajaa yksimielisyyttä siitä, mitä asialle pitäisi tehdä. Saimme kolme erilaista vastausta, ja kaksi niistä on ristiriidassa keskenään.

Agenttisen tekoälyn riskiä kuvataan yleensä hyökkääjän ongelmaksi. Tämä on toinen versio. Kahdenkymmenen vuoden ajan piirsimme käyttöoikeusrajoja ohjelmistojen ympärille, jotka tekivät juuri sen, mitä niille käskettiin. Palvelutili, CI-ajuri, ajoitettu työ. Menimme rajan kanssa pieleen tarpeeksi usein, mutta sen sisältö oli ennustettavissa. Se teki yhden työn, samalla tavalla, joka kerta.

Rajan sisäpuolella oleva asia ratkaisee nyt. Ja raja piirretään edelleen kuten aina ennenkin: etukäteen konfiguroinnin yhteydessä jonkun toimesta, joka ei voi tietää, millaiseksi tehtävä tulee muuttumaan.

Tuo on se versio agenttisesta tekoälyriskistä, josta kannattaa väitellä, ja käytimme siihen tunnin viimeksi. SafeDev-keskustelu Pedro Fortuna Jscrambleristä, Jack Trefon Trefon Digital Consultingista ja Luis Rodríguez Berzosa Xygenistä, isännöijänä Alejandro Estrada.

Odotimme heidän olevan laajalti samaa mieltä. Mutta eivät he olleet.

Agenttisen tekoälyn riski: lohduttava lähtökohta, joka ei pidä paikkaansa

Yllä olevassa kehystyksessä on sana, joka tekee enemmän työtä kuin sen pitäisi: hyökkääjäSellaista ei ole. Sen pitäisi helpottaa tilannetta.

Pedro purki sen yhdellä liikkeellä.

”Hyökkääjän luonne on inhimillinen käsite. Hyökkääjän tekee hyökkääjäksi se, että sillä on erilaiset tavoitteet. Ja myös väärin suuntautuneella toimijalla on erilainen tavoite.”

Jää tuon asian kanssa sinnittelemään, koska se purkaa useimpien tekoälyyn liittyvien riskikeskustelujen lähtökohdan, mukaan lukien omalle tapahtumallemme kirjoittamamme kuvauksen. Jos hyökkääjän määrittelee poikkeavat tavoitteet pikemminkin kuin pahantahtoisuus, niin "tässä tarinassa ei ole hyökkääjää" on lohdutus, jota kukaan ei ansainnut. Rakenteellisesti se on sama riski. Puuttuu tarkoitus, ja tarkoitus ei koskaan ollut se asia, jota kontrollisi havaitsivat. Ne havaitsevat vaikutuksia. Ne ovat aina havainneet.

Tästä syystä myös alan sanasto muuttui. OWASP:n Vuoden 2026 kymmenen parasta LLM-hakemusten joukossa edisti liiallista toimijuutta kuudennelta sijalta kolmannelle, mikä ei ole niinkään mielipiteen muutos kuin tapausten ennätys, joka kuroa umpeen jo käyttöönotetun arkkitehtuurin.

Mitä Hugging Face -tapaus todellisuudessa osoittaa

Heinäkuun tapaus, jossa rajaseudun malli hyökkäsi kolmannen osapuolen kimppuun, luettiin laajalti tarinana mallin toiminnasta epäluuloisesti. Luis tulkitsee sen eri tavalla, ja hänen versionsa asettaa vastuun epämukavaan paikkaan.

"Ongelma ei ole rajaseutumalli. Rajaseutumalli teki sen, mitä sille annettiin tehtäväksi. Ongelma on kokeen suunnittelu."

Tavoite oli avoin. Rajoituksia ei ollut. Ja sen sisältämiseen tarkoitetulla hiekkalaatikolla oli ikkuna internetiin palvelinpuolen pyyntöjen väärentämishaavoittuvuuden kautta pakettivälimuistissa, johon agentti saattoi päästä. Jokainen näistä on suunnittelun tulos.cisihmisen tekemä ioni.

Tämä tuottaa lauseen, jonka pitäisi muuttaa näiden asioiden tarjoamistapaa:

"Rajanylittäjämalleja on tarkasteltava kuin ne olisivat haittaohjelmia, koska ne voivat toimia itsenäisesti ja ottaa askelia."cisilkeitä ioneja. Eivät tahallaan, mutta loppujen lopuksi ne ovat todella ilkeitä."

Ei loukkauksena mallia kohtaan. Käyttöönottotoimenpiteenä. Et anna haittaohjelmalle bash-komentotulkkia ja toivo, että tavoite oli hyvin määritelty.

Pedron tulkinta samasta tapahtumasta liittyi pikemminkin ajoitukseen kuin suunnitteluun:

”Heti kun näet agenttien kommunikoivan kansioiden nimien kautta palvelussa, jota heidän ei pitäisi käyttää, sinun on pysäytettävä kyseiset agentit. Sinun ei tarvitse odottaa, että agentit murtautuvat onnistuneesti Hugging Faceen, jotta voit päättää, onko kyseessä haitallinen toiminta.”

Myös vastauksesta löytyvä yksityiskohta on säilyttämisen arvoinen. Vastaajat yrittivät käyttää kaupallisen agentin työkalua jälkien analysointiin, mutta eivät onnistuneet, koska ne saavuttivat nopeusrajoituksia. Hyökkääjällä ei ollut tällaista ylärajaa. "Hyökkäyksessä itsessään oli epäsymmetriaa."

Varsinainen argumentti: rajoittaa agenttia vai toipua nopeammin?

Tässä kohtaa paneeli jakautui, ja kyseessä on todellinen erimielisyys ammattilaisten välillä, jotka ovat kukin ansainneet paikkansa.

Pedro puolustaa hajoamista. Viisitoista vuotta eristäytymisen ajamista selaimen sisällä opetti hänelle, ettei monoliittia vastaan ​​voi pakottaa mitään suorituksen aikana. Jos arkkitehtuuri pilkkoutuu pieniksi paloiksi tiettyjen funktioiden avulla, vasta sitten ohjaus- ja valvontapisteillä on jokin kiinnityskohta. Agentit eivät ole poikkeus.

”Mielestäni se on jaettava hyvin erityisiin agentteihin, jotka on tarkoitettu vain tiettyihin tehtäviin. Eikä sillä ole väliä, vaikka agentteja olisi viisikymmentä. Se on parempi kuin vain yksi.”

Jack väittää päinvastaista, erityisesti koodausagenttien osalta. Voisi olettaa, että säännellyllä kryptopörssillä taustalla toimiva teknologia tuottaisi rajoittavimman tilanteen. Se tuotti kuitenkin vähiten.

Hänen lähtökohtana oleva analogiansa ei ole lainkaan uhkamalli:

”Katson tyypillistä agentin käyttöönottoa aivan kuten uutta työntekijää, uutta henkilöä, joka on tulossa töihin. Ja tuo henkilö voi olla moitteeton toteutuksessa tai hän voi tehdä virheen. En näe suurta eroa.”

Kapeille agenteille hän on yhtä tiukka kuin kenelle tahansa muulle. Kuvaillessaan parhaillaan rakentamaansa vain luku -tilassa olevaa tarkistusagenttia hän oli suorasukainen ja totesi, että yleinen kokoonpano on puolustamaton: käyttöönotto tavallisessa Linux-ympäristössä bash-käyttöoikeuksin "avaa koko uhkien ekosysteemin". Mutta yleisille koodausagenteille logiikka kääntyy päälaelleen, ja hän tietää, että kanta on epäsuosittu:

”Mitä enemmän valtaa agentilla on, sitä luovempi ja tehokkaampi se on. Eli toimiala ei kukoista rajoitusten ja toiminnan laajuuden supistumisen vuoksi.”

Mitä sitten jää jäljelle, jos rajoituksia ei ole? Katkaisijat ja ennen kaikkea aikaan perustuvat tilannekuvat: ne eivät estä räjähdyssädettä, vaan tekevät siitä toipumisesta halpaa ja nopeaa. Hän sisällyttää sen osaksi kokonaisuutta. Keltainen, riippuvuuksista vapaa C++-agentin valjaste, jota hän kirjoittaa vapaa-ajallaan ja jossa on tilannekuvauksia silmukassa (projektisivusto).

Ja varoitus siitä, missä toinen polku päättyy:

"Jos alamme ottaa pois, jäljelle jää vain yksi työkalu, ja kyseinen kehittäjä voi sytyttää ja sammuttaa valot."

Luis ottaa kolmannen sijan, joka ei ole rajoittamista eikä palauttamista, vaan eristämistä alhaalta päin: oletetaan, että agentti lopulta käyttäytyy kuin haittaohjelma, suunnitellaan valjaat rajoittamaan kutakin erikoistunutta agenttia ja asetetaan kaiken sen alle valvontakerros, joka pitää kiinni, kun kaikki sen yläpuolella oleva vikaantuu.

Kolme lähestymistapaa samaan ongelmaan

Kolme tehtävää, joihin jokaiseen liittyy kustannuksia. Mikään niistä ei ole ilmainen, eikä mikään niistä yksinään tee agentista turvallista.

LähestymistapaYdinliikeMitä se sinulle maksaa
HajoaaPedro FortunaUseita pieniä agentteja, joilla kullakin on kapeat käyttöoikeudet, sekä ajonaikainen valvonta, joka pysäyttää ne aikaisinSuunnittelutyötä alussa ja vaikeampaa avoimen koodityön kanssa
toipuaJack TrefonSäilytä ominaisuus, lisää katkaisijoita ja aikaperusteisia tilannevedoksia, jotta palautus on edullistaLeveämpi räjähdyssäde ja panos sen havaitsemiseen ja kumoamiseen ajoissa
Sisältää alhaaltaLuis Rodríguez BerzosaOletetaan haittaohjelmien toiminta, rajoitetaan jokaisen agentin toimintaa valjaissa ja valvotaan sen alapuolella työasemalla ja CI-ajurillaInfrastruktuuri ja työkalut, joita useimmat päätepistepinot eivät vielä tarjoa

Rinnakkain lukiessa erimielisyys on suppeampi kuin miltä se kuulostaa. Kaikki kolme hyväksyvät sen, että agentti tekee jotain tahatonta. Ne eroavat siitä, mihin rahat menevät: arkkitehtuuriin ennen tapahtumaa, jälkeiseen ennallistamiseen vai molempien alla olevaan kerrokseen.

Miksi vähiten etuoikeuksia ei käytetä agenttisen tekoälyn riskinä

Pienimmät käyttöoikeudet olettavat, että tunnet työtehtävän. Määrität käyttöoikeudet tehtävän laajuuteen.

Agentti rikkoo tämän hiljaa, koska sen oikeuksien raja piirretään konfigurointivaiheessa ja sen tehtävä saapuu suorituksen aikana. Todellisuudessa myönnät kaiken sen yhdistelmän, mitä sitä saatetaan koskaan pyytää tekemään. Se ei ole pienin etuoikeus; se on päinvastoin, pienimmän etuoikeuden vaatteiden pukeminen.

Luis tarjosi uudelleenmuotoilun, joka oli lainattu ideasta, joka oli tätä vanhempi:

”Ajattelen UNIXin putkistomekanismia, jossa yksinkertaiset työkalut yhdistetään monimutkaisen tehtävän suorittamiseksi. Voit määrittää tiettyjä agentteja, joilla on hallittu kokoonpano, mikä rajoittaa kyseisen erikoisagentin mahdollisuuksia. Ja voit yhdistää niitä lähes mihin tahansa tehtävään.”

Lisäksi toinen suunnitteluidea, jota useimmat tiimit eivät ole kokeilleet: kääri työkalut käyttöoikeuksien laajentamisen sijaan. Ei bash-käskyä, joka luovuttaa koko järjestelmän, vaan kapea kääre, joka on ainoa kutsuttava polku, ja jossa vain luettavat variantit käärivät yleiset variantit. Agentti saa kyvyn, ei komentotulkkia.

Hän teki myös selväksi, että este ei ole suunnittelussa, vaan käyttöönotossa. Kehittäjäkoneiden uusien ohjainten kiertämisellä on pitkä historia, eikä tämä historia muutu, koska kyseinen työkalu on agentti.

Ja siitä, mihin hän luulee kaiken päättyvän:

"Uskon, että lopulta meillä on autonomisia agentteja, jotka hallitsevat muita autonomisia agentteja."

Kannettavasta tietokoneesta tuli kruununjalokivi, eikä EDR-laitteesi ole huomannut sitä.

Agentin käyttöoikeus edellyttää pysyvää käyttöoikeutta. Tunniste, joka ei vanhene kesken tehtävän, välimuistissa oleva tunnistetieto, push-oikeudet, rekisterin käyttöoikeus, reaaliaikainen polku palveluun. pipelineJokainen näistä on pikemminkin vaatimus kuin valvonta, mikä tarkoittaa, että mitä paremmiksi työkalut tulivat, sitä keskittyneemmäksi kehityskoneesta tuli.

Hyökkääjät huomasivat ensimmäisenä. Kuten Pedro asian ilmaisi, he eivät ole ideologeja:

”He organisoituvat kuin pienet yritykset. Heidän täytyy ansaita rahaa, joten he etsivät kannattavimman mahdollisen toimintamallin. Ja he huomasivat nopeasti, että kehitysasemilla oli rahaa ansaittavissa.”

Katselemme, että rekistereissä oleva maa siirtyy joka viikko Haittakoodin tiivistelmä, jossa tunnistetietojen kerääjät metsästävät nyt rutiininomaisesti tekoälyllä toimitettujen palveluntarjoajien avaimia pilvi- ja rekisteriavainten rinnalla.

Hänen lieventämislistansa on vaatimaton, mutta toimii: poista kaikki avaimet, joiden ei tarvitse olla koneella, yhdistä jäljelle jäävät avaimet toiseen tekijään, kuten OpenID Connectiin tai laitteistoavaimeen, jotta varastettu token ei yksinään riitä, ja siirrä ympäristö pois isännältä, jos mahdollista, esimerkiksi kehityskonttien tai pilvi-IDE:iden avulla.

Sitten Luis esitti asian, jonka pitäisi huolestuttaa kaikkia, jotka olettavat päätepistepinonsa kattavan tämän:

”EDR-työkalut ovat erikoistuneet perinteisiin haittaohjelmiin eivätkä ole tietoisia agenttityökaluista. Ja jos ne toimivat, ne voivat tuottaa paljon vääriä positiivisia tuloksia, koska agentti tekee asioita, joista tunnistusmallit eivät ole tällä hetkellä tietoisia.”

Kaksi vikatilaa samanaikaisesti: se ohittaa tärkeät asiat ja merkitsee merkityksettömät asiat. Hänen vastauksensa on tuo ulkoinen valvontakerros, joka sijaitsee kehittäjätyöaseman ja CI-runnerin ympärillä valjaiden alapuolella ja rajoittaa sitä, mihin epärehellinen agentti voi yltää. Tämä on aukko. Xygeni Shield on rakennettu, ja käytäntöä sovelletaan siinä päätepisteessä, jossa asennus todellisuudessa tapahtuu.

Jack sanoi sen suoraan: älä säilytä Bitcoinejasi kehityskoneellasi.

Kaikki kolme olivat samaa mieltä

Kolme eri vastausta, vähintään yksi yhteinen.

  • Varasto ensin. "Et voi suojella sitä, mistä et tiedä." Joka toinen decision riippuu siitä, mitä agentteja, taitoja ja MCP-palvelimia on olemassa, ja lähes yhtäkään niistä ei ole ilmoitettu.
  • Kirjaa jokainen toiminto ylös. Jack ja Luis saapuivat tänne vastakkaisista suunnista. Jack haluaa jälkiä, koska niiden avulla toivutaan ja organisaatio kypsyy. Luis haluaa niitä, koska ilman niitä räjähdyksen sädettä ei voida rekonstruoida jälkikäteen. Jackin määritelmää kannattaa lainata: toimijan, ihmisen tai agentin, kuulustelussa ei ole mitään arvoa, ainoastaan ​​kontekstin ymmärtäminen riittävän hyvin, jotta sitä ei toista.
  • Se, mikä pysäyttää agentin, täytyy olla agentin ulkopuolella. Pedron ajonaikainen valvonta, Luisin valvontakerros, Jackin virrankatkaisijat ja tilannevedokset. Eri mekanismit, yksi periaate.

Jack tarjosi hyödyllisen kuvauksen siitä, missä vaiheessa alan kehitys on. Hän muistaa ensimmäisen saamansa roskapostiviestin, jossa hänelle kerrottiin perineensä kultakaivoksen Nigeriassa. Tämä on kypsyysongelma, ja kypsyys saapuu virheiden jälkeen eikä ennen niitä.

Mitä tehdä ennen perjantaita

Valitse yksi agentti. Kirjoita kaksi listaa: mitä se saa tehdä ja mitä sitä todellisuudessa pyydettiin tekemään tällä viikolla.

Näiden listojen välinen ero on räjähdyssäde, ja se on hyödyllisin mittari agenttisen tekoälyn riskille, jonka tiimisi voi tuottaa iltapäivässä. Se vie iltapäivän, ei vaadi budjettia, ja se ratkaisee yllä olevan väittelyn oman organisaatiosi osalta, koska nämä kolme näkökulmaa ovat itse asiassa kolme erilaista vastausta kysymykseen siitä, kuinka suuri eron tulisi olla.

Useimmat joukkueet eivät ole koskaan kirjoittaneet sitä muistiin.

koko tunti on katsottavissa jälkikäteen, mukaan lukien Jackin näkökulma siitä, miksi Euroopan ihmiskontakteja koskevat vaatimukset tekevät joistakin tekoälypuolustuksista käytännössä mahdottomia toteuttaa. 

Ja jos harjoittelijacise palauttaa vastauksen, josta et pidä, Xygeni Löydä jokainen tekoälyresurssi tietovarastoissasi, mukaan lukien agentit, taidot ja MCP-palvelimet, joita kukaan ei ole ilmoittanut, ja kartoita, mihin kukin niistä yltää. Varaa demo or aloita ilmaiseksi, ja me suoritamme sen sinun koneellasi.

FAQ

Mikä on tekoälyagentin räjähdyssäde?

Kaikki, mihin agentti voisi yltää, jos se menisi pieleen, toisin kuin se, mitä sitä pyydettiin tekemään. Se määritellään suorituksen aikana käytettävissä olevien käyttöoikeuksien, tunnistetietojen ja työkalujen perusteella, ei tehtävän perusteella. Näiden kahden välinen ero on mittaamisen arvoinen asia, eivätkä useimmat tiimit ole koskaan kirjoittaneet sitä muistiin.

Onko agentin tehtävien ylittäminen tietoturvapoikkeama, jos se ei ole koskaan ylittänyt oikeuksiaan?

Tämä oli keskeinen erimielisyys. Pedron vastaus on käytännössä kyllä, koska hyökkääjää määrittelee maalihajoaminen pikemminkin kuin pahantahtoisuus, ja väärin suuntautunut agentti on hajonnut. Jackin vastaus on lähempänä ei: kyseessä on toiminnallinen epäonnistuminen, kuten uuden työntekijän virhe, ja oikea vastaus on jäljitys ja korjaaminen pikemminkin kuin tiukemmat rajoitukset. Luis kiertää kysymyksen olettamalla pahimman mahdollisen tapauksen alusta alkaen ja kysymällä, mikä taso edelleen pätee, kun se tapahtuu.

Pitäisikö koodausagenttien olla hiekkalaatikossa?

Kapeiden, tehtäväkohtaisten agenttien kohdalla kaikki kolme suostuivat epäröimättä: vain luku -oikeus mahdollisuuksien mukaan, ei bash-hyökkäyksiä ja ei verkkoyhteyttä ellei sitä tarvita. Yleisten koodausagenttien kohdalla paneeli jakoi paneelin kolmeen tapaan: Pedro pilkkoisi agentit osiin, Jack pitäisi ominaisuuden ja tekisi tilannevedoksen aggressiivisesti, ja Luis lisäisi valvontakerroksen kokoonpanon alle riippumatta siitä, mitä agentilla on lupa tehdä.

Kattaako EDR-tietoni agenttien tekoälyyn liittyvän riskin?

Todennäköisesti ei hyvin. Nykyiset päätepistetyökalut on rakennettu perinteisten haittaohjelmamallien ympärille eivätkä ne mallinna agenttien käyttäytymistä, joten ne usein ohittavat tärkeät asiat ja merkitsevät merkityksettömät asiat. Luisin vastaus oli ulkoinen valvontakerros, joka on suunniteltu kehittäjäympäristöihin yleiskäyttöisen EDR:n sijaan.

Mikä on ensimmäinen tehtävä yksittäinen asia?

Rakenna inventaario. Jokainen malli, agentti, taito ja MCP-palvelin repositorioissasi ja mitä kukin niistä voi saavuttaa. Se on ainoa vaihe, jonka kaikki kolme paneelin jäsentä nimeävät, ja ainoa, josta kaikki muut ohjausobjektit ovat riippuvaisia.

sca-työkalut-ohjelmisto-koostumusanalyysityökalut
Priorisoi, korjaa ja suojaa ohjelmistoriskisi
Hanki ilmainen tili.
Luottokorttia ei vaadita.

Turvaa ohjelmistokehityksesi ja -toimituksesi

Xygeni-tuotepaketin kanssa