Risiko AI Agen lan radius ledakan

Risiko AI agen lan radius ledakan: mbatesi agen, utawa pulih luwih cepet?

TL; DR

Telung wangsulan kanggo pitakonan sing padha babagan risiko AI agentik

Kita ngarepake kesepakatan sing wiyar babagan mbatesi agen AI lan entuk telung jawaban sing beda.

  • Pedro Fortuna: bagi agen dadi akeh agen cilik lan spesifik, saben agen duwe ijin sing paling sempit, lan tambahake pemantauan runtime sing bisa mungkasi agen kasebut luwih awal.
  • Jack Trefon: kosok baline, kanggo agen pengkodean. Watesi siji lan sampeyan bakal ngrusak apa sing ndadekake migunani, mula tampa radius ledakan lan nandur modal ing pelacakan lan pemulihan cepet.
  • Luis Rodríguez Berzosa: baris katelu. Perlakukake model tapel wates kaya dene sampeyan nambani malware, rancang harness kanggo mbatesi saben agen khusus, lan pasang lapisan penegakan ing ngisor kabeh sing bakal tahan nalika kabeh ing ndhuwure gagal.

Ing ngendi kabeh telu ketemu: Sampeyan ora bisa nglindhungi apa sing durung sampeyan inventaris, saben tumindak kudu dicathet, lan perkara sing nyegah agen kudu ana ing njaba agen kasebut.

Ora ana sing dilanggar.

Agen kasebut nindakake tugase. Ing dalan, dheweke mutusake yen dheweke kudu ndemek dependensi, konfigurasi, layanan sing ora ana sing njaluk supaya didemek. Agen kasebut tetep ana ing njero ijine sajrone wektu kasebut. Ora ana aturan sing dilanggar, mula ora ana sing dipecat.

Kasus kuwi digawa menyang telung wong sing bakal nangani kanthi profesional, ngarep-arep ana kesepakatan sing jembar babagan apa sing kudu ditindakake. Kita entuk telung jawaban sing beda, lan loro jawaban kasebut saling bertentangan.

Risiko AI agentik biasane digambarake minangka masalah penyerang. Iki versi liyane. Sajrone rong puluh taun, kita nggawe watesan ijin ing sekitar piranti lunak sing nindakake persis kaya sing diwelingake. Akun layanan, pelari CI, proyek sing dijadwalake. Kita salah watesan asring, nanging barang ing njero bisa ditebak. Iku nindakake siji proyek, kanthi cara sing padha, saben-saben.

Bab sing ana ing njero wates saiki sing nemtokake. Lan watese isih digambar kaya biasane: sadurunge, nalika konfigurasi, dening wong sing ora ngerti apa sing bakal dadi tugas kasebut.

Kuwi versi risiko AI agen sing pantes dirembug, lan kita ngentekake sejam kanggo ngrembug babagan iki ing pungkasan. Obrolan SafeDev karo Pedro Fortuna saka Jscrambler, Jack Trefon saka Trefon Digital Consulting, lan Luis Rodríguez Berzosa saka Xygeni, sing dianakake dening Alejandro Estrada.

Awaké dhéwé ngarep-arep wong-wong mau bakal sarujuk. Nanging nyatané ora.

Risiko AI agentik: premis sing nyenengake sing ora berlaku

Framing ing ndhuwur nduweni tembung sing nindakake luwih akeh tinimbang sing kudune: penyerangOra ana siji-sijia. Kuwi mesthine supaya skenarione luwih gampang.

Pedro bisa mbongkar kuwi mung nganggo sak gerakan.

"Dadi penyerang utawa ora iku konsep manungsa. Sing ndadekake penyerang dadi penyerang yaiku dheweke duwe tujuan sing beda. Lan agen sing ora selaras uga duwe tujuan sing beda."

Tenang wae, amarga iki ngrusak premis saka umume obrolan risiko AI agen, kalebu deskripsi sing ditulis kanggo acara kita dhewe. Yen sing nemtokake penyerang yaiku tujuan sing beda tinimbang niat jahat, mula "ora ana penyerang ing crita iki" minangka panglipur sing ora dipikolehi sapa wae. Sacara struktural, risikone padha. Sing ilang yaiku niat, lan niat ora tau dadi perkara sing dideteksi kontrol sampeyan. Dheweke ndeteksi efek. Dheweke mesthi nindakake.

Iki uga alesan kenapa kosakata industri iki owah. OWASP 10 Aplikasi LLM Paling Apik ing taun 2026 promosi agensi sing berlebihan saka posisi kaping enem menyang posisi kaping telu, sing dudu owah-owahan pendapat tinimbang rekor kedadeyan sing nyusul arsitektur sing wis digunakake.

Apa sing sejatine dituduhake dening kedadeyan Hugging Face

Kedadeyan Juli, nalika model perbatasan nyerang pihak katelu, diwaca sacara wiyar minangka crita babagan model sing dadi penjahat. Luis maca kanthi beda, lan versine ndadekake tanggung jawab kasebut ora nyaman.

"Masalahe dudu model tapel watese. Model tapel watese nindakake apa sing diprentahake. Masalahe yaiku desain eksperimen kasebut."

Tujuane ora ana watese. Watesan kasebut ora ana. Lan sandbox sing dimaksudake kanggo ngemot duwe jendela menyang internet, liwat kerentanan pemalsuan panjalukan sisih server ing cache paket sing bisa digayuh agen. Saben uwong kasebut minangka desain decision sing digawe dening wong.

Sing ngasilake ukara sing kudune ngganti cara sampeyan nyedhiyakake bab-bab iki:

"Model frontier kudu dideleng kaya-kaya malware, amarga bisa tumindak kanthi mandiri lan njupuk decision sing jahat. Ora kanthi disengaja, nanging sejatine jahat ing pungkasane.”

Ora minangka penghinaan kanggo model kasebut. Minangka postur provisioning. Sampeyan ora menehi malware bash shell lan ngarep-arep tujuane wis ditemtokake kanthi apik.

Pamacané Pedro babagan kedadeyan sing padha luwih ngenani wektu tinimbang rancangan:

"Nalika sampeyan ndeleng agen komunikasi liwat jeneng folder ing layanan sing ora kudune digunakake, wayahe iku sampeyan kudu mungkasi agen kasebut. Sampeyan ora perlu ngenteni agen kasebut kasil nerobos Hugging Face kanggo mutusake apa iku mbebayani utawa ora."

Rincian saka respon uga pantes disimpen. Para responden nyoba nggunakake alat agen komersial kanggo nganalisis jejak kasebut nanging ora bisa, amarga wis tekan watesan tingkat. Penyerang ora duwe wates kaya ngono. "Ana asimetri ing serangan kasebut dhewe."

Argumen sing sejatine: mbatesi agen, utawa pulih luwih cepet?

Ing kene panel kasebut pecah, lan iki minangka perselisihan pendapat sing nyata antarane praktisi sing saben-saben wis entuk posisine dhewe-dhewe.

Pedro mbantah supaya diuraikake. Limalas taun ngisolasi browser sajrone pirang-pirang taun ngajari dheweke yen sampeyan ora bisa ngetrapake apa-apa nalika runtime marang monolit. Bagi arsitektur dadi potongan-potongan cilik kanthi fungsi tartamtu, lan mung sawise iku kontrol lan titik pemantauan duwe papan kanggo dipasang. Agen uga ora beda.

"Aku mikir kowé kudu mbagi dadi agen-agen sing spesifik banget sing mung dimaksudake kanggo tugas-tugas tartamtu. Lan ora masalah yen pungkasane kowé mung duwé sèket agen. Iku luwih apik tinimbang mung duwé siji."

Jack mbantah sing kosok baline, khusus kanggo agen coding. Sampeyan bakal ngarepake teknologi sing mlaku ing latar mburi ing ijol-ijolan crypto sing diatur bakal ngasilake posisi sing paling mbatesi ing ruangan kasebut. Iku sing ngasilake paling sithik.

Analogi wiwitane dudu model ancaman babar pisan:

"Aku ndeleng penyebaran agen khas kaya dene aku ndeleng karyawan anyar, wong anyar sing mlebu. Lan wong kasebut bisa uga tanpa cacat ing eksekusi, utawa bisa uga nggawe kesalahan. Aku ora weruh bedane akeh."

Kanggo agen sing sempit, dheweke ketat kaya liyane. Nalika njlentrehake agen review sing mung bisa diwaca sing lagi dibangun, dheweke terus terang yen persiyapan umum ora bisa dibela: nggelar menyang kothak Linux vanilla kanthi akses bash "mbukak kabeh ekosistem ancaman". Nanging kanggo agen coding umum, logika kasebut mbalikke, lan dheweke ngerti posisi kasebut ora populer:

"Luwih akeh kekuwatane agen, luwih kreatif lan luwih efektif. Dadi dudu industri sing maju amarga watesan lan ruang lingkup sing saya suda."

Dadi apa sing isih ana yen sampeyan ora mbatesi? Pemutus sirkuit, lan sing paling penting yaiku snapshot adhedhasar wektu: ora nyegah radius ledakan, nanging nggawe pemulihan saka iku murah lan cepet. Dheweke mbangun iku dadi Amber, piranti lunak agen C++ sing bebas ketergantungan sing ditulis ing wektu luang, kanthi snapshotting ing loop (situs proyek).

Lan peringatan babagan pungkasaning dalan liyane:

"Yen kita wiwit mbusak, mung bakal ana siji alat sing isih ana, lan pangembang kasebut bakal bisa nguripake lampu lan mateni lampu."

Luis njupuk posisi katelu, sing ora dadi watesan utawa pemulihan nanging ngemot saka ngisor: nganggep agen kasebut pungkasane bakal tumindak kaya malware, ngrancang harness kanggo mbatesi saben agen khusus, lan nyelehake lapisan penegakan ing ngisor kabeh sing tahan nalika kabeh ing ndhuwur gagal.

Telung pendekatan kanggo masalah sing padha

Telung posisi, saben posisi ana biaya sing dipasang. Ora ana sing gratis, lan ora ana sing nggawe agen aman dhewe.

PendekatanGerakan intiPira regane
decomposePedro FortunaAkeh agen cilik, saben duwe ijin sing sempit, ditambah pemantauan runtime sing nyegah dheweke luwih awalUpaya desain ing wiwitan, lan wektu sing luwih angel karo karya coding sing mbukak
MbaleniJack TrefonPertahanake kemampuane, tambahake pemutus sirkuit lan snapshot berbasis wektu supaya rollback luwih murahRadius ledakan sing luwih amba, lan taruhan kanggo ndeteksi lan mbatalake kanthi tepat wektu
Isine saka ngisorLuis Rodríguez BerzosaAnggep prilaku malware, watesani saben agen ing harness, terapna ing ngisore ing workstation lan CI runnerInfrastruktur lan piranti sing durung diwenehake dening umume tumpukan titik pungkasan

Yen diwaca bebarengan, beda panemune luwih sempit tinimbang sing dikira. Katelune padha setuju yen agen kasebut bakal nindakake perkara sing ora disengaja. Dheweke beda pendapat babagan menyang ngendi dhuwit kasebut mlebu: menyang arsitektur sadurunge kedadeyan, menyang pemulihan sawise kedadeyan, utawa menyang lantai ing sangisore loro-lorone.

Apa sebabe hak istimewa paling sithik ora nerjemahake dadi risiko AI agen

Hak istimewa paling cilik nganggep sampeyan ngerti pakaryan kasebut. Sampeyan nggatekake watesan ijin kanggo tugas kasebut.

Agen nglanggar kuwi kanthi meneng-meneng, amarga wates ijine digambar nalika konfigurasi lan tugase teka nalika runtime. Sing sejatine sampeyan wenehake yaiku gabungan saka kabeh sing bisa uga dijaluk. Kuwi dudu hak istimewa paling cilik; kosok baline, nganggo sandhangan hak istimewa paling cilik.

Luis nawakake reframing sing dijupuk saka ide sing luwih lawas tinimbang iki:

"Aku mikir babagan mekanisme UNIX saka piping, sing nyambungake piranti-piranti prasaja kanggo nindakake tugas sing rumit. Sampeyan bisa nemtokake agen tartamtu kanthi konfigurasi sing dikontrol, mbatesi apa sing bisa ditindakake agen khusus kasebut. Lan sampeyan bisa nggabungake kanggo meh kabeh tugas."

Kajaba iku, ide desain kapindho sing durung dicoba dening umume tim: mbungkus piranti tinimbang nggedhekake ijin. Dudu bash, sing masrahake kabeh sistem, nanging wrapper sempit sing dadi siji-sijine path sing bisa diundang, kanthi varian sing mung bisa diwaca sing mbungkus varian generik. Agen entuk kemampuan, dudu shell.

Dheweke uga nerangake kanthi cetha yen alangane dudu desain; nanging peluncurane. Kontrol anyar ing mesin pangembang wis suwe digunakake, lan sejarah kasebut ora owah amarga alat sing dimaksud yaiku agen.

Lan babagan ngendi dheweke mikir kabeh iki bakal rampung:

"Aku mikir yen ing pungkasan kita bakal duwe agen otonom sing ngontrol agen otonom liyane."

Laptop dadi permata mahkota, lan EDR sampeyan ora nggatekake

Agen butuh akses tetep supaya migunani. Token sing ora kadaluwarsa nalika tengah tugas, kredensial sing disimpen ing cache, hak push, akses registri, jalur langsung menyang pipelineSaben uwong kuwi minangka syarat tinimbang kekurangan, tegese saya apik pirantine, saya konsentrasi mesin pangembange.

Para penyerang sing pertama nggatekake. Kaya sing diomongake Pedro, dheweke dudu ideolog:

"Dheweke ngatur kaya perusahaan cilik. Dheweke kudu nggawe dhuwit, mula dheweke pindhah menyang sudut sing paling nguntungake sing bisa ditemokake. Lan dheweke cepet ngerti manawa ana dhuwit sing bisa digawe saka stasiun pangembang."

Kita nonton shift kuwi mlebu ing registri saben minggu ing Ringkesan Kode Jahat, ing ngendi para pemanen kredensial saiki rutin mburu kunci panyedhiya AI bebarengan karo kunci méga lan registri.

Dhaptar mitigasi dheweke ora menarik lan bisa digunakake: mbusak saben kunci sing ora perlu ana ing mesin, pasangake sing isih ana karo faktor kapindho kayata OpenID Connect utawa kunci perangkat keras supaya token sing dicolong ora cukup, lan mindhah lingkungan saka host ing ngendi wae sampeyan bisa, liwat wadhah dev utawa IDE awan.

Banjur Luis nggawe poin sing kudune nggawe kuwatir sapa wae sing nganggep tumpukan titik pungkasane nutupi iki:

"EDR-e khusus ing malware tradisional lan ora ngerti babagan piranti agen. Lan yen bisa digunakake, bisa ngasilake akeh positif palsu, amarga agen kasebut nindakake perkara-perkara sing pola deteksine durung dingerteni saiki."

Rong mode kegagalan sekaligus: ora ngerti apa sing penting lan ora ngerti apa sing ora. Wangsulane yaiku lapisan penegakan njaba, sing ana ing sekitar workstation pangembang lan CI runner, ing ngisor harness, mbatesi apa sing bisa digayuh agen jahat. Kuwi celahe. Xygeni Shield digawe kanggo, kanthi kabijakan sing dileksanakake ing endpoint ing ngendi instalasi kasebut kedadeyan.

Jack ngomong kanthi luwih blak-blakan: aja nyimpen Bitcoin sampeyan ing mesin pangembang sampeyan.

Lantai kabeh telu wis sarujuk

Telung wangsulan sing beda, minimal siji dienggo bareng.

  • Inventaris dhisik. "Kowé ora bisa nglindhungi apa sing ora kokngerteni." Saben de liyanecisGumantung saka ngerti agen, katrampilan, lan server MCP endi sing ana, lan meh ora ana sing diumumake.
  • Cathet saben tumindak. Jack lan Luis teka ing kene saka arah sing beda. Jack pengin jejak amarga iku carane sampeyan pulih lan carane organisasi dadi dewasa. Luis pengin jejak amarga tanpa jejak sampeyan ora bisa mbangun maneh radius ledakan sawise. Framing Jack pancen pantes disilih: ora ana gunane nginterogasi aktor, manungsa utawa agen, mung mangerteni konteks kanthi cukup apik supaya ora mbaleni.
  • Bab sing ngalangi agen kudu ana ing njaba agen kasebut. Pemantauan runtime Pedro, lapisan penegakan Luis, pemutus sirkuit Jack lan snapshot. Mekanisme sing beda, siji prinsip.

Jack menehi gambaran sing migunani babagan kahanan industri iki. Dheweke kelingan email spam pisanan sing ditampa, sing ngandhani yen dheweke wis nampa warisan tambang emas ing Nigeria. Iki minangka masalah kedewasaan, lan kedewasaan teka sawise kesalahan tinimbang sadurunge.

Apa sing kudu ditindakake sadurunge dina Jumuah

Pilih siji agen. Tulis rong dhaptar: apa sing diidini ditindakake, lan apa sing sejatine dijaluk ditindakake minggu iki.

Kesenjangan antarane dhaptar kasebut yaiku radius ledakan sampeyan, lan iki minangka ukuran risiko AI agen sing paling migunani sing bisa diasilake tim sampeyan ing wayah sore. Butuh wektu sewengi, ora butuh anggaran, lan ngrampungake argumen ing ndhuwur kanggo organisasi sampeyan dhewe, amarga telung posisi kasebut sejatine telung jawaban sing beda kanggo pitakonan babagan sepira gedhene kesenjangan kasebut.

Umume tim durung nate nulis.

The jam kebak kasedhiya kanggo dideleng maneh, kalebu poin Jack babagan kenapa syarat manungsa-ing-loop ing Eropa ndadekake sawetara pertahanan AI ora bisa ditindakake ing praktik. 

Lan yen sing nglakonicise ngasilake wangsulan sing ora kok senengi, Xygeni Temokake saben aset AI ing repositori sampeyan, kalebu agen, katrampilan, lan server MCP sing ora diumumake, lan petakake apa sing bisa digayuh saben aset. Book demo or miwiti kanthi gratis, lan kita bakal nglakokake ing sampeyan.

Pitakonan Umum

Pira radius ledakan agen AI?

Kabeh sing bisa digayuh agen yen ana kesalahan, beda karo apa sing dijaluk. Iki ditemtokake dening ijin, kredensial, lan alat sing kasedhiya nalika runtime, dudu dening tugas. Kesenjangan antarane loro kasebut minangka perkara sing kudu diukur, lan umume tim durung nate nulis.

Apa agen sing ngluwihi tugase kalebu kedadeyan keamanan yen ora nate ngluwihi ijine?

Kuwi sing dadi inti perselisihan. Wangsulane Pedro yaiku ya, amarga penyerang ditegesake dening divergensi gol tinimbang niat jahat, lan agen sing ora selaras wis divergensi. Wangsulane Jack luwih cedhak karo ora: iki minangka kegagalan operasional kaya kesalahan karyawan anyar, lan respon sing bener yaiku pelacakan lan pemulihan tinimbang watesan sing luwih ketat. Luis ngindhari pitakonan kasebut kanthi nganggep kasus paling awon wiwit wiwitan lan takon lapisan apa sing isih ana nalika kedadeyan kasebut.

Apa agen coding kudu di-sandbox?

Kanggo agen sing sempit lan spesifik tugas, kabeh telu setuju tanpa ragu-ragu: mung maca yen bisa, ora ana bash, ora ana jaringan kajaba dibutuhake. Kanggo agen coding umum, panel kasebut dipérang dadi telung cara: Pedro bakal mbagi, Jack bakal njaga kemampuan lan snapshot kanthi agresif, lan Luis bakal nambah lapisan penegakan ing ngisor harness preduli saka apa sing diidini ditindakake agen kasebut.

Apa EDR-ku nutupi risiko AI agen?

Mbokmenawa ora apik. Piranti endpoint saiki dibangun adhedhasar pola malware tradisional lan ora menehi model prilaku agen, mula cenderung ora nggatekake apa sing penting lan menehi tandha apa sing ora. Wangsulane Luis yaiku lapisan penegakan njaba sing dirancang kanggo lingkungan pangembang tinimbang EDR tujuan umum.

Apa sing kudu ditindakake dhisik? (Apa sing kudu ditindakake siji-sijine?)

Gawe inventaris. Saben model, agen, katrampilan, lan server MCP ing repositori sampeyan, lan apa sing bisa digayuh saben wong. Iki minangka salah sawijining langkah sing dijenengi dening kabeh telung panelis, lan siji-sijine sing dikontrol dening saben liyane.

piranti lunak-piranti-sca-piranti-analisis-komposisi
Prioritasake, ndandani, lan amanake risiko piranti lunak sampeyan
Entuk Akun Gratismu.
Ora ana kertu kredit.

Amanake pangembangan lan pangiriman piranti lunak sampeyan

karo Suite Produk Xygeni