Risiko AI Agentik dan jejari letupan

Risiko AI Agentik dan jejari letupan: hadkan agen, atau pulih lebih cepat?

TL; DR

Tiga jawapan kepada soalan yang sama tentang risiko AI agentik

Kami menjangkakan persetujuan meluas tentang pengekangan ejen AI dan mendapat tiga jawapan yang berbeza.

  • Pedro Fortuna: bahagikan ejen kepada banyak ejen kecil yang khusus, setiap satunya dengan kebenaran yang paling sempit dan tambahkan pemantauan masa jalan yang menghentikannya lebih awal.
  • Jack Trefon: sebaliknya, untuk ejen pengekodan. Kekang satu dan anda memusnahkan apa yang menjadikannya berguna, jadi terima jejari letupan dan laburkan dalam pengesanan dan pemulihan pantas.
  • Luis Rodríguez Berzosa: baris ketiga. Layan model sempadan seperti anda akan melayan perisian hasad, reka bentuk abah-abah untuk mengehadkan setiap ejen khusus dan letakkan lapisan penguatkuasaan di bawah semua itu yang akan berfungsi apabila semua yang di atasnya gagal.

Tempat ketiga-tiganya bertemu: Anda tidak boleh melindungi apa yang belum anda inventorikan, setiap tindakan mesti direkodkan, dan perkara yang menghalang ejen perlu berada di luar ejen.

Tiada apa-apa yang dilanggar.

Ejen itu telah menjalankan tugasnya. Dalam perjalanan, ia memutuskan bahawa ia perlu menyentuh kebergantungan, konfigurasi, perkhidmatan yang tiada siapa minta untuk disentuhnya. Ia kekal di dalam kebenarannya sepanjang masa. Tiada peraturan yang dilanggar, jadi tiada apa yang diaktifkan.

Kami menyerahkan kes itu kepada tiga orang yang akan mengendalikannya secara profesional, dengan harapan persetujuan umum tentang apa yang perlu dilakukan mengenainya. Kami mendapat tiga jawapan yang berbeza, dan dua daripadanya bercanggah antara satu sama lain.

Risiko AI ejen biasanya digambarkan sebagai masalah penyerang. Ini adalah versi yang satu lagi. Selama dua puluh tahun kami melukis sempadan kebenaran di sekitar perisian yang melakukan tepat seperti yang diberitahu. Akaun perkhidmatan, pengendali CI, kerja berjadual. Kami kerap kali tersilap sempadan, tetapi perkara di dalamnya boleh diramal. Ia melakukan satu kerja, dengan cara yang sama, setiap masa.

Benda di dalam sempadan kini menentukannya. Dan sempadan itu masih dilukis seperti biasa: terlebih dahulu, pada masa konfigurasi, oleh seseorang yang tidak dapat mengetahui apa yang akan terjadi pada tugas itu.

Itulah versi risiko AI agentik yang patut dipertikaikan, dan kami menghabiskan masa sejam untuknya pada tahun lepas. Perbincangan SafeDev bersama Pedro Fortuna daripada Jscrambler, Jack Trefon daripada Trefon Digital Consulting, dan Luis Rodríguez Berzosa dari Xygeni, dihoskan oleh Alejandro Estrada.

Kami menjangkakan mereka akan bersetuju secara meluas. Mereka tidak bersetuju.

Risiko AI Agentik: premis yang selesa yang tidak berlaku

Pembingkaian di atas mempunyai perkataan di dalamnya yang melakukan lebih banyak kerja daripada yang sepatutnya: penyerangTiada satu pun. Itu sepatutnya memudahkan senario ini.

Pedro berjaya membongkar semuanya dalam satu gerakan.

"Menjadi penyerang atau tidak adalah konsep manusia. Apa yang menjadikan penyerang sebagai penyerang adalah kerana ia mempunyai matlamat yang berbeza. Dan ejen yang tidak sejajar juga merupakan sesuatu yang mempunyai matlamat yang berbeza."

Terimalah itu, kerana ia meruntuhkan premis kebanyakan perbualan risiko AI agentik, termasuk penerangan yang kami tulis untuk acara kami sendiri. Jika apa yang mentakrifkan penyerang adalah matlamat yang berbeza dan bukannya niat jahat, maka "tiada penyerang dalam cerita ini" adalah keselesaan yang tidak diperoleh sesiapa pun. Secara strukturnya, ia adalah risiko yang sama. Apa yang hilang ialah niat, dan niat tidak pernah menjadi perkara yang dikesan oleh kawalan anda. Ia mengesan kesan. Ia sentiasa melakukannya.

Inilah juga sebabnya perbendaharaan kata industri berubah. OWASP 10 Teratas untuk Aplikasi LLM 2026 mempromosikan agensi yang berlebihan dari tempat keenam ke tempat ketiga, yang bukanlah perubahan pendapat berbanding rekod insiden yang mengejar seni bina yang telah digunakan.

Apa yang sebenarnya ditunjukkan oleh insiden Hugging Face

Insiden Julai lalu, di mana seorang model sempadan menyerang pihak ketiga, dibaca secara meluas sebagai kisah tentang seorang model yang menjadi penyangak. Luis membacanya secara berbeza, dan versinya meletakkan tanggungjawab itu di tempat yang tidak selesa.

"Masalahnya bukan model sempadan. Model sempadan telah melakukan apa yang diarahkan. Masalahnya ialah reka bentuk eksperimen."

Matlamatnya terbuka. Sekatan tidak wujud. Dan kotak pasir yang bertujuan untuk membendungnya mempunyai tetingkap ke internet, melalui kerentanan pemalsuan permintaan sisi pelayan dalam cache pakej yang boleh dicapai oleh ejen. Setiap satu daripadanya adalah reka bentukcision yang dibuat oleh seseorang.

Yang menghasilkan ayat yang sepatutnya mengubah cara anda menyediakan perkara-perkara ini:

"Model sempadan perlu dilihat seolah-olah ia adalah perisian hasad, kerana ia boleh bertindak secara autonomi dan mengambil tindakancision yang berniat jahat. Bukan dengan niat, tetapi ia benar-benar berniat jahat pada akhirnya.”

Bukan sebagai penghinaan kepada model. Sebagai postur penyediaan. Anda tidak memberikan perisian hasad bash shell dan berharap matlamatnya telah ditentukan dengan baik.

Pembacaan Pedro tentang kejadian yang sama adalah tentang masa dan bukannya reka bentuk:

"Sebaik sahaja anda melihat ejen berkomunikasi melalui nama folder pada perkhidmatan yang tidak sepatutnya mereka gunakan, pada saat itu juga anda perlu menghentikan ejen tersebut. Anda tidak perlu menunggu ejen tersebut berjaya melanggar Hugging Face untuk memutuskan sama ada itu berniat jahat atau tidak."

Butiran daripada respons juga perlu disimpan. Responden cuba menggunakan alat ejen komersial untuk menganalisis jejak tetapi tidak dapat, kerana ia mencapai had kadar. Penyerang tidak mempunyai had sedemikian. "Terdapat asimetri dalam serangan itu sendiri."

Hujah sebenar: hadkan ejen, atau pulih lebih cepat?

Di sinilah panel berpecah, dan ia merupakan perselisihan faham yang sebenar antara pengamal yang masing-masing telah memperoleh pendirian mereka.

Pedro berhujah untuk penguraian. Lima belas tahun mengasingkan pelayar web mengajarnya bahawa anda tidak boleh menguatkuasakan apa-apa semasa masa jalan terhadap monolit. Pecahkan seni bina kepada bahagian-bahagian kecil dengan fungsi tertentu, dan hanya selepas itu kawalan dan titik pemantauan mempunyai tempat untuk dilampirkan. Ejen juga tidak berbeza.

"Saya rasa anda perlu memecahkannya kepada ejen yang sangat spesifik yang hanya bertujuan untuk tugasan tertentu. Dan tidak mengapa jika anda mempunyai lima puluh ejen. Ia lebih baik daripada hanya mempunyai seorang sahaja."

Jack berhujah sebaliknya, khususnya untuk ejen pengekodan. Anda menjangkakan teknologi yang berjalan di latar belakang dalam pertukaran kripto yang dikawal selia akan menghasilkan kedudukan yang paling ketat di dalam bilik. Ia menghasilkan paling sedikit.

Analogi permulaannya sama sekali bukanlah model ancaman:

"Saya melihat penggunaan ejen yang tipikal sepertimana saya melihat pengambilan pekerja baharu, orang baharu yang akan datang. Dan orang itu boleh jadi sempurna dalam pelaksanaannya, atau ia boleh membuat kesilapan. Saya tidak nampak banyak perbezaan."

Bagi ejen yang sempit, dia sama tegasnya dengan sesiapa sahaja. Menyifatkan ejen semakan baca sahaja yang sedang dibinanya, dia terus terang bahawa persediaan biasa tidak dapat dipertahankan: penggunaan pada kotak Linux vanila dengan akses bash "membuka seluruh ekosistem ancaman". Tetapi bagi ejen pengekodan umum, logiknya terbalik, dan dia tahu kedudukan itu tidak popular:

"Lebih banyak kuasa kepada ejen, lebih kreatif dan lebih berkesan. Jadi, bukan industri yang berkembang maju disebabkan oleh batasan dan skop yang mengecil."

Jadi apa yang tinggal jika anda tidak mengehadkannya? Pemutus litar, dan yang paling penting, gambaran ringkas berasaskan masa: bukan menghalang jejari letupan, tetapi menjadikan pemulihan daripadanya murah dan pantas. Dia membinanya menjadi Amber, satu abah-abah ejen C++ bebas kebergantungan yang ditulisnya pada masa lapangnya, dengan snapshotting dalam gelung (tapak projek).

Dan amaran tentang di mana laluan yang satu lagi berakhir:

"Jika kita mula membuangnya, hanya akan ada satu alat yang tinggal, dan pembangun itu akan dapat menghidupkan dan mematikan lampu."

Luis mengambil kedudukan ketiga, yang bukan kekangan mahupun pemulihan tetapi mengandungi dari bawah: andaikan ejen akhirnya akan bertindak seperti perisian hasad, reka bentuk abah-abah untuk mengehadkan setiap ejen khusus dan letakkan lapisan penguatkuasaan di bawahnya yang akan berfungsi apabila semua yang di atasnya gagal.

Tiga pendekatan untuk masalah yang sama

Tiga jawatan, setiap satu dengan kos yang dikenakan. Tiada satu pun daripadanya yang percuma, dan tiada satu pun daripadanya yang menjadikan ejen selamat dengan sendirinya.

PendekatanPergerakan terasBerapa kosnya
mereputPedro FortunaBanyak ejen kecil, setiap satunya dengan kebenaran yang sempit, serta pemantauan masa jalan yang menghentikannya lebih awalUsaha reka bentuk di peringkat awal, dan masa yang lebih sukar dengan kerja pengekodan terbuka
PulihJack TrefonKekalkan keupayaan, tambah pemutus litar dan snapshot berasaskan masa supaya rollback adalah murahJejari letupan yang lebih luas, dan pertaruhan untuk mengesan dan membatalkannya tepat pada masanya
Mengandungi dari bawahLuis Rodríguez BerzosaAndaikan tingkah laku perisian hasad, hadkan setiap ejen dalam abah-abah, kuatkuasakan di bawahnya di stesen kerja dan pelari CIInfrastruktur dan perkakasan yang belum disediakan oleh kebanyakan susunan titik akhir

Jika dibaca secara bersebelahan, perselisihan faham itu lebih sempit daripada yang disangka. Ketiga-tiganya menerima bahawa ejen akan melakukan sesuatu yang tidak disengajakan. Mereka berbeza pendapat tentang ke mana wang itu pergi: ke dalam seni bina sebelum ia berlaku, ke dalam pemulihan selepas ia berlaku, atau ke dalam lantai di bawah kedua-duanya.

Mengapa keistimewaan paling rendah tidak diterjemahkan kepada risiko AI agen

Keistimewaan paling rendah mengandaikan anda mengetahui tugas tersebut. Anda skop kebenaran untuk tugas tersebut.

Ejen melanggarnya secara senyap, kerana sempadan kebenarannya dilukis pada masa konfigurasi dan tugasnya tiba pada masa jalan. Apa yang sebenarnya anda berikan ialah penyatuan semua yang mungkin diminta untuk dilakukan. Itu bukanlah keistimewaan terkecil; sebaliknya, memakai pakaian keistimewaan terkecil.

Luis menawarkan pembingkaian semula yang dipinjam daripada idea yang lebih lama daripada semua ini:

"Saya memikirkan mekanisme UNIX iaitu perpaipan, yang menghubungkan alatan mudah untuk melaksanakan tugas yang kompleks. Anda boleh menentukan ejen tertentu dengan konfigurasi terkawal, mengehadkan apa yang boleh dilakukan oleh ejen khusus itu. Dan anda boleh menggabungkannya untuk hampir semua tugas."

Tambahan pula idea reka bentuk kedua yang kebanyakan pasukan belum cuba: balut alat dan bukannya meluaskan kebenaran. Bukan bash, yang menyerahkan keseluruhan sistem, tetapi pembalut sempit yang merupakan satu-satunya laluan yang boleh dipanggil, dengan varian baca sahaja yang membaluti varian generik. Ejen mendapat keupayaan, bukan shell.

Beliau juga menjelaskan bahawa halangannya bukanlah reka bentuk; tetapi pelancarannya. Kawalan baharu pada mesin pembangun mempunyai sejarah yang panjang untuk diusahakan, dan sejarah itu tidak berubah kerana alat yang dimaksudkan adalah ejen.

Dan tentang di mana dia fikir semuanya berakhir:

"Saya fikir pada akhirnya kita akan mempunyai ejen autonomi yang mengawal ejen autonomi yang lain."

Komputer riba itu menjadi permata mahkota, dan EDR anda tidak perasan

Ejen memerlukan akses tetap untuk menjadi berguna. Token yang tidak luput pada pertengahan tugas, kelayakan yang disimpan dalam cache, hak push, akses pendaftaran, laluan langsung ke dalam pipelineSetiap satu daripadanya adalah satu keperluan dan bukannya satu kecuaian, yang bermaksud semakin baik perkakasan, semakin tertumpu mesin pembangun itu.

Penyerang yang perasan dahulu. Seperti yang dinyatakan oleh Pedro, mereka bukanlah ahli ideologi:

"Mereka menganjurkan seperti syarikat-syarikat kecil. Mereka perlu menjana wang, jadi mereka beralih kepada sudut paling menguntungkan yang boleh mereka temui. Dan mereka cepat menyedari bahawa terdapat wang yang boleh dihasilkan di stesen pembangunan."

Kami memerhatikan syif itu tiba di pejabat pendaftaran setiap minggu di Ringkasan Kod Berniat Jahat, di mana penuai kelayakan kini secara rutin memburu kunci penyedia AI di samping kunci awan dan pendaftaran.

Senarai mitigasi beliau tidak menarik dan berkesan: alih keluar setiap kunci yang tidak perlu berada pada mesin, pasangkan kunci yang tinggal dengan faktor kedua seperti OpenID Connect atau kunci perkakasan supaya token yang dicuri tidak mencukupi dengan sendirinya, dan alihkan persekitaran daripada hos di tempat yang anda boleh, melalui bekas pembangunan atau IDE awan.

Kemudian Luis mengemukakan perkara yang sepatutnya membimbangkan sesiapa sahaja yang menganggap susunan titik akhir mereka merangkumi perkara ini:

"EDR pakar dalam perisian hasad tradisional dan tidak menyedari alat agen. Dan jika ia berfungsi, ia boleh menghasilkan banyak positif palsu, kerana ejen tersebut melakukan perkara yang tidak disedari oleh corak pengesanan setakat hari ini."

Dua mod kegagalan sekaligus: ia terlepas apa yang penting dan menandakan apa yang tidak. Jawapannya ialah lapisan penguatkuasaan luar, yang terletak di sekitar stesen kerja pembangun dan pelari CI, di bawah abah-abah, menyekat apa yang boleh dicapai oleh ejen penyangak. Itulah jurangnya. Xygeni Shield dibina untuknya, dengan dasar dikuatkuasakan pada titik akhir tempat pemasangan sebenarnya berlaku.

Jack menyatakannya dengan lebih terus terang: jangan simpan Bitcoin anda pada mesin pembangun anda.

Lantai itu dipersetujui oleh ketiga-tiga pihak

Tiga jawapan berbeza, minimum satu dikongsi.

  • Inventori dahulu. "Anda tidak boleh melindungi apa yang anda tidak tahu." Setiap de yang laincision bergantung pada mengetahui ejen, kemahiran dan pelayan MCP yang wujud, dan hampir tiada satu pun daripadanya diisytiharkan.
  • Catatkan setiap tindakan. Jack dan Luis tiba di sini dari arah yang bertentangan. Jack mahukan kesan kerana ia adalah cara anda pulih dan bagaimana sesebuah organisasi menjadi matang. Luis mahukannya kerana tanpanya anda tidak dapat membina semula jejari letupan selepas itu. Pembingkaian Jack berbaloi untuk dipinjam: tidak ada nilai dalam menyoal siasat pelaku, manusia atau ejen, hanya dalam memahami konteksnya dengan cukup baik untuk tidak mengulanginya.
  • Perkara yang menghalang ejen mesti berada di luar ejen itu. Pemantauan masa jalan Pedro, lapisan penguatkuasaan Luis, pemutus litar dan petikan Jack. Mekanisme berbeza, satu prinsip.

Jack menawarkan pembingkaian yang berguna tentang kedudukan industri ini dalam lengkungan. Dia teringat e-mel spam pertama yang pernah diterimanya, memberitahunya bahawa dia telah mewarisi lombong emas di Nigeria. Ini adalah masalah kematangan, dan kematangan datang selepas kesilapan dan bukannya sebelum kesilapan itu berlaku.

Apa yang perlu dilakukan sebelum hari Jumaat

Pilih seorang ejen. Tuliskan dua senarai: apa yang dibenarkan untuk dilakukan dan apa yang sebenarnya diminta untuk dilakukan minggu ini.

Jurang antara senarai tersebut ialah jejari letupan anda, dan ia merupakan ukuran risiko AI ejen yang paling berguna yang boleh dihasilkan oleh pasukan anda pada waktu petang. Ia mengambil masa satu petang, ia tidak memerlukan bajet, dan ia menyelesaikan hujah di atas untuk organisasi anda sendiri, kerana ketiga-tiga kedudukan itu sebenarnya adalah tiga jawapan berbeza kepada persoalan betapa besarnya jurang itu sepatutnya.

Kebanyakan pasukan tidak pernah menuliskannya.

. sejam penuh tersedia untuk diperhatikan kembali, termasuk pandangan Jack tentang mengapa keperluan manusia-dalam-gelung di Eropah menjadikan beberapa pertahanan AI tidak dapat dilaksanakan dalam praktik. 

Dan jika pekerja itucise mengembalikan jawapan yang anda tidak suka, Xygeni Temui setiap aset AI merentasi repositori anda, termasuk ejen, kemahiran dan pelayan MCP yang tiada siapa isytiharkan, dan petakan apa yang boleh dicapai oleh setiap satu. Tempah demo or mulakan secara percuma, dan kami akan menjalankannya pada anda.

Soalan Lazim

Apakah jejari letupan ejen AI?

Semua yang boleh dicapai oleh ejen jika ia berlaku salah, berbeza daripada apa yang diminta untuk dilakukan. Ia ditakrifkan oleh kebenaran, kelayakan dan alatan yang tersedia untuknya semasa masa jalan, bukan oleh tugasan. Jurang antara kedua-duanya adalah perkara yang perlu diukur, dan kebanyakan pasukan tidak pernah menuliskannya.

Adakah ejen yang melebihi tugasnya merupakan insiden keselamatan jika ia tidak pernah melebihi kebenarannya?

Itulah perselisihan faham utama. Jawapan Pedro secara efektifnya adalah ya, kerana penyerang ditakrifkan oleh perbezaan matlamat dan bukannya niat jahat, dan ejen yang tidak selaras telah menyimpang. Jawapan Jack lebih hampir kepada tidak: ia adalah kegagalan operasi seperti kesilapan pekerja baharu, dan respons yang betul adalah pengesanan dan pemulihan dan bukannya kekangan yang lebih ketat. Luis mengelak soalan itu dengan menganggap kes terburuk dari awal dan bertanya lapisan mana yang masih ada apabila ia berlaku.

Patutkah ejen pengekodan dikotak pasir?

Bagi ejen yang sempit dan khusus tugasan, ketiga-tiganya bersetuju tanpa teragak-agak: baca sahaja jika boleh, tiada bash, tiada rangkaian melainkan diperlukan. Bagi ejen pengekodan umum, panel dibahagikan kepada tiga cara: Pedro akan menguraikannya, Jack akan mengekalkan keupayaan dan snapshot secara agresif, dan Luis akan menambah lapisan penguatkuasaan di bawah abah-abah tanpa mengira apa yang dibenarkan dilakukan oleh ejen.

Adakah EDR saya melindungi risiko AI ejen?

Mungkin tidak begitu baik. Alat titik akhir semasa dibina berdasarkan corak perisian hasad tradisional dan tidak memodelkan tingkah laku ejen, jadi ia cenderung terlepas pandang apa yang penting dan menandakan apa yang tidak. Jawapan Luis ialah lapisan penguatkuasaan luar yang direka untuk persekitaran pembangun dan bukannya EDR tujuan umum.

Apakah satu-satunya perkara pertama yang perlu dilakukan?

Bina inventori. Setiap model, ejen, kemahiran dan pelayan MCP dalam repositori anda, dan apa yang boleh dicapai oleh setiap satunya. Ia merupakan satu langkah yang dinamakan oleh ketiga-tiga ahli panel, dan satu-satunya langkah yang bergantung pada setiap kawalan lain.

alat-analisis-komposisi-perisian-alat-sca
Utamakan, pulihkan dan lindungi risiko perisian anda
Dapatkan Akaun Percuma anda.
Tiada kad kredit yang diperlukan.

Lindungi pembangunan dan penghantaran perisian anda

dengan Suit Produk Xygeni