Keamanan agen AI ora maneh babagan apa sing diomongake model. Iki babagan apa sing ditindakake agen: alat sing ditelpon, data sing diwaca, kredensial sing diduweni, lan paket sing diinstal dhewe.
Lan umume tim ora bisa njawab pitakonan pisanan: agen endi sing sejatine kita jalanake? Dheweke manggon ing repositori minangka grafik LangChain, server MCP, SKILL.md file, lan piranti coding AI sing dikonfigurasi dening saben pangembang ing dina Jumuah sore. Ora ana sing mriksa, lan katrampilan sing mbebayani mung teks biasa
TL; DR
Keamanan agen AI sajrone patang langkah: ndeleng, menehi skor, ngamanake loop, njaga instalasi
Kowé ora isa ngamanake agen sing ora katon. Keamanan agen AI diwiwiti karo inventaris saben agen, server MCP, katrampilan, model, lan alat pengkodean AI ing kodemu.
- Risiko ing cara agen dibangun: pitakon sing nggabungake input pangguna, agen pemanggil alat tanpa guardrails, kredensial lan katrampilan sing diduweni hak istimewa kanthi pandhuan sing didhelikake. Sebagéan gedhé katon ing kode, sadurunge disebarake, lan dipetakan menyang 10 Aplikasi Agen Paling Apik OWASP.
- Keamanan ing njero loop: Agen coding butuh keamanan ing njero loop-e, mula dheweke mindhai lan ndandani apa sing ditulis sadurunge committed, ora pirang-pirang minggu mengko ing tiket.
- Jaga instalasi: Agen uga nginstal dependensi. Deteksi malware sing bisa digunakake sadurunge ana tanda tangan nutupi paket jahat sing nginstal, pangembang utawa agen.
- Siji alur kerja: Asil temuan AI ngliwati triage, tiket, lan laporan sing padha karo asil temuan AppSec liyane.
Langkah kapisan: gawe inventaris AI ing repositori sampeyan, ekspor minangka AI-BOM, banjur gapura kode agen anyar ing CI.
Apa sebabe keamanan agen AI minangka masalah sing beda
Fitur LLM ngasilake teks, lan manungsa nemtokake apa sing kudu ditindakake. Agen nutup puteran kasebut dhewe: ngrancang, nelpon alat, maca kaca web, email lan dokumen, nulis file, lan mbukak printah. Saben kemampuan sing sampeyan wenehake marang agen minangka kemampuan sing bisa dipinjam dening penyerang.
OWASP uga nggawe prabédan sing padha. 10 Aplikasi Agen Paling Apik OWASP 2026 (ASI01 nganti ASI10) dibangun ing 10 Aplikasi LLM Paling Apik OWASPDhaptar LLM nyakup apa sing diomongake model; dhaptar agentik nyakup apa sing ditindakake agen.
Saiki, umume organisasi nglakokake rong jinis agen:
- Agen sing sampeyan bangun ing aplikasi sampeyan: asisten dhukungan, kopilot internal, lan alur kerja sing dibangun nganggo framework kaya LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel utawa LlamaIndex, sing asring disambungake menyang alat liwat server MCP.
- Agen coding AI sing digunakake para pangembang sampeyan: Claude Code, Cursor, GitHub Copilot, Windsurf, lan liya-liyane, sing nulis kode, nyunting konfigurasi, lan nambah dependensi.
Keamanan agen AI kudu nutupi loro-lorone, amarga loro-lorone tumindak nganggo ijin sampeyan.
Langkah 1: inventaris saben agen, server MCP, lan katrampilan
Keamanan agen AI diwiwiti saka papan pitakon, lan auditor saiki takon: AI apa sing lagi digunakake? Keamanan AI Xygeni njawab saka sumber: kode, konfigurasi, manifes, lan dependensi.
Iki nemokake model, agen lan server agen, kerangka kerja AI, server MCP lan piranti, katrampilan (SKILL.md, AGENTS.md), panyuwunan, guardrails, nyimpen vektor, set data, titik akhir inferensi, lan piranti kode AI sing dikonfigurasi ing repositori sampeyan. Iki uga memetakan kepiye cara nyambungake: agen endi sing nggunakake model endi, nglakokake piranti endi, lan ngundang server MCP endi.
Asilé yaiku inventaris AI sing urip, sing bisa diekspor minangka AI-BOM ing format CycloneDX, kanthi cathetan tata kelola saben aset sing kalebu kolom kategori risiko EU AI Act.
Pengin ndeleng AI apa sing wis ana ing kode sampeyan? Pesan sesi karo insinyur, lan kita bakal mbangun inventaris AI saka salah sawijining repositori sampeyan.
Langkah 2: ngerteni risiko ing cara agen dibangun
Umume kerentanan agen ora eksotis. Iku minangka prompt sing digawe dening gabungan string, agen pemanggil alat tanpa pager input utawa kredensial kanthi ruang lingkup sing luwih akeh tinimbang sing dibutuhake agen. Kabeh mau ninggalake sidik jari ing kode, supaya sampeyan bisa nyekel ing CI, sadurunge disebarake.
Risiko agen AI sing bisa sampeyan tangkep ing kode
Saben risiko nuduhake 10 Aplikasi LLM Paling Apik OWASP utawa agen-agen liyané, saéngga temuan kasebut nganggo basa sing padha karo auditor sampeyan.
| Risk | Kaya apa rupane ing kode | Pemetaan OWASP |
|---|---|---|
| Injeksi cepet | Panjaluk sistem sing nggabungake konten pangguna tanpa pamisahan peran, pembatas utawa guardrails | LLM01 |
| Injeksi ora langsung | Agen panggil alat tanpa input guardrails, utawa agen sing ngonsumsi kaca web, email, utawa dokumen sing dijupuk tanpa diresiki | LLM01 |
| Penanganan output sing ora aman | Output model tekan eval utawa wastafel mbebayani liyane, sing dilacak ing antarane fungsi lan file | LLM05 |
| Identitas agen sing duwe hak istimewa bangetPenyalahgunaan identitas non-manungsa | Kredensial statis sing awet, kredensial sing dienggo bareng tanpa penyempitan ruang lingkup, MCP utawa server alat sing mlaku kanthi hak istimewa sing luwih dhuwur | ASI03 |
| Katrampilan salah ketik utawa salah ketikRantai pasokan katrampilan agen | Pandhuan jahat sing didhelikake ing SKILL.md or AGENTS.md, jeneng katrampilan sing niru katrampilan utawa integrasi sing wis dingerteni | 10 Katrampilan Agen Paling Apik |
| Rahasia ing pandhuan | Kredensial sing disimpen ing njero file prompt | LLM07 |
Saben temuan kalebu kategori OWASP LLM Top 10, ditambah tag Aplikasi Agentik OWASP lan Keterampilan Agentik ing ngendi ditrapake, lan vektor serangan tim abang sing terlibat.
Katrampilan pantes diwenehi perhatian khusus amarga instruksi jahat ing file katrampilan iku prosa, dudu kode, lan ora ana tanda tangan sing bisa ndeleng. Tinjauan AI opt-in ngadili maksud file instruksi katrampilan lan agen sing ditandhani nganggo persiyapan versi lan deterministik, saengga file sing padha mesthi entuk putusan sing padha. Bisa mlaku ing model sing di-host dhewe, saengga kode lan prompt ora kudu ninggalake lingkungan sampeyan. Skor tingkat katrampilan banjur nggabungake sinyal kasebut dadi siji jawaban: aman, ati-ati utawa aja diinstal.
Luwih jero: tonton sesi kita Radius Ledakan: Nalika Agen Ndemek Apa sing Ora Kokjaluk, babagan apa sing kedadeyan nalika ijin agen ngluwihi tugase.
Langkah 3: pasang keamanan ing njero loop agen coding
Agen coding AI nulis lan commit kode luwih cepet tinimbang sapa wae sing bisa mriksa. Temuan sing teka ing tiket rong minggu mengko arang didandani. Perbaikan kudu kedadeyan nalika agen isih kerja.
Server Xygeni MCP mlaku sacara lokal lan bisa digunakake karo agen pengkodean AI apa wae sing ndhukung MCP, apa wae model sing digunakake. Agen kasebut bisa mindhai kode sing nembe ditulis, ndhaptar masalah anyar, entuk putusan AI Triage lan njaluk perbaikan kanggo SAST lan SCA temuan. Iku iterasi nganti pangowahan resik, sadurunge ana apa-apa committed, kanthi persetujuan sing ditetepake tim sampeyan.
Iki nggunakake mesin, kabijakan, lan aturan bisu sing padha karo sampeyan pipeline, dadi agen lan CI sampeyan ora tau beda pendapat. Kanggo para pangembang sing kerja bareng karo agen, Plugin IDE nggawa temuan lan perbaikan sing padha menyang editor.
Langkah 4: jaga apa sing diinstal agen
Agen kode AI bisa nambah katergantungan dhewe, lan ora bakal mandheg kanggo mriksa apa paket anyar kanthi jeneng sing wis dikenal iku sah. Penyerang ngerti iki, lan registri sumber terbuka minangka papan sing ditunggu.
Pertahanan Malware nandhani paket-paket sing mbebayani sadurunge ana tanda tangan, sapa wae sing nginstal, pangembang utawa agen. Ing mesin pangembang, Shield ngetrapake kabijakan sadurunge apa wae mlaku: umur minimal kanggo paket anyar, jangkoan kanggo ekstensi lan plugin IDE, mblokir indikator mbebayani lan geografi sing beboyo, lan isolasi titik pungkasan nalika mesin kudu dikurung.
Kepengin luwih jero?
Cacat ing handler lan endpoint sing katon sing tekan iku salah sawijining masalah, karo siji pemilik. Lan yen sampeyan wis mbukak alat DAST liyane, Xygeni ngimpor asil menyang tampilan risiko sing padha, tanpa njaluk sampeyan ngganti.
Kepengin ndeleng kaloro lapisan kasebut bisa digunakake bebarengan? Tonton sesi kita Saka Kode menyang Runtime: Apa Sebabe SAST + DAST Kalorone Penting kanggo AppSec Modern, ing ngendi kita nerangake kepiye temuan kode lan tes runtime saling ngonfirmasi.
Siji alur kerja, dudu konsol liyane
Keamanan agen AI gagal nalika dadi alat sing kapisah kanthi antrian dhewe. Ing Xygeni, temuan AI ngliwati corong sing padha, Triage AI, tiket lan laporan minangka sisa temuan sampeyan. AI Remediasi menehi pandhuan ndandani sing sadar konteks kanggo kabeh sepuluh kategori OWASP LLM, lan ASPM nyelehake risiko AI ing jejere kode, katergantungan lan pipeline risiko ing siji tampilan.
Keamanan lan kepatuhan agen AI
Regulator, auditor, lan pelanggan saya tambah akeh sing njaluk inventaris AI sing sampeyan jalanake lan kepiye risikone diklasifikasikake. UU AI EU lan ISO / IEC 42001 loro-lorone meksa menyang arah kasebut, lan AI-BOM dadi standard item ing kuesioner pengadaan.
Inventaris AI kanthi kolom kategori risiko saben aset menehi tim tata kelola sampeyan basis bukti kanggo pakaryan kasebut. Iki ndhukung kesiapan Undhang-undhang AI EU; iki dudu penilaian kesesuaian, lan ora ngganti tinjauan hukum sampeyan.
utawa tim ukuran menengah iku prasaja:
- Ing saben pull request: Keamanan API ing CI babagan kode sing diganti, ditambah pindai DAST tambahan.
- sadurunge commit: minangka pre-commit gapura ing file sing wis dipentasake.
- Saben wengi utawa nalika digabung: pindai DAST lengkap.
- Sadurunge saben rilis utama: AI Pentesting nglawan pementasan kanggo validasi backlog lan ngonfirmasi saben perbaikan nutup bolongan kasebut.
Pemindai Keamanan API bisa mlaku ing ngendi wae, kalebu lingkungan sing ana celah udarane, lan nglaporake menyang Xygeni SaaS utawa on-premiseplatform s. Asil metu minangka JSON, SARIF 2.1.0, CSV, lan Markdown kanggo pull request Komentar.
Pengujian lan kepatuhan keamanan API
Kanggo tim ing perbankan, asuransi, utawa sektor publik, uji keamanan API uga minangka bukti. Saben temuan nggawa tag kepatuhan kanggo Pasal 32 GDPR, PCI DSS 4.0 (syarat 3.4, 6.4.3, 7.1, 7.2 lan 8) lan NIST SP 800-53 (AC-3, AC-6, IA-2, IA-5), katon ing platform lan ing output JSON lan SARIF.
Yen organisasi sampeyan kalebu ing kategori Dora or NIS 2, pangujian runtime menehi bukti terus-terusan antarane pentest manual sing isih dibutuhake regulator sampeyan.
Cara ngetrapake keamanan agen AI sajrone 7 langkah
Iki dhaptar priksa praktis, miturut urutan sing ndadekake keamanan agen AI bisa mlaku paling cepet ing tim pangembangan nyata.
- Nggoleki
Inventaris saben aset AI ing repositori sampeyan
Pindai kabeh repositori kanggo agen, server MCP, katrampilan, model, prompt, lan alat pengkodean AI, lan ekspor asil kasebut minangka AI-BOM. Iki minangka garis dasar sampeyan, lan dhaptar saben langkah liyane digunakake.
- Klasifikasi
Wenehana saben agen pemilik lan tingkat risiko
Kanggo saben agen, cathet sapa sing nduweni, data lan alat apa sing bisa dijangkau, lan kategori risiko EU AI Act. Agen sing ora diduweni sapa wae yaiku agen sing ora bakal didandani sapa wae.
- Ndeteksi
Kode agen pindai ing CI ing saben pull request
Jalanake deteksi risiko AI ing jejere pindai liyane. Miwiti ing mode non-blocking kanggo ndeleng garis dasar, banjur blokir gabung ing Temuan Penting sawise tim wis ngresiki.
- review
Tinjau katrampilan sadurunge ana sing nginstal
Pindai file instruksi katrampilan lan agen kayata
SKILL.mdlanAGENTS.md, aktifake review niat AI, lan anggep putusan "aja dipasang" minangka mandheg sing angel. - matesi
Ijin agen sing dikurangi
Ganti kredensial statis sing awet karo sing wis ana cakupane, mandheg nuduhake kredensial antarane agen, lan aja mbukak MCP utawa server alat kanthi hak istimewa sing luwih dhuwur sing ora dibutuhake.
- Ndandani ing puteran
Lebokake keamanan ing njero loop agen coding
Sambungake agen coding AI sampeyan menyang server MCP keamanan supaya bisa mindhai lan ndandani kode dhewe sadurunge rusak committed, kanthi kabijakan sing padha karo sampeyan pipeline.
- Jaga
Jaga apa sing tiba ing mesin pangembang
Tegakake umur minimal kanggo paket anyar, deteksi paket angkoro sadurunge ana tanda tangan, lan liput ekstensi lan plugin IDE, sapa wae sing nginstal, pangembang utawa agen.
banjur: Rutekake saben temuan menyang alur kerja triage, ticketing, lan pelaporan sing padha karo AppSec liyane, supaya risiko AI ora ana ing antrian dhewe.
Sampeyan ora bisa ngamanake agen sing durung nate sampeyan kenal
Keamanan agen AI dudu mung pemindai. Nanging ngerti agen endi sing digunakake, nangkep risiko saka cara nggawe, masang keamanan ing njero loop agen pengkodean, lan njaga agen apa sing diinstal. Miwiti saka inventaris: liyane gumantung saka iku.
Pengin ndeleng saben agen, server MCP, lan katrampilan ing kode sampeyan? Pesan sesi karo insinyur kanggo mbangun inventaris AI saka repositori sampeyan lan nliti temuan kasebut. Utawa miwiti gratis karo AI SAST, SCA, deteksi rahasia, plugin IDE lan deteksi malware ing paket sumber terbuka. Ora ana kertu kredit.
FAQ keamanan agen AI
Apa bedane keamanan agen AI karo keamanan LLM?
Keamanan LLM iku babagan apa sing diomongake model: data bocor, jawaban sing dimanipulasi, output sing ora aman. Keamanan agen AI iku babagan apa sing ditindakake agen karo alat, memori, kredensial, lan agen liyane. Pramila OWASP nerbitake Top 10 sing kapisah kanggo Aplikasi Agen (ASI01 nganti ASI10) ing ndhuwur Top 10 LLM.
Kepriye carane nemokake agen AI lan server MCP ing organisasiku?
Miwiti saka kode. Xygeni AI Security nemokake agen, server MCP, katrampilan, model, prompt, lan alat pengkodean AI ing repositori sampeyan, memetakan cara sambungane, lan ngekspor asil kasebut minangka AI-BOM ing format CycloneDX. Iki mlaku ing CI jejere pindaian liyane.
Apa skill jahat utawa server MCP bisa ngrusak pangembangku?
Ya: pandhuan skill awujud teks polos, lan agen bakal ngetutake pandhuan kasebut kanthi ijin saka pangembang. Xygeni nandhani arahan jahat sing didhelikake lan jeneng skill sing niru, bisa ngadili maksud skill kanthi review AI opt-in, lan menehi skor saben skill minangka aman, ati-ati, utawa aja diinstal. Pertahanan Malware lan Shield nutupi paket lan agen ekstensi sing digawa mlebu.







