Keselamatan ejen AI

Keselamatan ejen AI: kenali setiap ejen, tangkap risiko, jaga apa yang dipasangnya

Keselamatan ejen AI bukan lagi tentang apa yang dikatakan oleh model. Ia tentang apa yang dilakukan oleh ejen: alatan yang dipanggilnya, data yang dibacanya, kelayakan yang dipegangnya dan pakej yang dipasangnya sendiri.

Dan kebanyakan pasukan tidak dapat menjawab soalan pertama: ejen mana yang sebenarnya kita jalankan? Ia berada dalam repositori sebagai graf LangChain, pelayan MCP, SKILL.md fail, dan alat pengekodan AI yang dikonfigurasikan oleh pembangun individu pada petang Jumaat. Tiada siapa yang menyemaknya, dan kemahiran berniat jahat hanyalah teks biasa

TL; DR

Keselamatan ejen AI dalam empat langkah: lihat, skor, selamatkan gelung, jaga pemasangan

Anda tidak boleh mengamankan ejen yang tidak dapat anda lihat. Keselamatan ejen AI bermula dengan inventori setiap ejen, pelayan MCP, kemahiran, model dan alat pengekodan AI dalam kod anda.

  • Risiko dalam cara ejen dibina: gesaan yang menggabungkan input pengguna, ejen pemanggil alat tanpa guardrails, kelayakan dan kemahiran yang terlalu istimewa dengan arahan tersembunyi. Kebanyakannya boleh dilihat dalam kod, sebelum digunakan dan dipetakan kepada 10 Teratas OWASP untuk Aplikasi Ejen.
  • Keselamatan di dalam gelung: Ejen pengekod memerlukan keselamatan di dalam gelung mereka, jadi mereka mengimbas dan membetulkan apa yang mereka tulis sebelum ia committed, bukan beberapa minggu kemudian dalam tiket.
  • Jaga pemasangan: ejen juga memasang kebergantungan. Pengesanan perisian hasad yang berfungsi sebelum tandatangan wujud meliputi pakej berniat jahat sesiapa sahaja yang memasangnya, sama ada pembangun atau ejen.
  • Satu aliran kerja: Penemuan AI melalui triaj, tiket dan laporan yang sama seperti penemuan AppSec anda yang lain.

Langkah pertama: bina inventori AI dalam repositori anda, eksportnya sebagai AI-BOM, kemudian get kod ejen baharu dalam CI.

Mengapa keselamatan ejen AI adalah masalah yang berbeza

Ciri LLM mengembalikan teks, dan manusia memutuskan apa yang perlu dilakukan dengannya. Ejen menutup gelung itu sendiri: ia merancang, memanggil alat, membaca halaman web, e-mel dan dokumen, menulis fail dan menjalankan arahan. Setiap keupayaan yang anda berikan kepada ejen adalah keupayaan yang boleh dipinjam oleh penyerang.

OWASP membuat perbezaan yang sama. 10 Teratas OWASP untuk Aplikasi Ejen 2026 (ASI01 hingga ASI10) dibina berdasarkan 10 Teratas OWASP untuk Aplikasi LLM: senarai LLM merangkumi apa yang dikatakan oleh model; senarai agentik merangkumi apa yang dilakukan oleh ejen.

Kebanyakan organisasi kini menjalankan dua jenis ejen:

  • Ejen yang anda bina dalam aplikasi anda: pembantu sokongan, pembantu juruterbang dalaman dan aliran kerja yang dibina dengan rangka kerja seperti LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel atau LlamaIndex, sering disambungkan ke alat melalui pelayan MCP.
  • Ejen pengekodan AI yang digunakan oleh pembangun anda: Claude Code, Cursor, GitHub Copilot, Windsurf dan lain-lain, yang menulis kod, mengedit konfigurasi dan menambah kebergantungan.

Keselamatan ejen AI perlu meliputi kedua-duanya, kerana kedua-duanya bertindak dengan kebenaran anda.

Langkah 1: inventori setiap ejen, pelayan MCP dan kemahiran

Keselamatan ejen AI bermula dengan papan soalan, dan juruaudit kini bertanya: AI apakah yang kita jalankan? Keselamatan AI Xygeni menjawabnya daripada sumber: kod, konfigurasi, manifes dan kebergantungan.

Ia menemui model, ejen dan pelayan ejen, rangka kerja AI, pelayan MCP dan alatan, kemahirannya (SKILL.md, AGENTS.md), gesaan, guardrails, menyimpan vektor, set data, titik akhir inferens dan alatan pengekodan AI yang dikonfigurasikan dalam repositori anda. Ia juga memetakan cara ia berhubung: ejen yang menggunakan model yang mana, melaksanakan alatan yang mana dan memanggil pelayan MCP yang mana.

Hasilnya ialah inventori AI hidup, yang boleh dieksport sebagai AI-BOM dalam format CycloneDX, dengan rekod tadbir urus setiap aset yang merangkumi medan kategori risiko Akta AI EU.

Ingin melihat AI yang sudah ada dalam kod anda? Tempah sesi dengan jurutera, dan kami akan membina inventori AI bagi salah satu repositori anda.

Langkah 2: kenal pasti risiko dalam cara ejen dibina

Kebanyakan kelemahan ejen bukanlah sesuatu yang eksotik. Ia merupakan gesaan yang dibina melalui penggabungan rentetan, ejen pemanggil alat tanpa penghadang input atau kelayakan dengan skop yang jauh lebih luas daripada yang diperlukan oleh ejen. Kesemuanya meninggalkan cap jari dalam kod, jadi anda boleh mengesannya dalam CI, sebelum penggunaan.

Risiko ejen AI yang boleh anda tangkap dalam kod

Setiap risiko memetakan kepada 10 Teratas OWASP untuk Aplikasi LLM atau rakan ejennya, jadi penemuan bercakap dalam bahasa yang sama seperti juruaudit anda.

RisikoSeperti apa rupanya dalam kodPemetaan OWASP
Suntikan segeraGesaan sistem yang menggabungkan kandungan pengguna tanpa pemisahan peranan, pembatas atau guardrailsLLM01
Suntikan tidak langsungEjen pemanggil alat tanpa input guardrails, atau ejen yang menelan halaman web, e-mel atau dokumen yang diambil tanpa disanitasiLLM01
Pengendalian output yang tidak selamatOutput model mencapai eval atau sinki berbahaya lain, dikesan merentasi fungsi dan failLLM05
Identiti ejen yang terlalu istimewaPenyalahgunaan identiti bukan manusiaKelayakan statik yang tahan lama, kelayakan kongsi tanpa penyempitan skop, MCP atau pelayan alat yang berjalan dengan keistimewaan yang tinggiASI03
Kemahiran berniat jahat atau salah taipRantaian bekalan kemahiran ejenArahan berniat jahat tersembunyi dalam SKILL.md or AGENTS.md, nama kemahiran yang menyamar sebagai kemahiran atau integrasi yang diketahui10 Kemahiran Ejen Terbaik
Rahsia dalam gesaanKredensial disimpan di dalam fail gesaanLLM07

Setiap dapatan membawa kategori 10 Teratas OWASP LLM, serta tag Aplikasi Agentik OWASP dan Kemahiran Agentik di mana ia terpakai, dan vektor serangan pasukan merah yang terlibat.

Kemahiran memerlukan perhatian khusus kerana arahan berniat jahat dalam fail kemahiran adalah prosa, bukan kod, dan tiada tandatangan yang dapat melihatnya. Semakan AI ikut serta menilai niat fail arahan kemahiran dan ejen yang ditandai dengan persediaan berversi dan deterministik, jadi fail yang sama sentiasa mendapat keputusan yang sama. Ia boleh dijalankan pada model hos kendiri anda sendiri, jadi kod dan gesaan tidak perlu meninggalkan persekitaran anda. Skor tahap kemahiran kemudian menggabungkan isyarat tersebut menjadi satu jawapan: selamat, berhati-hati atau jangan pasang.

Pergi lebih dalam: saksikan sesi kami Jejari Letupan: Apabila Ejen Menyentuh Apa yang Anda Tidak Minta, tentang apa yang berlaku apabila kebenaran ejen menjangkau lebih jauh daripada tugasnya.

Langkah 3: letakkan keselamatan di dalam gelung ejen pengekodan

Ejen pengekodan AI menulis dan commit kod lebih cepat daripada sesiapa sahaja yang boleh menyemaknya. Penemuan yang tiba dalam tiket dua minggu kemudian jarang sekali dibaiki. Pembaikan perlu dilakukan semasa ejen masih bekerja.

Pelayan MCP Xygeni berjalan secara setempat dan berfungsi dengan mana-mana ejen pengekodan AI yang menyokong MCP, walau apa pun model yang digunakannya. Ejen boleh mengimbas kod yang baru ditulisnya, menyenaraikan isu baharu, mendapatkan keputusan Triage AI dan meminta pembetulan untuk SAST dan SCA penemuan. Ia berulang sehingga perubahan itu bersih, sebelum apa-apa pun committed, dengan kelulusan yang ditetapkan oleh pasukan anda.

Ia menggunakan enjin, dasar dan peraturan bisu yang sama seperti anda pipeline, jadi ejen dan CI anda tidak pernah berselisih pendapat. Bagi pembangun yang bekerja bersama ejen, Plugin IDE bawa penemuan dan pembetulan yang sama ke dalam editor.

Langkah 4: kawal apa yang dipasang oleh ejen

Ejen pengekodan AI boleh menambah kebergantungan sendiri, dan ia tidak akan berhenti untuk memeriksa sama ada pakej baharu dengan nama yang biasa adalah sah. Penyerang tahu perkara ini, dan pendaftaran sumber terbuka adalah tempat mereka menunggu.

Pertahanan Perisian Hasad menandakan pakej berniat jahat sebelum tandatangan wujud, sesiapa sahaja yang memasangnya, pembangun atau ejen. Pada mesin pembangun, Shield menguatkuasakan dasar sebelum apa-apa dijalankan: umur minimum untuk pakej baharu, liputan untuk sambungan dan pemalam IDE, penyekatan penunjuk berniat jahat dan geografi berisiko dan pengasingan titik akhir apabila mesin perlu dikawal.

Mahu pergi lebih dalam?

Kecacatan pada pengendali dan titik akhir yang terdedah yang sampai ke sana adalah satu masalah, dengan seorang pemilik. Dan jika anda sudah menjalankan alat DAST lain, Xygeni mengimport hasilnya ke dalam paparan risiko yang sama, tanpa meminta anda menggantikannya.

Ingin melihat kedua-dua lapisan berfungsi bersama? Tonton sesi kami Daripada Kod kepada Masa Jalan: Mengapa SAST + DAST Kedua-duanya Penting untuk AppSec Moden, di mana kita akan membincangkan bagaimana penemuan kod dan ujian masa jalan mengesahkan antara satu sama lain.

Satu aliran kerja, bukan konsol lain

Keselamatan ejen AI gagal apabila ia menjadi alat berasingan dengan barisannya sendiri. Dalam Xygeni, penemuan AI melalui corong yang sama, Triage AI, tiket dan laporan sebagai penemuan anda yang lain. Pemulihan AI memberikan panduan pembetulan yang peka konteks untuk semua sepuluh kategori LLM OWASP, dan ASPM meletakkan risiko AI di sebelah kod, kebergantungan dan pipeline risiko dalam satu pandangan.

Keselamatan dan pematuhan ejen AI

Pengawal selia, juruaudit dan pelanggan semakin meminta inventori AI yang anda jalankan dan bagaimana risikonya dikelaskan. Akta AI EU dan ISO / IEC 42001 kedua-duanya mendorong ke arah itu, dan AI-BOM menjadi standard item dalam soal selidik perolehan.

Inventori AI dengan medan kategori risiko bagi setiap aset memberikan pasukan tadbir urus anda asas bukti untuk kerja tersebut. Ia menyokong kesediaan Akta AI EU; ia bukanlah penilaian pematuhan dan ia tidak menggantikan semakan undang-undang anda.

atau pasukan bersaiz sederhana adalah mudah:

  1. Pada setiap pull request: Keselamatan API dalam CI pada kod yang diubah, serta imbasan DAST tambahan.
  2. Sebelum commit: sebagai pre-commit get pada fail berperingkat.
  3. Setiap malam atau semasa penggabungan: imbasan DAST penuh.
  4. Sebelum setiap keluaran utama: Pengujian Pentegasan AI terhadap pementasan untuk mengesahkan tunggakan dan mengesahkan setiap pembaikan telah menutup lubang.

Pengimbas Keselamatan API berjalan di mana-mana sahaja, termasuk persekitaran berjurang udara dan melaporkan kepada Xygeni SaaS atau anda on-premiseplatform s. Keputusan keluar sebagai JSON, SARIF 2.1.0, CSV dan Markdown untuk pull request komen.

Pengujian dan pematuhan keselamatan API

Bagi pasukan dalam perbankan, insurans atau sektor awam, ujian keselamatan API juga merupakan bukti. Setiap penemuan membawa tag pematuhan untuk GDPR Perkara 32, PCI DSS 4.0 (keperluan 3.4, 6.4.3, 7.1, 7.2 dan 8) dan NIST SP 800-53 (AC-3, AC-6, IA-2, IA-5), boleh dilihat dalam platform dan dalam output JSON dan SARIF.

Jika organisasi anda berada di bawah DORA or NIS2, ujian masa jalan memberi anda bukti berterusan antara pentest manual yang masih diperlukan oleh pengawal selia anda. 

Cara melaksanakan keselamatan ejen AI dalam 7 langkah

Berikut ialah senarai semak praktikal, mengikut susunan yang membolehkan keselamatan ejen AI berfungsi paling pantas dalam pasukan pembangunan sebenar.

  1. Teroka dan Kenal

    Inventori setiap aset AI dalam repositori anda

    Imbas semua repositori untuk ejen, pelayan MCP, kemahiran, model, gesaan dan alatan pengekodan AI dan eksport hasilnya sebagai AI-BOM. Ini adalah garis dasar anda dan senarai yang digunakan untuk setiap langkah lain.

  2. Klasifikasi

    Berikan setiap ejen pemilik dan tahap risiko

    Bagi setiap ejen, rekodkan siapa yang memilikinya, data dan alatan yang boleh dicapainya, dan kategori risiko Akta AI EUnya. Ejen yang dimiliki sesiapa pun adalah ejen yang tidak akan dibaiki sesiapa pun.

  3. Mengesan

    Imbas kod ejen dalam CI pada setiap pull request

    Jalankan pengesanan risiko AI di sebelah imbasan anda yang lain. Mulakan dalam mod tanpa sekatan untuk melihat garis dasar, kemudian gabungkan blok pada Penemuan Kritikal setelah pasukan membersihkan.

  4. ULASAN

    Semak kemahiran sebelum sesiapa memasangnya

    Imbas fail arahan kemahiran dan ejen seperti SKILL.md dan AGENTS.md, hidupkan semakan niat AI dan anggap keputusan "jangan pasang" sebagai langkah berjaga-jaga yang sukar.

  5. menyekat

    Kebenaran ejen kecilkan

    Gantikan kelayakan statik yang tahan lama dengan kelayakan berskop, hentikan perkongsian kelayakan antara ejen dan jangan sekali-kali menjalankan MCP atau pelayan alat dengan keistimewaan tinggi yang tidak diperlukan.

  6. Betulkan dalam gelung

    Letakkan keselamatan di dalam gelung ejen pengekodan

    Sambungkan ejen pengekodan AI anda ke pelayan MCP keselamatan supaya ia mengimbas dan membetulkan kod mereka sendiri sebelum ia committed, dengan dasar yang sama seperti anda pipeline.

  7. Melindungi

    Jaga apa yang mendarat pada mesin pembangun

    Kuatkuasakan umur minimum untuk pakej baharu, kesan pakej berniat jahat sebelum tandatangan wujud dan lindungi sambungan dan pemalam IDE, sesiapa sahaja yang memasangnya, pembangun atau ejen.

Kemudian: halakan setiap penemuan ke dalam aliran kerja triaj, tiket dan pelaporan yang sama seperti AppSec anda yang lain, supaya risiko AI tidak berakhir dalam barisannya sendiri.

Anda tidak boleh mendapatkan ejen yang anda tidak pernah temui

Keselamatan ejen AI bukanlah satu lagi pengimbas. Ia adalah mengetahui ejen yang anda jalankan, menangkap risiko dalam cara ia dibina, meletakkan keselamatan di dalam gelung ejen pengekodan dan mengawal apa yang dipasang oleh ejen. Mulakan dengan inventori: segala-galanya bergantung padanya.

Ingin melihat setiap ejen, pelayan MCP dan kemahiran dalam kod anda? Tempah sesi dengan jurutera untuk membina inventori AI repositori anda dan menyemak penemuannya. Atau mulakan secara percuma dengan AI SAST, SCA, pengesanan rahsia, pemalam IDE dan pengesanan perisian hasad pada pakej sumber terbuka. Tiada kad kredit.

Soalan Lazim keselamatan ejen AI

Bagaimanakah keselamatan ejen AI berbeza daripada keselamatan LLM?

Keselamatan LLM adalah tentang apa yang dikatakan oleh model: data yang bocor, jawapan yang dimanipulasi, output yang tidak selamat. Keselamatan ejen AI adalah tentang apa yang dilakukan oleh ejen dengan alatan, memori, kelayakan dan ejen lain. Itulah sebabnya OWASP menerbitkan 10 Teratas yang berasingan untuk Aplikasi Ejen (ASI01 hingga ASI10) di atas 10 Teratas LLM.

Bagaimanakah saya boleh mencari ejen AI dan pelayan MCP dalam organisasi saya?

Mulakan daripada kod. Xygeni AI Security menemui ejen, pelayan MCP, kemahiran, model, gesaan dan alatan pengekodan AI dalam repositori anda, memetakan cara ia berhubung dan mengeksport hasilnya sebagai AI-BOM dalam format CycloneDX. Ia berjalan dalam CI bersebelahan dengan imbasan anda yang lain.

Bolehkah kemahiran berniat jahat atau pelayan MCP menjejaskan pembangun saya?

Ya: arahan kemahiran adalah teks biasa dan ejen akan mengikutinya dengan kebenaran pembangun. Xygeni menanda arahan berniat jahat yang tersembunyi dan menyamar sebagai nama kemahiran, boleh menilai niat kemahiran dengan semakan AI ikut serta dan menilai setiap kemahiran sebagai selamat, berhati-hati atau jangan pasang. Pertahanan Perisian Hasad dan Shield meliputi pakej dan ejen sambungan yang dibawa masuk.

alat-analisis-komposisi-perisian-alat-sca
Utamakan, pulihkan dan lindungi risiko perisian anda
Dapatkan Akaun Percuma anda.
Tiada kad kredit yang diperlukan.

Lindungi pembangunan dan penghantaran perisian anda

dengan Suit Produk Xygeni