Pengurusan risiko AI

Pengurusan risiko AI: dua disiplin, satu inventori

TL; DR

"Pengurusan risiko AI" menerangkan dua disiplin yang bertentangan yang berkongsi nama. Mengurus risiko yang dicipta oleh AI bukanlah kerja yang sama seperti menggunakan AI untuk mengurus risiko. Kebanyakan organisasi melakukan satu, menjual yang lain, dan melaporkan kedua-duanya dengan betul.

  • Pengurusan risiko GenAI merupakan masalah penemuan sebelum ia menjadi masalah tadbir urus. Anda tidak boleh mentadbir harta pusaka yang tidak pernah anda kira, dan inventori selalunya berada dalam .mcp/servers.json fail yang tiada siapa yang buka sejak ia committed.
  • AI untuk pengurusan risiko memperoleh tempatnya dalam tiga pekerjaan. Korelasi, penjelasan dan kelantangan. Ia tidak pandai membuat keputusan, itulah sebabnya AI mencadangkan sesuatu yang perlu disemak secara deterministik sebelum sesiapa pun melihatnya.
  • Kedua-dua disiplin ilmu ini bertemu pada satu titik. AI yang anda gunakan untuk mengurus risiko itu sendiri merupakan aset AI, dengan model, akses alat dan kelayakan. Ia sepatutnya berada dalam inventori anda sendiri.
  • Mulakan dengan mengira, bukan dengan menulis dasar. Polisi yang ditulis sebelum penemuan menggambarkan estet khayalan. Tiga nombor pada satu slaid mengatasi kerangka kerja yang tidak dapat disahkan oleh sesiapa pun.

Mengapakah "pengurusan risiko AI" kini bermaksud dua perkara yang berbeza?

Taip frasa tersebut ke dalam mana-mana kotak carian, dan anda akan mendapat dua perpustakaan yang sama sekali berbeza.

Satu adalah tentang risiko yang dicipta oleh AI: model berkelakuan tidak dapat diramalkan, ejen dengan lebih banyak kebenaran daripada yang dimaksudkan, menjana kecacatan penghantaran kod pada skala besar, pengawal selia bertanya apa yang anda jalankan. Sebut sahaja ia pengurusan risiko GenAI.

Yang lain pula tentang AI sebagai instrumen fungsi risiko: model mencirikan amaran, meringkaskan pendedahan, mendraf pemulihan, menjelaskan dapatan kepada seseorang yang tidak membaca jejak tindanan. Sebut ia AI untuk pengurusan risiko.

Mereka berkongsi nama, garisan bajet, dan selalunya satu gelongsor, dan mereka berbeza disiplin. Seorang bersikap defensif dan bertanya apa yang mungkin salah. Seorang lagi pula beroperasi dan bertanya apa yang boleh kami hentikan dengan tangan. CISSiapa yang menggabungkannya akan berakhir dengan dasar tadbir urus yang tidak mengurangkan beban kerja dan program automasi yang belum dinilai oleh sesiapa pun.

Menamakan perpecahan itu bukanlah sesuatu yang pedantri. Ia adalah cara terpantas untuk mengetahui organisasi anda yang sebenarnya membiayai.

Apakah yang perlu diliputi oleh pengurusan risiko GenAI?

Tiga lapisan, dan hanya satu daripadanya yang merupakan modelnya.

  • Apa yang AI tulis. Kod yang dijana membawa kelas kerentanan yang sama seperti kod manusia, dan ia tiba lebih cepat daripada yang boleh diserap oleh semakan. Lapisan ini mendapat hampir semua perhatian kerana ia adalah yang paling biasa.
  • Apa yang berkaitan dengan AI. Fail kemahiran, fail peraturan, konfigurasi pelayan MCP, skop alat, kelayakan yang digunakan oleh ejen. Teks biasa, commitdokumentasi seperti yang diuji, disemak dokumentasi seperti yang dikaji, dan ia menentukan apa yang dibenarkan oleh pembantu untuk capai. Ini adalah lapisan yang menentukan sejauh mana serangan yang berjaya bergerak, dan ia tidak dapat dilihat oleh apa-apa sahaja yang menguji model melalui titik akhirnya.
  • Apa yang ditarik oleh AI. Kebergantungan, model, set data, alat luaran. Penyerang tidak lagi perlu menjejaskan penyelenggara apabila mereka boleh mendaftarkan nama pakej yang dicipta oleh ejen anda. Penyelidikan yang dibentangkan di USENIX Security pada tahun 2025 menjana 2.23 juta sampel kod merentasi 16 model dan mendapati 19.7% daripada pakej yang disyorkan tidak wujud, menghasilkan lebih daripada 205,000 nama halusinasi unik.

Mana-mana program pengurusan risiko GenAI yang hanya merangkumi lapisan pertama menghasilkan laporan yang bersih dan profil risiko yang tidak berubah. 10 Teratas OWASP untuk Aplikasi LLM distrukturkan berdasarkan realiti ini: agensi yang berlebihan berada di kedudukan hampir dengan tahap tertinggicisely kerana ia adalah masalah pendawaian dan bukannya masalah model.

Dan ketiga-tiga lapisan bergantung pada sesuatu yang lebih membosankan daripada mana-mana satu pun. Anda perlu tahu AI apa yang anda miliki. Penemuan bukanlah langkah awal untuk pengurusan risiko GenAI, ia adalah perkara yang menjadi asas selebihnya, dan di situlah kebanyakan program terhenti secara senyap.

Apakah sebenarnya kepakaran AI untuk pengurusan risiko?

Ketepikan pemasaran, dan jawapan yang jujur ​​adalah sempit tetapi berharga. AI dalam pengurusan risiko memperoleh tempatnya dalam tiga tugas.

  • Korelasi. Enam alat menghasilkan enam versi penemuan yang sama di bawah enam tahap keterukan. Memutuskan bahawa ia adalah masalah yang sama, dalam komponen yang sama, dengan satu punca utama, adalah kerja corak yang membosankan yang dilakukan oleh manusia secara perlahan dan tidak konsisten.
  • Penjelasan. Jurang antara penemuan dan pembetulan biasanya merupakan pemahaman. Penjelasan yang menamakan laluan eksploitasi, komponen yang terjejas dan jejari letupan menukarkan tiket yang ditutup seseorang sebagai "tidak akan dibaiki" kepada tiket yang benar-benar diselesaikan oleh seseorang.
  • Isipadu. Apabila ejen pengekod menghasilkan seribu fail dalam seminggu, semakan tidak lagi menjadi kawalan dan menjadi barisan. Tiada apa yang dapat diskalakan oleh manusia ke dalamnya, dan tiada jumlah pengambilan pekerja yang mengubahnya.

Apa yang AI untuk pengurusan risiko tidak mahir dalam membuat keputusan. Model yang mencadangkan pembetulan yang tidak disahkan ialah liabiliti yang disamar sebagai ciri. Corak yang masih relevan ialah penaakulan AI yang digandingkan dengan analisis deterministik: AI mencadangkan, dan sesuatu yang bukan kebarangkalian menyemak cadangan tersebut untuk pematuhan dasar, eksploitasi dan impak perubahan yang tidak menentu sebelum sesiapa pun melihatnya.

Terdapat kemenangan kedua yang kurang jelas. Kecerdasan yang sama yang menilai penemuan pengimbas anda sendiri boleh menilai penemuan orang lain. Jika lapisan AI berada di atas alat yang telah anda beli dan bukannya menggantikannya, AI dalam pengurusan risiko menjadi tambahan kepada susunan anda dan bukannya projek migrasi, yang biasanya merupakan perbezaan antara program yang bermula suku ini dan yang bermula tahun depan.

Di manakah silapnya AI dalam pengurusan risiko?

Tiga mod kegagalan, semuanya sama.

  • Keyakinan tanpa asal usul. Ringkasan risiko yang dijana AI dibaca dengan indah dan tidak memetik apa-apa. Apabila juruaudit bertanya bagaimana sesuatu nombor dihasilkan, "model itu berkata begitu" bukanlah jawapannya. Setiap output dalam program risiko memerlukan laluan yang boleh dikesan kembali kepada penemuan, fail dan baris.
  • Automasi tanpa pintu pagar. Godaan dengan ejen yang berkebolehan adalah untuk membiarkannya membetulkan keadaan. Bagi apa-apa sahaja yang mencapai kod pengeluaran, seseorang harus meluluskannya pada pull requestIni bukanlah sifat malu-malu; ia adalah kedudukan yang Akta AI EU menolak anda ke arah apa jua cara, pada garis masa berperingkat yang telah beralih sekali. Membina titik kelulusan kini memerlukan kos reka bentukcision. Pengubahsuaiannya di bawah audit menelan kos satu suku tahun.
  • Mengukur penerimaan dan bukannya pendedahan. "Pasukan kami menggunakan AI untuk pengurusan risiko setiap hari" ialah statistik penggunaan. Ia tidak menyatakan apa-apa tentang sama ada risiko telah menurun.

Bagaimanakah kedua-dua disiplin ilmu ini bertemu?

Inilah bahagian yang hampir tiada sesiapa pun yang ada pada slaid lagi.

AI yang anda gunakan untuk mengurus risiko itu sendiri merupakan aset AI. Ia mempunyai satu atau beberapa model. Ia mempunyai akses alat. Ia membaca kod sumber anda, penemuan anda dan selalunya rahsia anda. Ia berjalan di bawah kelayakan. Ia mungkin bersambung ke pelayan MCP. Jika inventori pengurusan risiko GenAI anda tidak mengandunginya, inventori anda salah dan jurangnya terletak pada sistem paling istimewa yang anda miliki.

Itu menjadikan kedua-dua disiplin ini satu program. AI keselamatan berada dalam inventori yang sama seperti AI yang dipasang oleh pembangun anda. Ia mempunyai status kelulusan. Ia mempunyai pemilik bernama. Ia diskop, direkodkan dan dipagar di pull request sama seperti apa-apa sahaja dengan akses tulis ke repositori anda.

Organisasi yang menganggap AI sebagai pengurusan risiko sebagai pembelian alat dan bukannya penggunaan AI akan menemui perkara ini semasa audit pertama mereka, dan ia akan menjadi perbualan yang tidak selesa. Organisasi yang menganggapnya sebagai kedua-duanya mendapat satu inventori, satu model risiko dan satu jawapan apabila lembaga bertanya.

Apakah rupa model operasi pengurusan risiko AI yang berfungsi?

Enam keupayaan, setiap satu dengan pemilik bernama dan sesuatu yang membuktikan ia sedang berjalan.

KeupayaanApa yang terkandung di dalamnyaSiapa yang memilikinyaApa yang membuktikannya
penemuan AIModel, ejen, set data, pelayan MCP, alat pengekodan, termasuk AI keselamatan andaKetua AppSecA inventori langsung dengan keadaan kelulusan setiap aset
Pengesanan risiko AILaluan suntikan segera, sempadan ejen yang tidak selamat, kemahiran berniat jahat dan fail peraturanKetua AppSecPenemuan dipetakan kepada rangka kerja yang diiktiraf, dengan fail dan baris
Pemeriksaan rantaian bekalanKebergantungan yang ditarik oleh AI, sebelum tandatangan wujudKetua AppSecKeputusan saringan setiap pakej, setiap minggu
Triage dibantu AIKorelasi, penjelasan, keutamaan merentasi semua alatOperasi keselamatanPengurangan penemuan yang sampai kepada pemaju
Pintu gerbang manusiaKelulusan untuk apa-apa sahaja yang mencapai kod pengeluaranPeneraju Platform atau DevOpsPeratusan pengarang ejen pull requests dengan pelulus manusia
laporanPostur yang naik ke atasCISPejabat OAI-BOM yang boleh dieksport dan tiga nombor yang boleh digunakan oleh papan

Baris yang dilupakan orang ialah klausa pertama dan kedua. Klausa anda keselamatan AI termasuk dalam inventori anda sendiri.

Bagaimana anda memulakan?

Bukan dengan polisi. Polisi yang ditulis sebelum penemuan menggambarkan estet khayalan.

Kira AI yang sedang dijalankan dalam perisian anda, termasuk AI yang diperkenalkan oleh pasukan keselamatan anda. Siarkan nombor tersebut secara dalaman tanpa atribusi, kerana penamaan orang pada peringkat ini akan menyebabkan penggunaan tersembunyi dan memusnahkan keterlihatan yang baru anda beli. Kemudian, persetujui senarai yang diluluskan yang mencerminkan apa yang sebenarnya diperlukan oleh pasukan anda dan kawal selia set kecil perkara yang tidak dapat dipulihkan apabila ia menjadi salah: kebergantungan berniat jahat, kelayakan langsung, model yang tidak diluluskan yang menyentuh data terkawal.

Organisasi yang akan menghadapi masalah dengan pengurusan risiko AI pada tahun 2027 bukanlah organisasi yang bergerak pantas. Mereka adalah organisasi yang menghabiskan masa tahun 2026 menulis dasar AI dan tidak pernah mengira apa-apa.

Inilah kedudukannya Xygeni dibina berdasarkan: satu inventori yang meliputi AI yang dipasang oleh pembangun anda dan AI yang diperkenalkan oleh pasukan keselamatan anda, satu model risiko yang digunakan pada penemuan anda dan pada penemuan yang dihasilkan oleh alatan anda yang lain, dan seseorang yang meluluskan apa sahaja yang mencapai kod pengeluaran.

Dua disiplin, satu inventori. Lebih cepat program-program tersebut berhenti menjadi program berasingan dengan pemilik berasingan, lebih cepat kedua-duanya mula berfungsi.

Soalan Lazim

Adakah pengurusan risiko AI sama dengan tadbir urus AI?

Tadbir urus menetapkan peraturan: siapa yang boleh menggunakan apa, di bawah syarat apa, dengan kelulusan yang mana. Pengurusan risiko AI ialah kerja operasi untuk mengetahui apa yang sebenarnya sedang berjalan, mengukur pendedahan yang ditimbulkannya, dan mengurangkannya. Tadbir urus tanpa pengurusan risiko menghasilkan dasar yang tiada siapa yang boleh mengesahkannya. Pengurusan risiko tanpa tadbir urus menghasilkan penemuan yang tiada siapa yang diberi kuasa untuk bertindak. Kebanyakan organisasi mempunyai lebih banyak yang pertama berbanding yang kedua.

Bolehkah kita menggunakan AI untuk pengurusan risiko sebelum kita menyelesaikan pengurusan risiko GenAI?

Ya, dan kebanyakan pasukan akan melakukannya, kerana tekanan operasi adalah serta-merta dan tekanan tadbir urus adalah setiap suku tahun. Syaratnya ialah anda menginventori AI keselamatan itu sendiri dari hari pertama dan bukannya memasangnya kemudian. Menambah satu aset pada inventori adalah mudah. ​​Membina semula akses tanpa dokumen selama lapan belas bulan untuk juruaudit bukanlah sesuatu yang mudah.

Rangka kerja manakah yang harus diselaraskan oleh program pengurusan risiko AI?

. Rangka Kerja Pengurusan Risiko NIST AI merupakan perbendaharaan kata yang paling banyak diterima, dan empat fungsinya iaitu tadbir, peta, ukur dan urus memberikan anda struktur yang akan dikenali oleh lembaga. Padankannya dengan kerja OWASP GenAI untuk lapisan teknikal, kerana NIST memberitahu anda hasil yang hendak disasarkan dan OWASP memberitahu anda bagaimana sebenarnya serangan tersebut. Kedua-duanya tidak akan memberitahu anda apa yang hendak dikira, yang kekal menjadi keputusan anda.cision.

Adakah AI dalam pengurusan risiko mengurangkan bilangan pekerja?

Bukan dalam pasukan yang menggunakannya dengan baik. Ia mengubah apa yang pasukan habiskan harinya. Korelasi, triaj dan penjelasan draf pertama beralih kepada model, dan masa manusia beralih kepada decision yang membawa akibat: apa yang dikawal, risiko apa yang diterima dan oleh siapa, dan penemuan yang sebenarnya mengancam pengeluaran. Jika kes perniagaan anda bergantung pada pengurangan bilangan pekerja, program tersebut cenderung dinilai berdasarkan metrik yang salah dalam tempoh dua suku tahun.

alat-analisis-komposisi-perisian-alat-sca
Utamakan, pulihkan dan lindungi risiko perisian anda
Dapatkan Akaun Percuma anda.
Tiada kad kredit yang diperlukan.

Lindungi pembangunan dan penghantaran perisian anda

dengan Suit Produk Xygeni