Apakah Keselamatan Siber AI?

Keselamatan siber AI ialah amalan mengamankan kecerdasan buatan sebagai sebahagian daripada permukaan serangan anda: model, set data, ejen, pelayan MCP, gesaan dan kod yang dijana AI di dalam perisian anda, serta teknik serangan baharu yang menyasarkannya. Ia juga merangkumi arah sebaliknya, menggunakan AI untuk mengukuhkan pertahanan, tetapi arah pertama ialah arah yang mewujudkan pendedahan hari ini. Itulah jawapan ringkas kepada apa itu keselamatan siber AI. Adalah berbaloi untuk menjadi pra-cise mengenainya, kerana istilah itu digunakan untuk dua perkara yang sangat berbeza, dan membeli yang salah membuatkan yang satu lagi tidak berhati-hati.

Maksud keselamatan siber AI, dalam dua arah #

Makna keselamatan siber AI terbahagi kepada dua perkara: adakah anda melindungi AI, atau adakah anda dilindungi olehnya?

Mengamankan AI. Organisasi anda membina dengan AI dan membangun menggunakan AI. Itu memperkenalkan aset yang tiada siapa yang inventori dan mod kegagalan perkakas konvensional tidak pernah direka bentuk untuknya: gesaan yang menerima input yang tidak dipercayai, ejen dengan lebih banyak kebenaran daripada keperluan tugasnya, set data yang meracuni model, pelayan MCP yang tiada siapa yang diluluskan. Di sinilah insiden berlaku.

AI untuk keselamatan. Pembelajaran mesin digunakan untuk pengesanan, triaj, penjelasan dan pemulihan: mengurangkan hingar amaran, mengutamakan penemuan yang boleh dieksploitasi dan menulis penyelesaian. Di sinilah kecekapan datangnya.

Kebanyakan vendor dan kebanyakan artikel meruntuhkan kedua-duanya. Maksud keselamatan siber AI yang penting secara operasi ialah ia merupakan program berasingan dengan pemilik berasingan. Salah satunya ialah masalah permukaan serangan. Yang satu lagi ialah masalah produktiviti.

Apakah yang dilindungi oleh keselamatan siber AI? #

Inventori, sebelum kawalan. Setiap item di bawah merupakan aset yang kini menjadi tanggungjawab pasukan keselamatan.

• model, sama ada dihoskan sendiri, ditala halus atau dipanggil melalui API penyedia
• Dataset digunakan untuk latihan, penalaan halus, penilaian dan pencarian semula
• Ejen dan pelayan ejen yang bertindak secara autonomi di dalam sistem anda
• pelayan MCP yang mendedahkan alatan dan data kepada ejen tersebut
• Gesaan, fail kemahiran, fail peraturan dan guardrails, lapisan konfigurasi yang mengawal tingkah laku AI
• Titik akhir inferens dan kelayakan yang sampai kepada mereka
• pembantu pengekodan AI digunakan merentasi pasukan anda, dan kod yang mereka jana
• Kebergantungan AI: rangka kerja dan pakej yang ditarik oleh susunan AI anda

Perhatikan betapa sedikitnya kod aplikasi itu. Itu pracisely mengapa a SAST alat, ejen EDR dan alat postur awan semuanya boleh melaporkan warna hijau semasa ejen pada komputer riba mengeluarkan data melalui alat e-melnya sendiri yang anda sambungkan. Kod aplikasi juga tidak, jadi kedua-duanya tidak dilindungi oleh alat yang telah anda jalankan.

Tiga serangan yang hanya wujud kerana AI #

Mengetahui keluarga yang anda lihat memberitahu anda di mana kawalan itu berada, dan di sinilah makna keselamatan siber AI tidak lagi bersifat abstrak.

Keluarga pertama mensasarkan arahan model. Suntikan segera telah memegang kedudukan teratas dalam 10 Teratas OWASP untuk Aplikasi LLM memandangkan senarai itu wujud, atas sebab yang mudah: sebarang titik di mana model membaca teks yang tidak ditulisnya adalah titik masuk. Versi berbahaya adalah tidak langsung. Tiada siapa yang menaip serangan, model mengambilnya, daripada tiket sokongan, halaman web, a pull request komen atau dokumen yang dimuat naik oleh seseorang. Model tidak dapat membezakan arahan daripada kandungan, jadi ia mengikuti kedua-duanya. Berikan model itu alat dan teknik yang sama menjadi suntikan alat: ubah apa yang ejen percaya alat lakukan, dan ia akan bertindak terhadap anda menggunakan kelayakan anda sendiri. Agensi yang berlebihan adalah pengganda. Ejen yang memegang kebenaran yang lebih luas daripada yang diperlukan oleh tugasnya adalah perbezaan antara gangguan dan insiden.

Keluarga kedua menyasarkan lapisan konfigurasi. Gesaan, fail peraturan, fail kemahiran dan definisi pelayan MCP menentukan apa yang dilakukan oleh AI dalam persekitaran anda, dan tiada satu pun daripadanya yang merupakan kod aplikasi. Pintu Belakang Fail Peraturan menunjukkan sejauh mana ia berlaku: aksara Unicode lebar sifar membawa arahan yang tidak dapat dilihat oleh pengulas manusia secara fizikal, pembantu mematuhinya, dan ia tidak pernah menyebutnya dalam responsnya. Teknik ini dikatalogkan dalam MITER ATLAS sebagai AML.CS0041. Lapisan yang sama secara rutin menyimpan kelayakan penyedia dalam teks biasa dan memberikan pembantu akses baca kepada lebih banyak sistem fail daripada yang dimaksudkan oleh sesiapa pun. Dalam pengekodan agentik, Lapisan ini ialah stereng, dan hampir tiada siapa yang mengulasnya.

Keluarga ketiga menyasarkan rantaian bekalan AI. Model, set data dan pakej di sekelilingnya tiba dari luar. Slopsquatting adalah kes yang paling jelas: model bahasa mencipta nama pakej, penyerang mendaftarkannya, dan ejen memasang kod penyerang atas permintaan. Kajian yang dibentangkan di USENIX Security 2025 mendapati bahawa 19.7% pakej yang disyorkan oleh LLM tidak wujud, dan nama halusinasi berulang cukup kerap untuk difabrikasi. Di sampingnya terdapat data latihan dan pengambilan yang diracuni, penyematan yang membocorkan bahan sumbernya, pelayan MCP yang tidak dipercayai yang disambungkan terus ke ejen, dan rangka kerja AI yang terdedah yang ditarik sebagai kebergantungan.

Di bawah ketiga-tiganya terdapat bayangan AI: model, ejen, pembantu dan pelayan MCP sudah berjalan tanpa kelulusan, semakan atau inventori. Ia merupakan keadaan lalai dalam kebanyakan organisasi, dan itulah sebabnya kawalan pertama sentiasa merupakan senarai.

Apa yang tidak? #

Ia bukan tadbir urus AI. Tadbir urus menjawab sama ada anda harus menggunakan model dan di bawah dasar apa. Keselamatan siber AI menjawab sama ada model, ejen dan pendawaian di antara mereka boleh diserang.

Ia bukan penapis di hadapan chatbot. Penapisan gesaan masa jalan adalah satu kawalan antara banyak kawalan. Ia tidak melihat apa-apa tentang pelayan MCP pada komputer riba pembangun, fail peraturan yang diracun dalam repositori atau kelayakan dalam konfigurasi AI.

Ia tidak dilindungi oleh apa yang telah anda jalankan. Keselamatan aplikasi tradisional berhenti di repositori dan tidak tahu apa itu model. Peralatan titik akhir memerhatikan sistem pengendalian dan tidak memahami pakej, pelayan MCP atau pembantu. Serangan AI mendarat di jurang antara mereka.

Ia bukan sahaja mengenai AI generatif. Pembelajaran mesin klasik dalam penipuan, penetapan harga dan pemarkahan risiko juga merupakan sasaran, melalui keracunan, pengelakan dan pengekstrakan model.

Kerangka kerja yang menentukan bidang tersebut #

10 Teratas OWASP untuk Aplikasi LLM: taksonomi kerja untuk risiko aplikasi LLM, dan yang paling banyak pasukan keselamatan memetakan penemuan kepada

10 Teratas OWASP untuk Aplikasi Ejen 2026: senarai pendamping untuk sistem autonomi yang menggunakan alat, diterbitkan pada Disember 2025

Projek Keselamatan OWASP GenAI: usaha payung, termasuk keselamatan data, panduan pelayan MCP dan sumber pasukan merah

Rangka Kerja Pengurusan Risiko NIST AI dan Profil AI Generatifnya: pengawal selia dan lembaga perbendaharaan kata tadbir urus mengiktiraf

MITER ATLAS: pangkalan pengetahuan teknik adversarial untuk sistem AI, dengan kajian kes sebenar

Akta AI EU: rangka kerja perundangan, termasuk tugas dokumentasi teknikal yang dapat anda penuhi oleh inventori AI

Di mana untuk bermula #

Inventori. Cari setiap model, set data, ejen, pelayan MCP dan pembantu AI yang digunakan, daripada kod, kebergantungan dan konfigurasi dan bukannya daripada tinjauan.

Petakan hubungan. Risiko terletak pada pendawaian: ejen mana yang mencapai alat mana, set data mana yang memberi suapan kepada model mana.

Baca lapisan konfigurasi. Anggap gesaan, fail kemahiran, fail peraturan dan definisi MCP sebagai artifak keselamatan dan semaknya seperti kod.

Kebenaran skop. Berikan setiap ejen permukaan alat yang paling sempit dan autonomi yang paling sedikit yang dibenarkan oleh tugasnya.

Kuatkuasakan di mana ia dijalankan. Kebanyakan risiko AI terletak pada mesin pembangun, jadi dasar perlu diguna pakai pada titik akhir, sebelum pelayan yang tidak diluluskan atau pakej berniat jahat dilaksanakan.

Mengamankan AI yang anda gunakan dan AI yang anda bina #

Jawapan praktikal kepada apa itu keselamatan siber AI ialah ia bermula dengan keterlihatan dan berakhir dengan penguatkuasaan. Xygeni menemui setiap aset AI dalam anda SDLC, termasuk model, ejen, pelayan MCP, set data, fail kemahiran dan gesaan yang tiada siapa yang diisytiharkan, memetakan cara ia berhubung dan mengesan risiko khusus untuknya: gesaan dan suntikan alat, arahan berniat jahat dalam peraturan dan fail kemahiran, konfigurasi MCP yang tidak selamat, rahsia dalam fail AI dan kebergantungan AI yang tidak terkawal. Penemuan dipetakan ke 10 Teratas OWASP untuk Aplikasi LLM dan menunjukkan fail dan baris yang tepat. AI-BOM memberikan juruaudit anda sesuatu yang boleh dipertahankan dan dasar dikuatkuasakan di titik akhir pembangun, tempat kebanyakan risiko AI sebenarnya dijalankan.

Kecerdasan yang sama terpakai kepada penemuan daripada pengimbas yang telah anda miliki, jadi keselamatan AI meluaskan susunan anda dan bukannya menggantikannya. Lihat apa yang disambungkan oleh ejen anda di Xygeni.

Soalan Lazim #