Apakah itu Keselamatan AI? Keselamatan AI ialah amalan melindungi model, ejen, set data dan infrastruktur AI yang menjadi asas perisian, daripada risiko unik kepada cara sistem AI dibina, dilatih dan dijalankan. Ia merangkumi penemuan setiap aset AI yang sedang digunakan, pengesanan kerentanan khusus AI seperti suntikan segera dan tingkah laku ejen yang tidak selamat, dan penguatkuasaan dasar yang menghentikan tindakan AI yang tidak selamat sebelum ia menyebabkan kemudaratan. Ini adalah teras keselamatan AI yang bermaksud bahawa entri glosari ini akan membincangkannya.
Tidak seperti keselamatan aplikasi tradisional yang melindungi kod, kebergantungan dan infrastruktur, Keselamatan AI melindungi kelas aset baharu: model, gesaan, ejen dan protokol mesin-ke-mesin yang menghubungkannya. Apabila AI beralih daripada ciri ke dalam rantaian bekalan perisian itu sendiri, ia telah menjadi lapisan pertahanan yang berbeza dan perlu.
Maksud Keselamatan AI: Definisi Ringkas #
Secara ringkasnya, maksud keselamatan AI adalah seperti berikut: mengamankan AI seperti anda telah mengamankan kod, tetapi untuk satu set komponen dan tingkah laku yang tidak pernah dibina untuk dilihat oleh alat konvensional.
Cara yang berguna untuk memisahkan konsep daripada titik kekeliruan yang biasa: Keselamatan AI tidak sama dengan "AI dalam keselamatan". AI dalam keselamatan merujuk kepada penggunaan kecerdasan buatan untuk menambah baik kerja keselamatan sedia ada, contohnya model AI yang menilai penemuan kerentanan. Sebaliknya, Keselamatan AI merujuk kepada perlindungan AI itu sendiri: fail model, data latihan, ejen, gesaan dan pelayan yang membolehkan alatan AI bertindak. Kedua-duanya adalah penggunaan AI yang sah, tetapi ia menjawab soalan yang berbeza.
Mengapa Perkara Ini #
Pasukan perisian telah menerima pakai pembantu pengekodan AI, ejen autonomi dan Protokol Konteks Model (MCP) pada kadar yang telah mengatasi alat yang bertujuan untuk mengamankannya. Beberapa sebab perubahan ini mewujudkan permukaan serangan baharu:
Kebergantungan AI boleh diracuni atau direka-reka. Pembantu pengekodan AI kadangkala mengesyorkan pakej yang tidak wujud, corak yang dikenali sebagai slopsquatting, yang boleh dipra-pendaftaran dan digunakan oleh penyerang sebagai senjata.
Kod yang dijana AI mempunyai profil risikonya sendiri. Penanda aras bebas bagi penjanaan kod AI mendapati bahawa sebahagian besar kod bertulis AI memperkenalkan corak kerentanan yang biasa, walaupun model asasnya berkemampuan dan terlatih dengan baik.
Ejen dan pelayan MCP merupakan infrastruktur baharu yang sebahagian besarnya tidak dipantau. Ejen boleh membaca fail, memanggil alatan dan mengambil tindakan bagi pihak pembangun. Jika arahan, fail peraturan atau pelayan MCP ejen yang disambungkan dimanipulasi, ejen tersebut boleh dialihkan terhadap sistem yang sepatutnya dilindungi.
Konfigurasi AI kini merupakan permukaan serangan. Fail kemahiran, fail peraturan dan templat gesaan biasanya dianggap sebagai dokumentasi, bukan sebagai artifak berkaitan keselamatan. Penyerang telah menunjukkan bahawa arahan tersembunyi yang terbenam dalam fail ini boleh menyebabkan pembantu AI menghasilkan kod pintu belakang tanpa sebarang kesan yang kelihatan dalam tindak balasnya.
Apa yang Dilindunginya #
Program Keselamatan AI yang lengkap biasanya merangkumi tiga fungsi:
1. Penemuan (Inventori AI) #
Sebelum apa-apa sahaja dapat dijamin, ia perlu ditemui. Keselamatan AI bermula dengan penemuan berterusan setiap aset AI merentasi repositori organisasi dan pipelines: model, rangka kerja AI, set data, titik akhir inferens, ejen, alat pengekodan AI dan pelayan MCP yang disambungkannya. Inventori ini biasanya dinyatakan sebagai Bil Bahan AI (AI-BOM) yang boleh dibaca mesin, setara AI dengan bil bahan perisian (SBOM).
2. Pengesanan (Risiko AI) #
Sebaik sahaja aset AI diketahui, AI Security akan mengesan risiko khusus untuknya, termasuk:
- Suntikan segera dan kebocoran segera sistem, di mana kandungan yang tidak dipercayai memanipulasi cara model AI bertindak
- Konfigurasi MCP tidak selamat, di mana alat atau pelayan yang disambungkan boleh diracuni atau disamarkan
- Agensi yang berlebihan, di mana ejen dibenarkan bertindak di luar sempadan yang dimaksudkan tanpa pemeriksaan manusia
- Pendedahan rahsia dalam fail AI, di mana kunci atau kelayakan API bocor melalui konfigurasi yang digunakan oleh alat AI
- Kebergantungan AI yang terdedah atau berhalusinasi, termasuk duduk terbongkok
Kategori risiko ini dipetakan kepada rangka kerja yang diterbitkan dan disemak oleh komuniti, terutamanya 10 Teratas OWASP untuk Aplikasi LLM.
3. Penguatkuasaan (Guardrails) #
Lapisan terakhir menghentikan tingkah laku AI yang tidak selamat sebelum ia dilaksanakan: menyekat pemasangan pakej berniat jahat, mengesahkan fail kemahiran atau peraturan sebelum ia dipercayai atau memintas tindakan ejen yang melanggar dasar. Di sinilah Keselamatan AI beralih daripada keterlihatan kepada pertahanan aktif.
Risiko Keselamatan AI Utama, Ditakrifkan #
| Term | Apa maksudnya |
|---|---|
| Suntikan segera | Arahan berniat jahat tersembunyi dalam kandungan yang diproses oleh model AI, menyebabkannya bertindak bertentangan dengan tujuan yang dimaksudkan |
| Berjongkok di tempat yang tidak rata | Penyerang yang mendaftarkan pakej palsu yang sepadan dengan nama model AI berkemungkinan berhalusinasi dan mengesyorkan |
| Risiko MCP | Kerentanan dalam Pelayan Protokol Konteks Model yang membolehkan ejen AI memanggil alat luaran, termasuk keracunan alat dan akses yang tidak disahkan |
| Agensi yang berlebihan | Ejen AI diberikan lebih banyak autonomi atau akses daripada yang diperlukan oleh tugasnya |
| Pintu belakang fail peraturan/kemahiran | Aksara atau arahan tersembunyi yang ditanam di dalam fail konfigurasi yang mengarahkan pembantu pengekodan AI tanpa muncul dalam output yang kelihatan |
| AI-BOM | Inventori aset AI organisasi yang boleh dibaca mesin, digunakan untuk audit dan pengurusan risiko |
Rangka Kerja Keselamatan AI dan Standards #
Ia berlabuh kepada satu set kecil karya yang diterbitkan standards dan bukannya taksonomi vendor tunggal:
- 10 Teratas OWASP untuk Aplikasi LLM (2025): senarai risiko aplikasi AI yang paling banyak dirujuk, meliputi suntikan segera, pendedahan maklumat sensitif, risiko rantaian bekalan dan banyak lagi.
- NIST SP 800-218A: panduan untuk amalan pembangunan perisian selamat yang disesuaikan untuk AI generatif dan model asas dwiguna.
- AI-SPM dan AI TRiSM Gartner: kategori yang ditakrifkan oleh penganalisis untuk Pengurusan Postur Keselamatan AI dan disiplin yang lebih luas iaitu Pengurusan Kepercayaan, Risiko dan Keselamatan AI.
Secara keseluruhannya, ini memberikan organisasi perbendaharaan kata yang dikongsi untuk apa sebenarnya maksud "AI selamat", dan bukannya bergantung pada definisi pemasaran sahaja.
Keselamatan AI vs. Istilah Berkaitan #
- Keselamatan AI vs. AppSecAppSec melindungi kod aplikasi dan kebergantungannya. Ia melindungi model AI, ejen dan konfigurasi khusus AI yang tidak dapat diperiksa oleh alatan AppSec.
- Keselamatan AI vs. Tadbir Urus AITadbir urus mentakrifkan dasar dan kelulusan yang diperlukan oleh sesebuah organisasi untuk penggunaan AI. Ia menguatkuasakan dan mengesahkan bahawa dasar-dasar tersebut terpakai dalam amalan, pada peringkat kod dan ejen.
- Keselamatan AI vs. MLSecOpsMLSecOps memberi tumpuan kepada menjamin kitar hayat pembelajaran mesin (latihan, data, penggunaan model). Ia lebih luas, merangkumi ejen, pembantu pengekodan dan protokol yang menghubungkannya dengan sistem langsung.
Bagaimana Xygeni Mendekati Keselamatan AI
#
Xygeni's Produk Keselamatan AI mengaplikasikan model penemuan, pengesanan dan penguatkuasaan yang sama ini secara langsung kepada kitaran hayat pembangunan perisian. Ia sentiasa membina Inventori AI merentasi repositori, mengesan risiko khusus AI seperti suntikan segera dan konfigurasi MCP yang tidak selamat dan memetakan setiap penemuan kepada 10 Teratas OWASP untuk Aplikasi LLM, jadi pasukan keselamatan dan kejuruteraan bekerja daripada satu pandangan AI-BOM dan satu pandangan risiko dan bukannya meneka apa yang AI sudah jalankan dalam kod mereka.
Soalan Lazim #
Keselamatan AI ialah perlindungan model, ejen, data dan infrastruktur AI yang menghubungkannya, terhadap risiko yang khusus kepada cara sistem AI dibina dan beroperasi.
Tidak. Keselamatan siber ialah disiplin payung yang meliputi semua risiko digital. Keselamatan AI ialah subkumpulan khusus keselamatan siber yang tertumpu pada aset khusus AI dan mod kegagalan, seperti suntikan segera atau tingkah laku ejen yang tidak selamat.
Mana-mana organisasi yang pembangunnya menggunakan pembantu pengekodan AI, yang produknya menyematkan model AI atau yang aliran kerjanya merangkumi ejen autonomi dan pelayan MCP. Ini kini merangkumi kebanyakan pasukan perisian, tanpa mengira saiz.
