Risiko Keamanan AI: Apa yang Harus Diketahui Tim DevSecOps untuk Mengamankan Sistem AI
Risiko keamanan AI tidak lagi terbatas pada perilaku model atau privasi data. Saat ini, risiko tersebut juga memengaruhi cara perangkat lunak ditulis, ditinjau, dibangun, dan dikirim. Seiring dengan munculnya alat pengkodean AI, sistem AI berbasis agen, dan alur kerja yang didukung AI... SDLCTim DevSecOps menghadapi jenis risiko baru: kode yang lebih cepat, otomatisasi yang lebih cepat, dan kesalahan yang lebih cepat.
Namun, ini bukan berarti tim harus memperlambat adopsi AI. Sebaliknya, mereka membutuhkan kontrol keamanan yang sesuai dengan kecepatan pengembangan yang dibantu AI. Dalam panduan ini, kami menjelaskan risiko keamanan AI yang paling penting, bagaimana risiko tersebut muncul dalam alur kerja rekayasa nyata, dan bagaimana tim dapat mengurangi paparan di seluruh kode, dependensi, rahasia, pipelines, dan agen.
Untuk gambaran yang lebih luas tentang bagaimana AI mengubah lanskap ancaman, lihat panduan kami tentang Keamanan siber AI.
Apa Saja Risiko Keamanan AI?
Risiko keamanan AI adalah kelemahan, ancaman, atau mode kegagalan yang muncul ketika kecerdasan buatan dirancang, dilatih, diintegrasikan, atau digunakan di dalam sistem nyata. Risiko ini dapat memengaruhi model, data, perintah, API, kode, pipelines, dan alat-alat yang menghubungkan mereka.
The Panduan NCSC tentang AI dan keamanan siber menjelaskan bahwa keamanan siber merupakan persyaratan inti untuk sistem AI yang aman dan andal. Demikian pula, Kerangka Manajemen Risiko AI NIST Memberikan struktur kepada organisasi untuk mengelola risiko AI melalui tata kelola, pengukuran, dan kontrol praktis.
Bagi tim DevSecOps, masalahnya lebih spesifik. AI kini menjadi bagian dari rantai pengiriman perangkat lunak. AI menulis kode, menyarankan dependensi, menghasilkan konfigurasi, memanggil API, dan terkadang bertindak secara otonom. Akibatnya, risiko keamanan AI harus ditangani di dalam rantai tersebut. SDLC, tidak hanya pada lapisan model.
Mengapa Risiko Keamanan AI Sekarang Berbeda?
Risiko keamanan siber tradisional biasanya berasal dari kode yang ditulis manusia, paket yang rentan, kredensial yang lemah, atau infrastruktur yang salah konfigurasi. Risiko-risiko tersebut masih ada. Namun, AI mengubah seberapa cepat risiko tersebut muncul dan seberapa sulit untuk mendeteksinya.
Kode yang dihasilkan AI mungkin terlihat benar tetapi tetap gagal dalam pemeriksaan otorisasi. Asisten pengkodean AI dapat menyarankan paket yang rentan. Alur kerja berbasis agen dapat memanggil alat yang salah, mengakses file yang salah, atau mengungkap rahasia dalam log. Selain itu, sistem AI sering bergantung pada konteks, perintah, konektor, dan alat eksternal, yang menciptakan lebih banyak celah di mana keamanan dapat gagal.
The OWASP Top 10 untuk Aplikasi LLM Kategori-kategori ini menyoroti risiko seperti injeksi cepat, pengungkapan informasi sensitif, masalah rantai pasokan, dan kewenangan yang berlebihan. Kategori-kategori ini berguna karena menghubungkan perilaku AI dengan masalah keamanan aplikasi nyata.
Dengan kata lain, risiko keamanan AI bukan hanya tentang modelnya. Risiko tersebut menyangkut keseluruhan sistem di sekitar model tersebut.
Risiko Keamanan AI Inti untuk Tim DevSecOps
Berikut adalah risiko-risiko yang paling penting ketika AI digunakan dalam pengembangan, keamanan aplikasi (AppSec), dan CI/CD alur kerja.
1. Kerentanan Kode yang Dihasilkan AI
Alat pengkodean AI dapat menghasilkan kode yang berfungsi tetapi tidak aman. Misalnya, alat tersebut dapat membuat kueri SQL tanpa parameterisasi yang tepat, melewatkan validasi input, atau menerapkan logika otentikasi yang lemah.
Hal ini terjadi karena banyak sistem AI menghasilkan pola kode yang mungkin berdasarkan data pelatihan. Namun, kode yang mungkin tidak selalu merupakan kode yang aman. Dalam praktiknya, model tersebut dapat mereproduksi contoh yang tidak aman karena contoh tersebut umum ditemukan di berbagai repositori publik.
Contoh umum termasuk:
- Injeksi SQL
- Scripting lintas situs
- Pemeriksaan otorisasi yang hilang
- Penanganan sesi yang lemah
- Deserialisasi yang tidak aman
- Perlindungan CSRF yang hilang
Oleh karena itu, kode yang dihasilkan AI harus dianggap tidak tepercaya sampai melewati pengujian. SAST, pemeriksaan kebijakan, dan peninjauan.
Saran tautan internal: hubungkan bagian ini ke postingan Anda di AI SAST.
2. Risiko Rantai Pasokan dan Ketergantungan
Alat AI tidak hanya menghasilkan kode. Mereka juga menyarankan paket, versi, skrip, dan perintah instalasi. Hal ini menciptakan jalur langsung dari rekomendasi AI ke risiko rantai pasokan perangkat lunak.
Sebagai contoh, alat AI dapat menyarankan:
- Paket yang sudah usang
- Ketergantungan typosquatting
- Nama paket yang dihalusinasi
- Sebuah paket dengan skrip instalasi yang mencurigakan.
- Sebuah pustaka yang rentan tetapi masih banyak digunakan.
Selain itu, penyerang dapat mengeksploitasi perilaku ini dengan mendaftarkan nama paket yang kemungkinan besar dibuat oleh alat AI. Risiko ini sering disebut slopsquatting. Ini mengubah halusinasi model menjadi serangan rantai pasokan paket.
Untuk mengurangi risiko ini, tim perlu SCADeteksi malware, penegakan kebijakan ketergantungan, dan analisis keterjangkauan. Mereka juga harus menggunakan sinyal eksploitasi seperti EPS dan intelijen eksploitasi aktif dari CISKatalog Kerentanan yang Diketahui dan Telah Dieksploitasi.
3. Terungkapnya Rahasia dalam Alur Kerja AI
Terungkapnya rahasia merupakan salah satu risiko keamanan AI yang paling praktis. Pengembang sering kali memasukkan konteks ke dalam alat AI. Konteks tersebut dapat mencakup kunci API, token, kredensial, URL, atau konfigurasi internal.
Selain itu, kode yang dihasilkan AI mungkin menyertakan placeholder yang terlihat nyata, atau lebih buruk lagi, menyalin rahasia kembali ke file sumber. pipeline skrip, atau log. Setelah rahasia masuk ke riwayat Git atau CI/CD Log tersebut dapat tetap rentan terhadap eksploitasi bahkan setelah kejadian aslinya. commit.
Titik paparan umum meliputi:
- Riwayat permintaan
- Kode yang dihasilkan
- pergi commits
- CI/CD log
- IaC arsip
- Gambar kontainer
- Ruang kerja bersama
Oleh karena itu, tim harus menggabungkan pemindaian tingkat IDE, pre-commit pemeriksaan, pemindaian riwayat repositori, CI/CD Pemindaian log, dan pencabutan otomatis.
Saran tautan internal: hubungkan bagian ini ke produk keamanan rahasia Anda atau konten terkait.
4. Penyalahgunaan Agen dan Alat AI
AI Agen Hal ini menghadirkan lapisan risiko baru karena agen tidak hanya menyarankan tindakan, tetapi juga dapat mengambil tindakan.
Agen AI dapat menjalankan perintah shell, mengedit file, memanggil API, membuka pull requestsmemodifikasi alur kerja CI, atau berinteraksi dengan layanan cloud. Meskipun hal ini menciptakan peningkatan produktivitas yang besar, hal ini juga meningkatkan dampak kesalahan.
Risiko utama meliputi:
- Eksekusi shell yang tidak aman
- Kunci API dengan izin berlebihan
- Perubahan kode tanpa izin
- Kesalahan konfigurasi konektor MCP atau API
- Penggunaan alat di luar cakupan yang disetujui
- Akses lingkungan di luar apa yang dibutuhkan oleh tugas tersebut.
Kategori OWASP LLM Top 10 untuk akses berlebihan sangat relevan di sini. Jika seorang agen memiliki akses yang terlalu banyak, instruksi yang buruk, injeksi prompt, atau alat yang disusupi dapat berubah menjadi insiden keamanan yang nyata.
5. CI/CD ke Pipeline Risiko
Kode yang dihasilkan AI pada akhirnya mencapai pipelinePada titik itu, risiko berpindah dari kode sumber ke proses build, artefak, rahasia, dependensi, dan alur kerja deployment.
Sebagai contoh, perubahan yang dibantu AI dapat:
- Tambahkan langkah pembangunan yang tidak aman.
- Memodifikasi alur kerja GitHub Actions
- Mengambil paket berbahaya selama instalasi
- Cetak rahasia ke dalam log pembangunan
- Nonaktifkan kontrol keamanan
- Ubah logika penerapan.
Akibatnya, CI/CD Keamanan menjadi hal penting untuk adopsi AI. Pipeline guardrails Sebaiknya pola yang tidak aman diblokir sebelum mencapai tahap produksi. Untuk konteks yang lebih mendalam, lihat konten kami tentang hal ini. CI/CD keamanan ke software supply chain security.
6. Kebocoran Data dan Injeksi Cepat
Injeksi prompt adalah salah satu risiko keamanan AI yang paling dikenal, tetapi sering disalahpahami. Ini bukan hanya masalah chatbot. Hal ini dapat memengaruhi alur kerja AI apa pun yang menerima input eksternal dan kemudian menggunakan input tersebut untuk memandu tindakan.
Sebagai contoh, deskripsi masalah yang berbahaya, file README, tiket dukungan, atau halaman dokumentasi dependensi dapat menyertakan instruksi tersembunyi. Jika agen AI membaca konten tersebut dan mengikutinya, penyerang dapat memengaruhi panggilan alat, perubahan kode, atau akses data.
Kebocoran data dapat terjadi dengan cara yang serupa. Model tersebut dapat mengungkapkan konteks sensitif, meringkas file pribadi, atau mengirim data rahasia ke layanan eksternal. Oleh karena itu, sistem AI membutuhkan penyaringan yang cepat, kontrol keluaran, pembatasan alat, dan batasan yang jelas mengenai data apa yang dapat mereka akses.
Risiko Keamanan AI di Berbagai Bidang SDLC
Risiko keamanan AI muncul di berbagai tahapan siklus hidup perangkat lunak. Kuncinya adalah mengamankan setiap tahapan, bukan hanya aplikasi akhirnya.
| SDLC Tahap | Risiko Keamanan AI | Example | Kontrol yang Direkomendasikan |
|---|---|---|---|
| IDE | Kode yang dihasilkan AI tidak aman | Asisten pengkodean AI menyarankan logika otentikasi yang tidak aman. | Waktu sebenarnya SAST dan umpan balik pengkodean yang aman. |
| Commit | Pengungkapan rahasia | Token muncul dalam kode yang dihasilkan atau commit sejarah. | Deteksi rahasia, pre-commit pemeriksaan, dan pencabutan otomatis. |
| Pull Request | Pengabaian kebijakan | Kode yang dihasilkan mengubah aturan kontrol akses tanpa peninjauan. | PR guardrails dan penegakan kebijakan. |
| Membangun | Ketergantungan berbahaya | Paket yang disarankan oleh AI mencakup perilaku instalasi yang mencurigakan. | SCA, deteksi malware, dan pemeriksaan kebijakan ketergantungan. |
| CI/CD | Pipeline manipulasi | Agen memodifikasi file alur kerja atau skrip penyebaran. | CI/CD pemeriksaan keamanan dan deteksi anomali. |
| Runtime | Injeksi cepat atau kebocoran data | Masukan eksternal menyebabkan alur kerja AI mengungkapkan konteks yang sensitif. | Kontrol yang cepat, pembatasan akses, dan pemantauan. |
Risiko Keamanan AI vs Risiko Keamanan Siber Tradisional
Keamanan siber tradisional masih tetap penting. Namun, AI menambahkan pola perilaku baru yang membutuhkan kontrol yang berbeda.
| Daerah | Risiko Keamanan Siber Tradisional | Risiko Keamanan AI |
|---|---|---|
| Kode | Kerentanan yang ditulis oleh manusia. | Pola tidak aman yang dihasilkan AI dengan kecepatan lebih tinggi. |
| Dependensi | Paket yang diketahui rentan. | Paket yang disarankan oleh AI yang bersifat halusinasi, berbahaya, atau tidak aman. |
| Rahasia | Kredensial tidak sengaja commitDibuat oleh para pengembang. | Rahasia disalin ke dalam prompt, kode yang dihasilkan, atau log. |
| Tools | Penyalahgunaan manual terhadap alat pengembang. | Agen otonom menyalahgunakan alat atau API. |
| Pipelines | Salah dikonfigurasi CI/CD alur kerja. | Perubahan alur kerja yang dihasilkan oleh agen atau otomatisasi yang tidak aman. |
Contoh Risiko Keamanan AI di Dunia Nyata
Risiko keamanan AI bukanlah teori semata. Beberapa kerangka kerja publik dan upaya penelitian kini melacak isu-isu ini secara lebih formal.
The Repositori Risiko AI MIT OWASP mengkatalogkan lebih dari 1,700 risiko AI di berbagai penyebab dan domain. Sementara itu, OWASP menyediakan kategori praktis untuk risiko aplikasi LLM, termasuk injeksi cepat, pengungkapan informasi sensitif, kerentanan rantai pasokan, dan keagenan yang berlebihan.
Bagi tim DevSecOps, contoh yang paling relevan sering kali muncul dalam pengiriman perangkat lunak:
- Alat AI menyarankan kode yang rentan.
- Agen AI memodifikasi file alur kerja.
- Ketergantungan yang dihasilkan AI yang menimbulkan kerentanan rantai pasokan
- Rahasia bocor melalui perintah, log, atau commits
- Alur kerja agen yang memanggil alat di luar cakupan yang disetujui.
Singkatnya, risiko keamanan AI menjadi jauh lebih serius ketika sistem AI dapat mengakses kode, kredensial, paket, pipelines, atau infrastruktur.
Cara Mengurangi Risiko Keamanan AI dalam Praktik
Cara terbaik untuk mengurangi risiko keamanan AI adalah dengan memperlakukan pengembangan yang dibantu AI sebagai bagian dari proses. SDLCArtinya, melakukan pemindaian sejak dini, memvalidasi secara berkala, dan menerapkan kebijakan di tempat para pengembang benar-benar bekerja.
1. Pindai Kode yang Dihasilkan AI di IDE
Pengembang harus melihat umpan balik keamanan saat mereka menulis atau menerima kode yang dihasilkan AI. Hal ini mengurangi peralihan konteks dan membantu memperbaiki masalah sebelum mencapai Git.
Gunakan:
- SAST di IDE
- Penjelasan kerentanan secara langsung
- Saran perbaikan yang aman
- Remediasi yang mempertimbangkan kebijakan.
Hal ini sangat penting terutama untuk asisten pengkodean AI, di mana saran yang tidak aman dapat dengan cepat masuk ke dalam basis kode.
2. Validasi Dependensi Sebelum Proses Build
Ketergantungan yang disarankan oleh AI harus diverifikasi sebelum diinstal atau dikirim. Oleh karena itu, tim harus menerapkan kontrol ketergantungan selama pengembangan dan CI/CD.
Gunakan:
- SCA
- Deteksi perangkat lunak jahat
- Deteksi typosquatting
- Penilaian EPSS
- Analisis keterjangkauan
- Pemblokiran berbasis kebijakan
Hal ini membantu memprioritaskan paket-paket yang mewakili risiko nyata, bukan hanya paparan teoretis.
3. Mendeteksi dan Mencabut Rahasia Secara Otomatis
Pemindaian rahasia harus mencakup lebih dari sekadar kode sumber. Alur kerja yang dibantu AI dapat mengungkap kredensial di banyak tempat.
Gunakan:
- Pre-commit pemindaian
- Pemindaian riwayat repositori
- Pipeline pemindaian log
- IaC pemindaian
- Pemindaian gambar kontainer
- Pencabutan otomatis
Hasilnya, tim mengurangi waktu antara paparan dan penahanan.
4. Menegakkan Guardrails in CI/CD
Guardrails Harus memutuskan apakah suatu perubahan cukup aman untuk dilanjutkan. Pelaporan bermanfaat, tetapi pemblokiran diperlukan untuk risiko kritis.
Guardrails harus mencakup:
- Kerentanan kritis baru
- Rahasia
- Ketergantungan berbahaya
- Paket yang tidak disematkan atau tidak tepercaya
- Perubahan alur kerja yang tidak aman
- Hilang SBOMs
- Pelanggaran kebijakan
Selain itu, tim sebaiknya memulai dengan mode pelaporan saja bila diperlukan, kemudian beralih ke mode pemblokiran seiring bertambahnya kepercayaan diri.
5. Memantau Perilaku Alat Agen
Sistem AI berbasis agen membutuhkan kemampuan observasi. Jika sebuah agen dapat mengedit file, memicu proses build, atau memanggil API, tim perlu mengetahui apa yang dilakukannya, kapan dilakukan, dan apakah tindakan tersebut sesuai harapan.
Memantau:
- Panggilan alat
- Perubahan file alur kerja
- Aktivitas penulisan repositori
- Tujuan jaringan
- Akses rahasia
- Pull request penciptaan
- Pipeline memicu
Tanpa visibilitas ini, otonomi agen menjadi sulit dipercaya.
Di mana Xygeni Membantu Mengurangi Risiko Keamanan AI
Xygeni berfokus pada pengamanan pengembangan yang dibantu AI di seluruh rantai pengiriman perangkat lunak. Alih-alih memperlakukan risiko AI sebagai kategori terpisah, Xygeni menghubungkan kode, dependensi, rahasia, pipelines, dan konteks bisnis.
Sebagai contoh:
- SAST Membantu mendeteksi kode yang dihasilkan AI yang tidak aman sejak dini.
- SCA Memvalidasi dependensi dan mendeteksi paket berbahaya.
- Rahasia Keamanan mendeteksi kredensial yang terekspos di seluruh repositori dan pipelines.
- CI/CD Security Menerapkan kebijakan sebelum perubahan yang tidak aman dilanjutkan.
- Deteksi Anomali Mengidentifikasi perilaku tidak biasa dalam alur kerja pengembangan dan pengiriman.
- ASPM Menggabungkan temuan-temuan ke dalam satu pandangan risiko sehingga tim dapat memprioritaskan hal-hal yang penting.
Hal ini penting karena risiko keamanan AI pada dasarnya bersifat lintas lapisan. Ketergantungan yang rentan, token yang terekspos, dan perubahan alur kerja yang tidak aman mungkin tampak terpisah pada alat-alat tertentu. Namun, secara bersama-sama, hal-hal tersebut dapat mewakili jalur serangan yang jauh lebih besar.
Kerangka Kerja Manajemen Risiko Keamanan AI yang Perlu Diketahui
Beberapa kerangka kerja membantu tim untuk menyusun pekerjaan mereka.
The Kerangka Manajemen Risiko AI NIST Membantu organisasi memetakan, mengukur, mengelola, dan mengatur risiko AI. Alat ini berguna untuk kepemimpinan, kepatuhan, dan program manajemen risiko.
The OWASP Top 10 untuk Aplikasi LLM Hal ini lebih praktis bagi tim AppSec karena secara langsung berkaitan dengan risiko teknis seperti injeksi cepat, paparan data sensitif, kerentanan rantai pasokan, dan kewenangan yang berlebihan.
The Panduan AI dan keamanan siber NCSC Hal ini bermanfaat bagi para pemimpin keamanan yang perlu memahami bagaimana AI mengubah risiko siber organisasi.
Secara bersama-sama, sumber daya ini menunjukkan satu poin yang jelas: keamanan AI harus dikelola di seluruh aspek manusia, proses, sistem, dan alur kerja pengiriman perangkat lunak.
Daftar Periksa: Cara Mengurangi Risiko Keamanan AI
Gunakan daftar periksa ini sebagai titik awal yang praktis.
| Area Kontrol | Apa yang harus dilakukan | Mengapa hal itu penting |
|---|---|---|
| Kode yang dihasilkan AI | Run SAST di IDE, PR, dan CI/CD pipeline. | Mencegah kode yang tidak aman mencapai lingkungan produksi. |
| Dependensi | penggunaan SCA, deteksi malware, EPSS, dan jangkauan. | Memblokir paket-paket yang disarankan AI yang berisiko. |
| Rahasia | Memindai commits, log, riwayat, IaC, dan kontainer. | Mengurangi risiko kebocoran dan penyalahgunaan kredensial. |
| CI/CD | memaksakan pipeline guardrails dan gerbang kebijakan. | Menghentikan proses build dan deployment yang tidak aman. |
| Alat-alat agenik | Memantau panggilan alat, akses API, dan perubahan alur kerja. | Membatasi tindakan yang terlalu bertindak dan perilaku yang tidak terduga. |
| Manajemen risiko | penggunaan ASPM untuk mengkorelasikan temuan di berbagai lapisan. | Membantu tim untuk fokus pada risiko bisnis yang sebenarnya. |
Ringkasan Utama
- Risiko keamanan AI kini memengaruhi kode, dependensi, dan rahasia. pipelines, dan agen.
- Alat AppSec tradisional masih dibutuhkan, tetapi harus dijalankan lebih awal dan dengan konteks yang lebih lengkap.
- Kode yang dihasilkan AI harus dianggap tidak tepercaya sampai divalidasi.
- Alur kerja agen AI perlu guardrails, izin, dan kemampuan pengamatan.
- Tim DevSecOps membutuhkan visibilitas terpadu di seluruh SDLC untuk mengelola risiko AI secara efektif.
Pertanyaan yang Sering Diajukan (FAQ): Risiko Keamanan AI
Apa saja risiko keamanan AI?
Risiko keamanan AI adalah ancaman atau kelemahan yang muncul saat sistem AI dibangun, diintegrasikan, atau digunakan. Risiko ini dapat memengaruhi model, data, perintah, kode, dependensi, API, dan lain-lain. pipelines.
Apa saja risiko keamanan AI terbesar bagi tim DevSecOps?
Risiko terbesar meliputi kode yang dihasilkan AI yang tidak aman, ketergantungan yang rentan, paparan rahasia, injeksi prompt, izin agen yang berlebihan, dan tidak aman. CI/CD otomatisasi.
Mengapa risiko keamanan AI berbeda dari risiko keamanan siber tradisional?
Sistem AI dapat menghasilkan kode, menyarankan dependensi, memanggil alat, dan bertindak secara otonom. Akibatnya, risiko muncul lebih cepat dan di lebih banyak lapisan. SDLC.
Bagaimana tim dapat mengurangi risiko keamanan AI?
Tim dapat mengurangi risiko dengan memindai kode yang dihasilkan AI, memvalidasi dependensi, mendeteksi rahasia, dan menegakkan aturan. CI/CD guardrails, memantau perilaku agen, dan mengkorelasikan temuan melalui ASPM.
Apakah kode yang dihasilkan AI aman?
Kode yang dihasilkan AI tidak aman secara default. Kode tersebut harus ditinjau, dipindai, diuji, dan divalidasi sebelum digunakan di lingkungan produksi.
Kesimpulan Akhir: Risiko Keamanan AI yang Perlu Diperhatikan SDLC-Kontrol Level
AI mengubah kecepatan dan bentuk risiko perangkat lunak. AI membantu tim membangun lebih cepat, tetapi juga memperkenalkan cara-cara baru bagi kode yang tidak aman, rahasia yang terungkap, ketergantungan yang tidak aman, dan otomatisasi yang berisiko untuk memasuki rantai pengiriman.
Oleh karena itu, keamanan AI tidak dapat ditangani hanya dengan tata kelola model atau dokumen kebijakan. Diperlukan kontrol praktis di dalam AI itu sendiri. SDLCUmpan balik IDE, SAST, SCAdeteksi rahasia, CI/CD guardrailsdeteksi anomali, dan ASPMkorelasi tingkat -.
Tim yang mengelola risiko keamanan AI dengan baik bukanlah tim yang akan menghambat adopsi AI. Mereka akan menjadi tim yang membangun lapisan keamanan yang tepat di sekitarnya.
