Apa itu Keracunan Data?

Setiap tim keamanan dilatih untuk memantau kode saat dirilis. Hampir tidak ada yang dilatih untuk memantau data saat tiba, dan titik buta itulah yang dieksploitasi oleh peracunan data. Pada saat model yang telah diracuni mencapai tahap produksi, kerentanan tersebut tidak pernah ada dalam tinjauan kode. Kerentanan itu sudah ada dalam kumpulan data yang tidak diaudit berbulan-bulan sebelumnya.

Entri glosarium ini menjelaskan apa itu peracunan data, bagaimana serangan peracunan data terjadi dalam praktiknya, dan mengapa peracunan data AI telah menjadi salah satu hal yang paling penting. risiko yang paling cepat berkembang di era AI SDLCdan seperti apa sebenarnya pertahanan yang sesungguhnya terhadap hal itu.

Arti Peracunan Data #

Peracunan data adalah manipulasi data secara sengaja yang digunakan untuk melatih, menyempurnakan, atau mendasari model AI, sehingga model tersebut mempelajari hal yang salah, berperilaku sesuai keinginan penyerang, atau membocorkan informasi yang seharusnya tidak pernah diungkapkan. Alih-alih menyerang model setelah diimplementasikan, penyerang menyerang bahan mentah yang menjadi dasar pembuatan model tersebut.

Ide inti di balik peracunan data sederhana dan mengkhawatirkan: sebuah model AI hanya dapat dipercaya sejauh data yang dipelajarinya dapat diandalkan. Jika data tersebut rusak, bias, atau dipasangi jebakan sebelum pelatihan dimulai, tidak ada jumlah tinjauan kode, pengujian, atau pemantauan saat runtime di hilir yang akan menangkap kekurangan mendasar tersebut, karena model tersebut bekerja persis seperti yang (secara jahat) diajarkan kepadanya.

Peracunan Data AI vs. Kerentanan Perangkat Lunak Tradisional #

Keamanan aplikasi tradisional berasumsi bahwa bahaya terdapat dalam kode: fungsi yang buruk, pustaka yang belum diperbarui, server yang salah konfigurasi. Peracunan data AI sepenuhnya mematahkan asumsi tersebut. Tidak ada baris kode yang rentan untuk ditemukan, karena kerusakan terjadi pada kumpulan data pelatihan, kumpulan data penyempurnaan, atau indeks pengambilan jauh sebelum kode apa pun ditulis atau model apa pun diterapkan.

Inilah mengapa peracunan data AI sangat sulit dideteksi dengan alat-alat lama. A SAST Pemindai membaca kode. Pemindai ketergantungan membaca manifes paket. Keduanya tidak membaca korpus pelatihan multi-gigabyte atau basis data vektor yang penuh dengan dokumen tertanam, yang merupakan hal yang biasa.cisDi sinilah peracunan data AI menimbulkan kerusakan. Peneliti keamanan dan pengungkapannya dilakukan secara bertanggung jawab. Yang lain ditemukan dan dipersenjatai oleh penyerang terlebih dahulu, yang merupakan skenario yang menyebabkan kerusakan paling besar.

Bagaimana Serangan Peracunan Data Sebenarnya Bekerja? #

Serangan peracunan data umumnya mengambil salah satu dari beberapa bentuk berikut:

• Peracunan data pelatihan: Penyerang memasukkan contoh yang dimanipulasi, diberi label yang salah, atau berbahaya ke dalam kumpulan data yang digunakan untuk melatih model dari awal atau menyempurnakan model yang sudah ada, sehingga menyebabkan model tersebut mempelajari bias tersembunyi atau perilaku pintu belakang (backdoor).
• Membalik label: versi yang lebih halus dari hal di atas, di mana penyerang hanya mengubah label pada sebagian kecil contoh pelatihan, secara diam-diam memanipulasi apa yang dipelajari model untuk diasosiasikan dengan apa.
• RAG dan keracunan kontekstualDalam sistem generasi yang diperkuat dengan pengambilan informasi, penyerang menanamkan dokumen yang telah dimanipulasi ke dalam basis pengetahuan atau penyimpanan vektor yang diambil oleh model saat dijalankan, sehingga model tersebut dengan yakin mengulangi informasi palsu atau yang dimanipulasi seolah-olah itu adalah fakta yang terverifikasi.
• Pemicu pintu belakang: penyerang menyematkan pola spesifik dalam data pelatihan sehingga model tersebut berperilaku normal di hampir setiap kasus, tetapi menghasilkan keluaran yang dipilih penyerang saat frasa pemicu atau masukan tersembunyi muncul.
• Keracunan rantai pasokan: Penyerang membobol kumpulan data publik atau bersama, titik pemeriksaan model yang telah dilatih sebelumnya, atau penyematan pipeline ke hulu, sehingga setiap tim hilir yang mengambil racun darinya mewarisi racun tersebut tanpa pernah menyentuh serangan aslinya.

Yang menghubungkan semua serangan peracunan data ini adalah waktu. Kerusakan terjadi sebelum model tersebut menjawab pengguna sebenarnya, dan itulah mengapa frasa "sebelum model tersebut menulis satu baris kode pun" menggambarkan ancaman ini dengan sangat tepat.cisSingkatnya: model tersebut bermasalah pada fondasinya, bukan pada hasilnya.

Bagaimana Penyerang Merusak Model AI Sebelum Model Tersebut Menulis Satu Baris Kode Pun? #

Setiap serangan peracunan data yang dijelaskan di atas memiliki keunggulan waktu yang sama: kompromi terjadi di hulu, jauh sebelum model menghasilkan satu pun output yang akan dilihat pengguna. Tidak ada fungsi yang rentan untuk ditambal dan tidak ada niat jahat. commit untuk memeriksanya, karena model tersebut belum menulis apa pun. Model tersebut hanya belajar, dan apa yang dipelajarinya sudah salah.

Inilah yang membuat peracunan data AI secara fundamental berbeda dari kerentanan yang dilatih untuk diburu oleh tim keamanan aplikasi. Model yang disusupi pintu belakang terlihat identik dengan model yang bersih dalam perbandingan kode. Ia lolos uji pull request Tinjauan. Sistem ini mengkompilasi, menyebarkan, dan menjawab sebagian besar pertanyaan dengan benar, hingga kondisi spesifik yang ditanamkan penyerang akhirnya muncul di lingkungan produksi. Pada saat itu, pertanyaannya bukan lagi "kode apa yang menyebabkan ini," melainkan "data apa yang menyebabkan ini, dan seberapa jauh data tersebut dapat ditelusuri ke belakang."

Mengapa Peracunan Data AI Menjadi Prioritas yang Meningkat? #

Peracunan data AI bukan lagi masalah teoretis. Hal ini secara resmi diakui sebagai LLM04: Keracunan Data dan Model Dalam daftar OWASP Top 10 untuk Aplikasi LLM, ancaman ini berada di samping injeksi cepat dan risiko rantai pasokan sebagai salah satu ancaman utama di era AI generatif. Tiga tren mendorongnya semakin tinggi dalam radar setiap tim keamanan:

• Kerusakan tersebut tidak terlihat sampai dipicu. Model yang disusupi dapat lolos setiap uji fungsional dan berperilaku sempurna selama berbulan-bulan, hingga kondisi pemicu spesifik yang ditanam penyerang akhirnya muncul di lingkungan produksi.

• Generasi yang diperkaya dengan kemampuan mengingat ada di mana-mana. Sistem apa pun yang memungkinkan model mengambil konteks langsung dari dokumen, wiki, tiket, atau basis data vektor memiliki permukaan input baru yang tidak diaudit, dan permukaan itulah yang menjadi target serangan peracunan data.

• Kumpulan data kini menjadi aset rantai pasokan. Tim secara rutin mengambil model pra-terlatih, embedding, dan dataset publik dari sumber eksternal dengan cara yang sama seperti mereka mengambil paket sumber terbuka, dan seperti halnya paket yang disusupi, dataset yang disusupi dapat membawa serangan secara diam-diam ke setiap tim yang menggunakannya.

Mendeteksi dan Melindungi dari Peracunan Data #

Karena peracunan data terjadi di hulu model itu sendiri, maka pertahanan juga harus dimulai di hulu:

• Perhatikan sumber data yang anomali, bukan hanya kode yang anomali. Deteksi perilaku dan anomali perlu diperluas hingga ke titik masuk data. pipeline, tidak berhenti di batas repositori.

• Ketahui setiap dataset di pipeline. Anda tidak dapat mengaudit risiko keracunan dalam kumpulan data yang keberadaannya tidak Anda ketahui. Penemuan berkelanjutan terhadap kumpulan data pelatihan, evaluasi, dan pengambilan adalah garis pertahanan pertama.

• Telusuri silsilah dari dataset ke model hingga output. Memetakan jalur yang dilalui sebuah dataset ke dalam sebuah model, dan dari model ke dalam agen, titik akhir, atau alat pengkodean, adalah hal yang mengubah "kami mendapatkan output yang buruk" menjadi "kami tahu persis dataset mana yang menyebabkannya."

• Periksa dengan cermat sumber pengambilan data, bukan hanya set data pelatihan. Dalam sistem RAG, penyimpanan vektor dan basis pengetahuan memerlukan pemeriksaan integritas yang sama seperti data pelatihan, karena peracunan konteks terjadi pada saat kueri, bukan pada saat pelatihan.

Bagaimana Xygeni Membantu Menutup Kesenjangan Keracunan Data? #

Upaya melindungi diri dari peracunan data dimulai dengan visibilitas yang sebagian besar organisasi tidak miliki. Xygeni'Inventaris AI terus-menerus menemukan setiap aset AI di seluruh SDLC, termasuk kumpulan data di baliknya: data pelatihan, kumpulan evaluasi, dan sumber RAG atau pengambilan, dan memetakannya ke dalam grafik hubungan langsung yang berjalan dari kumpulan data ke model ke titik akhir. ke agen ke server MCP ke alat pengkodean. Grafik itulah yang mengubah keluaran model yang mencurigakan menjadi pertanyaan yang dapat dilacak: dataset mana yang digunakan untuk ini, dan dari mana asalnya.

Selain inventaris tersebut, Xygeni's Keamanan AI Mendeteksi kelemahan vektor dan embedding, termasuk konteks yang terkontaminasi dalam pengambilan dan RAG. pipelines, selaras dengan OWASP Top 10 untuk Aplikasi LLM. Alih-alih mempercayai bahwa sumber pelatihan dan pengambilan model itu bersih, Xygeni memperlakukannya sebagai bagian dari permukaan serangan, sama seperti cara ia memperlakukan kode, dependensi, dan lainnya. pipelineJika saat ini Anda tidak dapat menjawab "data apa yang digunakan untuk melatih model ini, dan dapatkah kita membuktikannya," itulah celah yang perlu ditutup sebelum insiden peracunan data AI memaksa pertanyaan itu diajukan.

FAQ (Pertanyaan Umum) #