Ma'lumotlarni zaharlash nima?

Har bir xavfsizlik guruhi kod yetkazib berilayotganda uni kuzatishga o'rgatilgan. Deyarli hech kim ma'lumotlar yetib kelayotganda ularni kuzatishga o'rgatilmagan va bu ko'r nuqta aynan ma'lumotlar zaharlanishidan foydalanadigan narsadir. Zaharlangan model ishlab chiqarishga yetib borgunga qadar, zaiflik hech qachon kodni ko'rib chiqishda bo'lmagan. Bu bir necha oy oldin hech kim tekshirmagan ma'lumotlar to'plamida bo'lgan.

Ushbu lug'at yozuvi ma'lumotlar zaharlanishi nima ekanligini, ma'lumotlar zaharlanishiga qarshi hujumlar amalda qanday sodir bo'lishini va nima uchun AI ma'lumotlar zaharlanishi eng keng tarqalgan muammolardan biriga aylanganini tushuntiradi. AI davrida eng tez o'sayotgan xavflar SDLCva unga qarshi haqiqiy himoya qanday ko'rinishga ega.

Ma'lumotlar zaharlanishining ma'nosi #

Ma'lumotlar zaharlanishi - bu sun'iy intellekt modelini o'rgatish, sozlash yoki ishga tushirish uchun ishlatiladigan ma'lumotlarni qasddan manipulyatsiya qilishdir, natijada model noto'g'ri narsani o'rganadi, tajovuzkor xohlagan tarzda harakat qiladi yoki hech qachon oshkor qilmasligi kerak bo'lgan ma'lumotlarni ochib yuboradi. Joylashtirilgandan so'ng, tajovuzkor modelga hujum qilish o'rniga, u yaratilgan xom ashyoga hujum qiladi.

Ma'lumotlarni zaharlashning asosiy g'oyasi oddiy va bezovta qiluvchi: sun'iy intellekt modeli faqat u o'rgangan ma'lumotlar kabi ishonchlidir. Agar bu ma'lumotlar mashg'ulotlar boshlanishidan oldin buzilgan, tarafkashlik qilingan yoki tuzoqqa tushib qolgan bo'lsa, hech qanday kodni ko'rib chiqish, sinovdan o'tkazish yoki ish vaqtini monitoring qilish asosiy kamchilikni aniqlay olmaydi, chunki model (yovuzona) o'rgatilganidek ishlaydi.

Sun'iy intellekt ma'lumotlarining zaharlanishi va an'anaviy dasturiy ta'minot zaifliklari #

An'anaviy dastur xavfsizligi xavf kodda ekanligini taxmin qiladi: noto'g'ri funksiya, yamoqlanmagan kutubxona, noto'g'ri konfiguratsiya qilingan server. Sun'iy intellekt ma'lumotlarining zaharlanishi bu taxminni butunlay buzadi. Kodning zaif qatorini topishning iloji yo'q, chunki buzilish biron bir kod yozilishidan yoki biron bir model joylashtirilishidan ancha oldin o'quv to'plamida, aniq sozlash ma'lumotlar to'plamida yoki qayta tiklash indeksida sodir bo'lgan.

Shu sababli, sun'iy intellekt ma'lumotlarining zaharlanishini eski vositalar bilan aniqlash juda qiyin. SAST Skaner kodni o'qiydi. Bog'liqlik skaneri paket manifestlarini o'qiydi. Hech biri ko'p gigabaytli o'quv korpusini yoki oldindan o'rnatilgan hujjatlar bilan to'la vektor ma'lumotlar bazasini o'qiydi.cisSun'iy intellekt ma'lumotlarining zaharlanishi o'z zararini keltiradigan joyda. Tadqiqotchilar tomonidan ma'lumotlar mas'uliyat bilan oshkor qilinadi. Boshqalari avval hujumchilar tomonidan topiladi va qurollanadi, bu esa eng ko'p zarar keltiradigan stsenariydir.

Ma'lumotlarni zaharlash hujumlari aslida qanday ishlaydi? #

Ma'lumotlar zaharlanishiga qarshi hujumlar odatda bir nechta shakllardan birini oladi:

• Trening ma'lumotlari bilan zaharlanish: tajovuzkor modelni noldan o'qitish yoki mavjud modelni sozlash uchun ishlatiladigan ma'lumotlar to'plamiga manipulyatsiya qilingan, noto'g'ri yorliqlangan yoki zararli misollarni kiritadi, bu esa uning yashirin tarafkashlik yoki orqa eshik xatti-harakatlarini o'rganishiga olib keladi.
• Yorliqni ag'darishYuqoridagilarning nozikroq versiyasi, bu yerda tajovuzkor faqat o'quv misollarining kichik bir qismidagi yorliqlarni o'zgartiradi, model nimani o'rganayotganini nima bilan bog'lash uchun jimgina buzib ko'rsatadi.
• RAG va kontekst zaharlanishiQayta tiklash bilan kengaytirilgan generatsiya tizimlarida tajovuzkor zaharlangan hujjatlarni model ish vaqtida olgan bilimlar bazasiga yoki vektor omboriga joylashtiradi, shuning uchun model yolg'on yoki manipulyatsiya qilingan ma'lumotlarni xuddi tasdiqlangan fakt kabi ishonch bilan takrorlaydi.
• Orqa eshik tetiklari: tajovuzkor a ni joylashtiradi o'quv ma'lumotlaridagi o'ziga xos naqsh shuning uchun model deyarli har bir holatda normal ishlaydi, lekin yashirin trigger iborasi yoki kiritish paydo bo'lishi bilan hujumchi tomonidan tanlangan natijani ishlab chiqaradi.
• Ta'minot zanjiri zaharlanishi: tajovuzkor ommaviy yoki umumiy ma'lumotlar to'plamini buzadi, oldindan o'rgatilgan model nazorat nuqtasi yoki joylashtirish pipeline yuqori oqimda, shunda undan chiqayotgan har bir quyi oqimdagi jamoa asl hujumga tegmasdan zaharni meros qilib oladi.

Bu ma'lumotlar zaharlanishiga qarshi hujumlarning barchasini bir-biriga bog'laydigan narsa vaqtdir. Zarar model haqiqiy foydalanuvchiga javob berishdan oldin yetkaziladi, shuning uchun ham "u kod satrini yozishdan oldin" iborasi bu tahdidni juda oldindan tasvirlaydi.cisely: model o'zining chiqishida emas, balki poydevorida buzilgan.

Hujumchilar AI modelini kod satrini yozishdan oldin qanday buzib tashlashadi? #

Yuqorida tavsiflangan har bir ma'lumot zaharlanishi hujumi bir xil vaqt ustunligiga ega: murosaga kelish model foydalanuvchi ko'radigan bitta chiqishni yaratishdan ancha oldin, yuqori oqimda sodir bo'ladi. Yamoqqa solinadigan zaif funksiya va zararli dastur yo'q. commit ko'rib chiqishda qo'lga olish uchun, chunki model hali hech narsa yozmagan. U faqat o'rgangan va o'rgangan narsasi allaqachon noto'g'ri.

Aynan shu narsa AI ma'lumotlarining zaharlanishini ilovalar xavfsizligi guruhlari ovlashga o'rgatilgan zaifliklardan tubdan farq qiladi. Orqa eshikli model kod farqida toza modelga o'xshaydi. pull request ko'rib chiqish. U ko'pgina so'rovlarni to'g'ri kompilyatsiya qiladi, joylashtiradi va javob beradi, toki tajovuzkor o'rnatgan aniq shart nihoyat ishlab chiqarishda paydo bo'lguncha. O'sha paytga kelib, savol endi "buni qaysi kod kiritgan" emas, balki "ma'lumotlar nima qilgan va u qancha vaqt oldinga ketgan" degan savolda.

Nima uchun sun'iy intellekt ma'lumotlarining zaharlanishi tobora ustuvor vazifa bo'lib bormoqda? #

Sun'iy intellekt ma'lumotlarining zaharlanishi endi nazariy muammo emas. Bu rasman tan olingan LLM04: Ma'lumotlar va model zaharlanishi OWASPning LLM ilovalari bo'yicha eng yaxshi 10 taligida, generativ AI davrining asosiy tahdidlaridan biri sifatida tezkor in'ektsiya va ta'minot zanjiri xavfi bilan bir qatorda turadi. Uchta tendentsiya uni har bir xavfsizlik guruhining radarida yuqoriroq ko'tarmoqda:

• Zarar ishga tushirilgunga qadar ko'rinmas bo'ladi. Zaharlangan model barcha funktsional sinovlardan o'tishi va tajovuzkor tomonidan o'rnatilgan maxsus tetik holati nihoyat ishlab chiqarishda paydo bo'lguncha bir necha oy davomida mukammal ishlashi mumkin.

• Qayta tiklash orqali kengaytirilgan avlod hamma joyda. Modelga hujjatlar, vikilar, chiptalar yoki vektor ma'lumotlar bazasidan jonli kontekstni olishga imkon beradigan har qanday tizim yangi, tekshirilmagan kirish yuzasiga ega va aynan shu sirt ma'lumotlar zaharlanishi hujumlari nishoniga aylanadi.

• Ma'lumotlar to'plamlari endi ta'minot zanjiri aktivlari hisoblanadi. Jamoalar muntazam ravishda oldindan tayyorlangan modellar, joylashtirmalar va ommaviy ma'lumotlar to'plamlarini tashqi manbalardan ochiq kodli paketlarni tortib olgandek tortib olishadi va xuddi buzilgan paket singari, buzilgan ma'lumotlar to'plami ham hujumni undan foydalanadigan har bir jamoaga jimgina yetkazishi mumkin.

Ma'lumotlar zaharlanishini aniqlash va himoya qilish #

Ma'lumotlar zaharlanishi modelning o'zidan yuqorida sodir bo'lganligi sababli, himoya ham yuqoridan boshlanishi kerak:

• Faqat anomal kodni emas, balki anomal ma'lumot manbalarini ham kuzatib boring. Xulq-atvor va anomaliyalarni aniqlash ma'lumotlar kiradigan joyga qadar kengayishi kerak pipeline, ombor chegarasida to'xtamang.

• Har bir ma'lumotlar to'plamini biling pipeline. Siz mavjudligini bilmagan ma'lumotlar to'plamidagi zaharlanish xavfini tekshira olmaysiz. O'qitish, baholash va qayta tiklash ma'lumotlar to'plamlarini doimiy ravishda aniqlash birinchi himoya chizig'idir.

• Ma'lumotlar to'plamidan modelga va natijaga qadar nasl-nasabni kuzatib boring. Ma'lumotlar to'plamining modelga, modeldan agentga, so'nggi nuqtaga yoki kodlash vositasiga olib boradigan yo'lini xaritalash "bizda yomon natija bor" ni "biz uni qaysi ma'lumotlar to'plami kiritganini aniq bilamiz" ga aylantiradi.

• Faqat o'quv to'plamlarini emas, balki ma'lumot manbalarini ham sinchkovlik bilan tekshiring. RAG tizimlarida vektor ombori va bilim bazasi o'quv ma'lumotlari bilan bir xil yaxlitlikni tekshirishga muhtoj, chunki kontekst zaharlanishi o'qitish vaqtida emas, balki so'rov vaqtida sodir bo'ladi.

Xygeni ma'lumotlar zaharlanishidagi bo'shliqni qanday yopishga yordam beradi? #

Ma'lumotlar zaharlanishidan himoya qilish ko'pgina tashkilotlarda mavjud bo'lmagan ko'rinishdan boshlanadi. Xygeni'AI inventarizatsiyasi butun dunyo bo'ylab har bir AI aktivini doimiy ravishda aniqlaydi SDLC, uning orqasidagi ma'lumotlar to'plamlarini o'z ichiga oladi: o'quv ma'lumotlari, baholash to'plamlari va RAG yoki qidirish manbalari va ularni ma'lumotlar to'plamidan modelgacha bo'lgan jonli munosabatlar grafigiga xaritalaydi. agentga MCP serveriga kodlash vositasiga. Aynan shu grafik shubhali model chiqishini kuzatib bo'ladigan savolga aylantiradi: buni qaysi ma'lumotlar to'plami bergan va u qaerdan kelgan?

Ushbu inventarizatsiyadan tashqari, Xygeni's AI xavfsizligi vektor va joylashtirishning zaif tomonlarini, jumladan, tiklash va RAGdagi zaharlangan kontekstni aniqlaydi pipelines, ga moslashtirilgan LLM dasturlari uchun OWASPning eng yaxshi 10 taligi. Modelning o'qitish va qayta tiklash manbalari toza ekanligiga ishonish o'rniga, Xygeni ularni hujum yuzasining bir qismi sifatida ko'rib chiqadi, xuddi kod, bog'liqliklar va boshqalarni allaqachon ko'rib chiqqanidek. pipelines. Agar siz hozirda "ushbu model qaysi ma'lumotlar tomonidan o'rgatilgan va biz buni isbotlay olamizmi" degan savolga javob bera olmasangiz, bu sun'iy intellekt ma'lumotlaridan zaharlanish hodisasi savol tug'dirishidan oldin yopishga arziydigan aniq bo'shliqdir.

FAQ #