اي آءِ سائبر سيڪيورٽي ڇا آهي؟

AI سائبر سيڪيورٽي توهان جي حملي جي مٿاڇري جي حصي طور مصنوعي ذهانت کي محفوظ ڪرڻ جو عمل آهي: ماڊل، ڊيٽاسيٽ، ايجنٽ، MCP سرور، پرامپٽس ۽ توهان جي سافٽ ويئر اندر AI-جنريٽريڊ ڪوڊ، گڏوگڏ نئين حملي جي ٽيڪنڪ جيڪي انهن کي نشانو بڻائين ٿيون. اهو ريورس هدايت کي پڻ ڍڪيندو آهي، دفاع کي مضبوط ڪرڻ لاءِ AI استعمال ڪندي، پر پهرين هدايت اها آهي جيڪا اڄ نمائش پيدا ڪري ٿي. اهو مختصر جواب آهي ته AI سائبر سيڪيورٽي ڇا آهي. اهو اڳڀرائي ڪرڻ جي لائق آهيcise ان بابت، ڇاڪاڻ ته هي اصطلاح ٻن بلڪل مختلف شين لاءِ استعمال ٿئي ٿو، ۽ غلط هڪ خريد ڪرڻ سان ٻئي کي بي خبر ڇڏي ٿو وڃي.

AI سائبر سيڪيورٽي جو مطلب، ٻن طرفن ۾ #

اي آءِ سائبر سيڪيورٽي جو مطلب هڪ سادي لڪير ۾ ورهايل آهي: ڇا توهان اي آءِ جي حفاظت ڪري رهيا آهيو، يا توهان ان جي ذريعي محفوظ ٿي رهيا آهيو؟

AI کي محفوظ ڪرڻ. توهان جو ادارو AI سان ٺاهيندو آهي ۽ AI استعمال ڪندي ترقي ڪندو آهي. اهو اثاثا متعارف ڪرائيندو آهي جيڪي ڪنهن به ايجاد نه ڪيا آهن ۽ ناڪامي جا طريقا روايتي ٽولنگ ڪڏهن به ان لاءِ ٺهيل نه هئا: هڪ پرامپٽ جيڪو غير قابل اعتماد ان پٽ کي قبول ڪري ٿو، هڪ ايجنٽ جيڪو ان جي ڪم جي ضرورتن کان وڌيڪ اجازت ڏئي ٿو، هڪ ڊيٽاسيٽ جيڪو هڪ ماڊل کي زهر ڏئي ٿو، هڪ MCP سرور جيڪو ڪنهن به منظور نه ڪيو. هي اهو هنڌ آهي جتي واقعا ٿين ٿا.

سيڪيورٽي لاءِ AI. مشين لرننگ جو استعمال ڳولا، آزمائش، وضاحت ۽ اصلاح تي ڪيو ويندو آهي: خبرداري جي شور کي گهٽائڻ، استحصالي نتيجن کي ترجيح ڏيڻ، ۽ درستگي لکڻ. هي اهو هنڌ آهي جتي ڪارڪردگي ايندي آهي.

گھڻا وينڊرز ۽ گھڻا آرٽيڪل ٻنھي کي ٽوڙي ڇڏيندا آهن. AI سائبر سيڪيورٽي جو مطلب جيڪو آپريشنل طور تي اهم آهي اهو آهي ته اهي الڳ الڳ پروگرام آهن جن جا الڳ مالڪ آهن. هڪ حملي جي سطح جو مسئلو آهي. ٻيو پيداوار جو مسئلو آهي.

اي آءِ سائبر سيڪيورٽي ڇا جي حفاظت ڪري رهي آهي؟ #

هڪ انوینٽري، هڪ ڪنٽرول کان اڳ. هيٺ ڏنل هر شيءِ هڪ اثاثو آهي جنهن لاءِ هڪ سيڪيورٽي ٽيم هاڻي ذميوار آهي.

• ماڊلس، ڇا سيلف هوسٽڊ، فائن ٽيونڊ يا فراهم ڪندڙ API ذريعي ڪال ٿيل
• Datasets تربيت، فائن ٽيوننگ، تشخيص ۽ حاصل ڪرڻ لاءِ استعمال ڪيو ويندو آهي
• ايجنٽ ۽ ايجنٽ سرورز جيڪي توهان جي سسٽم اندر خودمختيار طور تي ڪم ڪن ٿا
• ايم سي پي سرورز جيڪي اوزار ۽ ڊيٽا کي انهن ايجنٽن جي سامهون آڻين ٿا
• پرامپٽس، مهارت جون فائلون، قاعدن جون فائلون ۽ guardrails، ترتيب واري پرت جيڪا AI رويي کي سنڀاليندي آهي
• انفرنس اينڊ پوائنٽس ۽ اهي سندون جيڪي انهن تائين پهچن ٿيون
• اي آءِ ڪوڊنگ اسسٽنٽس توهان جي ٽيمن ۾ استعمال ۾، ۽ اهي ٺاهيل ڪوڊ
• اي آءِ انحصار: توهان جي AI اسٽيڪ ۾ شامل فريم ورڪ ۽ پيڪيجز

ڏسو ته ان مان ڪيترو گهٽ ايپليڪيشن ڪوڊ آهي. اهو اڳ آهيcisڇو ته هڪ SAST ٽول، هڪ EDR ايجنٽ ۽ هڪ ڪلائوڊ پوسٽر ٽول سڀ سائي رپورٽ ڪري سگهن ٿا جڏهن ته هڪ ايجنٽ ليپ ٽاپ تي پنهنجي اي ميل ٽول ذريعي ڊيٽا کي خارج ڪري رهيو آهي. ڇا توهان ڳنڍيل آهيو. نه ته ايپليڪيشن ڪوڊ آهي، تنهنڪري نه ئي توهان جي اڳ ۾ ئي هلندڙ ٽولنگ سان ڍڪيل آهي.

ٽي حملا جيڪي صرف AI جي ڪري موجود آهن #

اهو ڄاڻڻ ته توهان ڪهڙي خاندان کي ڏسي رهيا آهيو، توهان کي ٻڌائي ٿو ته ڪنٽرول ڪٿي آهي، ۽ هي اهو هنڌ آهي جتي AI سائبر سيڪيورٽي جو مطلب تجريدي هجڻ بند ٿي ويندو آهي.

پهريون خاندان ماڊل جي هدايتن کي نشانو بڻائيندو آهي. فوري انجيڪشن ۾ مٿين پوزيشن رکي وئي آهي ايل ايل ايم درخواستن لاءِ OWASP ٽاپ 10 جيئن ته فهرست موجود هئي، هڪ سادي سبب لاءِ: ڪو به نقطو جتي ماڊل متن پڙهي ٿو جيڪو ان لکيو نه آهي اهو هڪ داخلا نقطو آهي. خطرناڪ نسخو اڻ سڌي طرح آهي. ڪو به حملو ٽائيپ نٿو ڪري، ماڊل ان کي سپورٽ ٽڪيٽ، ويب پيج، هڪ تان حاصل ڪري ٿو. pull request تبصرو يا ڪو دستاويز جيڪو ڪنهن اپلوڊ ڪيو آهي. ماڊل مواد مان هدايتون نٿو ٻڌائي سگهي، تنهن ڪري اهو ٻنهي جي پيروي ڪري ٿو. اهو ماڊل ٽولز ڏيو ۽ ساڳي ٽيڪنڪ ٽول انجيڪشن بڻجي ويندي آهي: ايجنٽ جيڪو مڃي ٿو ته هڪ ٽول ڪري ٿو ان کي تبديل ڪريو، ۽ اهو توهان جي پنهنجي سندون استعمال ڪندي توهان جي خلاف ڪارروائي ڪندو. ضرورت کان وڌيڪ ايجنسي ضرب آهي. هڪ ايجنٽ جيڪو پنهنجي ڪم جي ضرورت کان وڌيڪ وسيع اجازت رکي ٿو اهو هڪ تڪليف ۽ هڪ واقعي جي وچ ۾ فرق آهي.

ٻيو خاندان ترتيب واري پرت کي نشانو بڻائيندو آهي. پرامپٽس، رولز فائلون، اسڪل فائلون ۽ ايم سي پي سرور جي تعريفون اهو طئي ڪن ٿيون ته اي آءِ توهان جي ماحول ۾ ڇا ڪري ٿي، ۽ انهن مان ڪو به ايپليڪيشن ڪوڊ ناهي. رولز فائل بيڪ ڊور ڏيکاريو ته اهو ڪيترو پري وڃي ٿو: صفر ويڪر يونيڪوڊ ڪردار هدايتون کڻندا آهن هڪ انساني نظرثاني ڪندڙ جسماني طور تي نه ڏسي سگهي ٿو، اسسٽنٽ انهن جي فرمانبرداري ڪري ٿو، ۽ اهو ڪڏهن به انهن جو ذڪر پنهنجي جواب ۾ نه ٿو ڪري. ٽيڪنڪ ۾ فهرست ڏنل آهي ميٽر اٽلس AML.CS0041 جي طور تي. ساڳي پرت باقاعده طور تي سادي متن ۾ فراهم ڪندڙ سندون رکي ٿي ۽ اسسٽنٽ کي فائل سسٽم جي تمام گهڻي حصي تائين پڙهڻ جي رسائي ڏئي ٿي جيڪا ڪنهن به شخص جي ارادي کان وڌيڪ آهي. ۾ ايجنٽڪ ڪوڊنگ, هي پرت اسٽيئرنگ ويل آهي، ۽ تقريبن ڪو به ان جو جائزو نٿو وٺي.

ٽيون خاندان اي آءِ سپلاءِ چين کي نشانو بڻائيندو آهي. ماڊل، ڊيٽاسيٽ ۽ انهن جي چوڌاري پيڪيجز ٻاهران ايندا آهن. سلپسڪواٽنگ سڀ کان واضح ڪيس آهي: ٻولي ماڊل پيڪيج جا نالا ايجاد ڪندا آهن، حملي آور انهن کي رجسٽر ڪندا آهن، ۽ ايجنٽ درخواست تي حملي آور جو ڪوڊ انسٽال ڪندو آهي. USENIX سيڪيورٽي 2025 ۾ پيش ڪيل تحقيق مان معلوم ٿيو ته LLMs پاران تجويز ڪيل 19.7٪ پيڪيجز موجود نه آهن، ۽ اهو خيالي نالا اڪثر ڪري فارم ڪرڻ لاءِ ٻيهر ورجائيندا آهن. ان سان گڏ زهر ٿيل تربيت ۽ حاصل ڪرڻ وارو ڊيٽا، ايمبيڊنگ جيڪي انهن جي سورس مواد کي ليڪ ڪن ٿا، غير قابل اعتماد MCP سرور سڌو سنئون ايجنٽ ۾ وائرڊ ٿين ٿا، ۽ ڪمزور AI فريم ورڪ انحصار جي طور تي اندر کڄي ويندا آهن.

ٽنهي جي هيٺان شيڊو اي آءِ آهي: ماڊل، ايجنٽ، اسسٽنٽ ۽ ايم سي پي سرورز اڳ ۾ ئي منظوري، جائزو يا انوینٽري کان سواءِ هلي رهيو آهي. اهو گھڻن تنظيمن ۾ ڊفالٽ حالت آهي، ۽ اهو ئي سبب آهي ته پهريون ڪنٽرول هميشه هڪ فهرست هوندو آهي.

ڇا نه آهي؟ #

اهو اي آءِ گورننس ناهي. گورننس جواب ڏئي ٿي ته ڇا توهان کي ماڊل استعمال ڪرڻ گهرجي ۽ ڪهڙي پاليسي تحت. AI سائبر سيڪيورٽي جواب ڏئي ٿي ته ڇا ماڊل، ايجنٽ ۽ انهن جي وچ ۾ وائرنگ تي حملو ڪري سگهجي ٿو.

اهو چيٽ بوٽ جي سامهون فلٽر ناهي. رن ٽائم پرامپٽ فلٽرنگ ڪيترن ئي ڪنٽرولن مان هڪ آهي. اهو ڊولپر جي ليپ ٽاپ تي MCP سرور، ريپوزٽري ۾ زهر ٿيل قاعدن جي فائل، يا AI ترتيب ۾ سند بابت ڪجهه به نه ٿو ڏسي.

اهو ان سان ڍڪيل نه آهي جيڪو توهان اڳ ۾ ئي هلائي رهيا آهيو. روايتي ايپليڪيشن سيڪيورٽي ريپوزٽري تي بيهي ٿي ۽ نه ڄاڻندي آهي ته ماڊل ڇا آهي. اينڊ پوائنٽ ٽولنگ آپريٽنگ سسٽم کي ڏسي ٿي ۽ پيڪيجز، ايم سي پي سرورز يا اسسٽنٽس کي نٿي سمجهي. اي آءِ حملي انهن جي وچ ۾ فرق ۾ زمين تي لهي ٿو.

اهو صرف جنريٽو AI بابت ناهي. فراڊ، قيمت ۽ خطري جي اسڪورنگ ۾ ڪلاسيڪل مشين لرننگ پڻ هڪ هدف آهي، زهر ڏيڻ، چوري ڪرڻ ۽ ماڊل ڪڍڻ ذريعي.

فريم ورڪ جيڪي فيلڊ کي بيان ڪن ٿا #

ايل ايل ايم درخواستن لاءِ OWASP ٽاپ 10: ايل ايل ايم ايپليڪيشن خطري لاءِ ڪم ڪندڙ ٽيڪسونومي، ۽ هڪ جيڪا سڀ کان وڌيڪ سيڪيورٽي ٽيمون نتيجن کي نقشي ۾ آڻينديون آهن

2026 ۾ ايجنٽڪ ايپليڪيشنن لاءِ OWASP ٽاپ 10: ڊسمبر 2025 ۾ شايع ٿيل خودمختيار، اوزار استعمال ڪندڙ نظامن لاءِ ساٿي فهرست

OWASP GenAI سيڪيورٽي پروجيڪٽ: ڇٽيل ڪوشش، جنهن ۾ ڊيٽا سيڪيورٽي، ايم سي پي سرور جي رهنمائي ۽ ريڊ ٽيمنگ وسيلا شامل آهن

NIST AI رسڪ مئنيجمينٽ فريم ورڪ ۽ ان جو جنريٽو اي آءِ پروفائل: گورننس لفظ ريگيوليٽر ۽ بورڊ سڃاڻن ٿا

ميٽر اٽلس: حقيقي ڪيس اسٽڊيز سان گڏ، AI سسٽم لاءِ مخالف ٽيڪنڪ علم جو بنياد

EU AI ايڪٽ: قانوني ڍانچو، جنهن ۾ ٽيڪنيڪل دستاويزي فرض شامل آهن جيڪي هڪ AI انوینٽري توهان کي پورو ڪرڻ ۾ مدد ڪري ٿي

شروع ڪرڻ وارا #

انوینٽري. هر ماڊل، ڊيٽاسيٽ، ايجنٽ، ايم سي پي سرور ۽ اي آءِ اسسٽنٽ کي استعمال ۾ ڳوليو، سروي جي بدران ڪوڊ، انحصار ۽ ترتيب مان.

رشتن جو نقشو ٺاھيو. خطرو وائرنگ ۾ رهندو آهي: ڪهڙو ايجنٽ ڪهڙي اوزار تائين پهچي ٿو، ڪهڙو ڊيٽا سيٽ ڪهڙي ماڊل کي فيڊ ڪري ٿو.

ترتيب واري پرت کي پڙهو. پرامپٽس، اسڪل فائلن، رولز فائلن ۽ ايم سي پي وصفن کي سيڪيورٽي آرٽيفيڪٽس طور سمجهو ۽ انهن جو ڪوڊ وانگر جائزو وٺو.

دائري جي اجازتون. هر ايجنٽ کي اوزار جي تنگ ترين سطح ڏيو ۽ گهٽ ۾ گهٽ خودمختياري ڏيو جيڪا ان جي ڪم جي اجازت ڏئي ٿي.

جتي اهو هلندو آهي اتي لاڳو ڪريو. گهڻو ڪري AI خطرو ڊولپر مشينن تي هوندو آهي، تنهن ڪري پاليسي کي آخري نقطي تي لاڳو ڪرڻو پوندو، ان کان اڳ جو هڪ غير منظور ٿيل سرور يا خراب پيڪيج تي عمل ٿئي.

توهان جي استعمال ڪيل AI ۽ توهان جي ٺاهيل AI کي محفوظ ڪرڻ #

AI سائبر سيڪيورٽي ڇا آهي ان جو عملي جواب اهو آهي ته اهو نمائش سان شروع ٿئي ٿو ۽ لاڳو ڪرڻ سان ختم ٿئي ٿو. زائيگيني توهان جي هر AI اثاثن کي ڳولي ٿو SDLC، جنهن ۾ ماڊل، ايجنٽ، ايم سي پي سرور، ڊيٽاسيٽ، مهارت فائلون ۽ پرامپٽس شامل آهن جن جو ڪو به اعلان نه ڪيو ويو آهي، نقشو ٺاهي ٿو ته اهي ڪيئن ڳنڍجن ٿا، ۽ انهن لاءِ مخصوص خطرن کي ڳولي ٿو: پرامپٽ ۽ ٽول انجيڪشن، قاعدن ۽ مهارت فائلن ۾ خراب هدايتون، غير محفوظ ايم سي پي ترتيب، AI فائلن ۾ راز ۽ سلپ اسڪواٽيڊ AI انحصار. ڳولا LLM ايپليڪيشنن لاءِ OWASP ٽاپ 10 ڏانهن نقشو ٺاهي ٿي ۽ صحيح فائل ۽ لائن ڏانهن اشارو ڪري ٿي. هڪ AI-BOM توهان جي آڊيٽرن کي ڪجهه دفاع لائق ڏئي ٿو، ۽ پاليسي ڊولپر جي آخري نقطي تي لاڳو ڪئي ويندي آهي، جتي گهڻو ڪري AI خطرو اصل ۾ هلندو آهي.

ساڳي ذهانت انهن اسڪينرن مان حاصل ٿيندڙ نتيجن تي لاڳو ٿئي ٿي جيڪي توهان وٽ اڳ ۾ ئي آهن، تنهن ڪري AI سيڪيورٽي توهان جي اسٽيڪ کي تبديل ڪرڻ بدران وڌائي ٿي. ڏسو ته توهان جا ايجنٽ ڪهڙي سان ڳنڍيل آهن. زائيگيني.

لوڊ #