एआई सुरक्षा क्या है? एआई सुरक्षा, एआई मॉडल, एजेंट, डेटासेट और उस बुनियादी ढांचे की सुरक्षा करने का अभ्यास है जिस पर सॉफ्टवेयर निर्भर करता है, और यह सुरक्षा एआई सिस्टम के निर्माण, प्रशिक्षण और संचालन के तरीकों से जुड़े विशिष्ट जोखिमों से संबंधित है। इसमें उपयोग में आने वाली प्रत्येक एआई संपत्ति की खोज, एआई-विशिष्ट कमजोरियों जैसे कि त्वरित इंजेक्शन और असुरक्षित एजेंट व्यवहार का पता लगाना, और असुरक्षित एआई कार्यों को नुकसान पहुंचाने से पहले रोकने वाली नीतियों को लागू करना शामिल है। यही एआई सुरक्षा का मूल अर्थ है जिसे इस शब्दावली के शेष भाग में समझाया गया है।
पारंपरिक एप्लिकेशन सुरक्षा के विपरीत, जो कोड, निर्भरताओं और बुनियादी ढांचे की सुरक्षा करती है, एआई सुरक्षा एक नए प्रकार की संपत्ति की सुरक्षा करती है: मॉडल, प्रॉम्प्ट, एजेंट और उन्हें जोड़ने वाले मशीन-टू-मशीन प्रोटोकॉल। जैसे-जैसे एआई एक फीचर से सॉफ्टवेयर आपूर्ति श्रृंखला में ही प्रवेश कर रहा है, यह सुरक्षा की एक विशिष्ट और आवश्यक परत बन गया है।
एआई सुरक्षा का अर्थ: संक्षिप्त परिभाषा #
सरल शब्दों में, एआई सुरक्षा का अर्थ यह है: एआई को उसी तरह सुरक्षित करना जैसे आप पहले से ही कोड को सुरक्षित करते हैं, लेकिन घटकों और व्यवहारों के एक ऐसे समूह के लिए जिन्हें पारंपरिक उपकरण कभी देखने के लिए नहीं बनाए गए थे।
इस अवधारणा को आम भ्रम के बिंदु से अलग करने का एक उपयोगी तरीका: एआई सिक्योरिटी और "सिक्योरिटी में एआई" एक ही चीज़ नहीं हैं। सुरक्षा में एआई का तात्पर्य कृत्रिम बुद्धिमत्ता का उपयोग करके मौजूदा सुरक्षा कार्यों को बेहतर बनाना है, उदाहरण के लिए एक एआई मॉडल जो सुरक्षा खामियों का विश्लेषण करता है। इसके विपरीत, एआई सुरक्षा का तात्पर्य स्वयं एआई को सुरक्षित करना है: मॉडल फ़ाइलें, प्रशिक्षण डेटा, एजेंट, प्रॉम्प्ट और वे सर्वर जो एआई उपकरणों को कार्रवाई करने की अनुमति देते हैं। दोनों ही एआई के वैध उपयोग हैं, लेकिन वे अलग-अलग प्रश्नों के उत्तर देते हैं।
यह क्यों मायने रखता है #
सॉफ्टवेयर टीमों ने एआई कोडिंग सहायकों, स्वायत्त एजेंटों और अन्य को अपनाया है। मॉडल संदर्भ प्रोटोकॉल (एमसीपी) जिस गति से ये बदलाव हो रहे हैं, वह उन्हें सुरक्षित रखने के लिए बनाए गए साधनों से कहीं आगे निकल गया है। इस बदलाव के कारण एक नया आक्रमण क्षेत्र उत्पन्न होने के कुछ कारण इस प्रकार हैं:
एआई पर निर्भरता को दूषित किया जा सकता है या उसका आविष्कार किया जा सकता है। एआई कोडिंग सहायक कभी-कभी ऐसे पैकेज की सिफारिश करते हैं जो मौजूद नहीं होते हैं, इस पैटर्न को स्लोपस्क्वैटिंग के रूप में जाना जाता है, जिसे हमलावर पहले से ही पंजीकृत कर सकते हैं और हथियार के रूप में इस्तेमाल कर सकते हैं।
कृत्रिम बुद्धिमत्ता से उत्पन्न कोड में अपने जोखिम भी होते हैं। एआई कोड जनरेशन के स्वतंत्र बेंचमार्किंग से पता चला है कि एआई द्वारा लिखे गए कोड का एक बड़ा हिस्सा सामान्य भेद्यता पैटर्न पेश करता है, भले ही अंतर्निहित मॉडल सक्षम और अच्छी तरह से प्रशिक्षित हो।
एजेंट और एमसीपी सर्वर नए, बड़े पैमाने पर अनियंत्रित बुनियादी ढांचे हैं। एजेंट फ़ाइलें पढ़ सकते हैं, टूल कॉल कर सकते हैं और डेवलपर की ओर से कार्रवाई कर सकते हैं। यदि एजेंट के निर्देशों, नियमों की फ़ाइलों या कनेक्टेड एमसीपी सर्वरों में छेड़छाड़ की जाती है, तो एजेंट को उस सिस्टम के विरुद्ध इस्तेमाल किया जा सकता है जिसकी सुरक्षा के लिए उसे बनाया गया था।
एआई कॉन्फ़िगरेशन अब एक हमले का क्षेत्र बन गया है। कौशल फ़ाइलें, नियम फ़ाइलें और प्रॉम्प्ट टेम्प्लेट को आमतौर पर दस्तावेज़ीकरण के रूप में माना जाता है, न कि सुरक्षा-संबंधी दस्तावेज़ों के रूप में। हमलावरों ने पहले ही यह प्रदर्शित कर दिया है कि इन फ़ाइलों में छिपे निर्देश किसी एआई सहायक को बैकडोर कोड उत्पन्न करने के लिए प्रेरित कर सकते हैं, और उसकी प्रतिक्रिया में इसका कोई स्पष्ट प्रमाण नहीं मिलता।
इसमें क्या शामिल है? #
एक संपूर्ण एआई सुरक्षा कार्यक्रम में आमतौर पर तीन कार्य शामिल होते हैं:
1. खोज (एआई इन्वेंटरी) #
किसी भी चीज़ को सुरक्षित करने से पहले, उसे खोजना आवश्यक है। एआई सुरक्षा की शुरुआत किसी संगठन के सभी डेटाबेस में मौजूद प्रत्येक एआई एसेट की निरंतर खोज से होती है। pipelineइसमें शामिल हैं: मॉडल, एआई फ्रेमवर्क, डेटासेट, इन्फरेंस एंडपॉइंट, एजेंट, एआई कोडिंग टूल और वे एमसीपी सर्वर जिनसे वे कनेक्ट होते हैं। इस सूची को आमतौर पर मशीन-पठनीय एआई बिल ऑफ मैटेरियल्स (एआई-बीओएम) के रूप में व्यक्त किया जाता है, जो सॉफ्टवेयर बिल ऑफ मैटेरियल्स के एआई समकक्ष है।SBOM).
2. पहचान (एआई जोखिम) #
एक बार एआई संपत्तियों की जानकारी हो जाने पर, एआई सुरक्षा उनसे जुड़े विशिष्ट जोखिमों का पता लगाती है, जिनमें शामिल हैं:
- त्वरित इंजेक्शन और सिस्टम से त्वरित रिसावजहां अविश्वसनीय सामग्री एआई मॉडल के व्यवहार को प्रभावित करती है।
- असुरक्षित एमसीपी कॉन्फ़िगरेशनजहां किसी कनेक्टेड टूल या सर्वर को दूषित या प्रतिरूपित किया जा सकता है।
- अत्यधिक एजेंसीजहां किसी एजेंट को मानवीय नियंत्रण के बिना अपनी निर्धारित सीमाओं से परे कार्य करने की अनुमति होती है।
- एआई फाइलों में गुप्त जानकारियों का खुलासाजहां एआई टूल्स द्वारा उपयोग किए जाने वाले कॉन्फ़िगरेशन के माध्यम से एपीआई कुंजी या क्रेडेंशियल लीक हो जाते हैं।
- कमजोर या मतिभ्रमित एआई निर्भरताएँस्लोपस्क्वेटिंग सहित
ये जोखिम श्रेणियां प्रकाशित, समुदाय-समीक्षित ढांचों से मेल खाती हैं, जिनमें सबसे उल्लेखनीय OWASP टॉप 10 फॉर एलएलएम एप्लीकेशन्स है।
3. प्रवर्तन (Guardrails) #
अंतिम परत असुरक्षित एआई व्यवहार को निष्पादित होने से पहले ही रोक देती है: किसी दुर्भावनापूर्ण पैकेज की स्थापना को रोकनाकिसी कौशल या नियम फ़ाइल को विश्वसनीय घोषित करने से पहले उसका सत्यापन करना, या नीति का उल्लंघन करने वाली एजेंट कार्रवाई को रोकना। यहीं से एआई सुरक्षा दृश्यता से सक्रिय सुरक्षा की ओर अग्रसर होती है।
एआई सुरक्षा के प्रमुख जोखिमों की परिभाषा #
| अवधि | इसका क्या मतलब है |
|---|---|
| शीघ्र इंजेक्शन | एआई मॉडल द्वारा संसाधित की जा रही सामग्री में छिपे दुर्भावनापूर्ण निर्देश, जिसके कारण यह अपने इच्छित उद्देश्य के विपरीत कार्य करता है। |
| स्लोपस्क्वेटिंग | हमलावर ऐसे नकली पैकेज पंजीकृत कर रहे हैं जो उन नामों से मेल खाते हैं जिन्हें एआई मॉडल भ्रमित कर सकता है और उनकी सिफारिश कर सकता है। |
| एमसीपी जोखिम | मॉडल कॉन्टेक्स्ट प्रोटोकॉल सर्वरों में मौजूद कमजोरियां एआई एजेंटों को बाहरी टूल कॉल करने की अनुमति देती हैं, जिनमें टूल पॉइज़निंग और अनधिकृत पहुंच शामिल हैं। |
| अत्यधिक एजेंसी | एक एआई एजेंट को उसके कार्य की आवश्यकता से अधिक स्वायत्तता या पहुंच प्रदान की गई है। |
| नियम/कौशल फ़ाइल में बैकडोर एक्सेस | कॉन्फ़िगरेशन फ़ाइलों के अंदर छिपे हुए अक्षर या निर्देश डाले जाते हैं जो AI कोडिंग सहायक को उसके दृश्य आउटपुट में दिखाई दिए बिना नियंत्रित करते हैं। |
| एआई-बीओएम | ऑडिट और जोखिम प्रबंधन के लिए उपयोग की जाने वाली किसी संगठन की एआई संपत्तियों की मशीन-पठनीय सूची। |
एआई सुरक्षा फ्रेमवर्क और Standards #
यह प्रकाशित सामग्री के एक छोटे समूह पर आधारित है। standardकिसी एक विक्रेता की वर्गीकरण प्रणाली के बजाय:
- OWASP की ओर से LLM आवेदनों के लिए शीर्ष 10 सूची (2025)एआई अनुप्रयोगों से जुड़े जोखिमों की सबसे व्यापक रूप से संदर्भित सूची, जिसमें त्वरित घुसपैठ, संवेदनशील जानकारी का खुलासा, आपूर्ति श्रृंखला जोखिम और अन्य शामिल हैं।
- एनआईएसटी एसपी 800-218ए: जनरेटिव एआई और दोहरे उपयोग वाले मूलभूत मॉडलों के लिए अनुकूलित सुरक्षित सॉफ्टवेयर विकास प्रथाओं के लिए मार्गदर्शन।
- गार्टनर का एआई-एसपीएम और एआई टीआरआईएसएम: एआई सुरक्षा स्थिति प्रबंधन और एआई विश्वास, जोखिम और सुरक्षा प्रबंधन के व्यापक अनुशासन के लिए विश्लेषक-परिभाषित श्रेणियां।
ये सभी मिलकर संगठनों को इस बात के लिए एक साझा शब्दावली प्रदान करते हैं कि "सुरक्षित एआई" का वास्तव में क्या अर्थ है, बजाय इसके कि वे केवल विपणन परिभाषाओं पर निर्भर रहें।
एआई सुरक्षा बनाम संबंधित शब्द #
- एआई सुरक्षा बनाम ऐप सुरक्षाAppSec एप्लिकेशन कोड और उसकी निर्भरताओं को सुरक्षित करता है। यह उन AI मॉडल, एजेंटों और AI-विशिष्ट कॉन्फ़िगरेशन को भी सुरक्षित करता है जिनकी जांच के लिए AppSec टूल नहीं बनाए गए थे।
- एआई सुरक्षा बनाम एआई शासनशासन व्यवस्था किसी संगठन द्वारा एआई के उपयोग के लिए आवश्यक नीतियों और स्वीकृतियों को परिभाषित करती है। यह सुनिश्चित करती है कि ये नीतियां कोड और एजेंट स्तर पर व्यवहार में लागू हों।
- एआई सुरक्षा बनाम एमएलसेकऑप्सMLSecOps मशीन लर्निंग के संपूर्ण जीवनचक्र (प्रशिक्षण, डेटा, मॉडल परिनियोजन) को सुरक्षित करने पर केंद्रित है। यह व्यापक है और इसमें एजेंट, कोडिंग सहायक और उन्हें लाइव सिस्टम से जोड़ने वाले प्रोटोकॉल शामिल हैं।
Xygeni किस प्रकार AI सुरक्षा के लिए दृष्टिकोण अपनाता है?
#
ज़ाइगेनी का एआई सिक्योरिटी प्रोडक्ट इसी डिस्कवर, डिटेक्ट और एनफोर्स मॉडल को सीधे सॉफ्टवेयर डेवलपमेंट लाइफसाइकिल पर लागू करता है। यह लगातार रिपॉजिटरी में एआई इन्वेंटरी बनाता है, प्रॉम्प्ट इंजेक्शन और असुरक्षित एमसीपी कॉन्फ़िगरेशन जैसे एआई-विशिष्ट जोखिमों का पता लगाता है, और प्रत्येक निष्कर्ष को एलएलएम एप्लीकेशन्स के लिए ओडब्ल्यूएएसपी टॉप 10 से मैप करता है, ताकि सुरक्षा और इंजीनियरिंग टीमें अपने कोड में पहले से चल रहे एआई का अनुमान लगाने के बजाय एक ही एआई-बीओएम और एक ही जोखिम दृष्टिकोण से काम कर सकें।
सामान्य प्रश्न #
एआई सुरक्षा, एआई मॉडल, एजेंट, डेटा और उन्हें जोड़ने वाले बुनियादी ढांचे को उन जोखिमों से बचाने का काम करती है जो एआई सिस्टम के निर्माण और संचालन के तरीके से संबंधित होते हैं।
नहीं। साइबर सुरक्षा एक व्यापक विषय है जो सभी डिजिटल जोखिमों को कवर करता है। एआई सुरक्षा, साइबर सुरक्षा का एक विशेष उपसमूह है जो एआई-विशिष्ट संपत्तियों और विफलता के तरीकों, जैसे कि त्वरित इंजेक्शन या असुरक्षित एजेंट व्यवहार, पर केंद्रित है।
कोई भी संगठन जिसके डेवलपर एआई कोडिंग असिस्टेंट का उपयोग करते हैं, जिनके उत्पादों में एआई मॉडल अंतर्निहित हैं, या जिनके वर्कफ़्लो में स्वायत्त एजेंट और एमसीपी सर्वर शामिल हैं। अब इसमें आकार की परवाह किए बिना अधिकांश सॉफ्टवेयर टीमें शामिल हैं।
