एआय सुरक्षा म्हणजे काय? एआय सुरक्षा म्हणजे एआय प्रणाली कशा तयार केल्या जातात, प्रशिक्षित केल्या जातात आणि चालवल्या जातात, त्यातून निर्माण होणाऱ्या विशिष्ट धोक्यांपासून, सॉफ्टवेअर ज्यावर अवलंबून असते त्या एआय मॉडेल्स, एजंट्स, डेटासेट्स आणि पायाभूत सुविधांचे संरक्षण करण्याची पद्धत. यात वापरात असलेल्या प्रत्येक एआय मालमत्तेचा शोध, प्रॉम्प्ट इंजेक्शन आणि असुरक्षित एजंट वर्तन यांसारख्या एआय-विशिष्ट असुरक्षितता ओळखणे, आणि असुरक्षित एआय कृतींमुळे नुकसान होण्यापूर्वीच त्यांना थांबवणाऱ्या धोरणांची अंमलबजावणी करणे, यांचा समावेश आहे. हाच एआय सुरक्षेचा गाभा आहे, ज्याचे स्पष्टीकरण या शब्दकोशातील पुढील नोंदीत दिले आहे.
कोड, अवलंबित्व आणि पायाभूत सुविधांचे संरक्षण करणाऱ्या पारंपरिक ॲप्लिकेशन सुरक्षेच्या विपरीत, एआय सुरक्षा एका नवीन प्रकारच्या मालमत्तेचे संरक्षण करते: मॉडेल्स, प्रॉम्प्ट्स, एजंट्स आणि त्यांना जोडणारे मशीन-टू-मशीन प्रोटोकॉल्स. एआय एका वैशिष्ट्यामधून थेट सॉफ्टवेअर पुरवठा साखळीचाच भाग बनत असल्यामुळे, ते संरक्षणाचा एक वेगळा आणि आवश्यक स्तर बनले आहे.
एआय सुरक्षेचा अर्थ: संक्षिप्त व्याख्या #
सोप्या भाषेत सांगायचे झाल्यास, एआय सुरक्षेचा अर्थ असा आहे: ज्याप्रमाणे तुम्ही आधीपासूनच कोड सुरक्षित ठेवता, त्याचप्रमाणे AI सुरक्षित करणे, परंतु अशा घटकांसाठी आणि कार्यपद्धतींसाठी ज्यांना पाहण्यासाठी पारंपरिक साधने कधीही तयार केली गेली नव्हती.
सामान्य गोंधळाच्या मुद्द्यापासून संकल्पना वेगळी करण्याचा एक उपयुक्त मार्ग: एआय सुरक्षा म्हणजे “सुरक्षेतील एआय” नव्हे. सुरक्षेमधील एआय म्हणजे सध्याच्या सुरक्षा कार्यात सुधारणा करण्यासाठी कृत्रिम बुद्धिमत्तेचा वापर करणे, उदाहरणार्थ, असुरक्षिततेच्या निष्कर्षांचे वर्गीकरण करणारे एआय मॉडेल. याउलट, एआय सुरक्षा म्हणजे स्वतः एआयलाच सुरक्षित करणे: म्हणजेच मॉडेल फाइल्स, प्रशिक्षण डेटा, एजंट्स, प्रॉम्प्ट्स आणि एआय साधनांना कृती करू देणारे सर्व्हर्स. हे दोन्ही एआयचे वैध उपयोग आहेत, परंतु ते वेगवेगळ्या प्रश्नांची उत्तरे देतात.
हे का महत्त्वाचे आहे #
सॉफ्टवेअर टीम्सनी एआय कोडिंग असिस्टंट, स्वायत्त एजंट आणि यांचा अवलंब केला आहे. मॉडेल कॉन्टेक्स्ट प्रोटोकॉल (एमसीपी) अशा वेगाने की, त्यांना सुरक्षित ठेवण्यासाठी असलेली साधनेही मागे पडली आहेत. या बदलामुळे हल्ल्यासाठी एक नवीन संधी निर्माण होण्याची काही कारणे:
एआयवरील अवलंबित्व विषारी किंवा कृत्रिमरित्या निर्माण केले जाऊ शकते. एआय कोडिंग असिस्टंट कधीकधी अस्तित्वात नसलेल्या पॅकेजेसची शिफारस करतात, या पद्धतीला स्लॉपस्क्वॉटिंग म्हणून ओळखले जाते, ज्याची हल्लेखोर पूर्व-नोंदणी करून शस्त्र म्हणून वापर करू शकतात.
एआयने तयार केलेल्या कोडमध्ये स्वतःचे धोके असतात. एआय कोड निर्मितीच्या स्वतंत्र बेंचमार्किंगमध्ये असे आढळून आले आहे की, मूळ मॉडेल सक्षम आणि सुप्रशिक्षित असले तरीही, एआयने लिहिलेल्या कोडच्या मोठ्या भागामध्ये सामान्य असुरक्षिततेचे नमुने आढळतात.
एजंट आणि एमसीपी सर्व्हर ही नवीन, बहुतांशी देखरेख नसलेली पायाभूत सुविधा आहे. एजंट डेव्हलपरच्या वतीने फाईल्स वाचू शकतात, टूल्स वापरू शकतात आणि कारवाई करू शकतात. जर एजंटच्या सूचना, नियम फाईल्स किंवा कनेक्टेड MCP सर्व्हर्समध्ये फेरफार केली गेली, तर त्या एजंटला ज्या सिस्टीमचे संरक्षण करण्यासाठी बनवले होते, त्याच सिस्टीमच्या विरोधात वापरले जाऊ शकते.
एआय कॉन्फिगरेशन आता हल्ल्यासाठी एक असुरक्षित क्षेत्र बनले आहे. स्किल फाइल्स, रूल्स फाइल्स आणि प्रॉम्प्ट टेम्प्लेट्स यांना सामान्यतः डॉक्युमेंटेशन म्हणून गणले जाते, सुरक्षेच्या दृष्टीने महत्त्वाचे घटक म्हणून नाही. हल्लेखोरांनी आधीच हे सिद्ध केले आहे की, या फाइल्समध्ये अंतर्भूत असलेल्या गुप्त सूचनांमुळे, एआय असिस्टंट त्याच्या प्रतिसादात कोणताही दृश्यमान मागमूस न ठेवता बॅकडोअर्ड कोड तयार करू शकतो.
यात काय समाविष्ट आहे? #
एका संपूर्ण एआय सुरक्षा प्रोग्राममध्ये सामान्यतः तीन कार्ये समाविष्ट असतात:
१. शोध (एआय इन्व्हेंटरी) #
कोणतीही गोष्ट सुरक्षित करण्यापूर्वी, ती शोधावी लागते. एआय सुरक्षा संस्थेच्या भांडारांमधील प्रत्येक एआय मालमत्तेच्या सतत शोधाने सुरू होते आणि pipelineमॉडेल्स, एआय फ्रेमवर्क्स, डेटासेट्स, इन्फरन्स एंडपॉइंट्स, एजंट्स, एआय कोडिंग टूल्स आणि ते ज्या एमसीपी सर्व्हर्सना जोडले जातात ते. ही यादी सामान्यतः मशीन-रीडेबल एआय बिल ऑफ मटेरियल्स (एआय-बीओएम) म्हणून व्यक्त केली जाते, जे सॉफ्टवेअर बिल ऑफ मटेरियल्सचे एआयमधील समकक्ष आहे.SBOM).
२. शोध (एआय धोका) #
एकदा एआय मालमत्ता ज्ञात झाल्यावर, एआय सुरक्षा त्यांच्याशी संबंधित विशिष्ट धोके शोधते, ज्यामध्ये खालील गोष्टींचा समावेश आहे:
- त्वरित इंजेक्शन आणि सिस्टममधील त्वरित गळतीजिथे अविश्वसनीय सामग्री एआय मॉडेलच्या वर्तनावर प्रभाव टाकते.
- असुरक्षित MCP कॉन्फिगरेशनजिथे जोडलेले साधन किंवा सर्व्हर दूषित केले जाऊ शकते किंवा त्याची बनावट ओळख वापरली जाऊ शकते.
- अत्याधिक एजन्सीजेथे एखाद्या एजंटला मानवी तपासणीशिवाय त्याच्या निर्धारित सीमांच्या पलीकडे कार्य करण्याची परवानगी दिली जाते
- एआय फाईल्समधील गुपिते उघडकीसजिथे एआय साधनांद्वारे वापरल्या जाणाऱ्या कॉन्फिगरेशनमधून एपीआय की किंवा क्रेडेन्शियल्स लीक होतात.
- असुरक्षित किंवा भ्रमित एआय अवलंबित्वस्लोपस्क्वॉटिंगसह
या जोखमीच्या श्रेणी प्रकाशित, समुदायाद्वारे पुनरावलोकन केलेल्या फ्रेमवर्कशी जुळतात, विशेषतः एलएलएम अनुप्रयोगांसाठी असलेल्या OWASP टॉप 10 शी.
३. अंमलबजावणीGuardrails) #
अंतिम स्तर असुरक्षित एआय वर्तनाला कार्यान्वित होण्यापूर्वीच थांबवतो: दुर्भावनापूर्ण पॅकेज इन्स्टॉल अवरोधित करणेएखाद्या कौशल्य किंवा नियम फाईलला विश्वसनीय मानण्यापूर्वी तिची पडताळणी करणे, किंवा धोरणाचे उल्लंघन करणाऱ्या एजंटच्या कृतीला रोखणे. इथेच एआय सुरक्षा दृश्यमानतेकडून सक्रिय संरक्षणाकडे वळते.
प्रमुख एआय सुरक्षा धोके, व्याख्या #
| टर्म | म्हणजे काय |
|---|---|
| त्वरित इंजेक्शन | एआय मॉडेल प्रक्रिया करत असलेल्या सामग्रीमध्ये लपवलेल्या दुर्भावनापूर्ण सूचनांमुळे ते त्याच्या मूळ हेतूच्या विरुद्ध कार्य करते. |
| स्लोपस्काउटिंग | एआय मॉडेलला भास होण्याची आणि शिफारस करण्याची शक्यता असलेल्या नावांशी जुळणारे बनावट पॅकेजेस नोंदवणारे हल्लेखोर. |
| एमसीपी धोका | मॉडेल कॉन्टेक्स्ट प्रोटोकॉल सर्व्हरमधील त्रुटींमुळे एआय एजंट बाह्य साधनांना कॉल करू शकतात, ज्यामध्ये टूल पॉइझनिंग आणि अप्रमाणित प्रवेशाचा समावेश आहे. |
| अत्याधिक एजन्सी | एका एआय एजंटला त्याच्या कार्यासाठी आवश्यकतेपेक्षा जास्त स्वायत्तता किंवा अधिकार देणे |
| नियम/कौशल्य फाईल बॅकडोअर | कॉन्फिगरेशन फाईल्समध्ये लपवलेले अक्षर किंवा सूचना, जे एआय कोडिंग असिस्टंटच्या दृश्य आउटपुटमध्ये न दिसता त्याला नियंत्रित करतात. |
| एआय-बॉम | संस्थेच्या एआय मालमत्तेची मशीन-वाचनीय सूची, जी लेखापरीक्षण आणि जोखीम व्यवस्थापनासाठी वापरली जाते. |
एआय सुरक्षा फ्रेमवर्क आणि Standards #
ते प्रकाशित केलेल्या एका लहान संचाशी जोडलेले आहे standardकोणत्याही एका विक्रेत्याच्या वर्गीकरणाऐवजी:
- एलएलएम अर्जांसाठी ओडब्ल्यूएएसपी टॉप १० (2025)एआय ॲप्लिकेशनच्या धोक्यांची सर्वाधिक वापरली जाणारी यादी, ज्यामध्ये प्रॉम्प्ट इंजेक्शन, संवेदनशील माहितीचे प्रकटीकरण, पुरवठा साखळीतील धोका आणि बरेच काही समाविष्ट आहे.
- एनआयएसटी एसपी ८००-२१८ए: जनरेटिव्ह एआय आणि ड्युअल-यूज फाउंडेशन मॉडेल्ससाठी अनुकूलित सुरक्षित सॉफ्टवेअर विकास पद्धतींकरिता मार्गदर्शन.
- गार्टनरचे एआय-एसपीएम आणि एआय ट्रिझम: एआय सुरक्षा स्थिती व्यवस्थापन आणि एआय विश्वास, जोखीम आणि सुरक्षा व्यवस्थापनाच्या व्यापक शाखेसाठी विश्लेषकांनी परिभाषित केलेल्या श्रेणी.
एकत्रितपणे, हे घटक संस्थांना केवळ विपणन व्याख्यांवर अवलंबून राहण्याऐवजी, ‘सुरक्षित एआय’चा नेमका अर्थ काय आहे हे समजून घेण्यासाठी एक सामायिक शब्दसंग्रह देतात.
एआय सुरक्षा विरुद्ध संबंधित संज्ञा #
- एआय सुरक्षा विरुद्ध ॲप सुरक्षाअॅपसेक अॅप्लिकेशन कोड आणि त्याच्या अवलंबित्व घटकांना सुरक्षित करते. ते एआय मॉडेल्स, एजंट्स आणि एआय-विशिष्ट कॉन्फिगरेशनला देखील सुरक्षित करते, ज्यांची तपासणी करण्यासाठी अॅपसेक टूल्स तयार केलेली नाहीत.
- एआय सुरक्षा विरुद्ध एआय प्रशासनगव्हर्नन्स हे संस्थेला एआय वापरासाठी आवश्यक असलेली धोरणे आणि मंजुऱ्या निश्चित करते. ते कोड आणि एजंट स्तरावर, त्या धोरणांची अंमलबजावणी करते आणि ती प्रत्यक्षात टिकून राहतात की नाही हे तपासते.
- एआय सुरक्षा विरुद्ध एमएलसेकऑप्सMLSecOps हे मशीन लर्निंगच्या जीवनचक्राला (प्रशिक्षण, डेटा, मॉडेल उपयोजन) सुरक्षित करण्यावर लक्ष केंद्रित करते. हे अधिक व्यापक असून, त्यात एजंट्स, कोडिंग असिस्टंट्स आणि त्यांना थेट सिस्टीम्सशी जोडणाऱ्या प्रोटोकॉल्सचा समावेश होतो.
झायजेनी एआय सुरक्षेकडे कसे पाहते
#
झायजेनीचे एआय सिक्युरिटी प्रॉडक्ट हेच शोधणे, ओळखणे आणि लागू करणे (discover, detect, and enforce) मॉडेल थेट सॉफ्टवेअर डेव्हलपमेंट लाइफसायकलवर लागू करते. ते रिपॉझिटरीजमध्ये सतत एक एआय इन्व्हेंटरी तयार करते, प्रॉम्प्ट इंजेक्शन आणि असुरक्षित एमसीपी कॉन्फिगरेशन यांसारखे एआय-विशिष्ट धोके ओळखते, आणि प्रत्येक निष्कर्षाला एलएलएम ॲप्लिकेशन्ससाठी असलेल्या OWASP टॉप 10 शी जोडते. यामुळे सुरक्षा आणि इंजिनिअरिंग टीम्स त्यांच्या कोडमध्ये आधीपासून कोणता एआय चालू आहे याचा अंदाज लावण्याऐवजी, एकाच एआय-बीओएम (AI-BOM) आणि एकाच धोक्याच्या दृष्टिकोनातून काम करतात.
FAQ #
एआय सुरक्षा म्हणजे एआय मॉडेल्स, एजंट्स, डेटा आणि त्यांना जोडणाऱ्या पायाभूत सुविधांचे, एआय प्रणाली कशा तयार केल्या जातात आणि कशा चालतात याच्याशी संबंधित विशिष्ट धोक्यांपासून संरक्षण करणे.
नाही. सायबरसुरक्षा ही सर्व डिजिटल धोक्यांना व्यापणारी एक व्यापक शाखा आहे. एआय सुरक्षा हा सायबरसुरक्षेचा एक विशेष उपविभाग आहे, जो एआय-विशिष्ट मालमत्ता आणि अपयशाच्या पद्धतींवर, जसे की प्रॉम्प्ट इंजेक्शन किंवा असुरक्षित एजंट वर्तन, यावर लक्ष केंद्रित करतो.
अशी कोणतीही संस्था जिचे डेव्हलपर्स एआय कोडिंग असिस्टंट्स वापरतात, ज्यांच्या उत्पादनांमध्ये एआय मॉडेल्स अंतर्भूत असतात, किंवा ज्यांच्या वर्कफ्लोमध्ये स्वायत्त एजंट्स आणि एमसीपी सर्व्हर्सचा समावेश असतो. यामध्ये आता आकाराची पर्वा न करता बहुतेक सॉफ्टवेअर टीम्सचा समावेश होतो.
