एआई सुरक्षा जोखिम: एआई सिस्टम को सुरक्षित करने के लिए देवसेकऑप्स टीमों को क्या जानना चाहिए
एआई सुरक्षा जोखिम अब केवल मॉडल व्यवहार या डेटा गोपनीयता तक सीमित नहीं हैं। आज, वे सॉफ़्टवेयर लिखने, समीक्षा करने, बनाने और जारी करने के तरीके को भी प्रभावित करते हैं। जैसे-जैसे एआई कोडिंग उपकरण, एजेंटिक एआई सिस्टम और एआई-संचालित वर्कफ़्लो का प्रचलन बढ़ता जा रहा है, SDLCडेवसेकऑप्स टीमों को एक नए प्रकार के जोखिम का सामना करना पड़ता है: तेज़ कोड, तेज़ स्वचालन और तेज़ गलतियाँ।
हालांकि, इसका मतलब यह नहीं है कि टीमों को एआई को अपनाने की गति धीमी कर देनी चाहिए। इसके बजाय, उन्हें एआई-सहायता प्राप्त विकास की गति के अनुरूप सुरक्षा नियंत्रणों की आवश्यकता है। इस गाइड में, हम सबसे महत्वपूर्ण एआई सुरक्षा जोखिमों, वास्तविक इंजीनियरिंग वर्कफ़्लो में उनके प्रकट होने के तरीके और टीमों द्वारा कोड, निर्भरताओं, गुप्त जानकारियों आदि में जोखिम को कम करने के तरीकों के बारे में बताते हैं। pipelineऔर एजेंट।
एआई किस प्रकार खतरे के परिदृश्य को बदलता है, इसका व्यापक अवलोकन प्राप्त करने के लिए, हमारी मार्गदर्शिका देखें। एआई साइबर सुरक्षा.
एआई सुरक्षा जोखिम क्या हैं?
कृत्रिम बुद्धिमत्ता (एआई) सुरक्षा जोखिम वे कमजोरियां, खतरे या विफलता के तरीके हैं जो कृत्रिम बुद्धिमत्ता को वास्तविक प्रणालियों के भीतर डिजाइन, प्रशिक्षित, एकीकृत या उपयोग करते समय सामने आते हैं। ये जोखिम मॉडल, डेटा, प्रॉम्प्ट, एपीआई, कोड आदि को प्रभावित कर सकते हैं। pipelineऔर उन्हें जोड़ने वाले उपकरण।
RSI एनसीएससी का एआई और साइबर सुरक्षा पर मार्गदर्शन यह बताता है कि साइबर सुरक्षा सुरक्षित और विश्वसनीय एआई सिस्टम के लिए एक मूलभूत आवश्यकता है। इसी प्रकार, एनआईएसटी एआई जोखिम प्रबंधन ढांचा यह संगठनों को शासन, माप और व्यावहारिक नियंत्रणों के माध्यम से एआई जोखिम का प्रबंधन करने के लिए एक संरचना प्रदान करता है।
DevSecOps टीमों के लिए, समस्या अधिक विशिष्ट है। AI अब सॉफ्टवेयर डिलीवरी श्रृंखला का हिस्सा है। यह कोड लिखता है, निर्भरताओं का सुझाव देता है, कॉन्फ़िगरेशन उत्पन्न करता है, API को कॉल करता है, और कभी-कभी स्वायत्त रूप से कार्य करता है। परिणामस्वरूप, AI सुरक्षा जोखिमों को आंतरिक रूप से ही संभालना आवश्यक है। SDLCन केवल मॉडल लेयर पर।
एआई सुरक्षा जोखिम अब अलग क्यों हैं?
परंपरागत साइबर सुरक्षा जोखिम आमतौर पर मानव द्वारा लिखे गए कोड, असुरक्षित पैकेज, कमजोर क्रेडेंशियल या गलत तरीके से कॉन्फ़िगर किए गए बुनियादी ढांचे से उत्पन्न होते हैं। ये जोखिम अभी भी मौजूद हैं। हालांकि, एआई इन जोखिमों के प्रकट होने की गति और इन्हें पहचानना कितना मुश्किल है, इसे बदल देता है।
कृत्रिम बुद्धिमत्ता (AI) द्वारा जनरेट किया गया कोड देखने में सही लग सकता है, लेकिन फिर भी प्रमाणीकरण जांच में विफल हो सकता है। एक AI कोडिंग सहायक असुरक्षित पैकेज का सुझाव दे सकता है। एक एजेंटिक वर्कफ़्लो गलत टूल को कॉल कर सकता है, गलत फ़ाइल तक पहुंच सकता है, या लॉग में किसी गुप्त जानकारी को उजागर कर सकता है। इसके अलावा, AI सिस्टम अक्सर संदर्भ, संकेत, कनेक्टर और बाहरी उपकरणों पर निर्भर करते हैं, जिससे सुरक्षा में खामी आने की संभावना बढ़ जाती है।
RSI OWASP की ओर से LLM आवेदनों के लिए शीर्ष 10 सूची इसमें त्वरित हस्तक्षेप, संवेदनशील जानकारी का खुलासा, आपूर्ति श्रृंखला संबंधी समस्याएं और अत्यधिक सक्रियता जैसे जोखिमों पर प्रकाश डाला गया है। ये श्रेणियां उपयोगी हैं क्योंकि ये एआई व्यवहार को वास्तविक अनुप्रयोग सुरक्षा समस्याओं से जोड़ती हैं।
दूसरे शब्दों में कहें तो, एआई सुरक्षा जोखिम केवल मॉडल से संबंधित नहीं हैं। वे मॉडल के आसपास की पूरी प्रणाली से संबंधित हैं।
DevSecOps टीमों के लिए मुख्य AI सुरक्षा जोखिम
विकास, ऐप सुरक्षा और अन्य गतिविधियों में एआई का उपयोग करते समय सबसे महत्वपूर्ण जोखिम नीचे दिए गए हैं। CI/CD वर्कफ़्लोज़.
1. कृत्रिम बुद्धिमत्ता द्वारा उत्पन्न कोड में मौजूद कमियां
एआई कोडिंग टूल ऐसा कोड जनरेट कर सकते हैं जो काम तो करता है लेकिन सुरक्षित नहीं होता। उदाहरण के लिए, वे उचित पैरामीटराइजेशन के बिना SQL क्वेरी बना सकते हैं, इनपुट वैलिडेशन को छोड़ सकते हैं या कमजोर प्रमाणीकरण लॉजिक लागू कर सकते हैं।
ऐसा इसलिए होता है क्योंकि कई एआई सिस्टम प्रशिक्षण डेटा के आधार पर संभावित कोड पैटर्न उत्पन्न करते हैं। हालांकि, संभावित कोड हमेशा सुरक्षित कोड नहीं होता। व्यवहार में, मॉडल असुरक्षित उदाहरणों को दोहरा सकता है क्योंकि वे सार्वजनिक रिपॉजिटरी में आम हैं।
आम उदाहरणों में शामिल हैं:
- एसक्यूएल इंजेक्षन
- क्रॉस साइट स्क्रिप्टिंग
- प्राधिकरण जांचों का अभाव
- कमजोर सत्र प्रबंधन
- असुरक्षित डीसीरियलाइज़ेशन
- सीएसआरएफ सुरक्षा का अभाव
इसलिए, एआई द्वारा जनरेट किए गए कोड को तब तक अविश्वसनीय माना जाना चाहिए जब तक कि वह परीक्षण पास न कर ले। SASTनीतिगत जांच और समीक्षा।
आंतरिक लिंक सुझाव: इस अनुभाग को अपनी पोस्ट से जोड़ें AI SAST.
2. आपूर्ति श्रृंखला और निर्भरता संबंधी जोखिम
एआई उपकरण केवल कोड ही उत्पन्न नहीं करते। वे पैकेज, संस्करण, स्क्रिप्ट और इंस्टॉलेशन कमांड भी सुझाते हैं। इससे एआई की अनुशंसाओं से सॉफ्टवेयर आपूर्ति श्रृंखला जोखिम तक सीधा संबंध स्थापित होता है।
उदाहरण के लिए, एक एआई टूल निम्नलिखित सुझाव दे सकता है:
- एक पुराना पैकेज
- एक टाइपोस्क्वैटेड निर्भरता
- एक भ्रामक पैकेज नाम
- संदिग्ध इंस्टॉलेशन स्क्रिप्ट वाला एक पैकेज
- एक पुस्तकालय जो असुरक्षित है लेकिन फिर भी व्यापक रूप से उपयोग किया जाता है
इसके अलावा, हमलावर एआई टूल्स द्वारा बनाए जाने वाले संभावित पैकेज नामों को पंजीकृत करके इस व्यवहार का फायदा उठा सकते हैं। इस जोखिम को अक्सर स्लोपस्क्वैटिंग कहा जाता है। यह मॉडल की भ्रांति को पैकेज आपूर्ति श्रृंखला हमले में बदल देता है।
इस जोखिम को कम करने के लिए, टीमों को आवश्यकता है SCAमैलवेयर का पता लगाना, निर्भरता नीति लागू करना और पहुंच विश्लेषण। उन्हें शोषण क्षमता संकेतों का भी उपयोग करना चाहिए जैसे कि ईपीएसएस और सक्रिय शोषण संबंधी खुफिया जानकारी CISज्ञात शोषित कमजोरियों की सूची.
3. एआई वर्कफ़्लो में गुप्त रहस्यों का खुलासा
गुप्त सूचनाओं का खुलासा एआई सुरक्षा के सबसे व्यावहारिक जोखिमों में से एक है। डेवलपर अक्सर एआई टूल्स में संदर्भ (कॉन्टेक्स्ट) डालते हैं। इस संदर्भ में एपीआई कुंजी, टोकन, क्रेडेंशियल, यूआरएल या आंतरिक कॉन्फ़िगरेशन शामिल हो सकते हैं।
इसके अलावा, एआई द्वारा जनरेट किए गए कोड में ऐसे प्लेसहोल्डर शामिल हो सकते हैं जो वास्तविक दिखते हैं, या इससे भी बदतर, गुप्त जानकारियों को वापस सोर्स फाइलों में कॉपी कर सकते हैं। pipeline स्क्रिप्ट या लॉग। एक बार जब गुप्त जानकारी गिट इतिहास में प्रवेश कर जाती है या CI/CD लॉग्स, मूल लॉग के लंबे समय बाद भी शोषण योग्य बने रह सकते हैं। commit.
सामान्य जोखिम बिंदु निम्नलिखित हैं:
- प्रॉम्प्ट इतिहास
- जनरेट किया गया कोड
- जाना commits
- CI/CD लॉग
- IaC फ़ाइलों
- कंटेनर छवियाँ
- साझा कार्यस्थान
इसी कारणवश, टीमों को IDE-स्तर की स्कैनिंग को संयोजित करना चाहिए, pre-commit जाँच, रिपॉजिटरी इतिहास स्कैन, CI/CD लॉग स्कैनिंग और स्वचालित निरस्तीकरण।
आंतरिक लिंक सुझाव: इस अनुभाग को अपने गोपनीय सुरक्षा उत्पाद या संबंधित सामग्री से जोड़ें।
4. एआई एजेंट और टूल का दुरुपयोग
एजेंट ए.आई इससे जोखिम की एक नई परत जुड़ जाती है क्योंकि एजेंट केवल कार्यों का सुझाव ही नहीं देते, बल्कि वे कार्य कर भी सकते हैं।
एक एआई एजेंट शेल कमांड चला सकता है, फाइलों को संपादित कर सकता है, एपीआई कॉल कर सकता है, खोल सकता है pull requestsसीआई वर्कफ़्लो को संशोधित करें, या क्लाउड सेवाओं के साथ इंटरैक्ट करें। हालांकि इससे उत्पादकता में भारी वृद्धि होती है, लेकिन इससे गलतियों का दायरा भी बढ़ जाता है।
प्रमुख जोखिमों में शामिल हैं:
- असुरक्षित शेल निष्पादन
- अत्यधिक अनुमति प्राप्त एपीआई कुंजी
- अनधिकृत कोड परिवर्तन
- एमसीपी या एपीआई कनेक्टर की गलत कॉन्फ़िगरेशन
- टूल स्वीकृत दायरे से बाहर कॉल करता है
- कार्य की आवश्यकता से परे पर्यावरण तक पहुंच
यहां OWASP LLM की अत्यधिक सक्रियता से संबंधित शीर्ष 10 श्रेणी विशेष रूप से प्रासंगिक है। यदि किसी एजेंट को बहुत अधिक पहुंच प्राप्त है, तो एक गलत निर्देश, त्वरित हस्तक्षेप, या समझौता किया गया उपकरण एक वास्तविक सुरक्षा घटना में बदल सकता है।
5. CI/CD और Pipeline जोखिम
एआई द्वारा जनरेट किया गया कोड अंततः पहुँच जाता है pipelineउस बिंदु पर, जोखिम सोर्स कोड से बिल्ड, आर्टिफैक्ट, सीक्रेट, डिपेंडेंसी और डिप्लॉयमेंट वर्कफ़्लो में स्थानांतरित हो जाता है।
उदाहरण के लिए, एआई की सहायता से किया गया परिवर्तन निम्न कार्य कर सकता है:
- एक असुरक्षित बिल्ड चरण जोड़ें
- GitHub Actions वर्कफ़्लो को संशोधित करें
- इंस्टॉलेशन के दौरान एक दुर्भावनापूर्ण पैकेज आ गया
- बिल्ड लॉग में गुप्त जानकारी प्रिंट करें
- सुरक्षा नियंत्रण को निष्क्रिय करें
- परिनियोजन तर्क बदलें
नतीजतन, CI/CD एआई को अपनाने के लिए सुरक्षा अत्यावश्यक हो जाती है। Pipeline guardrails उत्पादन तक पहुंचने से पहले ही असुरक्षित पैटर्न को ब्लॉक कर देना चाहिए। अधिक जानकारी के लिए, हमारी सामग्री देखें। CI/CD सुरक्षा और software supply chain security.
6. डेटा लीक और त्वरित इंजेक्शन
प्रॉम्प्ट इंजेक्शन एआई सुरक्षा के सबसे प्रसिद्ध जोखिमों में से एक है, लेकिन इसे अक्सर गलत समझा जाता है। यह केवल चैटबॉट की समस्या नहीं है। यह किसी भी एआई वर्कफ़्लो को प्रभावित कर सकता है जो बाहरी इनपुट स्वीकार करता है और फिर उस इनपुट का उपयोग कार्यों को निर्देशित करने के लिए करता है।
उदाहरण के लिए, किसी दुर्भावनापूर्ण समस्या विवरण, README फ़ाइल, सपोर्ट टिकट या निर्भरता दस्तावेज़ीकरण पृष्ठ में छिपे हुए निर्देश हो सकते हैं। यदि कोई AI एजेंट उस सामग्री को पढ़ता है और उसका अनुसरण करता है, तो हमलावर टूल कॉल, कोड परिवर्तन या डेटा एक्सेस को प्रभावित कर सकता है।
डेटा लीक कई तरह से हो सकता है। मॉडल संवेदनशील जानकारी प्रकट कर सकता है, निजी फ़ाइलों का सारांश बना सकता है, या गोपनीय डेटा बाहरी सेवाओं को भेज सकता है। इसलिए, एआई सिस्टम को त्वरित फ़िल्टरिंग, आउटपुट नियंत्रण, टूल प्रतिबंध और यह स्पष्ट सीमा निर्धारित करने की आवश्यकता है कि वे किस डेटा तक पहुंच सकते हैं।
एआई सुरक्षा जोखिम SDLC
सॉफ्टवेयर जीवनचक्र के विभिन्न चरणों में एआई सुरक्षा जोखिम सामने आते हैं। महत्वपूर्ण बात यह है कि केवल अंतिम एप्लिकेशन को ही नहीं, बल्कि प्रत्येक चरण को सुरक्षित किया जाए।
| SDLC ट्रेनिंग | एआई सुरक्षा जोखिम | उदाहरण | अनुशंसित नियंत्रण |
|---|---|---|---|
| आईडीई | असुरक्षित एआई-जनित कोड | एक एआई कोडिंग सहायक असुरक्षित प्रमाणीकरण तर्क का सुझाव देता है। | वास्तविक समय SAST और सुरक्षित कोडिंग फीडबैक। |
| Commit | रहस्यों का खुलासा | जनरेटेड कोड में एक टोकन दिखाई देता है या commit इतिहास. | रहस्यों का पता लगाना, pre-commit जाँच और स्वतः निरस्तीकरण। |
| Pull Request | नीति का उल्लंघन | जनरेट किया गया कोड बिना समीक्षा के एक्सेस कंट्रोल नियमों को बदल देता है। | PR guardrails और नीति का प्रवर्तन। |
| बनाएँ | दुर्भावनापूर्ण निर्भरता | एआई द्वारा सुझाए गए एक पैकेज में संदिग्ध इंस्टॉलेशन व्यवहार शामिल है। | SCAमैलवेयर का पता लगाना और निर्भरता नीति की जांच करना। |
| CI/CD | Pipeline जोड़ - तोड़ | एक एजेंट वर्कफ़्लो फ़ाइलों या परिनियोजन स्क्रिप्ट में संशोधन करता है। | CI/CD सुरक्षा जांच और विसंगति का पता लगाना। |
| क्रम | त्वरित इंजेक्शन या डेटा रिसाव | बाहरी इनपुट के कारण एआई वर्कफ़्लो संवेदनशील संदर्भ को प्रकट करता है। | त्वरित नियंत्रण, पहुंच प्रतिबंध और निगरानी। |
एआई सुरक्षा जोखिम बनाम पारंपरिक साइबर सुरक्षा जोखिम
परंपरागत साइबर सुरक्षा अभी भी महत्वपूर्ण है। हालांकि, एआई नए व्यवहार पैटर्न जोड़ता है जिनके लिए अलग-अलग नियंत्रणों की आवश्यकता होती है।
| क्षेत्र | पारंपरिक साइबर सुरक्षा जोखिम | एआई सुरक्षा जोखिम |
|---|---|---|
| कोड | मानव निर्मित कमजोरियां। | उच्च गति पर एआई द्वारा उत्पन्न असुरक्षित पैटर्न। |
| निर्भरता | ज्ञात असुरक्षित पैकेज। | कृत्रिम बुद्धिमत्ता द्वारा सुझाए गए भ्रामक, दुर्भावनापूर्ण या असुरक्षित पैकेज। |
| राज | क्रेडेंशियल गलती से commitडेवलपर्स द्वारा टेड। | गुप्त जानकारी को प्रॉम्प्ट, जनरेट किए गए कोड या लॉग में कॉपी किया जाता है। |
| टूल्स | डेवलपर टूल्स का मैन्युअल दुरुपयोग। | स्वायत्त एजेंट उपकरणों या एपीआई का दुरुपयोग कर रहे हैं। |
| Pipelines | गलत तरह से कॉन्फ़िगर CI/CD वर्कफ़्लोज़. | एजेंट द्वारा उत्पन्न वर्कफ़्लो परिवर्तन या असुरक्षित स्वचालन। |
वास्तविक दुनिया में एआई सुरक्षा जोखिम के उदाहरण
एआई सुरक्षा जोखिम सैद्धांतिक नहीं है। कई सार्वजनिक ढाँचे और अनुसंधान प्रयास अब इन मुद्दों को अधिक औपचारिक रूप से ट्रैक कर रहे हैं।
RSI एमआईटी एआई रिस्क रिपॉजिटरी यह सूची विभिन्न कारणों और क्षेत्रों में फैले 1,700 से अधिक एआई जोखिमों को सूचीबद्ध करती है। वहीं, ओडब्ल्यूएएसपी एलएलएम अनुप्रयोग जोखिमों के लिए व्यावहारिक श्रेणियां प्रदान करता है, जिनमें त्वरित हस्तक्षेप, संवेदनशील जानकारी का खुलासा, आपूर्ति श्रृंखला की कमजोरियां और अत्यधिक सक्रियता शामिल हैं।
DevSecOps टीमों के लिए, सबसे प्रासंगिक उदाहरण अक्सर सॉफ्टवेयर डिलीवरी में दिखाई देते हैं:
- एआई उपकरण असुरक्षित कोड का सुझाव दे रहे हैं
- वर्कफ़्लो फ़ाइलों को संशोधित करने वाले एआई एजेंट
- कृत्रिम बुद्धिमत्ता से उत्पन्न निर्भरताएँ आपूर्ति श्रृंखला में जोखिम पैदा करती हैं
- प्रॉम्प्ट, लॉग या अन्य माध्यमों से गुप्त जानकारी लीक होना commits
- एजेंटिक वर्कफ़्लो अनुमोदित दायरे से बाहर के टूल को कॉल कर रहे हैं
संक्षेप में, एआई सुरक्षा जोखिम तब और भी गंभीर हो जाते हैं जब एआई सिस्टम कोड, क्रेडेंशियल, पैकेज आदि को छू सकते हैं। pipelineया बुनियादी ढांचा।
व्यवहार में एआई सुरक्षा जोखिमों को कैसे कम करें
एआई सुरक्षा जोखिमों को कम करने का सबसे अच्छा तरीका एआई-सहायता प्राप्त विकास को एक भाग के रूप में मानना है। SDLCइसका मतलब है कि शुरुआती चरण में ही स्कैनिंग करना, बार-बार सत्यापन करना और उन नीतियों को लागू करना जहां डेवलपर वास्तव में काम करते हैं।
1. IDE में AI द्वारा जनरेट किए गए कोड को स्कैन करें
डेवलपर्स को एआई द्वारा जनरेट किए गए कोड को लिखते या स्वीकार करते समय सुरक्षा संबंधी फीडबैक मिलना चाहिए। इससे बार-बार कोड बदलने की ज़रूरत कम होती है और Git तक पहुंचने से पहले ही समस्याओं को ठीक करने में मदद मिलती है।
का प्रयोग करें:
- SAST आईईडी में
- इनलाइन भेद्यता स्पष्टीकरण
- सुरक्षित समाधान सुझाव
- नीति-जागरूक उपचार
यह विशेष रूप से एआई कोडिंग सहायकों के लिए महत्वपूर्ण है, जहां असुरक्षित सुझाव तेजी से कोडबेस में प्रवेश कर सकते हैं।
2. बिल्ड करने से पहले निर्भरताओं को सत्यापित करें
एआई द्वारा सुझाई गई निर्भरताओं को स्थापित या शिप करने से पहले सत्यापित किया जाना चाहिए। इसलिए, टीमों को विकास के दौरान निर्भरता नियंत्रण लागू करना चाहिए और CI/CD.
का प्रयोग करें:
- SCA
- मैलवेयर का पता लगाना
- टाइपोस्क्वैटिंग का पता लगाना
- ईपीएसएस स्कोरिंग
- पहुँचयोग्यता विश्लेषण
- नीति-आधारित अवरोधन
इससे उन पैकेजों को प्राथमिकता देने में मदद मिलती है जो वास्तविक जोखिम का प्रतिनिधित्व करते हैं, न कि केवल सैद्धांतिक जोखिम का।
3. गुप्त जानकारियों का स्वचालित रूप से पता लगाना और उन्हें रद्द करना
गुप्त जानकारियों की स्कैनिंग में सोर्स कोड से कहीं अधिक जानकारी शामिल होनी चाहिए। एआई-सहायता प्राप्त वर्कफ़्लो कई स्थानों पर क्रेडेंशियल्स को उजागर कर सकते हैं।
का प्रयोग करें:
- Pre-commit स्कैनिंग
- रिपॉजिटरी इतिहास स्कैनिंग
- Pipeline लॉग स्कैनिंग
- IaC स्कैनिंग
- कंटेनर छवि स्कैनिंग
- स्वचालित निरस्तीकरण
इसके परिणामस्वरूप, टीमें संक्रमण के संपर्क में आने और रोकथाम के बीच के समय को कम कर देती हैं।
4. लागू करें Guardrails in CI/CD
Guardrails यह तय करना आवश्यक है कि कोई बदलाव आगे बढ़ने के लिए पर्याप्त सुरक्षित है या नहीं। रिपोर्टिंग उपयोगी है, लेकिन गंभीर जोखिम की स्थिति में इसे रोकना आवश्यक है।
Guardrails इसमें शामिल होना चाहिए:
- नई गंभीर कमजोरियाँ
- राज
- दुर्भावनापूर्ण निर्भरताएँ
- अनपिन किए गए या अविश्वसनीय पैकेज
- असुरक्षित वर्कफ़्लो परिवर्तन
- लापता SBOMs
- नीति का उल्लंघन
इसके अलावा, टीमों को जरूरत पड़ने पर केवल रिपोर्टिंग मोड से शुरुआत करनी चाहिए, और फिर आत्मविश्वास बढ़ने के साथ-साथ ब्लॉकिंग मोड की ओर बढ़ना चाहिए।
5. एजेंटिक टूल के व्यवहार की निगरानी करें
एजेंटिक एआई सिस्टम को अवलोकनशीलता की आवश्यकता होती है। यदि कोई एजेंट फ़ाइलों को संपादित कर सकता है, बिल्ड को ट्रिगर कर सकता है या एपीआई को कॉल कर सकता है, तो टीमों को यह जानने की आवश्यकता होती है कि उसने क्या किया, कब किया और क्या वह कार्रवाई अपेक्षित थी।
मॉनिटर:
- टूल कॉल
- वर्कफ़्लो फ़ाइल में परिवर्तन
- रिपॉजिटरी लेखन गतिविधि
- नेटवर्क गंतव्य
- गुप्त जानकारी तक पहुंच
- Pull request निर्माण
- Pipeline चलाता है
इस पारदर्शिता के बिना, एजेंट की स्वायत्तता पर भरोसा करना मुश्किल हो जाता है।
Xygeni एआई सुरक्षा जोखिमों को कम करने में कैसे मदद करता है
Xygeni संपूर्ण सॉफ़्टवेयर वितरण श्रृंखला में AI-सहायता प्राप्त विकास को सुरक्षित करने पर ध्यान केंद्रित करता है। AI जोखिम को एक अलग श्रेणी के रूप में मानने के बजाय, यह कोड, निर्भरताओं, रहस्यों आदि को आपस में जोड़ता है। pipelineऔर व्यावसायिक संदर्भ।
उदाहरण के लिए:
- SAST यह एआई द्वारा उत्पन्न असुरक्षित कोड का जल्द पता लगाने में मदद करता है।
- SCA यह निर्भरताओं को सत्यापित करता है और दुर्भावनापूर्ण पैकेजों का पता लगाता है।
- गुप्त सुरक्षा यह रिपॉजिटरी में उजागर क्रेडेंशियल्स का पता लगाता है और pipelines.
- CI/CD सुरक्षा असुरक्षित परिवर्तनों को आगे बढ़ने से पहले नीतियों को लागू करता है।
- असंगति का पता लगाये विकास और वितरण कार्यप्रवाहों में असामान्य व्यवहार की पहचान करता है।
- ASPM यह निष्कर्षों को एक ही जोखिम परिप्रेक्ष्य में सहसंबंधित करता है ताकि टीमें महत्वपूर्ण चीजों को प्राथमिकता दे सकें।
यह इसलिए महत्वपूर्ण है क्योंकि एआई सुरक्षा जोखिम स्वभाव से ही कई स्तरों को प्रभावित करते हैं। एक कमजोर निर्भरता, उजागर टोकन और असुरक्षित वर्कफ़्लो परिवर्तन अलग-अलग टूल में देखने में भले ही अलग-अलग लगें, लेकिन ये सब मिलकर एक बहुत बड़ा हमला कर सकते हैं।
एआई सुरक्षा जोखिम प्रबंधन के लिए जानने योग्य महत्वपूर्ण ढाँचे
कई फ्रेमवर्क टीमों को अपने काम को व्यवस्थित करने में मदद करते हैं।
RSI एनआईएसटी एआई जोखिम प्रबंधन ढांचा यह संगठनों को एआई जोखिमों का मानचित्रण, मापन, प्रबंधन और संचालन करने में मदद करता है। यह नेतृत्व, अनुपालन और जोखिम कार्यक्रमों के लिए उपयोगी है।
RSI OWASP की ओर से LLM आवेदनों के लिए शीर्ष 10 सूची ऐपसेक टीमों के लिए यह अधिक व्यावहारिक है क्योंकि यह सीधे तौर पर तकनीकी जोखिमों जैसे कि त्वरित इंजेक्शन, संवेदनशील डेटा का खुलासा, आपूर्ति श्रृंखला की कमजोरियां और अत्यधिक सक्रियता से संबंधित है।
RSI एनसीएससी एआई और साइबर सुरक्षा संबंधी दिशानिर्देश यह उन सुरक्षा नेताओं के लिए उपयोगी है जिन्हें यह समझने की आवश्यकता है कि एआई किस प्रकार संगठनात्मक साइबर जोखिम को बदलता है।
ये सभी संसाधन मिलकर एक बात स्पष्ट करते हैं: एआई सुरक्षा को लोगों, प्रक्रियाओं, प्रणालियों और सॉफ्टवेयर वितरण वर्कफ़्लो में प्रबंधित किया जाना चाहिए।
चेकलिस्ट: एआई सुरक्षा जोखिमों को कैसे कम करें
इस चेकलिस्ट को एक व्यावहारिक प्रारंभिक बिंदु के रूप में उपयोग करें।
| नियंत्रण क्षेत्र | क्या करें | यह क्यों मायने रखता है |
|---|---|---|
| AI-जनरेटेड कोड | रन SAST IDE, PR, और CI/CD pipeline. | असुरक्षित कोड को उत्पादन तक पहुंचने से रोकता है। |
| निर्भरता | उपयोग SCAमैलवेयर का पता लगाना, EPSS और पहुंच योग्यता। | जोखिम भरे एआई-सुझाए गए पैकेजों को ब्लॉक करता है। |
| राज | स्कैन commitएस, लॉग, इतिहास, IaC, और कंटेनर। | प्रमाण पत्रों के जोखिम और दुरुपयोग को कम करता है। |
| CI/CD | लागू करना pipeline guardrails और नीतिगत द्वार। | असुरक्षित बिल्ड और डिप्लॉयमेंट को रोकता है। |
| एजेंटिक उपकरण | टूल कॉल, एपीआई एक्सेस और वर्कफ़्लो परिवर्तनों की निगरानी करें। | यह अत्यधिक सक्रियता और अप्रत्याशित व्यवहार को सीमित करता है। |
| जोखिम प्रबंधन | उपयोग ASPM विभिन्न स्तरों पर प्राप्त निष्कर्षों के बीच संबंध स्थापित करना। | यह टीमों को वास्तविक व्यावसायिक जोखिमों पर ध्यान केंद्रित करने में मदद करता है। |
चाबी छीन लेना
- एआई सुरक्षा जोखिम अब कोड, निर्भरताओं, गुप्त जानकारियों आदि को प्रभावित करते हैं। pipelineऔर एजेंट।
- पारंपरिक ऐप सुरक्षा उपकरणों की अभी भी आवश्यकता है, लेकिन उन्हें पहले और अधिक संदर्भ के साथ चलना चाहिए।
- एआई द्वारा जनरेट किए गए कोड को सत्यापन होने तक अविश्वसनीय माना जाना चाहिए।
- एआई एजेंट वर्कफ़्लो को आवश्यकता है guardrailsअनुमतियाँ और अवलोकनशीलता।
- DevSecOps टीमों को पूरे सिस्टम में एकीकृत दृश्यता की आवश्यकता होती है। SDLC एआई से जुड़े जोखिमों को प्रभावी ढंग से प्रबंधित करने के लिए।
सामान्य प्रश्न: एआई सुरक्षा जोखिम
एआई सुरक्षा जोखिम क्या हैं?
एआई सुरक्षा जोखिम वे खतरे या कमजोरियां हैं जो एआई सिस्टम के निर्माण, एकीकरण या उपयोग के दौरान सामने आती हैं। ये मॉडल, डेटा, प्रॉम्प्ट, कोड, निर्भरता, एपीआई आदि को प्रभावित कर सकते हैं। pipelines.
DevSecOps टीमों के लिए AI सुरक्षा के सबसे बड़े जोखिम क्या हैं?
सबसे बड़े जोखिमों में असुरक्षित एआई-जनित कोड, कमजोर निर्भरताएँ, गुप्त जानकारियों का खुलासा, त्वरित इंजेक्शन, एजेंट की अत्यधिक अनुमतियाँ और असुरक्षित CI/CD स्वचालन।
एआई सुरक्षा जोखिम पारंपरिक साइबर सुरक्षा जोखिमों से अलग क्यों हैं?
कृत्रिम बुद्धिमत्ता प्रणालियाँ कोड उत्पन्न कर सकती हैं, निर्भरताओं का सुझाव दे सकती हैं, उपकरणों को कॉल कर सकती हैं और स्वायत्त रूप से कार्य कर सकती हैं। परिणामस्वरूप, जोखिम तेजी से और अधिक स्तरों पर प्रकट होते हैं। SDLC.
टीमें एआई सुरक्षा जोखिमों को कैसे कम कर सकती हैं?
टीमें एआई-जनरेटेड कोड को स्कैन करके, निर्भरताओं को मान्य करके, गुप्त जानकारियों का पता लगाकर और नियमों को लागू करके जोखिम को कम कर सकती हैं। CI/CD guardrailsएजेंट के व्यवहार की निगरानी करना और निष्कर्षों को सहसंबंधित करना ASPM.
क्या एआई द्वारा जनरेट किया गया कोड सुरक्षित है?
कृत्रिम बुद्धिमत्ता से उत्पन्न कोड स्वतः सुरक्षित नहीं होता। उत्पादन में जाने से पहले इसकी समीक्षा, जांच, परीक्षण और सत्यापन किया जाना चाहिए।
निष्कर्ष: एआई सुरक्षा जोखिमों पर ध्यान देने की आवश्यकता है SDLC-स्तर नियंत्रण
कृत्रिम बुद्धिमत्ता सॉफ्टवेयर जोखिम की गति और स्वरूप को बदल देती है। यह टीमों को तेजी से निर्माण करने में मदद करती है, लेकिन साथ ही असुरक्षित कोड, उजागर गुप्त जानकारी, असुरक्षित निर्भरता और जोखिमपूर्ण स्वचालन के वितरण श्रृंखला में प्रवेश करने के नए तरीके भी पेश करती है।
इसलिए, एआई सुरक्षा को केवल मॉडल गवर्नेंस या नीति दस्तावेजों से ही नहीं संभाला जा सकता। इसके लिए आंतरिक व्यावहारिक नियंत्रणों की आवश्यकता है। SDLC: आईईडी प्रतिक्रिया, SAST, SCAरहस्यों का पता लगाना CI/CD guardrails, विसंगति का पता लगाना, और ASPM-स्तरीय सहसंबंध।
जो टीमें एआई सुरक्षा जोखिमों का अच्छी तरह से प्रबंधन करती हैं, वे एआई को अपनाने में बाधा नहीं बनेंगी। बल्कि वे एआई के चारों ओर सही सुरक्षा कवच का निर्माण करेंगी।
