डेव्हसेकऑप्समधील एआय सुरक्षा धोके: कोड, Pipelineआणि एजंट

एआय सुरक्षेचे धोके: एआय सिस्टीम सुरक्षित करण्यासाठी डेव्हसेकऑप्स टीम्सना काय माहित असणे आवश्यक आहे

एआय सुरक्षेचे धोके आता केवळ मॉडेलच्या वर्तनापुरते किंवा डेटाच्या गोपनीयतेपुरते मर्यादित राहिलेले नाहीत. आज, ते सॉफ्टवेअर लिहिण्याच्या, त्याचे पुनरावलोकन करण्याच्या, ते तयार करण्याच्या आणि वितरित करण्याच्या पद्धतीवरही परिणाम करतात. एआय कोडिंग टूल्स, एजेंटिक एआय सिस्टीम्स आणि एआय-शक्तीवर चालणारे वर्कफ्लो यांचा वापर वाढत असताना... SDLCडेव्हसेकऑप्स टीम्सना एका नव्या प्रकारच्या धोक्याचा सामना करावा लागतो: अधिक वेगवान कोड, अधिक वेगवान ऑटोमेशन आणि अधिक वेगवान चुका.

तथापि, याचा अर्थ असा नाही की संघांनी एआयचा अवलंब करण्याची गती कमी करावी. त्याऐवजी, त्यांना एआय-सहाय्यित विकासाच्या गतीशी जुळणाऱ्या सुरक्षा नियंत्रणांची आवश्यकता आहे. या मार्गदर्शिकेत, आम्ही सर्वात महत्त्वाचे एआय सुरक्षा धोके, ते वास्तविक अभियांत्रिकी कार्यप्रवाहांमध्ये कसे दिसून येतात आणि संघ कोड, डिपेंडेंसी, सिक्रेट्स यांमधील धोका कसा कमी करू शकतात, हे स्पष्ट करतो. pipelineआणि एजंट.

एआय धोक्याचे स्वरूप कसे बदलते याचा अधिक व्यापक आढावा घेण्यासाठी, आमचे मार्गदर्शक पहा. एआय सायबरसुरक्षा.

एआय सुरक्षेचे धोके कोणते आहेत?

एआय सुरक्षा धोके म्हणजे अशा कमकुवतपणा, धोके किंवा अपयशाच्या पद्धती आहेत, ज्या कृत्रिम बुद्धिमत्तेची रचना, प्रशिक्षण, एकीकरण किंवा वास्तविक प्रणालींमध्ये वापर केला जात असताना दिसून येतात. हे धोके मॉडेल्स, डेटा, प्रॉम्प्ट्स, एपीआय, कोड, pipelineआणि त्यांना जोडणारी साधने.

The एआय आणि सायबर सुरक्षेवरील एनसीएससी मार्गदर्शन सुरक्षित आणि विश्वासार्ह एआय प्रणालींसाठी सायबर सुरक्षा ही एक मूलभूत गरज आहे, असे स्पष्ट केले आहे. त्याचप्रमाणे, NIST AI जोखीम व्यवस्थापन फ्रेमवर्क संस्थांना प्रशासन, मोजमाप आणि व्यावहारिक नियंत्रणांद्वारे एआय जोखीम व्यवस्थापित करण्यासाठी एक संरचना प्रदान करते.

DevSecOps टीम्ससाठी, समस्या अधिक विशिष्ट आहे. AI आता सॉफ्टवेअर डिलिव्हरी चेनचा एक भाग बनले आहे. ते कोड लिहिते, डिपेंडन्सी सुचवते, कॉन्फिगरेशन तयार करते, API ला कॉल करते आणि काहीवेळा स्वायत्तपणे कार्य करते. परिणामी, AI सुरक्षेचे धोके अंतर्गतच हाताळले पाहिजेत. SDLCकेवळ मॉडेल लेयरवरच नाही.

एआय सुरक्षेचे धोके आता वेगळे का आहेत

पारंपारिक सायबरसुरक्षा धोके सहसा मानवाने लिहिलेला कोड, असुरक्षित पॅकेजेस, कमकुवत क्रेडेन्शियल्स किंवा चुकीच्या पद्धतीने कॉन्फिगर केलेल्या पायाभूत सुविधांमधून येतात. ते धोके आजही अस्तित्वात आहेत. तथापि, एआयमुळे (AI) हे धोके किती लवकर उद्भवतात आणि त्यांना शोधणे किती कठीण होते, यात बदल घडतो.

एआय-निर्मित कोड योग्य दिसत असला तरी त्यात अधिकृतता तपासणी सुटू शकते. एक एआय कोडिंग असिस्टंट असुरक्षित पॅकेज सुचवू शकतो. एक एजेंटिक वर्कफ्लो चुकीचे टूल वापरू शकतो, चुकीची फाईल ॲक्सेस करू शकतो किंवा लॉगमध्ये एखादे गुपित उघड करू शकतो. याव्यतिरिक्त, एआय सिस्टीम्स अनेकदा संदर्भ, प्रॉम्प्ट्स, कनेक्टर्स आणि बाह्य साधनांवर अवलंबून असतात, ज्यामुळे सुरक्षेत त्रुटी राहण्याची अधिक शक्यता निर्माण होते.

The एलएलएम अर्जांसाठी ओडब्ल्यूएएसपी टॉप १० यामध्ये प्रॉम्प्ट इंजेक्शन, संवेदनशील माहितीचे प्रकटीकरण, पुरवठा साखळीतील समस्या आणि अतिरिक्त एजन्सी यांसारख्या धोक्यांवर प्रकाश टाकला जातो. या श्रेणी उपयुक्त आहेत कारण त्या एआयच्या वर्तनाला वास्तविक ॲप्लिकेशन सुरक्षा समस्यांशी जोडतात.

दुसऱ्या शब्दांत सांगायचे तर, एआय सुरक्षेचे धोके केवळ मॉडेलपुरते मर्यादित नाहीत. ते मॉडेलच्या सभोवतालच्या संपूर्ण प्रणालीशी संबंधित आहेत.

डेव्हसेकऑप्स टीम्ससाठी मुख्य एआय सुरक्षा धोके

डेव्हलपमेंट, ॲपसेक आणि इतर क्षेत्रांमध्ये एआय वापरताना सर्वात महत्त्वाचे असलेले धोके खालीलप्रमाणे आहेत. CI/CD वर्कफ्लो.

१. एआय-निर्मित कोडमधील असुरक्षितता

एआय कोडिंग टूल्स असा कोड तयार करू शकतात जो काम करतो पण सुरक्षित नसतो. उदाहरणार्थ, ते योग्य पॅरामीटरायझेशनशिवाय एसक्यूएल क्वेरीज तयार करू शकतात, इनपुट व्हॅलिडेशन वगळू शकतात किंवा कमकुवत ऑथेंटिकेशन लॉजिक लागू करू शकतात.

असे घडते कारण अनेक एआय प्रणाली प्रशिक्षण डेटाच्या आधारावर संभाव्य कोड पॅटर्न तयार करतात. तथापि, संभाव्य कोड नेहमीच सुरक्षित कोड नसतो. व्यवहारात, मॉडेल असुरक्षित उदाहरणे पुन्हा तयार करू शकते कारण ती सार्वजनिक रिपॉझिटरीजमध्ये सामान्य असतात.

सामान्य उदाहरणांमध्ये हे समाविष्ट आहेः

• एसक्यूएल इंजेक्शन
• क्रॉस-साइट स्क्रिप्टिंग
• गहाळ अधिकृतता तपासणी
• कमकुवत सत्र हाताळणी
• असुरक्षित डीसिरियलायझेशन
• CSRF संरक्षणाचा अभाव

त्यामुळे, एआय-निर्मित कोड जोपर्यंत प्रमाणित होत नाही, तोपर्यंत त्याला अविश्वसनीय मानले पाहिजे. SASTधोरण तपासणी आणि पुनरावलोकन.

अंतर्गत दुव्यासाठी सूचना: हा विभाग तुमच्या पोस्टशी जोडा AI SAST.

२. पुरवठा साखळी आणि अवलंबित्व धोके

एआय साधने केवळ कोड तयार करत नाहीत. ती पॅकेजेस, आवृत्त्या, स्क्रिप्ट्स आणि इन्स्टॉलेशन कमांड्सदेखील सुचवतात. यामुळे एआयच्या शिफारसींपासून सॉफ्टवेअर पुरवठा साखळीतील जोखमीपर्यंत थेट मार्ग तयार होतो.

उदाहरणार्थ, एखादे एआय साधन पुढील गोष्टी सुचवू शकते:

• एक कालबाह्य पॅकेज
• एक टायपोस्क्वेटेड डिपेंडन्सी
• एक भासमान पॅकेजचे नाव
• संशयास्पद इन्स्टॉल स्क्रिप्ट्स असलेले पॅकेज
• एक लायब्ररी जी असुरक्षित असूनही मोठ्या प्रमाणावर वापरली जाते.

शिवाय, हल्लेखोर एआय टूल्सद्वारे तयार केली जाण्याची शक्यता असलेल्या पॅकेज नावांची नोंदणी करून या वर्तनाचा गैरफायदा घेऊ शकतात. या धोक्याला अनेकदा स्लोपस्क्वॉटिंग म्हटले जाते. हे मॉडेलच्या भ्रमाचे रूपांतर पॅकेज सप्लाय चेन हल्ल्यात करते.

हा धोका कमी करण्यासाठी, संघांना गरज आहे SCAमालवेअर शोधणे, अवलंबित्व धोरणाची अंमलबजावणी आणि पोहोचण्यायोग्यतेचे विश्लेषण. त्यांनी शोषणक्षमतेच्या संकेतांचा देखील वापर केला पाहिजे जसे की ईपीएसएस आणि सक्रिय शोषण गुप्त माहिती CISज्ञात शोषित असुरक्षिततांची सूची.

३. एआय वर्कफ्लोमध्ये गुपिते उघडकीस येणे

गोपनीय माहिती उघड होणे हा सर्वात व्यावहारिक एआय सुरक्षा धोक्यांपैकी एक आहे. डेव्हलपर्स अनेकदा एआय टूल्समध्ये संदर्भ समाविष्ट करतात. त्या संदर्भामध्ये एपीआय कीज, टोकन्स, क्रेडेंशियल्स, यूआरएल किंवा अंतर्गत कॉन्फिगरेशनचा समावेश असू शकतो.

याव्यतिरिक्त, एआय-निर्मित कोडमध्ये खरे वाटणारे प्लेसहोल्डर्स असू शकतात, किंवा त्याहूनही वाईट म्हणजे, गुप्त माहिती मूळ फाइल्समध्ये परत कॉपी केली जाऊ शकते. pipeline स्क्रिप्ट्स किंवा लॉग्स. एकदा का सिक्रेट्स गिट हिस्ट्रीमध्ये दाखल झाले की... CI/CD लॉग्स, मूळ लॉग्स तयार झाल्यानंतरही बराच काळ शोषणासाठी उपलब्ध राहू शकतात. commit.

सामान्य संसर्ग बिंदूंमध्ये खालील गोष्टींचा समावेश होतो:

• त्वरित इतिहास
• जनरेट केलेला कोड
• Git commits
• CI/CD नोंदी
• IaC फाइल
• कंटेनर प्रतिमा
• शेअर केलेल्या वर्कस्पेसेस

या कारणास्तव, संघांनी IDE-स्तरीय स्कॅनिंग एकत्र केले पाहिजे, pre-commit तपासण्या, रिपॉझिटरी इतिहासाचे स्कॅन, CI/CD लॉग स्कॅनिंग आणि स्वयंचलित रद्दीकरण.

अंतर्गत दुव्यासाठी सूचना: हा विभाग तुमच्या गुप्त सुरक्षा उत्पादनाशी किंवा संबंधित सामग्रीशी जोडा.

४. एआय एजंट आणि साधनांचा गैरवापर

एजंटिक AI यामुळे धोक्याचा एक नवीन स्तर निर्माण होतो, कारण एजंट केवळ कृती सुचवत नाहीत, तर ते प्रत्यक्ष कृतीही करू शकतात.

एक एआय एजंट शेल कमांड चालवू शकतो, फाईल्स एडिट करू शकतो, एपीआय कॉल करू शकतो, उघडू शकतो pull requestsCI वर्कफ्लोमध्ये बदल करणे, किंवा क्लाउड सेवांशी संवाद साधणे. यामुळे उत्पादकतेत प्रचंड वाढ होत असली तरी, चुकांचे परिणामही वाढतात.

मुख्य जोखमींमध्ये हे समाविष्ट आहे:

• असुरक्षित शेल अंमलबजावणी
• अति-परवानगी असलेल्या API की
• अनधिकृत कोड बदल
• MCP किंवा API कनेक्टरचे चुकीचे कॉन्फिगरेशन
• मंजूर केलेल्या व्याप्तीच्या बाहेर टूल कॉल्स
• कार्यासाठी आवश्यकतेपेक्षा अधिक पर्यावरण प्रवेश

येथे 'अत्यधिक एजन्सी'साठी असलेली OWASP LLM टॉप 10 श्रेणी विशेषतः लागू होते. जर एखाद्या एजंटला गरजेपेक्षा जास्त अधिकार मिळाले, तर एक चुकीची सूचना, प्रॉम्प्ट इंजेक्शन किंवा असुरक्षित टूलमुळे एक मोठी सुरक्षा घटना घडू शकते.

5. CI/CD आणि Pipeline धोके

एआय-निर्मित कोड अखेरीस पोहोचतो pipelineत्या टप्प्यावर, धोका सोर्स कोडमधून बिल्ड्स, आर्टिफॅक्ट्स, सिक्रेट्स, डिपेंडेंसीज आणि डिप्लॉयमेंट वर्कफ्लोमध्ये जातो.

उदाहरणार्थ, एआयच्या मदतीने केलेला बदल खालीलप्रमाणे असू शकतो:

• एक असुरक्षित बिल्ड स्टेप जोडा
• गिटहब अॅक्शन्स वर्कफ्लोमध्ये बदल करा
• इन्स्टॉल करताना एक दुर्भावनापूर्ण पॅकेज आले.
• बिल्ड लॉगमध्ये सिक्रेट्स प्रिंट करा
• सुरक्षा नियंत्रण अक्षम करा
• डिप्लॉयमेंट लॉजिक बदला

यामुळे, CI/CD एआयचा अवलंब करण्यासाठी सुरक्षा अत्यावश्यक ठरते. Pipeline guardrails असुरक्षित पॅटर्न उत्पादनापर्यंत पोहोचण्यापूर्वीच रोखले पाहिजेत. अधिक सखोल संदर्भासाठी, आमचा यावरील मजकूर पहा. CI/CD सुरक्षा आणि software supply chain security.

६. डेटा गळती आणि प्रॉम्प्ट इंजेक्शन

प्रॉम्प्ट इंजेक्शन हा सर्वात सुप्रसिद्ध एआय सुरक्षा धोक्यांपैकी एक आहे, परंतु त्याबद्दल अनेकदा गैरसमज असतो. ही केवळ चॅटबॉटची समस्या नाही. बाह्य इनपुट स्वीकारणाऱ्या आणि नंतर कृतींना मार्गदर्शन करण्यासाठी त्या इनपुटचा वापर करणाऱ्या कोणत्याही एआय कार्यप्रवाहाला (वर्कफ्लो) याचा परिणाम होऊ शकतो.

उदाहरणार्थ, एखाद्या दुर्भावनापूर्ण समस्येचे वर्णन, README फाईल, सपोर्ट तिकीट किंवा डिपेंडन्सी डॉक्युमेंटेशन पेजमध्ये लपवलेल्या सूचना असू शकतात. जर एखाद्या AI एजंटने ती सामग्री वाचली आणि तिचे पालन केले, तर हल्लेखोर टूल कॉल्स, कोडमधील बदल किंवा डेटा ॲक्सेसवर प्रभाव टाकू शकतो.

डेटाची गळती अशाच प्रकारे होऊ शकते. मॉडेल संवेदनशील संदर्भ उघड करू शकते, खाजगी फाइल्सचा सारांश देऊ शकते किंवा गोपनीय डेटा बाह्य सेवांना पाठवू शकते. त्यामुळे, एआय प्रणालींना त्वरित फिल्टरिंग, आउटपुट नियंत्रणे, साधनांवरील निर्बंध आणि त्या कोणत्या डेटावर प्रवेश करू शकतात यावर स्पष्ट मर्यादांची आवश्यकता आहे.