एआई सुरक्षा भनेको के हो? एआई सुरक्षा भनेको एआई मोडेलहरू, एजेन्टहरू, डेटासेटहरू, र पूर्वाधारहरूलाई सुरक्षा गर्ने अभ्यास हो जसमा सफ्टवेयरले निर्भर गर्दछ, एआई प्रणालीहरू कसरी निर्माण, प्रशिक्षित र सञ्चालन गरिन्छ भन्ने विशिष्ट जोखिमहरूबाट। यसले प्रयोगमा रहेका प्रत्येक एआई सम्पत्तिको खोज, शीघ्र इंजेक्शन र असुरक्षित एजेन्ट व्यवहार जस्ता एआई-विशिष्ट कमजोरीहरूको पहिचान, र हानि पुर्याउनु अघि असुरक्षित एआई कार्यहरूलाई रोक्ने नीतिहरूको कार्यान्वयनलाई समेट्छ। यो मुख्य एआई सुरक्षा हो जसको अर्थ यो शब्दावली प्रविष्टिको बाँकी भाग अनप्याक हुन्छ।
परम्परागत अनुप्रयोग सुरक्षाको विपरीत, जसले कोड, निर्भरताहरू, र पूर्वाधारलाई सुरक्षित गर्दछ, एआई सुरक्षाले सम्पत्तिको नयाँ वर्गलाई सुरक्षित गर्दछ: मोडेलहरू, प्रम्प्टहरू, एजेन्टहरू, र तिनीहरूलाई जडान गर्ने मेसिन-टू-मेसिन प्रोटोकलहरू। एआई एक सुविधाबाट सफ्टवेयर आपूर्ति श्रृंखलामा सर्दै जाँदा, यो रक्षाको एक विशिष्ट, आवश्यक तह बनेको छ।
एआई सुरक्षाको अर्थ: छोटो परिभाषा #
सरल भाषामा भन्नु पर्दा, एआई सुरक्षाको अर्थ यो हो: जसरी तपाईंले पहिले नै कोड सुरक्षित गर्नुभएको छ, त्यसरी नै AI सुरक्षित गर्नु, तर कम्पोनेन्ट र व्यवहारहरूको सेटको लागि जुन परम्परागत उपकरणहरू कहिल्यै हेर्नको लागि बनाइएका थिएनन्।
अवधारणालाई भ्रमको साझा बिन्दुबाट अलग गर्ने एउटा उपयोगी तरिका: एआई सुरक्षा र "सुरक्षामा एआई" एउटै होइन। सुरक्षामा एआई भन्नाले विद्यमान सुरक्षा कार्यलाई सुधार गर्न कृत्रिम बुद्धिमत्ताको प्रयोग गर्नु बुझिन्छ, उदाहरणका लागि एआई मोडेल जसले जोखिम पत्ता लगाउने कुराहरूको विश्लेषण गर्छ। यसको विपरीत, एआई सुरक्षा भन्नाले एआई आफैंलाई सुरक्षित गर्नु बुझिन्छ: मोडेल फाइलहरू, तालिम डेटा, एजेन्टहरू, प्रम्प्टहरू, र एआई उपकरणहरूलाई कारबाही गर्न दिने सर्भरहरू। दुवै एआईका मान्य प्रयोगहरू हुन्, तर तिनीहरूले फरक-फरक प्रश्नहरूको जवाफ दिन्छन्।
किन यो महत्त्व राख्छ #
सफ्टवेयर टोलीहरूले एआई कोडिङ सहायकहरू, स्वायत्त एजेन्टहरू, र अपनाएका छन् मोडेल सन्दर्भ प्रोटोकल (एमसीपी) ती उपकरणहरूलाई सुरक्षित गर्न चाहिने गतिभन्दा बढी गतिमा। यो परिवर्तनले नयाँ आक्रमण सतह सिर्जना गर्नुका केही कारणहरू:
एआई निर्भरतालाई विषाक्त वा आविष्कार गर्न सकिन्छ। एआई कोडिङ सहायकहरूले कहिलेकाहीं त्यस्ता प्याकेजहरू सिफारिस गर्छन् जुन अवस्थित छैनन्, स्लपस्क्वाटिंग भनेर चिनिने ढाँचा, जसलाई आक्रमणकारीहरूले पूर्व-दर्ता गर्न र हतियार बनाउन सक्छन्।
एआई-उत्पन्न कोडको आफ्नै जोखिम प्रोफाइल हुन्छ। एआई कोड जेनेरेसनको स्वतन्त्र बेन्चमार्किङले पत्ता लगाएको छ कि एआई-लिखित कोडको पर्याप्त हिस्साले सामान्य जोखिम ढाँचाहरू प्रस्तुत गर्दछ, जबकि अन्तर्निहित मोडेल सक्षम र राम्रोसँग प्रशिक्षित हुन्छ।
एजेन्टहरू र MCP सर्भरहरू नयाँ, धेरै हदसम्म अनुगमन नगरिएका पूर्वाधार हुन्। एजेन्टहरूले फाइलहरू पढ्न, उपकरणहरू कल गर्न र विकासकर्ताको तर्फबाट कारबाही गर्न सक्छन्। यदि एजेन्टको निर्देशन, नियम फाइलहरू, वा जडान गरिएका MCP सर्भरहरू हेरफेर गरियो भने, एजेन्टलाई सुरक्षाको लागि राखिएको प्रणाली विरुद्ध जान सकिन्छ।
एआई कन्फिगरेसन अब आक्रमण सतह हो। सीप फाइलहरू, नियम फाइलहरू, र प्रम्प्ट टेम्प्लेटहरूलाई सामान्यतया सुरक्षा-सम्बन्धित कलाकृतिहरूको रूपमा नभई कागजातको रूपमा व्यवहार गरिन्छ। आक्रमणकारीहरूले पहिले नै प्रदर्शन गरिसकेका छन् कि यी फाइलहरूमा इम्बेड गरिएका लुकेका निर्देशनहरूले एआई सहायकलाई यसको प्रतिक्रियामा कुनै देखिने ट्रेस बिना ब्याकडोर कोड उत्पादन गर्न सक्छ।
यसले के समेट्छ? #
एउटा पूर्ण एआई सुरक्षा कार्यक्रमले सामान्यतया तीन कार्यहरू गर्दछ:
१. डिस्कवरी (एआई इन्भेन्टरी) #
कुनै पनि कुरा सुरक्षित गर्नु अघि, त्यो फेला पार्नु पर्छ। एआई सुरक्षा संस्थाको भण्डारहरूमा प्रत्येक एआई सम्पत्तिको निरन्तर खोजबाट सुरु हुन्छ र pipelines: मोडेलहरू, AI फ्रेमवर्कहरू, डेटासेटहरू, अनुमान अन्त्य बिन्दुहरू, एजेन्टहरू, AI कोडिङ उपकरणहरू, र तिनीहरूले जडान गर्ने MCP सर्भरहरू। यो सूची सामान्यतया मेसिन-पठनीय AI बिल अफ मटेरियल्स (AI-BOM) को रूपमा व्यक्त गरिन्छ, जुन सफ्टवेयर बिल अफ मटेरियल्सको AI समतुल्य हो (SBOM).
२. पत्ता लगाउने (एआई जोखिम) #
एकपटक एआई सम्पत्तिहरू थाहा भएपछि, एआई सुरक्षाले तिनीहरूसँग सम्बन्धित जोखिमहरू पत्ता लगाउँछ, जसमा समावेश छन्:
- द्रुत इंजेक्शन र प्रणाली द्रुत चुहावट, जहाँ अविश्वसनीय सामग्रीले AI मोडेलले कसरी व्यवहार गर्छ भनेर हेरफेर गर्छ
- असुरक्षित MCP कन्फिगरेसन, जहाँ जडान गरिएको उपकरण वा सर्भरलाई विषाक्त वा प्रतिरूपण गर्न सकिन्छ
- अत्यधिक एजेन्सी, जहाँ एजेन्टलाई मानव जाँच बिना नै आफ्नो अभिप्रेत सीमाभन्दा बाहिर काम गर्न अनुमति दिइन्छ
- एआई फाइलहरूमा गोप्य कुराहरूको खुलासा, जहाँ एआई उपकरणहरूद्वारा प्रयोग गरिएको कन्फिगरेसन मार्फत एपीआई कुञ्जीहरू वा प्रमाणपत्रहरू चुहावट हुन्छन्
- कमजोर वा भ्रमित एआई निर्भरताहरू, स्लपस्क्वाटिङ सहित
यी जोखिम वर्गहरूले प्रकाशित, समुदाय-समीक्षा गरिएका ढाँचाहरूसँग मिल्छन्, विशेष गरी LLM अनुप्रयोगहरूको लागि OWASP शीर्ष १०।
३. कार्यान्वयन (Guardrails) #
अन्तिम तहले कार्यान्वयन गर्नु अघि असुरक्षित AI व्यवहारलाई रोक्छ: खराब प्याकेज स्थापनालाई रोक्दै, कुनै सीप वा नियम फाइललाई विश्वास गर्नु अघि नै प्रमाणित गर्ने, वा नीति उल्लङ्घन गर्ने एजेन्टको कार्यलाई रोक्ने। यो त्यहीँ हो जहाँ एआई सुरक्षा दृश्यताबाट सक्रिय रक्षामा सर्छ।
प्रमुख एआई सुरक्षा जोखिमहरू, परिभाषित #
| अवधि | यसको अर्थ के हो |
|---|---|
| तुरुन्तै सुई लगाउनुहोस् | एआई मोडेलले प्रशोधन गर्ने सामग्रीमा लुकेका दुर्भावनापूर्ण निर्देशनहरू, जसले गर्दा यसले यसको अभिप्रेत उद्देश्य विरुद्ध कार्य गर्दछ। |
| स्लपस्क्वाटिङ | एआई मोडेलको नामसँग मेल खाने नक्कली प्याकेजहरू दर्ता गर्ने आक्रमणकारीहरूले भ्रममा परेर सिफारिस गर्ने सम्भावना हुन्छ |
| MCP जोखिम | मोडेल कन्टेक्स्ट प्रोटोकल सर्भरहरूमा कमजोरीहरू जसले एआई एजेन्टहरूलाई बाह्य उपकरणहरू कल गर्न दिन्छ, जसमा उपकरण विषाक्तता र अप्रमाणित पहुँच समावेश छ। |
| अत्यधिक एजेन्सी | एआई एजेन्टले आफ्नो कामलाई आवश्यक पर्ने भन्दा बढी स्वायत्तता वा पहुँच प्रदान गर्यो |
| नियम/सीप फाइल पछाडिको ढोकाबाट | कन्फिगरेसन फाइलहरू भित्र राखिएका लुकेका क्यारेक्टरहरू वा निर्देशनहरू जसले एआई कोडिङ सहायकलाई यसको दृश्यमान आउटपुटमा नदेखिने गरी निर्देशित गर्दछ। |
| एआई-बम | लेखा परीक्षण र जोखिम व्यवस्थापनको लागि प्रयोग गरिने संस्थाको एआई सम्पत्तिहरूको मेसिन-पठनीय सूची |
एआई सुरक्षा फ्रेमवर्क र Standards #
यो प्रकाशित सामग्रीहरूको सानो सेटमा लंगरिएको छ standardकुनै एकल विक्रेताको वर्गीकरणको सट्टा:
- LLM आवेदनहरूको लागि OWASP शीर्ष १० (2025): शीघ्र इंजेक्शन, संवेदनशील जानकारी प्रकटीकरण, आपूर्ति श्रृंखला जोखिम, र थप कुराहरू समेट्ने एआई अनुप्रयोग जोखिमहरूको सबैभन्दा व्यापक रूपमा सन्दर्भ गरिएको सूची।
- NIST SP ८००-२१८A: जेनेरेटिभ एआई र दोहोरो-प्रयोग फाउन्डेसन मोडेलहरूको लागि अनुकूलित सुरक्षित सफ्टवेयर विकास अभ्यासहरूको लागि मार्गदर्शन।
- गार्टनरको एआई-एसपीएम र एआई ट्रिसएम: एआई सुरक्षा मुद्रा व्यवस्थापन र एआई ट्रस्ट, जोखिम र सुरक्षा व्यवस्थापनको व्यापक अनुशासनको लागि विश्लेषक-परिभाषित कोटीहरू।
सँगै, यी कुराहरूले संस्थाहरूलाई मार्केटिङ परिभाषामा मात्र भर पर्नुको सट्टा "सुरक्षित एआई" को वास्तविक अर्थ के हो भनेर साझा शब्दावली दिन्छ।
एआई सुरक्षा बनाम सम्बन्धित सर्तहरू #
- एआई सुरक्षा बनाम एपसेक: AppSec ले एप्लिकेसन कोड र यसको निर्भरताहरू सुरक्षित गर्दछ। यसले AI मोडेलहरू, एजेन्टहरू, र AI-विशिष्ट कन्फिगरेसनहरू सुरक्षित गर्दछ जुन AppSec उपकरणहरू निरीक्षण गर्न निर्माण गरिएको थिएन।
- एआई सुरक्षा बनाम एआई शासन: प्रशासनले एआई प्रयोगको लागि संस्थालाई आवश्यक पर्ने नीति र अनुमोदनहरूलाई परिभाषित गर्दछ। यसले ती नीतिहरू व्यवहारमा, कोड र एजेन्ट स्तरमा लागू गर्दछ र प्रमाणित गर्दछ।
- एआई सुरक्षा बनाम एमएलसेकअप्स: MLSecOps ले मेसिन लर्निङ जीवनचक्र (प्रशिक्षण, डेटा, मोडेल डिप्लोयमेन्ट) सुरक्षित गर्नमा ध्यान केन्द्रित गर्दछ। यो फराकिलो छ, एजेन्टहरू, कोडिङ सहायकहरू, र तिनीहरूलाई प्रत्यक्ष प्रणालीहरूमा जडान गर्ने प्रोटोकलहरूमा विस्तारित छ।
Xygeni ले AI सुरक्षालाई कसरी हेर्छ
#
जाइगेनीको एआई सुरक्षा उत्पादनले यही खोज, पत्ता लगाउने र लागू गर्ने मोडेललाई सिधै सफ्टवेयर विकास जीवनचक्रमा लागू गर्दछ। यसले निरन्तर भण्डारहरूमा एआई इन्भेन्टरी निर्माण गर्दछ, प्रम्प्ट इन्जेक्सन र असुरक्षित MCP कन्फिगरेसन जस्ता एआई-विशिष्ट जोखिमहरू पत्ता लगाउँछ, र प्रत्येक खोजलाई LLM अनुप्रयोगहरूको लागि OWASP शीर्ष १० मा नक्सा गर्दछ, त्यसैले सुरक्षा र इन्जिनियरिङ टोलीहरूले आफ्नो कोडमा पहिले नै के चलिरहेको छ भनेर अनुमान गर्नुको सट्टा एउटा एआई-बीओएम र एउटा जोखिम दृश्यबाट काम गर्छन्।
सोधिने प्रश्न #
एआई सुरक्षा भनेको एआई मोडेलहरू, एजेन्टहरू, डेटा, र तिनीहरूलाई जोड्ने पूर्वाधारको सुरक्षा हो, एआई प्रणालीहरू कसरी निर्माण र सञ्चालन गरिन्छ भन्ने विशिष्ट जोखिमहरू विरुद्ध।
होइन। साइबर सुरक्षा भनेको सबै डिजिटल जोखिमलाई समेट्ने छाता अनुशासन हो। एआई सुरक्षा भनेको एआई-विशिष्ट सम्पत्तिहरू र विफलता मोडहरू, जस्तै प्रम्प्ट इंजेक्शन वा असुरक्षित एजेन्ट व्यवहारमा केन्द्रित साइबर सुरक्षाको एक विशेष उपसमूह हो।
कुनै पनि संस्था जसका विकासकर्ताहरूले AI कोडिङ सहायकहरू प्रयोग गर्छन्, जसका उत्पादनहरूमा AI मोडेलहरू इम्बेड हुन्छन्, वा जसको कार्यप्रवाहमा स्वायत्त एजेन्टहरू र MCP सर्भरहरू समावेश हुन्छन्। यसमा अब धेरैजसो सफ्टवेयर टोलीहरू समावेश छन्, आकारको पर्वाह नगरी।
