የውሂብ መመረዝ ምንድን ነው?

እያንዳንዱ የደህንነት ቡድን ኮድ ሲላክ እንዲከታተል የሰለጠነ ነው። ሁሉም ማለት ይቻላል ውሂብ ሲመጣ እንዲከታተል የሰለጠኑ አይደሉም፣ እና ያ ዓይነ ስውር ቦታ የውሂብ መመረዝ የሚጠቀመው በትክክል ነው። የተመረዘ ሞዴል ምርት ላይ ሲደርስ፣ ተጋላጭነቱ በኮድ ግምገማው ውስጥ አልነበረም። ከወራት በፊት ማንም ሰው ያልተመረመረ የውሂብ ስብስብ ውስጥ ነበር።

ይህ የቃላት ዝርዝር መረጃ የውሂብ መመረዝ ምን እንደሆነ፣ በተግባር የውሂብ መመረዝ ጥቃቶች እንዴት እንደሚከሰቱ፣ እና የ AI የውሂብ መመረዝ ለምን ከሚከተሉት ውስጥ አንዱ እንደሆነ ያብራራል በ AI-ዘመን ውስጥ በፍጥነት እያደጉ ያሉ አደጋዎች SDLCእና በእሱ ላይ እውነተኛ መከላከያ ምን እንደሚመስል።

የውሂብ መመረዝ ትርጉም #

የውሂብ መመረዝ ማለት አንድን የAI ሞዴል ለማሰልጠን፣ ለማስተካከል ወይም ለመፍረስ የሚያገለግል መረጃን ሆን ተብሎ ማዛባት ሲሆን ይህም ሞዴሉ የተሳሳተውን ነገር እንዲማር፣ አጥቂው በሚፈልገው መንገድ እንዲሠራ ወይም ፈጽሞ ሊያጋልጠው የማይገባውን መረጃ እንዲያፈስስ ነው። አንድ አጥቂ ሞዴሉን ከተሰማራ በኋላ ከማጥቃት ይልቅ ሞዴሉ የተገነባበትን ጥሬ እቃ ያጠቃል።

የውሂብ መመረዝ በስተጀርባ ያለው ዋና ሀሳብ ቀላል እና የሚያስጨንቅ ነው፡ የAI ሞዴል ከተማረው መረጃ ጋር ተመሳሳይ እምነት የሚጣልበት ነው። ያ መረጃ ስልጠና ከመጀመሩ በፊት ከተበላሸ፣ አድልዎ ካለው ወይም ከተበላሸ፣ ምንም ያህል የኮድ ግምገማ፣ ሙከራ ወይም የሩጫ ጊዜ ክትትል መሰረታዊውን ጉድለት አይይዝም፣ ምክንያቱም ሞዴሉ በትክክል እንደተማረው (በተንኮል) እየሰራ ነው።

የ AI ዳታ መመረዝ ከባህላዊ የሶፍትዌር ተጋላጭነቶች ጋር ሲነጻጸር #

ባህላዊ የመተግበሪያ ደህንነት በኮድ ውስጥ ያለውን የህይወት አደጋ ያስባል፡- መጥፎ ተግባር፣ ያልተስተካከለ ቤተ-መጽሐፍት፣ የተሳሳተ የተዋቀረ አገልጋይ። የAI የውሂብ መመረዝ ያንን ግምት ሙሉ በሙሉ ይሰብራል። ለማግኘት ምንም አይነት ተጋላጭ የሆነ የኮድ መስመር የለም፣ ምክንያቱም ሙስናው የተከሰተው ማንኛውም ኮድ ከመጻፉ ወይም ማንኛውም ሞዴል ከመሰማራቱ ከረጅም ጊዜ በፊት በስልጠና ስብስብ፣ በጥሩ ሁኔታ በተስተካከለ የውሂብ ስብስብ ወይም በማውጫ ማውጫ ውስጥ ነው።

ለዚህም ነው በአሮጌ መሳሪያዎች አማካኝነት የ AI ዳታ መመረዝ በተለየ ሁኔታ ለመያዝ አስቸጋሪ የሆነው። SAST ስካነር ኮድ ያነባል። የጥገኝነት ስካነር የጥቅል መግለጫዎችን ያነባል። ሁለቱም ባለብዙ ጊጋባይት ስልጠና ኮርፐስ ወይም የተከተቱ ሰነዶችን የተሞላ የቬክተር ዳታቤዝ አያነብም፣ ይህም አስቀድሞ የተዘጋጀ ነውcisየ AI የመረጃ መመረዝ ጉዳቱን የሚያደርሰው እና ኃላፊነት በተሞላበት ሁኔታ ነው። ሌሎች ደግሞ በመጀመሪያ በአጥቂዎች ተገኝተው የጦር መሳሪያ የታጠቁ ሲሆን ይህም ከፍተኛ ጉዳት የሚያስከትል ሁኔታ ነው።

የውሂብ መመረዝ ጥቃቶች በትክክል እንዴት ይሰራሉ? #

የውሂብ መመረዝ ጥቃቶች በአጠቃላይ ከጥቂት ቅርጾች አንዱን ይይዛሉ፡

• የሥልጠና የውሂብ መመረዝ፦ አንድ አጥቂ አንድን ሞዴል ከባዶ ለማሰልጠን ወይም አሁን ያለውን ሞዴል በትክክል ለማስተካከል በሚያገለግለው የውሂብ ስብስብ ውስጥ የተዛባ፣ የተሳሳተ መለያ የተደረገበት ወይም ተንኮል አዘል ምሳሌዎችን ያስገባል፣ ይህም የተደበቀ አድልዎ ወይም የኋላ በር ባህሪ እንዲማር ያደርገዋል።
• መለያ ማዞርከላይ የተጠቀሰው ረቂቅ ስሪት ሲሆን፣ አንድ አጥቂ በትንሽ የሥልጠና ምሳሌዎች ንዑስ ስብስብ ላይ ያሉትን መለያዎች ብቻ የሚቀይር ሲሆን፣ ሞዴሉ ከምን ጋር ማያያዝ እንዳለበት የሚማረውን ነገር በጸጥታ የሚያዛባ ነው።
• RAG እና አውድ መመረዝ፦ በሪሶርስ-አጉሊ መነፅር ስርዓቶች ውስጥ፣ አንድ አጥቂ በእውቀት መሰረት ወይም በቬክተር ማከማቻ ውስጥ የተመረዙ ሰነዶችን ይተክላል፣ ሞዴሉ በሚሰራበት ጊዜ ያወጣል፣ ስለዚህ ሞዴሉ የውሸት ወይም የተዛባ መረጃን ልክ እንደ የተረጋገጠ እውነታ በልበ ሙሉነት ይደግማል።
• የኋላ በር ቀስቅሴዎች: አንድ አጥቂ አንድን አካትቷል በስልጠና መረጃ ውስጥ ልዩ ንድፍ ስለዚህ ሞዴሉ በሁሉም ሁኔታዎች ማለት ይቻላል በተለምዶ የሚሰራ ቢሆንም፣ የተደበቀ ቀስቅሴ ሐረግ ወይም ግብዓት በሚታይበት ጊዜ በአጥቂ የተመረጠ ውጤት ያስገኛል።
• የአቅርቦት ሰንሰለት መመረዝ: አንድ አጥቂ ይፋዊ ወይም የተጋራ የውሂብ ስብስብን አደጋ ላይ የሚጥል ከሆነ፣ አስቀድሞ የሰለጠነ የሞዴል የፍተሻ ነጥብ ወይም የመክተት pipeline ወደ ላይኛው ክፍል የሚወጣ እያንዳንዱ የታችኛው ቡድን የመጀመሪያውን ጥቃት ሳይነካ መርዙን ይወርሳል።

እነዚህን ሁሉ የውሂብ መመረዝ ጥቃቶች የሚያገናኘው የጊዜ ገደብ ነው። ጉዳቱ የሚፈጸመው ሞዴሉ ለእውነተኛ ተጠቃሚ መልስ ከመስጠቱ በፊት ነው፣ ለዚህም ነው “የኮድ መስመር ከመጻፉ በፊት” የሚለው ሐረግ ይህንን ስጋት የሚገልጸው ስለዚህ ቅድመ ሁኔታ ነው።cisኤሊ፡ ሞዴሉ የተጎዳው በመሰረቱ ላይ ነው፣ በውጤቱ ላይ አይደለም።

አጥቂዎች የ AI ሞዴልን ኮድ ከመጻፉ በፊት እንዴት ያበላሻሉ? #

ከላይ የተገለጸው እያንዳንዱ የውሂብ መመረዝ ጥቃት ተመሳሳይ የጊዜ ጥቅም አለው፡ ስምምነቱ የሚከሰተው አንድ ሞዴል ተጠቃሚው የሚያየውን አንድ ውጤት ከማመንጨቱ ከረጅም ጊዜ በፊት ነው። ለመጠገን ምንም ተጋላጭ ተግባር እና ተንኮል አዘል ተግባር የለም። commit በግምገማው ውስጥ ለማየት፣ ምክንያቱም ሞዴሉ እስካሁን ምንም ነገር ስላልጻፈ። የተማረው ብቻ ነው፣ እና የተማረው ቀድሞውኑ የተሳሳተ ነው።

ይህ የ AI የውሂብ መመረዝን ከጥቃት ተጋላጭነቶች በመሠረታዊነት የሚለየው የመተግበሪያ ደህንነት ቡድኖች ለማደን የሰለጠኑበት ነው። የኋላ በር ያለው ሞዴል በኮድ ልዩነት ውስጥ ካለው ንፁህ ሞዴል ጋር ተመሳሳይ ይመስላል። pull request ግምገማ። አንድ አጥቂ የተተከለው የተወሰነ ሁኔታ በምርት ላይ እስኪታይ ድረስ አብዛኛዎቹን ጥያቄዎች በትክክል ያጠናቅራል፣ ያሰማራል እና ይመልሳል። በዚያን ጊዜ ጥያቄው ከእንግዲህ “ይህንን ኮድ ምን አስተዋወቀ”፣ “ምን ውሂብ እንዳደረገ እና ምን ያህል ወደኋላ እንደሄደ” አይደለም።

የ AI ዳታ መመረዝ ለምን እያደገ የመጣ ቅድሚያ የሚሰጠው ጉዳይ ነው? #

የ AI የመረጃ መመረዝ ከአሁን በኋላ የቲዎሬቲካል ጉዳይ አይደለም። በይፋ እውቅና የተሰጠው እንደ LLM04፡ የውሂብ እና የሞዴል መመረዝ በ OWASP ከፍተኛ 10 የ LLM አፕሊኬሽኖች ውስጥ፣ ፈጣን መርፌ እና የአቅርቦት ሰንሰለት አደጋን እንደ ጀነሬተር AI ዘመን ካሉት ወሳኝ ስጋቶች አንዱ ሆኖ ተቀምጧል። ሶስት አዝማሚያዎች በእያንዳንዱ የደህንነት ቡድን ራዳር ላይ ከፍ አድርገው እየገፉ ነው፡

• ጉዳቱ እስኪነቃ ድረስ የማይታይ ነው። የተመረዘ ሞዴል እያንዳንዱን ተግባራዊ ፈተና ማለፍ እና ለወራት ፍጹም በሆነ መልኩ መስራት ይችላል፣ አንድ አጥቂ በመጨረሻ በምርት ላይ እስኪታይ ድረስ።

• የማምጣት-የጨመረ ትውልድ በሁሉም ቦታ አለ። አንድ ሞዴል ከሰነዶች፣ ከዊኪዎች፣ ከቲኬቶች ወይም ከቬክተር ዳታቤዝ የቀጥታ አውድ እንዲወጣ የሚያስችል ማንኛውም ስርዓት አዲስ፣ ያልተመረመረ የግቤት ወለል አለው፣ እና ያ ገጽ በትክክል የውሂብ መመረዝ ጥቃቶች የሚያነጣጥረው ነው።

• የውሂብ ስብስቦች አሁን የአቅርቦት ሰንሰለት ሀብቶች ናቸው። ቡድኖች ክፍት ምንጭ ፓኬጆችን በሚጎትቱበት መንገድ አስቀድመው የሰለጠኑ ሞዴሎችን፣ ኢሜዲንግ እና የህዝብ የውሂብ ስብስቦችን ከውጭ ምንጮች በመደበኛነት ይሳባሉ፣ እና ልክ እንደ ተበላሸ ፓኬጅ፣ የተበላሸ የውሂብ ስብስብ ጥቃቱን በጸጥታ ወደሚጠቀምበት እያንዳንዱ ቡድን ሊወስደው ይችላል።

የውሂብ መመረዝን መለየት እና መከላከል #

የውሂብ መመረዝ የሚከሰተው ከሞዴሉ ራሱ በላይ ስለሆነ፣ መከላከያው ከጅምሩ መጀመር አለበት፡

• ያልተለመዱ የውሂብ ምንጮችን ብቻ ሳይሆን ያልተለመዱ የኮድ ምንጮችን ይመልከቱ። የባህሪ እና ያልተለመደ ምርመራ መረጃው ወደሚገባበት ቦታ መሸጋገር አለበት pipeline፣ በማከማቻ ወሰን ላይ አያቆምም።

• በ ውስጥ ያለውን እያንዳንዱን የውሂብ ስብስብ ይወቁ pipeline. የማያውቁት የውሂብ ስብስብ ውስጥ የመርዝ አደጋን መመርመር አይችሉም። የሥልጠና፣ የግምገማ እና የውሂብ መልሶ ማግኛ ቀጣይነት ያለው ግኝት የመጀመሪያው የመከላከያ መስመር ነው።

• ከውሂብ ስብስብ ወደ ሞዴል እስከ ውጤት ድረስ ያለውን መስመር ይከታተሉ። አንድ የውሂብ ስብስብ ወደ ሞዴል የሚወስደውን መንገድ ካርታ ማድረግ፣ እና ከሞዴል ወደ ወኪል፣ የመጨረሻ ነጥብ ወይም የኮድ መሳሪያ የሚወስደውን መንገድ መቅረጽ፣ “መጥፎ ውጤት አግኝተናል” ወደ “የትኛው የውሂብ ስብስብ እንዳስጀመረው በትክክል እናውቃለን” የሚለው ነው።

• የሥልጠና ስብስቦችን ብቻ ሳይሆን የማግኛ ምንጮችን ይመርምሩ። በ RAG ስርዓቶች ውስጥ፣ የቬክተር ማከማቻ እና የእውቀት መሰረት ከስልጠና መረጃ ጋር ተመሳሳይ የሆነ የታማኝነት ፍተሻ ያስፈልጋቸዋል፣ ምክንያቱም የአውድ መመረዝ የሚከሰተው በጥያቄ ጊዜ እንጂ በስልጠና ጊዜ አይደለም።

Xygeni የውሂብ መመረዝ ክፍተትን ለመዝጋት የሚረዳው እንዴት ነው? #

የውሂብ መመረዝን መከላከል የሚጀምረው አብዛኛዎቹ ድርጅቶች በሌሏቸው ታይነት ነው። ዚጌኒ'የ AI ክምችት በ AI ዙሪያ ያሉትን ሁሉንም ሀብቶች ያለማቋረጥ ያገኛል SDLCከበስተጀርባ ያሉትን የውሂብ ስብስቦችን ጨምሮ፡ የሥልጠና መረጃዎች፣ የግምገማ ስብስቦች እና የRAG ወይም የማግኛ ምንጮችን ጨምሮ፣ እና ከውሂብ ስብስብ ወደ ሞዴል እስከ መጨረሻ ነጥብ የሚሄድ የቀጥታ ግንኙነት ግራፍ ያስቀምጣቸዋል። ወደ MCP አገልጋይ ወኪል ለማድረግ ወደ ኮድ መሳሪያ። ያ ግራፍ አጠራጣሪ የሞዴል ውጤትን ወደ መከታተል ወደሚቻል ጥያቄ የሚቀይረው ነው፡ የትኛው የውሂብ ስብስብ ይህንን ይመግበዋል፣ እና ከየት ነው የመጣው።

ከዚያ ክምችት በተጨማሪ፣ የXygeni's የአይአይ ደህንነት ቬክተርን እና ድክመቶችን በመክተት ያገኛል፣ ይህም በመልሶ ማግኛ እና RAG ውስጥ የተመረዘ አውድ ያካትታል pipelineዎች፣ ከ ጋር የተጣጣመ ለኤልኤልኤም አፕሊኬሽኖች ከፍተኛ 10 የ OWASP። የአንድ ሞዴል የሥልጠና እና የማግኛ ምንጮች ንፁህ መሆናቸውን ከማመን ይልቅ፣ Xygeni እነሱን እንደ የጥቃት ወለል አካል አድርጎ ይመለከታቸዋል፣ ልክ እንደ ኮድ፣ ጥገኝነቶች እና ቀድሞውንም እንደሚያስተናግድ። pipelineዎች. በአሁኑ ጊዜ "ይህን ሞዴል ምን አይነት መረጃ እንዳሰለጠነው እና ማረጋገጥ እንችላለን" ብለው መመለስ ካልቻሉ፣ የ AI የመረጃ መመረዝ ክስተት ጥያቄውን ከማስገደዱ በፊት መዝጋት የሚገባው ትክክለኛ ክፍተት ይህ ነው።

በየጥ #