የAI ሬድ ቲሚንግ ማለት እውነተኛ ተቃዋሚ ከመምጣቱ በፊት እንዴት መጥፎ ባህሪ እንዲኖረው ማድረግ እንደሚቻል ለማወቅ እንደ LLM አፕሊኬሽን ወይም የAI ወኪል ያሉ የAI ስርዓቶችን ሆን ተብሎ የማጥቃት ልማድ ነው።
- የሚፈትነው ነገር፡ ባህሪ፣ ኮድ ብቻ አይደለም። ፈጣን መርፌ፣ የ jailbreaks፣ የውሂብ መፍሰስ፣ ደህንነቱ ያልተጠበቀ የመሳሪያ አጠቃቀም እና ጎጂ ውጤት።
- ከፔንቴስቲንግ እንዴት እንደሚለይ፡ ኢላማው ፕሮባቢሊቲክ ነው። ተመሳሳዩ ግብዓት የተለያዩ ውጤቶችን ሊያመጣ ይችላል፣ ስለዚህ ሙከራው ተደጋጋሚ እና ስታቲስቲካዊ ነው።
- የማጣቀሻ ዘዴ፡ የOWASP GenAI Red Teaming Guide፣ በጥር 2025 የታተመ።
- ገደቡ፦ በሚሮጥ ስርዓት ውስጥ ጥቅም ላይ ሊውል የሚችል ነገር ያገኛል። በኮድ ቤዝዎ ውስጥ ምን አይነት AI እንዳለ አይነግርዎትም፣ ወይም ጥቃቱን ያስቻለውን ውቅር አያስተካክልም።
የAI ቀይ ቲሚንግ ምንድን ነው? ፍቺው #
ባህላዊ ሶፍትዌር በሚገመቱ መንገዶች ይወድቃል። አንድን ተግባር ሁለት ጊዜ ተመሳሳይ ግብዓት ይስጡት እና ተመሳሳይ ውጤት ያገኛሉ፣ ስለዚህ ሊሞክሩት፣ ሊያስተካክሉት እና መቀጠል ይችላሉ። ትላልቅ የቋንቋ ሞዴሎች እንደዚያ አይሰሩም። ለተፈጥሮ ቋንቋ ምላሽ ይሰጣሉ፣ ሊሳመኑ ይችላሉ፣ እና በድረ-ገጽ ወይም በሰነድ ውስጥ የተደበቀ መመሪያ የሚያደርጉትን ሊለውጥ ይችላል።
የAI ቀይ የቡድን ስራ የሚሞላው ክፍተት ይህ ነው። ቀይ ቡድን የተቃዋሚውን አመለካከት ወስዶ የAI ስርዓቱ የማይገባውን ነገር እንዲያደርግ ለማድረግ ይሞክራል፡ የስርዓት ጥያቄውን ይፋ ማድረግ፣ የደንበኛ መረጃን ማውጣት፣ ፈጽሞ ሊጠራው ያልታሰበውን መሳሪያ መጥራት ወይም ችላ ማለት guardrails ገንቢዎቹ እንደጻፉት ነው። እያንዳንዱ የተሳካ ጥቃት የምህንድስና ቡድኑ እርምጃ ሊወስድበት የሚችልበት ግኝት ይሆናል።
የ የ OWASP GenAI ቀይ የቡድን መመሪያ የ AI ቀይ ቡድንን እንደ ሆሊስቲክ ኤክስፐርትcisኢ በአራት ዘርፎች፡ የሞዴል ግምገማ፣ የትግበራ ሙከራ፣ የመሠረተ ልማት ግምገማ እና የሩጫ ጊዜ ባህሪ ትንተና። በሌላ አነጋገር፣ ቻትቦትን ማታለል ብቻ አይደለም። ሞዴሉ የሚቀመጥበትን ስርዓት በሙሉ ይሸፍናል።
የAI ቀይ ቲሚንግ እንዴት እንደሚሰራ #
የተለመደው የ AI ቀይ የቡድን ተሳትፎ አምስት ደረጃዎችን ይከተላል።
1. ስርዓቱን ወሰን ያድርጉ #
እየተሞከረ ያለውን ነገር ይግለጹ፡- ደንበኛን የሚመለከት ረዳት፣ ውስጣዊ ተባባሪ አብራሪ፣ ኢሜይል ወይም የውሂብ ጎታ የማግኘት መብት ያለው ራሱን የቻለ ወኪል። ወሰን ጉዳይን የሚጎዳ ነው። የድጋፍ ቦት የገንዘብ ተመላሽ ፖሊሲን የሚያፈስስ ችግር ነው፤ ወኪል የምስክር ወረቀቶችን የሚያፈስስ ክስተት ነው።
2. የስጋት ሞዴል ያድርጉት #
የጥቃቱን ወለል ካርታ ያሳዩ፡ የተጠቃሚ ግብዓቶች፣ የተገኙ ሰነዶች፣ የተገናኙ መሳሪያዎች፣ የMCP አገልጋዮች፣ ማህደረ ትውስታ እና ስርዓቱ የሚጠቀምባቸውን ማንነቶች። እንደ ማዕቀፎች ሚትር አትላስ በ AI ስርዓቶች ላይ እውነተኛ የተቃዋሚ ቴክኒኮችን መዘርዘር እና ቡድኖች ግልጽ የሆኑትን ብቻ ከመሞከር እንዲቆጠቡ ያግዛሉ።
3. ጥቃት #
የቀይ ቡድን አባላት በእጅ ፈጠራን ከአውቶሜትድ ምርመራ ጋር ያጣምራሉ። የተለመዱ ቴክኒኮች የሚከተሉትን ያካትታሉ፡
- ቀጥተኛ ፈጣን መርፌ፡ የስርዓት ጥያቄውን ለመሻር መመሪያዎቹ በቀጥታ ወደ ግብዓቱ ተይበዋል።
- ቀጥተኛ ያልሆነ ፈጣን መርፌ፡ እንደ ፋይል፣ ኢሜይል ወይም ድረ-ገጽ ያሉ ሞዴሉ በኋላ ላይ የሚያነበው ይዘት ውስጥ የተተከሉ መመሪያዎች።
- የጃይሊንግ ስራ፡ የደህንነት ደንቦችን ለማለፍ የሚና ጨዋታ፣ ኢንኮዲንግ ወይም ባለብዙ ዙር ማሳመን።
- የውሂብ ማውጣት፡ ሞዴሉን የሥልጠና ውሂብ፣ የስርዓት ጥያቄዎች ወይም የሌሎች ተጠቃሚዎችን መረጃ እንዲገልጽ ማባበል።
- የመሳሪያ እና የወኪል አላግባብ መጠቀም፡ አንድን ወኪል ጎጂ መለኪያዎች ያላቸውን የጥሪ መሳሪያዎች እንዲጠቀም ወይም የራሱን ፈቃዶች እንዲያሰፋ ማድረግ።
4. ይለኩ #
ሞዴሎች የተወሰነ ውጤት ስለሌላቸው፣ አንድ ስኬት ትንሽ ሲሆን አንድ ውድቀት ደግሞ ያነሰ ይሆናል። የጎለመሱ ቡድኖች እያንዳንዱን ጥቃት ብዙ ጊዜ ያካሂዳሉ እና የስኬት መጠኖችን ሪፖርት ያደርጋሉ፣ ታሪኮችን ሳይሆን።
5. ያስተካክሉ እና እንደገና ይሞክሩ #
ግኝቶቹ ወደ ምህንድስና ይመለሳሉ፡ የስርዓት ጥያቄውን ማጠንከር፣ የግቤት ወይም የውጤት መከላከያ መደገፊያ ማከል፣ የወኪሉን ፈቃዶች መቀነስ፣ መሳሪያ ማስወገድ። ከዚያም ሙከራው እንደገና ይሰራል፣ ምክንያቱም ለአንድ ሀረግ ማስተካከያ የሚደረገው ማስተካከያ የሚቀጥለውን አይሸፍንም።
የAI ሬድ ቲሚንግ ከፔኔትሬሽን ሙከራ ጋር #
ሁለቱም የአስተሳሰብ ልዩነት አላቸው ነገር ግን የተለያዩ ነገሮችን ይፈትናሉ።
| ስፉት | የቁርጭምጭሚት ሙከራ | AI ቀይ ጥምረት |
|---|---|---|
| ዓላማ | መሠረተ ልማት፣ አፕሊኬሽኖች፣ ኤፒአይዎች | የሞዴል ባህሪ እና በዙሪያው ያለው ስርዓት |
| የጥቃት ግብዓት | ብዝበዛዎች፣ የክፍያ ጭነቶች፣ የተበላሹ ጥያቄዎች | ተፈጥሯዊ ቋንቋ፣ ሰነዶች፣ ባለብዙ ዙር ውይይቶች |
| ውጤቶች | ቆራጥነት፡- ብዝበዛው ይሰራል ወይስ አይሰራም | ፕሮባቢሊስቲክ፡ በብዙ ሙከራዎች ውስጥ የስኬት መጠን |
| የተለመዱ ግኝቶች | የመርፌ ጉድለቶች፣ የተሳሳቱ ውቅሮች፣ ደካማ ፈቃድ | ፈጣን መርፌ፣ የ jailbreaks፣ የውሂብ መፍሰስ፣ ከመጠን በላይ ወኪልነት |
| ክህሎት | የጥቃት ደህንነት | የጥቃት ደህንነት እና የኤምኤልኤል እና የቋንቋ ሊንጉሳዊነት |
የተሟላ ፕሮግራም ሁለቱንም ይፈልጋል። የLLM መተግበሪያ አሁንም ፔንቴስት ሊሸፍናቸው በሚገቡ ሰርቨሮች እና ኤፒአይዎች ላይ ይሰራል፣ እና ንጹህ ፔንቴስት ሞዴሉ ወደ ፈሳሽ መረጃ ሊተላለፍ ስለመቻሉ ምንም አይናገርም።
የAI ሬድ ቲሚንግ አሁን ለምን አስፈላጊ ነው? #
ሶስት ኃይሎች ከምርምር ላቦራቶሪዎች የAI ቀይ ቡድንን ወደ ተራ የደህንነት ፕሮግራሞች እየገፉ ነው።
- AI ከግምገማው በበለጠ ፍጥነት እየተላከ ነው። ገንቢዎች በየሳምንቱ ሞዴሎችን፣ የወኪል ማዕቀፎችን እና የMCP አገልጋዮችን ወደ መተግበሪያዎች ያክላሉ፣ ብዙ ጊዜ የደህንነት ግምገማ ሳይኖር። እያንዳንዳቸው የማይታመን ጽሑፍ ሊሰራ የሚችል አካል ለመድረስ አዲስ መንገድ ናቸው።
- ወኪሎች አክሲዮኖችን ያነሳሉ። መጥፎ ባህሪ የሚያሳይ ቻትቦት መጥፎ ጽሑፍ ያመነጫል። መጥፎ ባህሪ የሚያሳይ ወኪል በድርጅትዎ ማንነት ስር ኢሜይል ይልካል፣ መዝገቦችን ያርትዑ ወይም ኮድ ያስኬዳል።
- ተቆጣጣሪዎች የተቃዋሚ ሙከራን ይጠብቃሉ። የ የአውሮፓ ህብረት AI ህግ የተቃውሞ ሙከራን ለማከናወን እና ለመመዝገብ ስልታዊ አደጋ ያለባቸውን አጠቃላይ ዓላማ ያላቸው የAI ሞዴሎችን አቅራቢዎች ይጠይቃል። አብዛኛዎቹ የAI አገልግሎት የሚያሰማሩ ድርጅቶች የሞዴል አቅራቢዎች አይደሉም፣ ስለዚህ ግዴታው በቀጥታ በእነሱ ላይ አይተገበርም፣ ነገር ግን ከባድ የAI አገልግሎት ማሰማራቶች በዚህ መንገድ እንዲሞከሩ ይጠበቃል።
የAI ቀይ ቡድን ገደቦች #
የAI ቀይ ቡድን ኃይለኛ ነው፣ እና ዘግይቷል። አስቀድሞ የተገነባ እና የሚሰራ ስርዓትን ይፈትሻል፣ ይህም ሶስት ክፍተቶችን ይተዋል።
የሚፈትነው የምታውቀውን ብቻ ነው። ማንም ያልገለጸውን ወኪል ማባረር አይችሉም። አንድ ገንቢ ባለፈው ወር የኤምሲፒ አገልጋይን ወደ ማከማቻ ካገናኘ፣ አንድ ሰው እስኪያገኘው ድረስ ከእያንዳንዱ ተሳትፎ ወሰን ውጭ ነው።
ምልክቱን ያገኛል፣ መንስኤውን አይደለም። ስኬታማ የሆነ መርፌ ብዙውን ጊዜ በኮድ ወይም ውቅር ውስጥ ካለ ነገር ጋር ይገናኛል፡- ያልታመነ ይዘት ከስርዓት ፕሮምፕል ጋር የተጣመረ፣ ምንም አይነት መከላከያ የሌለው የማግኛ ገንዳ፣ ከሚያስፈልገው በላይ መሳሪያዎች የተሰጠው ወኪል። ቀይ ቡድኑ ጥቃቱ እንደሚሰራ ያረጋግጣል፤ አንድ ሰው አሁንም የፈቀደለትን መስመር ማግኘት አለበት።
በየጊዜው የሚከናወን ነው። ተሳትፎዎች የሚከናወኑት በየሩብ ዓመቱ ወይም ከጅምሩ በፊት ነው። የኮድ ቤዝ በየቀኑ ይለወጣል።
ለዚህም ነው የጎለመሱ ቡድኖች በህይወት ዑደት ውስጥ ቀደም ብለው ከቁጥጥሮች ጋር የ AI ቀይ ቡድንን የሚያጣምሩት፡ በኮድቤዝ ውስጥ ያለውን የእያንዳንዱን የ AI ንብረት ዝርዝር እና አደገኛ የ AI ውቅርን በወቅቱ መለየት commitቴድ፣ ስለዚህ የቀይ ቡድኑ ጊዜውን ሊወገዱ የሚችሉ ችግሮችን እንደገና ከማግኘት ይልቅ በከባድ ችግሮች ላይ ያሳልፋል።
ቀይ ቡድኑ ከመምጣቱ በፊት፡ ከ AIዎ በስተጀርባ ያለውን ኮድ መጠበቅ #
የAI ሬድ ቲሚንግ አንድ የAI ስርዓት ሲሰራ ምን እንደሚያደርግ ይፈትሻል። Xygeni ቀደም ብሎ ይሰራል፣ AI በመጀመሪያ ምን ማድረግ እንዳለበት የሚወስኑትን ኮድ እና ውቅር ላይ ይሰራል።
የኤጂኔ አይአይ ደህንነት ሞዴሎችን፣ ወኪሎችን፣ የMCP አገልጋዮችን፣ ክህሎቶችን፣ ጥያቄዎችን እና ሌሎችንም ጨምሮ በማከማቻ ማከማቻዎችዎ ውስጥ ያሉ የAI ሀብቶችን ያገኛል guardrailsከኮዱ እና የውቅር ፋይሎች የ AI መሳሪያዎች ስለሚተዉት ምንም ነገር ገንቢዎች እነሱን በማወጃቸው ላይ የተመሰረተ አይደለም። ከዚያም በዚያ ኮድ እና ውቅር ውስጥ ፈጣን-መርፌ-ክፍል አደጋዎችን ያገኛል፣ ለ LLM አፕሊኬሽኖች ከ OWASP ከፍተኛ 10 ጋር የተሳሰረ እና ወደ ትክክለኛው ፋይል እና መስመር ይጠቁማል። ውጤቱ፡ ለቀይ ቡድንዎ የተሟላ ወሰን እና በሚደርሱበት ጊዜ ጥቂት ሊወገዱ የሚችሉ ግኝቶች።
አንድ ማሳያ ፕሮግራም ያውጡ የራስዎን የኮድቤዝ የAI ክምችት ለማየት።
በየጥ #
የAI ቀይ ቡድን ማለት የራስዎን የAI ስርዓት ሆን ብሎ ማጥቃት ማለት ነው፣ ልክ እውነተኛ ጠላት እንደሚያደርገው፣ መረጃን ወደ መፍሰስ፣ ደንቦቹን ችላ ለማለት ወይም አደገኛ እርምጃዎችን ለመውሰድ እንዴት እንደሚታለል ለማወቅ። ከዚያም ግኝቶቹ አጥቂዎች ከማገኟቸው በፊት ይስተካከላሉ።
በአብዛኛው። የኤልኤልኤም ቀይ ቲምኒንግ በቋንቋ ሞዴሎች እና በእነሱ ላይ በተገነቡ አፕሊኬሽኖች ላይ ያተኩራል። የኤአይአይ ቀይ ቲምኒንግ ሰፋ ያለ ቃል ሲሆን ወኪሎችን፣ ባለብዙ ሞዳል ሞዴሎችን እና እንደ ምስል ክላሲፋየሮች ወይም የማጭበርበር ሞዴሎች ያሉ ክላሲካል የማሽን መማሪያ ስርዓቶችን ይሸፍናል።
በከፊል። አውቶማቲክ መሳሪያዎች በሺዎች የሚቆጠሩ የሚታወቁ የጥቃት ቅጦችን ማስኬድ እና የስኬት መጠኖችን መለካት ይችላሉ፣ ይህም ለሪግሬሽን ሙከራ አስፈላጊ ነው። አዳዲስ ጥቃቶች አሁንም ከሰው ልጅ የፈጠራ ችሎታ የመጡ ናቸው፣ ስለዚህ አብዛኛዎቹ ፕሮግራሞች ሁለቱንም ያጣምራሉ።
በአብዛኛዎቹ ድርጅቶች ውስጥ ከመተግበሪያ ደህንነት ወይም ከጥቃት ደህንነት ቡድን ጋር ተቀምጦ የ AI ባህሪያትን ከሚገነቡ መሐንዲሶች ጋር ይሰራል። ይህ ለአዲስ ዓይነት ሶፍትዌር የሚተገበር የደህንነት ልምምድ ነው፣ የተለየ የ AI ተግባር አይደለም።
