TL; DR
የAI ቀይ የቡድን መሳሪያዎች ሞዴሉን በመጨረሻው ነጥብ ያጠቃሉ፡- jailbreaks፣ ፈጣን መርፌ፣ የውሂብ ማውጣት፣ ደህንነቱ ያልተጠበቀ ውጤት። እነሱ በዚህ ጎበዝ ናቸው፣ እና ክፍት ምንጭ ክምችት በእውነት የበሰለ ነው። ማየት የማይችሉት ነገር የተሳካ ጥቃት ምን ያህል ርቀት እንደሚጓዝ የሚወስነው ንብርብር ነው።
- የመሳሪያዎቹ ባህሪ ይገመግማሉ። የተቃዋሚ ግብዓት ይላኩ፣ ምላሹን ይመዝግቡ፣ ይድገሙት። "ይህ ሞዴል ሊናገር የማይገባውን ነገር ሊናገር ይችላል?" የሚሉት መልሶች
- የፍንዳታው ራዲየስ በሌላ ቦታ ይኖራል። በችሎታ ፋይሉ ውስጥ፣ የደንቦች ፋይል፣ የMCP አገልጋይ ውቅር፣ የመሳሪያ ወሰን እና ወኪሉ የሚያሄድበት ማረጋገጫ። ከእነዚህ ውስጥ አንዳቸውም ከመጨረሻው ነጥብ ሊደረስባቸው አይችሉም።
- ንጹህ ቀይ የቡድን ሪፖርት እና ከልክ በላይ መብት ያለው ወኪል በምቾት አብረው ይኖራሉ። ሞዴሉ ፈቃደኛ አልሆነም። ወኪሉ እስካሁን ድረስ የማያስፈልገው የመጻፍ መዳረሻ ነበረው።
- ሁለቱንም አሂድ። የባህሪ፣ የንብረት እና የውቅር ትንተናን ለማግኘት የAI ቀይ ቡድን። ሁለተኛው ደግሞ አብዛኛዎቹ ቡድኖች ያልጀመሩት ግማሽ ነው።
የAI ሬድ ቲሚንግ አማራጭ መሆን ያቆመው ለምንድን ነው?
ከሁለት ዓመት በፊት፣ የቋንቋ ሞዴልን የሚቃረን ሙከራ የምርምር እንቅስቃሴ ነበር። በ2026፣ የመልቀቂያ በር ነው።
የማስገደድ ተግባሩ ልክ እንደ ቴክኒካዊ ደንብ ነው፡ የአውሮፓ ህብረት የአዕምሮ ህክምና ህግ ለከፍተኛ ተጋላጭነት ላላቸው የአዕምሮ ህክምና ስርዓቶች የአደጋ አስተዳደር ስርዓት ውስጥ የተቃዋሚ ሙከራን ይጠብቃል፣ ይህም ቀይ የቡድን ስራን ከጥሩ ልምምድ ወደ አንድ ሰው ማምጣት ያለበት ማስረጃ ይለውጠዋል። እና የመሳሪያዎቹ ስራ በፍጥነት እንዲሳካለት አድርጓል። ክፍት ምንጭ ቁልል አሁን አንድ የጥቃት አማካሪ ከሁለት አመት በፊት ያስከፈለውን አብዛኛውን ስራ ይሰራል።
ችግሩ የAI ቀይ የቡድን መሳሪያዎች ደካማ መሆናቸው አይደለም። ምድቡ አንድን ጥያቄ በደንብ የሚመልስ ሲሆን ቡድኖቹ ደግሞ ያልነካውን ሁለተኛ ጥያቄ እንደመለሰላቸው ያስባሉ።
የ AI ቀይ ቡድን መሳሪያዎች በእርግጥ ምንድናቸው?
መልክዓ ምድሩ በእውነቱ ተግባራዊ በሚሆኑ ጥቂት ፕሮጀክቶች ዙሪያ ተጠናክሯል።
| መሣሪያ | ቅርጽ | ምርጥ በ |
|---|---|---|
| ጋራክ (NVIDIA፣ Apache 2.0) | የትዕዛዝ መስመር ተጋላጭነት ስካነር፣ ከ120 በላይ የምርመራ ሞጁሎች | ሰፊ የዳሰሳ ሽፋን ከተተገበረው የሞዴል የመጨረሻ ነጥብ ጋር |
| ፒራይት (ማይክሮሶፍት፣ ሚቲ) | የፓይዘን ኦርኬስትራሽን ማዕቀፍ፣ ባለብዙ-ተርን | እውነተኛ ውይይትን የሚያንፀባርቁ ብጁ አዳፕቲቭ የጥቃት ሰንሰለቶች |
| ፕሮምፕትፉ (MIT፣ በመጋቢት 2026 በኦፕንአይ የተገኘ) | ውቅር-የመጀመሪያ ግምገማ እና የቀይ-ቡድን ማሰሪያ | በCI-የተቀናጀ የሪግሬሽን ሙከራ፣ ከ OWASP LLM ከፍተኛ 10 ቅድመ-ቅምጥ ጋር |
| ዲፕቲም (ኮፊደንት ኤአይ፣ አፓቼ 2.0) | የፓይቶን የሙከራ ማዕቀፍ | በጣም ቀላሉ የOWASP LLM ከፍተኛ 10 ካርታ ስራ |
| የንግድ መድረኮች | የሚተዳደሩ፣ ቀጣይነት ያላቸው ዘመቻዎች | ለኦዲተሮች ተገዢነትን ለማረጋገጥ ዝግጁ የሆነ ሪፖርት በማድረግ የጊዜ ሰሌዳ የተያዘለት ሙከራ |
ምክንያታዊ የስራ ማዋቀር፡ በአንድ የመልቀቂያ ቅርንጫፍ አንድ ሰፊ ቅኝት፣ በእያንዳንዱ ላይ ቀላል ስብስብ pull requestእና በየጊዜው አዳዲስ የጥቃት ማመንጫዎችን ያለማቋረጥ ከመፍጠር ይልቅ። ከጊዜ ወደ ጊዜ የወደቁ የምርመራዎችን ብዛት ይከታተሉ። መውደቅ ካቆመ፣ አንድ ሰው ወደ ኋላ ተመልሶ መምጣቱን ላከ እና ማንም አላስተዋለም፣ እና ይህ ራሱ ግኝቱ ነው።
ክፍተቱ፡ ባህሪ ፍንዳታ ራዲየስ አይደለም
እነዚህ መሳሪያዎች የሚያመሳስላቸው ነገር ይኸውና። ተጠቃሚው በሚያደርገው መንገድ ከስርዓቱ ጋር ይገናኛሉ፣ እስከ መጨረሻው ነጥብ ድረስ፣ እና የሚመለሰውን ውጤት ያስመዘግባሉ።
ይህ ባህሪን ለመፈተሽ በትክክል ትክክል ነው። ለመድረስ መዋቅራዊ በሆነ መልኩ ዕውር ነው።
ምን እንደሆነ አስቡበት ወኪል በእውነቱ ነው። ሞዴል፣ ሊጠራው የሚችል የመሳሪያዎች ስብስብ፣ እንዲሁም በውስጡ የሚሰራው ማንነት፣ እንዲሁም የሚቀጥል ማህደረ ትውስታ፣ እንዲሁም ምን ማድረግ እንዳለበት እና ምን ሊነካው እንደሚችል የሚነግሩት የውቅር ፋይሎች። የAI red teaming exercisecisከእነዚህ ውስጥ የመጀመሪያው ነው። ሌሎቹ አራቱ በማከማቻ ውስጥ የተቀመጡ ግልጽ ጽሑፍ ናቸው፣ እና ፈጣን መርፌ ከተሳካ በኋላ ምን እንደሚፈጠር ይወስናሉ።
አንድ ጥሩ ምሳሌ። የቀይ ቡድንዎ ስብስብ በኮድ ረዳት ላይ አንድ ሺህ መርፌ ጭነቶችን ያነሳል። ሞዴሉ ተጠብቆ ቆይቷል። ሪፖርቱ ሙሉ በሙሉ ተመልሷል። ይህ በእንዲህ እንዳለ፣ በተመሳሳይ ማከማቻ ውስጥ፡
- የደንቦች ፋይል ረዳቱ ማንም ያላረጋገጠውን ውስጣዊ የጥቅል መዝገብ እንዲመርጥ ያዛል። ሚትር አትላስ ይህንን ንድፍ እንደ እውነተኛ የጉዳይ ጥናት ይመዘግባል፣ እንደ መላምታዊ አይደለም።
- የኤምሲፒ አገልጋይ ውቅር ከተግባሩ ፍላጎት በላይ ለመሣሪያው ሰፊ የፋይል ስርዓት መዳረሻ ይሰጣል፣ ምክንያቱም ይህ እንዲሰራ ለማድረግ ፈጣኑ መንገድ ነበር።
- አንድ ወኪል በተጋራ የአገልግሎት መለያ ስር ይሰራል፣ ስለዚህ የኦዲት ምዝግብ ማስታወሻው የትኛው ወኪል እርምጃውን ከመረጠ ይልቅ ሂሳቡን ይመዘግባል።
- የ AI አቅራቢ ማረጋገጫ በተጠቀሰው ፈጣን ፋይል ውስጥ ይቀመጣል commitእንደ ሰነድ ተወዷል።
ከእነዚህ አራቱ ውስጥ አንዳቸውም የሞዴል ባህሪ አይደሉም። አንዳቸውም በመጨረሻ ነጥብ በኩል ሊደረስባቸው አይችሉም። አራቱም የተሳካ ጥቃት የሚደርሰውን ይለውጣሉ፣ እና ፍጹም የሆነ የቀይ ቡድን ውጤት ስለ አንዳቸውም ምንም አይናገርም።
ይህ ተቃራኒ ንባብ አይደለም። የማይክሮሶፍት የራሱ የቀይ ቡድን ዘገባ 100 የጄኔሬተር AI ምርቶች ከሙከራ ሞዴሎች ወደ የስርዓት ደረጃ የጥቃት ማስመሰል የሚደረገውን ሽግግር ይገልጻል፣ ቅድመcisምክንያቱም አስፈላጊ የሆኑት ድክመቶች በሞዴሉ ውስጥ ብቻ አልነበሩም። ለሥራው በጣም ቅርብ የሆኑት ባለሙያዎች ተመሳሳይ መደምደሚያ ላይ ደርሰዋል።
ለዚህም ነው የAI ሬድ ቲምቢንግ ሐቀኛ ማዕቀፍ "በቂ ነው?" ሳይሆን "ሌላኛው ግማሽ ምንድን ነው" የሚለው።
የAI ቀይ ቲሚንግ፣ ፔንትቴስቲንግ እና ውቅር ትንተና
በሻጭ ቁሳቁስ ውስጥ በተደጋጋሚ የሚዋሃዱ ሶስት የትምህርት ዘርፎች እና አንድ ገዢ እነዚህን የሚያጣምር ከሆነ ከሦስቱ ሁለቱ እና ዓይነ ስውር ይሆናሉ።
የመጨረሻውን ረድፍ ያንብቡ። የእያንዳንዱ ዲሲፕሊን ዓይነ ስውርነት የሌላኛው ሙሉ ርዕሰ ጉዳይ ነው፣ ለዚህም ነው አንዱን መምረጥ እና የ AI ደህንነት ብሎ መጥራት የተለመደ ውድቀት የሆነው።
የ AI ቀይ የቡድን መሳሪያዎችን እንዴት መገምገም እንደሚቻል
አንዱን እየመረጡ ከሆነ፣ እነዚህ ከሙከራ ማሳያ የሚተርፉ ጥያቄዎች ናቸው።
የመጀመሪያው መስፈርት የአሁኑ ትውልድ በጣም ቀጭን የሆነበት ቦታ ነው። የሞዴል ደረጃ ስካነሮች የተገነቡት አስደሳች ኢላማ ቻትቦት ሲሆን፣ የወኪል ሽፋን ደግሞ በክፍት ምንጭ መሳሪያዎች ውስጥ የታወቀ ክፍተት ነው።
ከ AI Red Teaming ጋር ምን እንደሚሄድ
የቀይ ቲምቢንግ ባህሪን ከውጭ የሚፈትሽ ከሆነ፣ ተጓዳኝ ስራው የሚጀምረው ውቅሩ በሚኖርበት ማከማቻ ውስጥ ነው።
- መጀመሪያ ግኝት፣ ምክንያቱም ያላገኙትን መሞከር ስለማይችሉ። የኤጂኔ አይአይ ደህንነት በማከማቻዎችዎ ውስጥ ያሉትን እያንዳንዱን የ AI ሀብቶች ያለማቋረጥ ያገኛል፡ ሞዴሎች፣ ማዕቀፎች፣ የውሂብ ስብስቦች፣ የግምታዊ መጨረሻ ነጥቦች፣ ወኪሎች፣ የMCP አገልጋዮች፣ የክህሎት ፋይሎች፣ ጥያቄዎች፣ guardrailsእና ገንቢዎችዎ በእውነቱ የሚጠቀሙባቸው የAI ኮድ ማድረጊያ መሳሪያዎች። ከዳሰሳ ጥናት ወይም ከራስ ሪፖርት ከተደረገ መዝገብ አይደለም፣ ነገር ግን እነዚያ መሳሪያዎች በኮዱ ውስጥ ከሚተዉት ነገር ነው። የAI ክምችት፣ የAI-BOM እና ቁርጥራጮቹ እንዴት እንደሚገናኙ የሚያሳይ ግራፍ ያዘጋጃል፣ ይህም አስፈላጊው ክፍል ነው፣ ምክንያቱም አደጋ ብዙውን ጊዜ በማንኛውም ነጠላ ንብረት ውስጥ ሳይሆን በሽቦው ውስጥ ይኖራል።
- ከዚያም ቀይ ቲምሚንግ ሊደርስበት በማይችልበት ቦታ መለየት። ጥያቄዎች በኮድ ውስጥ እንዴት እንደሚገነቡ ፈጣን የመርፌ አደጋ፣ ግኝቶች ለ OWASP LLM ምድብ እና ከሚዛመዱት ቀይ የቡድን ቬክተር ጋር መለያ የተደረገባቸው፣ ትክክለኛውን ፋይል እና መስመር የሚያመለክቱ። የ AI አቅራቢ ማረጋገጫዎች በጥያቄ ፋይሎች እና በተወካይ ውቅር ውስጥ ይቀራሉ፣ ዋና ዋና የሞዴል አቅራቢዎችን የሚሸፍኑ፣ የፈሰሰ የሞዴል ቁልፍ እንደሌሎች ሚስጥር ስለሆነ እና በአሁኑ ጊዜ በ ውስጥ ስለሚገኝ። ማንም ሰው የሚገመግም ፋይል የለም።
- እና አንድ ወረፋ፣ አራተኛው አይደለም። ግኝቶች በተመሳሳይ የአደጋ ሞዴል ውስጥ እና እንደ ኮድዎ፣ ጥገኝነትዎ እና ተመሳሳይ ቅድሚያ የሚሰጣቸው ነገሮች ውስጥ ይገባሉ pipeline ግኝቶች፣ እርስዎ የማይተኩዋቸውን ስካነሮች ጨምሮ። ገለልተኛ የAI ቀይ የቡድን መሳሪያዎች በራሳቸው ኮንሶል ውስጥ እጅግ በጣም ጥሩ ውጤት ያስገኛሉ። የተለየ ኮንሶል ሌላ ማንም የማያገኘውን ተከታታይ ሰልፍ ያሳያል።
የሰራተኛ ክፍፍል ንፁህ ነው። የAI ቀይ ቡድን ሞዴሉ በጥቃት ስር እንዴት እንደሚሰራ ያረጋግጣል። የንብረት እና የውቅር ትንተና አንድ ጥቃት ምን እንደሚደርስ ያረጋግጣል። አንዳቸውም ሌላውን አይተኩም፣ እና ሁሉም ማለት ይቻላል በመጀመሪያው ጀምረዋል።
ማዕቀፎች እና ተቆጣጣሪዎች የሚቀመጡበት ቦታ
የተቃዋሚዎች ሙከራ ከጥሩ ልምምድ ወደ የሚጠበቀው ማስረጃ ተሸጋግሯል፣ ምንም እንኳን የቃላት አጠቃቀሙ ሻጮች ከሚያምኑት በላይ አስፈላጊ ቢሆንም።
- NIST AI RMF እና የጄኔሬቲቭ AI መገለጫው የ AI አደጋን ለመቆጣጠር እንደ ተቃዋሚ ሙከራን ያበረታቱ። የቀይ ቡድን ቡድን አስፈላጊ ቁጥጥር ተብሎ አልተሰየመም፣ እና እንደ ፈጣን መርፌ ያሉ ስጋቶች የመቋቋም ችሎታ መመሪያ ስር ይገኛሉ።
- የአውሮፓ ህብረት የአይቲ ህግ የገበያ ልቀት ከመደረጉ በፊት ለአደጋ ተጋላጭነት ስርዓቶች የተቃውሞ ሙከራን ጨምሮ የሞዴል ግምገማን ይጠብቃል። መሳሪያን፣ አቅራቢን ወይም የሪፖርት ቅርጸትን አያዝዝም።
- ለኤልኤልኤም አፕሊኬሽኖች ከፍተኛ 10 የ OWASP የተጋራውን የቃላት ዝርዝር ያቀርባል። LLM01 የሚል መለያ የተደረገበት ግኝት ለተከላካዩ ሊተገበር የሚችል ነው። “ሞዴሉ መጥፎ ነገር ተናግሯል” ማለት አይደለም።
- ሚትር አትላስ የቴክኒክ መለያዎችን እና የተመዘገቡ የጉዳይ ጥናቶችን ያቀርባል፣ ይህም የቀይ ቡድን ግኝት እና የአደጋ ሞዴል ተመሳሳይ ነገር እንዲያመለክቱ ያስችላቸዋል።
ተግባራዊ ንባብ፡ የተዋቀረ የተቃዋሚ ሙከራ ማስረጃ፣ የሸፈናቸው ስርዓቶች ዝርዝር እና ከዚያ በኋላ የተለወጠው ነገር መዝገብ ያስፈልግዎታል። የስካን ውጤት ብቻውን ከእነዚህ ሶስት ውስጥ አንዳቸውንም አያሟላም።
ሌላኛውን ግማሽ ፈትኑ
አንድ የንፁህ የAI ቀይ የቡድን ሪፖርት ሞዴሉን የያዘውን ሞዴል ይነግርዎታል። ሞዴሉ ባይኖረው ኖሮ ከጎኑ ያለው ወኪል ምን ሊያገኝ እንደሚችል አይነግርዎትም።
ዚጌኒ ወኪሎችን፣ የMCP አገልጋዮችን እና ማንም ያላወቃቸውን የክህሎት ፋይሎች ጨምሮ በማከማቻዎችዎ ውስጥ ያሉትን እያንዳንዱን የAI ሀብት ያገኛል፣ እና በሞዴል ባህሪ ውስጥ ሳይሆን በውቅረት ውስጥ የሚኖሩትን አደጋዎች ያገኛል፡- ጥያቄዎች እንዴት እንደሚገነቡ፣ አንድ ወኪል ምን እንዲነካ እንደሚፈቀድለት እና እንደ ኮድ ያልተገመገሙ ፋይሎች ውስጥ የትኞቹ ምስክርነቶች እንደሚቀመጡ።
አንድ ማሳያ ፕሮግራም ያውጡ የራስዎን የAI ክምችት ለማየት።
በየጥ
የ AI ቀይ የቡድን መሳሪያዎች ምንድናቸው?
በቋንቋ ሞዴሎች እና በእነሱ ላይ በተገነቡ አፕሊኬሽኖች ላይ የተቃዋሚ ጥቃቶችን የሚያስመስሉ መሳሪያዎች፡ ፈጣን መርፌ፣ የ jailbreaks፣ የውሂብ ማውጣት፣ ደህንነቱ ያልተጠበቀ የውጤት አያያዝ። ጥቃቶችን ወደ መጨረሻ ነጥብ ይልካሉ እና የሚመጣውን ውጤት ያስመዘግባሉ።
የ AI ቀይ ቡድን ማድረግ ከኢንቴጅ ምርመራ ጋር ተመሳሳይ ነው?
አይ። የስርቆት ሙከራ ተመሳሳይ ግብዓት ተመሳሳይ ውጤት የሚያመነጭበትን ዴተሚኒስቲክ ሶፍትዌርን ኢላማ ያደርጋል። የAI red teaming ፕሮባቢሊቲ ሲስተሞችን ኢላማ ያደርጋል፣ ስለዚህ አንድ ብዝበዛን ከማረጋገጥ ይልቅ ብዙ ሙከራዎችን ያካሂዳል እና ፍጥነቶችን ይለካል።
የAI ቀይ የቡድን መሳሪያዎች የAI ወኪሎችን ይሸፍናሉ?
በከፊል፣ እና ይህ የአሁኑ ትውልድ ደካማ ነጥብ ነው። የሞዴል ደረጃ ስካነሮች የተወሰነ የወኪል ሽፋን አላቸው፣ እና አንዳቸውም የወኪሉን የመሳሪያ መዳረሻ፣ ማንነት ወይም ፈቃዶች የሚወስነውን ውቅር አያዩም።
አንድ ቡድን በየትኛው የ AI ቀይ የቡድን መሳሪያዎች መጀመር አለበት?
ለመሸፈን በአንድ ሰፊ ክፍት ምንጭ ስካነር እና ለሪግሬሽን አንድ CI-የተቀናጀ ማሰሪያ ይጀምሩ፣ ከዚያም ግኝቶችዎ በውይይት ታሪክ ወይም በመሳሪያ ጥሪ ባህሪ ላይ የተመሰረቱ ሲሆኑ ባለብዙ-ተርን ማደራጀት ያክሉ።
የAI ሬድ ቲሚንግ ምንን አይሸፍንም?
ከሞዴል መጨረሻ ነጥብ የማይደረስ ማንኛውም ነገር፡- አንድ ወኪል ምን አይነት መሳሪያዎች ሊጠራው እንደሚችል፣ በውስጡ የሚሰራበትን ማንነት፣ ማህደረ ትውስታውን የሚይዘውን እና ፈቃዶቹን የሚገልጹ ክህሎቶችን፣ ደንቦችን እና የMCP ውቅር ፋይሎችን። እነዚያ የሚኖሩት በማከማቻ ውስጥ እንጂ በውይይቱ ውስጥ አይደለም።
የኤአይ ሬድ ቲምቢንግ የአውሮፓ ህብረት የኤአይ አርቲፊሻል ኢንተለጀንስ ህግ ግዴታዎችን ያሟላል?
አንድም መሳሪያ የለም። ሕጉ ለከፍተኛ አደጋ ተጋላጭ ለሆኑ የ AI ስርዓቶች በተመዘገበ የአደጋ አስተዳደር ስርዓት ውስጥ የተቃዋሚ ሙከራን ይጠብቃል፣ ይህም ማለት ማስረጃ፣ ክምችት እና ሂደት ማለት ነው፣ የፍተሻ ሪፖርት ብቻ አይደለም።
