TL;DR: የወኪል ማሰሪያ ምህንድስና እና የተደበቀው የጥቃት ገጽታ
የወኪል ሃርነስ ኢንጂነሪንግ ማለት ወደ የሚሰራ ወኪል የሚቀይረውን የAI ሞዴል (መመሪያዎች፣ መሳሪያዎች፣ ፈቃዶች፣ ማህደረ ትውስታ እና የግብረመልስ ዙሮች) ዙሪያ ሁሉንም ነገር የመገንባት ልምምድ ነው። ይህ ማሰሪያ፣ ሞዴሉ ሳይሆን፣ አብዛኛው እውነተኛ የደህንነት ስጋት አሁን የሚኖርበት ነው።
- ለውጡ፡ ቡድኖች የጥያቄዎችን ማስተካከያ አቁመው የገመድ ማሰሪያዎችን መፈልሰፍ ጀመሩ። ወኪል = ሞዴል + ማሰሪያ።
- ችግሩ: ማሰሪያው የሚኖረው እንደ ሰነድ ሁሉ የሚገመገሙ ግልጽ በሆኑ የጽሑፍ ፋይሎች (ደንቦች፣ ክህሎቶች፣ የMCP ውቅሮች) ውስጥ ነው።
- ማስረጃው፡- የደንቦች ፋይል የኋላ በር እና እውነተኛ የኤምሲፒ ሲቪኢዎች አጥቂዎች አስቀድመው ኢላማ እንዳደረጉት ያሳያሉ።
- ማስተካከያ ማሰሪያውን እንደ ኮድ አድርገው ይያዙት። ከመላኩ በፊት ይመርምሩት፣ ይገምግሙት እና ይቃኙት።
ስለ AI የሚደረጉ የደህንነት ውይይቶች በሙሉ በመጨረሻ ወደ ሞዴሉ ይወርዳሉ። ጃይልብሮክ ሊሆን ይችላል? ቅዠት ይፈጥራል? አቅራቢው በእኛ መረጃ ላይ ስልጠና እየሰጠ ነው?
ትክክለኛ ጥያቄዎች። ግን ከጊዜ ወደ ጊዜ የተሳሳቱ ናቸው። የAI ወኪል የምርት ሰንጠረዥን ሲሰርዝ፣ የኋላ በርን ሲገፋ ወይም የደንበኛ ዝርዝርን ለማያውቁት ሰው በኢሜል ሲልክ፣ ሞዴሉ እምብዛም አይሳካለትም። ሞዴሉ በትክክል የፈቀደለትን አድርጓል።
ወኪል = ሞዴል + ማሰሪያ
ባለፈው ዓመት፣ ኢንዱስትሪው በAI መገንባት ምን ማለት እንደሆነ በጸጥታ ቀይሮታል። ፈጣን ምህንድስና ለአውድ ምህንድስና ቦታ ሰጠ፣ እና የአውድ ምህንድስና ለትልቅ ነገር ቦታ ሰጠ፡ የወኪል ማሰሪያ ምህንድስና.
ሀሳቡ ቀላል ነው። ሞዴል በራሱ ምንም አይነት እጅ የሌለው የማመዛዘን ሞተር ነው። ማሰሪያው እጅና ስራ የሚሰጥበት ነገር ሁሉ ነው፡ የሚከተላቸው መመሪያዎች፣ ሊጠራቸው የሚችላቸው መሳሪያዎች፣ የያዘው ፈቃድ፣ የሚይዘው ማህደረ ትውስታ እና ስህተቶቹን የሚይዙ ቼኮች። የማርቲን ፎውለር ድረ-ገጽ የኮድ-ወኪል ተጠቃሚዎች ወኪሎችን አስተማማኝ ለማድረግ የሚያደርጉትን ስራ የሃርነስ ኢንጂነሪንግ ይገልፃል፣ እና በዚህ ዓመት የታተመ የትምህርት ማዕቀፍ ከመሳሪያ መዳረሻ እና ከፕሮጀክት ማህደረ ትውስታ እስከ ፈቃዶች እና ማረጋገጫ ድረስ ገመዱን ወደ አስራ አንድ ኃላፊነቶች ይከፍለዋል።
ውጤቶቹ እውነተኛ ናቸው። የወኪል ሃርኔሽን ኢንጂነሪንግ የሚለማመዱ ቡድኖች እንደሚሉት፣ ተመሳሳይ ሞዴል ከስር ያለው ማሰሪያውን ብቻ መቀየር የወኪሉን ውጤት በከፍተኛ ሁኔታ ሊለውጥ ይችላል። ይህ ደግሞ ደህንነቱ በተጠበቀ ሁኔታ ላለ ለማንኛውም ሰው የማይመች ነጥብ ያስነሳል፡ ማሰሪያው ወኪሉ እንዴት እንደሚሰራ ከወሰነ ማሰሪያው እንዴት አላግባብ መጠቀም እንደሚቻል ይወስናል።
እንደ ጥገኝነት መጫን ያለ የተለመደ ነገር ይውሰዱት። አንድ ገንቢ የጥቅሉን ስም ለማረጋገጥ ቆም ይላል። ትክክለኛውን መሳሪያ በገመዱ ውስጥ የያዘ ወኪል ትዕዛዙን ያስኬዳል፣ እና ጥቅሉ ተንኮል አዘል ከሆነ፣ በሞዴሉ ውስጥ ምንም ነገር አያቆመውም። በዚህ የSafeDev Talks ክፍል ውስጥ የምንከፍተው ይህ ነው፡ የ AI ወኪሎች ጥገኞችን ሲጭኑ ምን ይለወጣል በራሳቸው፣ እና የወኪል ማሰሪያ ምህንድስና በጸጥታ የአቅርቦት ሰንሰለት ችግር የሆነው ለምንድነው?
በማከማቻ ውስጥ የወኪል ማሰሪያ ምህንድስና ምን ይመስላል
ገንቢዎች የ AI ወኪሎችን የሚጠቀሙበት እና ማሰሪያው እዚያው የሚገኝበት ማከማቻ ይክፈቱ፣ ምናልባት ስካነሩ ባላደረጉዋቸው ፋይሎች ውስጥ፡
- የመመሪያ እና የአጠቃቀም መመሪያዎች ፋይሎች (
AGENTS.md,.cursorrules, የኮፓይለት መመሪያዎች) ወኪሉ እንዴት ባህሪ ማሳየት እንዳለበት የሚነግሩ። - የክህሎት ፋይሎች ያ ፓኬጅ እንደገና ጥቅም ላይ ሊውል የሚችል አቅም ወኪሉ በፍላጎት ላይ የሚጭንበት ነው።
- የኤምሲፒ አገልጋይ ውቅሮች ወኪሉን ከመሳሪያዎች፣ የውሂብ ጎታዎች እና ኤፒአይዎች ጋር የሚያገናኙ።
- የስርዓት ጥያቄዎች እና የጥያቄ አብነቶች በመተግበሪያ ኮድ ውስጥ ተካትቷል።
- ወኪል ሽቦ፦ አንድ ወኪል የትኞቹን መሳሪያዎች መድረስ እንደሚችል፣ የትኛውን መረጃ ማውጣት እንደሚችል እና መከላከያው በመካከላቸው መኖሩ አለመኖሩ።
ሁሉም ነገር ግልጽ ጽሑፍ ነው። ሁሉም ነገር commitከኮዱ ጋር ተደግሟል። እና ሁሉም የሚገመገመው ሰነዱ የሚገመገምበት መንገድ ነው፡ ፈጣን እይታ፣ ማፅደቅ፣ ውህደት። ሆኖም ግን፣ እያንዳንዱ እነዚህ ፋይሎች አንድ ወኪል ምን እንዲያደርግ እንደታዘዘ እና ምን እንዲነካ እንደተፈቀደለት በጸጥታ እንደገና ሊጽፉ ይችላሉ።
የወኪል ሃርሴንት ኢንጂነሪንግ እውነተኛ ውጤት ይህ ነው፡ በሶፍትዌርዎ ውስጥ በጣም ኃይለኛው ውቅር አሁን ብዙም ያልተገመገመ ነው።
አጥቂዎች አስቀድመው አስተውለዋል
ይህ የቲዎሪ ጉዳይ አይደለም። ታሪኩ አጭር ግን ገላጭ የሆነ የክስተት ታሪክ አለው።
- የደንቦቹ ፋይል ወደ ኋላ በር። በማርች 2025፣ ተመራማሪዎች በህግ ፋይል ውስጥ የተደበቁ የዩኒኮድ ቁምፊዎችን የ AI ኮድ አጋሮችን በሚታየው ምላሻቸው ውስጥ ሳይጠቅሱ የኋላ በር ኮድ እንዲያስገቡ የሚያዝዝ ጥቃት እንደተፈጸመባቸው ይፋ አድርገዋል። ፋይሉን የሚያነብ ገምጋሚ ምንም ያልተለመደ ነገር አላየም። አሁን እንደ ዝርዝር ተዘርዝሯል። የሚትሬ አትላስ የጉዳይ ጥናት AML.CS0041.
- የተመረዙ የኤምሲፒ መሳሪያዎች። እስከ 2025 ድረስ፣ ተመራማሪዎች ወኪሎች የመሳሪያ መግለጫዎችን በተዘዋዋሪ እንደሚያምኑ በተደጋጋሚ አሳይተዋል፣ ስለዚህ ተንኮል አዘል የኤምሲፒ አገልጋይ አንድን ወኪል በትክክለኛው መንገድ በመግለጽ ብቻ መምራት ይችላል። በተመሳሳይ ዓመት፣ CVE-2025-6514 በስፋት በወረደ የኤምሲፒ ደንበኛ ውስጥ፣ በሲቪኤስኤስ ላይ 9.6 ደረጃ የተሰጠው፣ ከማይታመን አገልጋይ ጋር ሲገናኝ የርቀት ትዕዛዝ አፈፃፀምን ይፈቅዳል።
- ከመጠን በላይ ወኪልነት። የ ለኤልኤልኤም አፕሊኬሽኖች ከፍተኛ 10 የ OWASP ከመጠን በላይ የሆነ ወኪልነትን እንደ ከፍተኛ አደጋ ይዘረዝራል፡- ወኪሎች ከተግባሩ ከሚፈለገው በላይ ብዙ መሳሪያዎችን፣ ፈቃዶችን ወይም ራስን በራስ የማስተዳደር መብት ተሰጥቷቸዋል። ይህ የሞዴል ጉድለት አይደለም። የመርከብ ዲዛይን ዲዛይን ነው።cision.
ንድፉን ልብ ይበሉ። ከእነዚህ ጥቃቶች ውስጥ አንዳቸውም ሞዴሉን አይሰብሩም። ማሰሪያውን ይሰብራሉ፣ ሞዴሉ ደግሞ የቀረውን በታማኝነት ይሰራል።
የደህንነት ቁልልዎ ለምን አያየውም
ይህ አስቸጋሪው ክፍል ነው። አብዛኛዎቹ ድርጅቶች አስቀድመው ጥሩ የAppSec መሳሪያዎችን ያካሂዳሉ፣ እና አንዳቸውም ማለት ይቻላል ለዚህ ንብርብር አልተገነቡም።
የማይንቀሳቀስ ትንተና ኮድን ይረዳል፣ ነገር ግን ሞዴል ምን እንደሆነ ወይም ወደ የስርዓት ጥያቄ ውስጥ የሚገባ ያልታመነ ጽሑፍ ለምን አስፈላጊ እንደሆነ አያውቅም። የቅንብር ትንተና ክምችት ፓኬጆችን ይይዛል፣ ነገር ግን የMCP አገልጋዮችን ወይም የክህሎት ፋይሎችን አይዘረዝርም። ሚስጥራዊ ስካነሮች በወኪል ውቅር ፋይል ውስጥ የተቀመጠ የኤፒአይ ቁልፍ ሊያመልጣቸው ይችላል። ከእነዚህ መሳሪያዎች ውስጥ አንዳቸውም ጉድለት የለባቸውም። በቀላሉ ውቅር ትዕዛዞችን የማይሰጥበት ዓለም የተገነቡ ናቸው።
ስለዚህ የወኪል ሃርኔሽን ምህንድስና በፍጥነት ይንቀሳቀሳል፣ እና ደህንነት የሚያየውን ክፍል ይገመግማል፡ ሞዴሉን እና ኮዱን። ማሰሪያው በመካከላቸው ይወድቃል።
የገመድ መሸፈኛን ለመጠበቅ አምስት ልማዶች
የወኪል ማሰሪያ ምህንድስናን መጠበቅ አዲስ ቡድን አያስፈልገውም። ማሰሪያውን እንደ አንድ ነገር የሚቆጥሩ ጥቂት ልማዶች ያስፈልጉታል፤ እነዚህም ተግባራዊ ዓላማ ናቸው።
| ልምድ | ለምን አስፈላጊ ነው | ምን ይደረግ |
|---|---|---|
| 1. እያንዳንዱን የጨርቅ ክምችት ይዘርዝሩ | ማንም ያልገለጸላቸውን ወኪሎች ማረጋገጥ አይችሉም። | በማከማቻዎችዎ ውስጥ ያሉትን እያንዳንዱን ሞዴል፣ ወኪል፣ የኤምሲፒ አገልጋይ፣ ክህሎት እና ጥያቄ፣ ከኮድ እና ከውቅር ፋይሎች እራሳቸው ከዳሰሳ ጥናት ይልቅ ያግኙ። |
| 2. እንደ ኮድ ያሉ የማርሽ ፋይሎችን ይገምግሙ | ደንቦች፣ ክህሎቶች እና የኤምሲፒ ውቅሮች አንድ ወኪል የሚያደርገውን እንደገና ሊጽፉ ይችላሉ፣ ነገር ግን እንደ ሰነድ ይገመገማሉ። | ተመሳሳይ ነገር ስጣቸው pull request እንደ አፕሊኬሽን ሎጂክ መመርመር፣ የተደበቁ ገጸ-ባህሪያትን መፈተሽ ጨምሮ። |
| 3. ወኪሉ የሚጭነውን ፒን ያድርጉ | በተለዋዋጭ መለያ የተጠቆመ ጥያቄ ወይም ሞዴል ያለ ኮድ ለውጥ እንደገና ሊጠቆም ይችላል። | ጥያቄዎችን እና ሞዴሎችን ወደማይለዋወጡ ስሪቶች ይሰኩ። |
| 4. በእያንዳንዱ ማጠቢያ ገንዳ ላይ መከላከያ ያድርጉ | የተገኙ ሰነዶች፣ የመሳሪያ ውጤቶች እና የተጠቃሚ ይዘቶች በሙሉ ወደ ሞዴሉ የተሰጡ መመሪያዎችን ሊይዙ ይችላሉ። | ይዘቱ ሞዴሉን ሊደርስበት በሚችልበት ቦታ ሁሉ በመንገዱ ላይ መከላከያ ያስቀምጡ። |
| 5. የምስክር ወረቀቶችን ከገመድ ውጪ ያስቀምጡ | በጥያቄ ፋይሎች እና በወኪል ውቅሮች ውስጥ የAI አቅራቢ ቁልፎች ለአጥቂ ቀላል ድል ናቸው። | አስወግዳቸው እና ምስጢሮችን ለማግኘት የገመድ ፋይሎችን መቃኘትህን ቀጥል። ቀላል መፍትሔ ነው። |
ሞዴሉን ብቻ ሳይሆን ማሰሪያውን መጠበቅ
የኤጂኔ አይአይ ደህንነት የወኪል ሃርነስ ምህንድስና አሻራውን የሚተውበት ቦታ ይጀምራል፡ በማከማቻዎችዎ ውስጥ። በኮድ ቤዝዎ (ሞዴሎች፣ ወኪሎች፣ የኤምሲፒ አገልጋዮች፣ ክህሎቶች፣ ጥያቄዎች፣ guardrailsእና ጥቅም ላይ የዋሉ የAI ኮድ ማድረጊያ መሳሪያዎች) ከኮድ፣ ጥገኝነቶች እና እነዚያ መሳሪያዎች የሚተዉዋቸውን የውቅር ፋይሎች።
ከዚያም የክህሎት ፋይሎችን ይተነትናል፣ ፋይሎችን እና የMCP ውቅሮችን እንደ የደህንነት ቅርሶች እንጂ እንደ ሰነድ ሳይሆን እንደ የደህንነት ቅርሶች ይቆጣጠራል፣ እና እንደ የስርዓት ጥያቄ መድረስ ወይም ምንም መከላከያ የሌለው የመልሶ ማግኛ ማጠቢያ ያሉ በወኪል ሽቦዎች ውስጥ ፈጣን መርፌ-ክፍል አደጋዎችን ያገኛል። የXygeni ምስጢሮች በመቃኘት የAI አቅራቢ ምስክርነቶችን በጥያቄዎች እና በወኪል ውቅር ፋይሎች ውስጥ ይጠቁማል፣ እና የእርስዎ የAI ቁልል ጥገኝነቶች ፊርማ ከመኖሩ በፊት እንደሌላው ነገር ሁሉ ተመሳሳይ የማልዌር ማወቂያ ያገኛሉ።
በየጥ
የወኪል ሃርሴሽን ኢንጂነሪንግ ምንድን ነው?
የወኪል ሃርነስ ምህንድስና ማለት እንደ አስተማማኝ ወኪል ሆኖ እንዲሠራ በAI ሞዴል (መመሪያዎች፣ መሳሪያዎች፣ ፈቃዶች፣ ማህደረ ትውስታ፣ አውድ እና የማረጋገጫ ሉፖች) ዙሪያ አካባቢን የመንደፍ ዲሲፕሊን ነው። ሞዴሉ አመክንዮ ይሰጣል፤ ማሰሪያው ወኪሉ ምን ማየት እና ማድረግ እንደሚችል ይወስናል።
የወኪል ሃርነስ ምህንድስና ከፈጣን ምህንድስና የሚለየው እንዴት ነው?
ፈጣን ምህንድስና አንድ መመሪያን ይቀርፃል። የወኪል ሃርኔሽን ምህንድስና ወኪሉ የሚሠራበትን አጠቃላይ ስርዓት፣ በብዙ ደረጃዎች፣ መሳሪያዎች እና ክፍለ ጊዜዎች ይቀርፃል። ጥያቄ በሐርኔቱ ውስጥ አንድ ፋይል ነው።
መቆለፊያው የደህንነት ስጋት የሆነው ለምንድነው?
ምክንያቱም አንድ ወኪል ምን ማድረግ እንዳለበት ስለሚቆጣጠር እና እንደ የደህንነት ቅርሶች እምብዛም የማይገመገሙ ግልጽ ጽሑፍ ባላቸው ፋይሎች ውስጥ ስለሚኖር ነው። የደንቦችን ፋይል ወይም የMCP ውቅር ይጥሱ እና ሞዴሉን ሳይነኩ ወኪሉን ይቆጣጠራሉ።
የወኪል ማሰሪያ ደህንነት ባለቤት መሆን ያለበት ማን ነው?
የመተግበሪያ ደህንነት፣ ወኪሎችን ከሚገነቡ እና ከሚያዋቅሩ መሐንዲሶች ጋር አብሮ መሥራት። ማሰሪያው የሚልኩት ሶፍትዌር አካል ነው፣ ስለዚህ እንደ ቀሪው የኮድዎ ክፍል በተመሳሳይ ግምገማ፣ ቅኝት እና የክምችት ሂደቶች ውስጥ ይገባል።
