TL;DR: ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗും അതിന്റെ മറഞ്ഞിരിക്കുന്ന ആക്രമണ ഉപരിതലവും
ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗ് എന്നത് ഒരു AI മോഡലിനെ ചുറ്റിപ്പറ്റിയുള്ള എല്ലാം നിർമ്മിക്കുന്ന രീതിയാണ് (നിർദ്ദേശങ്ങൾ, ഉപകരണങ്ങൾ, അനുമതികൾ, മെമ്മറി, ഫീഡ്ബാക്ക് ലൂപ്പുകൾ), അത് അതിനെ ഒരു വർക്കിംഗ് ഏജന്റാക്കി മാറ്റുന്നു. മോഡലല്ല, ആ ആയുധത്തിലാണ് ഇപ്പോൾ യഥാർത്ഥ സുരക്ഷാ അപകടസാധ്യത കൂടുതലും നിലനിൽക്കുന്നത്.
- ഷിഫ്റ്റ്: ടീമുകൾ പ്രോംപ്റ്റുകൾ ട്യൂൺ ചെയ്യുന്നത് നിർത്തി ഹാർനെസുകൾ എഞ്ചിനീയറിംഗ് ചെയ്യാൻ തുടങ്ങി. ഏജന്റ് = മോഡൽ + ഹാർനെസ്.
- പ്രശ്നം: ഹാർനെസ് പ്ലെയിൻ-ടെക്സ്റ്റ് ഫയലുകളിലാണ് (നിയമങ്ങൾ, കഴിവുകൾ, MCP കോൺഫിഗുകൾ) ജീവിക്കുന്നത്, അവ ഡോക്യുമെന്റേഷൻ പോലെ അവലോകനം ചെയ്യപ്പെടുന്നു, അല്ലേ?
- തെളിവ്: റൂൾസ് ഫയൽ ബാക്ക്ഡോറും യഥാർത്ഥ MCP CVE-കളും ആക്രമണകാരികൾ ഇതിനകം തന്നെ അതിനെ ലക്ഷ്യം വച്ചിട്ടുണ്ടെന്ന് കാണിക്കുന്നു.
- പരിഹാരം: ഹാർനെസ് ഒരു കോഡായി കണക്കാക്കുക. അത് ഇൻവെന്ററി ചെയ്യുക, അവലോകനം ചെയ്യുക, അയയ്ക്കുന്നതിന് മുമ്പ് സ്കാൻ ചെയ്യുക.
AI-യെക്കുറിച്ചുള്ള എല്ലാ സുരക്ഷാ സംഭാഷണങ്ങളും ഒടുവിൽ മോഡലിൽ എത്തിച്ചേരുന്നു. ഇത് ജയിൽബ്രേക്ക് ചെയ്യാൻ കഴിയുമോ? അത് ഭ്രമാത്മകമാകുമോ? ദാതാവ് നമ്മുടെ ഡാറ്റയെ അടിസ്ഥാനമാക്കിയാണോ പരിശീലനം നൽകുന്നത്?
ന്യായമായ ചോദ്യങ്ങൾ. പക്ഷേ അവ വർദ്ധിച്ചുവരുന്ന തെറ്റായ ചോദ്യങ്ങളാണ്. ഒരു AI ഏജന്റ് ഒരു പ്രൊഡക്ഷൻ ടേബിൾ ഇല്ലാതാക്കുമ്പോഴോ, പിൻവാതിൽ തള്ളുമ്പോഴോ, ഒരു അപരിചിതന് ഉപഭോക്തൃ പട്ടിക ഇമെയിൽ ചെയ്യുമ്പോഴോ, മോഡൽ അപൂർവ്വമായി മാത്രമേ പരാജയപ്പെടാറുള്ളൂ. അതിന്റെ ഹാർനെസ് അനുവദിച്ചത് കൃത്യമായി മോഡൽ ചെയ്തു.
ഏജന്റ് = മോഡൽ + ഹാർനെസ്
കഴിഞ്ഞ ഒരു വർഷമായി, AI ഉപയോഗിച്ച് നിർമ്മിക്കുക എന്നതിന്റെ അർത്ഥം വ്യവസായം നിശബ്ദമായി മാറ്റി. പ്രോംപ്റ്റ് എഞ്ചിനീയറിംഗ് കോൺടെക്സ്റ്റ് എഞ്ചിനീയറിംഗിന് വഴിമാറി, കോൺടെക്സ്റ്റ് എഞ്ചിനീയറിംഗ് വലിയ ഒന്നിന് വഴിമാറി: ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗ്.
ആശയം ലളിതമാണ്. ഒരു മോഡൽ തന്നെ കൈകളില്ലാത്ത ഒരു യുക്തിസഹമായ എഞ്ചിനാണ്. അതിന് കൈകളും ജോലിയും നൽകുന്നതെല്ലാം ഹാർനെസ് ആണ്: അത് പിന്തുടരുന്ന നിർദ്ദേശങ്ങൾ, അതിന് വിളിക്കാൻ കഴിയുന്ന ഉപകരണങ്ങൾ, അത് കൈവശം വയ്ക്കുന്ന അനുമതികൾ, അത് സൂക്ഷിക്കുന്ന മെമ്മറി, അതിന്റെ തെറ്റുകൾ കണ്ടെത്തുന്ന പരിശോധനകൾ. മാർട്ടിൻ ഫൗളറുടെ സൈറ്റ് ഏജന്റുമാരെ വിശ്വസനീയരാക്കുന്നതിന് കോഡിംഗ്-ഏജന്റ് ഉപയോക്താക്കൾ ഇപ്പോൾ ചെയ്യുന്ന ജോലിയാണ് ഹാർനെസ് എഞ്ചിനീയറിംഗിനെ വിവരിക്കുന്നത്, കൂടാതെ ഒരു ഈ വർഷം പ്രസിദ്ധീകരിച്ച അക്കാദമിക് ചട്ടക്കൂട് ടൂൾ ആക്സസ്, പ്രോജക്റ്റ് മെമ്മറി എന്നിവ മുതൽ അനുമതികളും പരിശോധനയും വരെ പതിനൊന്ന് ഉത്തരവാദിത്തങ്ങളായി ഹാർനെസ് വിഭജിക്കുന്നു.
ഫലങ്ങൾ യഥാർത്ഥമാണ്. ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗ് പരിശീലിക്കുന്ന ടീമുകൾ റിപ്പോർട്ട് ചെയ്യുന്നത്, അതേ മോഡൽ അടിയിൽ വെച്ച് ഹാർനെസ് മാത്രം മാറ്റുന്നത് ഒരു ഏജന്റിന്റെ ഫലങ്ങളെ നാടകീയമായി മാറ്റുമെന്നാണ്. സുരക്ഷയിലുള്ള ആർക്കും ഇത് അസ്വസ്ഥതയുണ്ടാക്കുന്ന ഒരു കാര്യം ഉയർത്തുന്നു: ഏജന്റ് എങ്ങനെ പെരുമാറണമെന്ന് ഹാർനെസ് തീരുമാനിക്കുകയാണെങ്കിൽ, അത് എങ്ങനെ ദുരുപയോഗം ചെയ്യാമെന്ന് ഹാർനെസ് തീരുമാനിക്കുന്നു.
ഒരു ഡിപൻഡൻസി ഇൻസ്റ്റാൾ ചെയ്യുന്നത് പോലെയുള്ള ഒരു സാധാരണ കാര്യം എടുക്കുക. പാക്കേജിന്റെ പേര് പരിശോധിക്കാൻ ഒരു ഡെവലപ്പർ താൽക്കാലികമായി നിർത്തുന്നു. ശരിയായ ഉപകരണം അതിന്റെ ഹാർനെസിൽ ഉള്ള ഒരു ഏജന്റ് കമാൻഡ് പ്രവർത്തിപ്പിക്കുന്നു, പാക്കേജ് ദോഷകരമാണെങ്കിൽ, മോഡലിലുള്ള ഒന്നും അതിനെ തടയില്ല. അതാണ് SafeDev Talks-ന്റെ ഈ എപ്പിസോഡിൽ നമ്മൾ അൺപാക്ക് ചെയ്യുന്നത്: AI ഏജന്റുകൾ ഡിപൻഡൻസികൾ ഇൻസ്റ്റാൾ ചെയ്യുമ്പോൾ എന്ത് മാറ്റങ്ങൾ സംഭവിക്കുന്നു ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗ് നിശബ്ദമായി ഒരു സപ്ലൈ ചെയിൻ പ്രശ്നമായി മാറിയിരിക്കുന്നത് എന്തുകൊണ്ടാണെന്നും.
ഒരു റിപ്പോസിറ്ററിയിൽ ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗ് എങ്ങനെയിരിക്കും
ഡെവലപ്പർമാർ AI ഏജന്റുകൾ ഉപയോഗിക്കുന്ന ഒരു ശേഖരം തുറക്കുക, നിങ്ങൾ ഒരിക്കലും സ്കാൻ ചെയ്തിട്ടില്ലാത്ത ഫയലുകളിൽ ഹാർനെസ് അവിടെയുണ്ട്:
- നിയമങ്ങളും നിർദ്ദേശ ഫയലുകളും (
AGENTS.md,.cursorrules, കോപൈലറ്റ് നിർദ്ദേശങ്ങൾ) ഏജന്റിനോട് എങ്ങനെ പെരുമാറണമെന്ന് പറയുന്നു. - സ്കിൽ ഫയലുകൾ ആവശ്യാനുസരണം ഏജന്റ് ലോഡ് ചെയ്യുന്ന പാക്കേജ് വീണ്ടും ഉപയോഗിക്കാവുന്ന തരത്തിലാണ്.
- MCP സെർവർ കോൺഫിഗറേഷനുകൾ അത് ഏജന്റിനെ ഉപകരണങ്ങൾ, ഡാറ്റാബേസുകൾ, API-കൾ എന്നിവയുമായി ബന്ധിപ്പിക്കുന്നു.
- സിസ്റ്റം പ്രോംപ്റ്റുകളും പ്രോംപ്റ്റ് ടെംപ്ലേറ്റുകളും ആപ്ലിക്കേഷൻ കോഡിൽ ഉൾച്ചേർത്തിരിക്കുന്നു.
- ഏജന്റ് വയറിംഗ്: ഒരു ഏജന്റിന് ഏതൊക്കെ ഉപകരണങ്ങളിൽ എത്തിച്ചേരാനാകും, ഏതൊക്കെ ഡാറ്റയാണ് അതിന് വീണ്ടെടുക്കാൻ കഴിയുക, ഒരു ഗാർഡ്റെയിൽ ഇടയിൽ ഇരിക്കുന്നുണ്ടോ എന്ന്.
ഇതെല്ലാം പ്ലെയിൻ ടെക്സ്റ്റ് ആണ്. ഇതെല്ലാം commitകോഡിനൊപ്പം ടെഡ് ചെയ്തിരിക്കുന്നു. ഡോക്യുമെന്റേഷൻ അവലോകനം ചെയ്യുന്നതുപോലെ ഇതെല്ലാം അവലോകനം ചെയ്യപ്പെടുന്നു: ഒരു ദ്രുത നോട്ടം, ഒരു അംഗീകാരം, ഒരു ലയനം. എന്നിരുന്നാലും ഈ ഫയലുകളിൽ ഓരോന്നിനും ഒരു ഏജന്റിന് എന്ത് ചെയ്യാൻ നിർദ്ദേശിച്ചിരിക്കുന്നുവെന്നും എന്ത് സ്പർശിക്കാൻ അനുവദിച്ചിരിക്കുന്നുവെന്നും നിശബ്ദമായി മാറ്റിയെഴുതാൻ കഴിയും.
ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗിന്റെ യഥാർത്ഥ പരിണതഫലം അതാണ്: നിങ്ങളുടെ സോഫ്റ്റ്വെയറിലെ ഏറ്റവും ശക്തമായ കോൺഫിഗറേഷൻ ഇപ്പോൾ ഏറ്റവും കുറവ് അവലോകനം ചെയ്യപ്പെട്ടിരിക്കുന്നു.
അക്രമികൾ ഇതിനകം ശ്രദ്ധിച്ചു
ഇതൊരു സൈദ്ധാന്തിക ആശങ്കയല്ല. ഹാർനെസിന് ചെറുതെങ്കിലും പറയാൻ കഴിയുന്ന ഒരു സംഭവ ചരിത്രമുണ്ട്.
- നിയമങ്ങൾ പിൻവാതിൽ ഫയൽ. 2025 മാർച്ചിൽ, ഒരു റൂൾസ് ഫയലിനുള്ളിൽ ഒളിഞ്ഞിരിക്കുന്ന യൂണികോഡ് പ്രതീകങ്ങൾ AI കോഡിംഗ് അസിസ്റ്റന്റുമാർക്ക് അവരുടെ ദൃശ്യമായ പ്രതികരണത്തിൽ പരാമർശിക്കാതെ ബാക്ക്ഡോർ കോഡ് ചേർക്കാൻ നിർദ്ദേശം നൽകുന്ന ഒരു ആക്രമണം ഗവേഷകർ വെളിപ്പെടുത്തി. ഫയൽ വായിച്ച ഒരു അവലോകകന് അസാധാരണമായ ഒന്നും കാണാൻ കഴിഞ്ഞില്ല. ഇപ്പോൾ ഇത് മിറ്റർ അറ്റ്ലാസ് കേസ് സ്റ്റഡി AML.CS0041.
- വിഷം കലർന്ന എംസിപി ഉപകരണങ്ങൾ. 2025 വരെ, ഏജന്റുമാർ ഉപകരണ വിവരണങ്ങളെ പരോക്ഷമായി വിശ്വസിക്കുന്നുവെന്ന് ഗവേഷകർ ആവർത്തിച്ച് തെളിയിച്ചു, അതിനാൽ ഒരു ക്ഷുദ്രകരമായ MCP സെർവറിന് ശരിയായ രീതിയിൽ സ്വയം വിവരിച്ചുകൊണ്ട് ഒരു ഏജന്റിനെ നയിക്കാൻ കഴിയും. അതേ വർഷം, CVE-2025-6514 വ്യാപകമായി ഡൗൺലോഡ് ചെയ്യപ്പെട്ട ഒരു MCP ക്ലയന്റിലുള്ള, വിശ്വസനീയമല്ലാത്ത ഒരു സെർവറിലേക്ക് കണക്റ്റ് ചെയ്യുമ്പോൾ റിമോട്ട് കമാൻഡ് എക്സിക്യൂഷൻ അനുവദിച്ചു, CVSS-ൽ 9.6 റേറ്റിംഗ്.
- അമിതമായ ഏജൻസി. ദി എൽഎൽഎം അപേക്ഷകൾക്കുള്ള OWASP ടോപ്പ് 10 അമിതമായ ഏജൻസിയെ ഒരു പ്രധാന അപകടസാധ്യതയായി പട്ടികപ്പെടുത്തുന്നു: ഏജന്റുമാർക്ക് ചുമതലയ്ക്ക് ആവശ്യമായതിനേക്കാൾ കൂടുതൽ ഉപകരണങ്ങൾ, അനുമതികൾ അല്ലെങ്കിൽ സ്വയംഭരണം നൽകി. അതൊരു മാതൃകാ പോരായ്മയല്ല. ഇത് ഒരു ഹാർനെസ് ഡിസൈൻ ആണ്.cisഅയോൺ
പാറ്റേൺ ശ്രദ്ധിക്കുക. ഈ ആക്രമണങ്ങളൊന്നും മോഡലിനെ തകർക്കുന്നില്ല. അവ ഹാർനെസ് തകർക്കുന്നു, ബാക്കിയുള്ളവ മോഡൽ വിശ്വസ്തതയോടെ ചെയ്യുന്നു.
നിങ്ങളുടെ സുരക്ഷാ സ്റ്റാക്ക് അത് കാണാത്തത് എന്തുകൊണ്ട്?
ഇവിടെയാണ് ബുദ്ധിമുട്ടുള്ള ഭാഗം. മിക്ക സ്ഥാപനങ്ങളും ഇതിനകം തന്നെ മികച്ച AppSec ടൂളിംഗ് പ്രവർത്തിപ്പിക്കുന്നു, അവയിൽ ഒന്നും തന്നെ ഈ ലെയറിനായി നിർമ്മിച്ചതല്ല.
സ്റ്റാറ്റിക് വിശകലനം കോഡിനെ മനസ്സിലാക്കുന്നു, പക്ഷേ ഒരു മോഡൽ എന്താണെന്നോ ഒരു സിസ്റ്റം പ്രോംപ്റ്റിലേക്ക് ഒഴുകുന്ന വിശ്വസനീയമല്ലാത്ത വാചകം എന്തുകൊണ്ട് പ്രധാനമാണെന്നോ അതിന് അറിയില്ല. കോമ്പോസിഷൻ വിശകലനം പാക്കേജുകൾ ഇൻവെന്ററി ചെയ്യുന്നു, പക്ഷേ ഇത് MCP സെർവറുകളെയോ സ്കിൽ ഫയലുകളെയോ എണ്ണുന്നില്ല. രഹസ്യ സ്കാനറുകൾക്ക് ഒരു ഏജന്റ് കോൺഫിഗറേഷൻ ഫയലിൽ ഇരിക്കുന്ന ഒരു API കീ നഷ്ടപ്പെട്ടേക്കാം. ഈ ഉപകരണങ്ങളൊന്നും തകരാറുള്ളതല്ല. കോൺഫിഗറേഷൻ ഓർഡറുകൾ നൽകാത്ത ഒരു ലോകത്തിനായി അവ നിർമ്മിച്ചതാണ്.
അതിനാൽ ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗ് വേഗത്തിൽ നീങ്ങുന്നു, കൂടാതെ സുരക്ഷാ സംവിധാനങ്ങൾ അതിന് കാണാൻ കഴിയുന്ന ഭാഗം അവലോകനം ചെയ്യുന്നു: മോഡലും കോഡും. ഹാർനെസ് ഇതിനിടയിലാണ് വരുന്നത്.
ഹാർനെസ് സുരക്ഷിതമാക്കുന്നതിനുള്ള അഞ്ച് ശീലങ്ങൾ
സെക്യൂരിംഗ് ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗിന് ഒരു പുതിയ ടീമിന്റെ ആവശ്യമില്ല. ഹാർനെസിനെ അത് എന്താണെന്ന് പരിഗണിക്കുന്ന ചില ശീലങ്ങൾ ഇതിന് ആവശ്യമാണ്: നടപ്പിലാക്കാവുന്ന ഉദ്ദേശ്യം.
| ശീലം | എന്തുകൊണ്ട് ഇത് പ്രാധാന്യമർഹിക്കുന്നു | എന്തുചെയ്യും |
|---|---|---|
| 1. ഓരോ ഹാർനെസിലും ഇൻവെന്ററി നടത്തുക | ആരും പ്രഖ്യാപിക്കാത്ത സെക്യൂരിറ്റി ഏജന്റുമാരെ നിങ്ങൾക്ക് നൽകാൻ കഴിയില്ല. | ഒരു സർവേയിൽ നിന്നല്ല, കോഡിൽ നിന്നും കോൺഫിഗറേഷൻ ഫയലുകളിൽ നിന്നുതന്നെ നിങ്ങളുടെ റിപ്പോസിറ്ററികളിലുടനീളം എല്ലാ മോഡലുകളും, ഏജന്റും, എംസിപി സെർവറും, വൈദഗ്ധ്യവും, പ്രോംപ്റ്റും കണ്ടെത്തുക. |
| 2. കോഡ് പോലുള്ള ഹാർനെസ് ഫയലുകൾ അവലോകനം ചെയ്യുക | നിയമങ്ങൾ, കഴിവുകൾ, MCP കോൺഫിഗറേഷനുകൾ എന്നിവയ്ക്ക് ഒരു ഏജന്റ് ചെയ്യുന്ന കാര്യങ്ങൾ മാറ്റിയെഴുതാൻ കഴിയും, എന്നിട്ടും അവ ഡോക്യുമെന്റേഷൻ പോലെ അവലോകനം ചെയ്യപ്പെടുന്നു. | അവർക്ക് അതുപോലെ തന്നെ കൊടുക്കുക. pull request ആപ്ലിക്കേഷൻ ലോജിക്കായി സൂക്ഷ്മപരിശോധന, മറഞ്ഞിരിക്കുന്ന പ്രതീകങ്ങൾക്കായുള്ള പരിശോധനകൾ ഉൾപ്പെടെ. |
| 3. ഏജന്റ് ലോഡ് ചെയ്യുന്നത് പിൻ ചെയ്യുക | ഒരു മ്യൂട്ടബിൾ ലേബൽ പരാമർശിച്ച ഒരു പ്രോംപ്റ്റ് അല്ലെങ്കിൽ മോഡൽ കോഡ് മാറ്റാതെ തന്നെ റീപോയിന്റ് ചെയ്യാൻ കഴിയും. | മാറ്റമില്ലാത്ത പതിപ്പുകളിലേക്ക് പ്രോംപ്റ്റുകളും മോഡലുകളും പിൻ ചെയ്യുക. |
| 4. ഓരോ സിങ്കിലും ഒരു ഗാർഡ്റെയിൽ സ്ഥാപിക്കുക. | വീണ്ടെടുത്ത ഡോക്യുമെന്റുകൾ, ടൂൾ ഔട്ട്പുട്ട്, ഉപയോക്തൃ ഉള്ളടക്കം എന്നിവയ്ക്കെല്ലാം ഇൻജക്റ്റ് ചെയ്ത നിർദ്ദേശങ്ങൾ മോഡലിലേക്ക് കൊണ്ടുപോകാൻ കഴിയും. | മോഡലിലേക്ക് ഉള്ളടക്കം എത്താൻ കഴിയുന്ന പാതയിൽ ഒരു ഗാർഡ്റെയിൽ സ്ഥാപിക്കുക. |
| 5. ക്രെഡൻഷ്യലുകൾ ഹാർനെസിൽ നിന്ന് മാറ്റി വയ്ക്കുക | പ്രോംപ്റ്റ് ഫയലുകളിലെയും ഏജന്റ് കോൺഫിഗറുകളിലെയും AI പ്രൊവൈഡർ കീകൾ ഒരു ആക്രമണകാരിക്ക് എളുപ്പത്തിലുള്ള വിജയമാണ്. | അവ നീക്കം ചെയ്ത് രഹസ്യങ്ങൾക്കായി ഹാർനെസ് ഫയലുകൾ സ്കാൻ ചെയ്യുന്നത് തുടരുക. ഇത് എളുപ്പത്തിൽ പരിഹരിക്കാവുന്ന ഒന്നാണ്. |
മോഡൽ മാത്രമല്ല, ഹാർനെസ് സുരക്ഷിതമാക്കുന്നു
സൈജെനി AI സുരക്ഷ ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗ് അതിന്റെ കാൽപ്പാടുകൾ ഉപേക്ഷിക്കുന്നിടത്ത് നിന്ന് ആരംഭിക്കുന്നു: നിങ്ങളുടെ റിപ്പോസിറ്ററികളിൽ. ഇത് നിങ്ങളുടെ കോഡ്ബേസിലുടനീളമുള്ള AI അസറ്റുകൾ കണ്ടെത്തുന്നു (മോഡലുകൾ, ഏജന്റുകൾ, MCP സെർവറുകൾ, കഴിവുകൾ, പ്രോംപ്റ്റുകൾ, guardrails(, ഉപയോഗത്തിലുള്ള AI കോഡിംഗ് ടൂളുകൾ) കോഡ്, ഡിപൻഡൻസികൾ, ആ ഉപകരണങ്ങൾ അവശേഷിപ്പിക്കുന്ന കോൺഫിഗറേഷൻ ഫയലുകൾ എന്നിവയിൽ നിന്ന്.
തുടർന്ന് ഇത് സ്കിൽ ഫയലുകൾ, റൂൾസ് ഫയലുകൾ, എംസിപി കോൺഫിഗറേഷനുകൾ എന്നിവ ഡോക്യുമെന്റേഷനായിട്ടല്ല, സുരക്ഷാ ആർട്ടിഫാക്റ്റുകളായി വിശകലനം ചെയ്യുന്നു, കൂടാതെ ഏജന്റ് വയറിംഗിലെ പ്രോംപ്റ്റ്-ഇഞ്ചക്ഷൻ-ക്ലാസ് അപകടസാധ്യതകൾ കണ്ടെത്തുന്നു, അതായത് വിശ്വസനീയമല്ലാത്ത ഉള്ളടക്കം ഒരു സിസ്റ്റം പ്രോംപ്റ്റിൽ എത്തുന്നതോ ഗാർഡ്റെയിൽ ഇല്ലാത്ത ഒരു വീണ്ടെടുക്കൽ സിങ്കിലോ. സൈജെനിയുടെ രഹസ്യ സ്കാനിംഗ് പ്രോംപ്റ്റുകളിലും ഏജന്റ് കോൺഫിഗറേഷൻ ഫയലുകളിലും AI ദാതാവിന്റെ ക്രെഡൻഷ്യലുകൾ ഫ്ലാഗ് ചെയ്യുന്നു, കൂടാതെ ഒരു ഒപ്പ് നിലനിൽക്കുന്നതിന് മുമ്പ്, നിങ്ങളുടെ AI സ്റ്റാക്കിന്റെ ഡിപൻഡൻസികൾക്ക് മറ്റെല്ലാറ്റിനെയും പോലെ തന്നെ മാൽവെയർ കണ്ടെത്തൽ ലഭിക്കുന്നു.
പതിവുചോദ്യങ്ങൾ
ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗ് എന്താണ്?
ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗ് എന്നത് ഒരു AI മോഡലിന് ചുറ്റുമുള്ള പരിസ്ഥിതി രൂപകൽപ്പന ചെയ്യുന്ന മേഖലയാണ് (നിർദ്ദേശങ്ങൾ, ഉപകരണങ്ങൾ, അനുമതികൾ, മെമ്മറി, സന്ദർഭം, സ്ഥിരീകരണ ലൂപ്പുകൾ) അതുവഴി അത് വിശ്വസനീയമായ ഒരു ഏജന്റായി പ്രവർത്തിക്കുന്നു. മോഡൽ ന്യായവാദം നൽകുന്നു; ഏജന്റിന് എന്ത് കാണാനും ചെയ്യാനും കഴിയുമെന്ന് ഹാർനെസ് തീരുമാനിക്കുന്നു.
ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗ് പ്രോംപ്റ്റ് എഞ്ചിനീയറിംഗിൽ നിന്ന് എങ്ങനെ വ്യത്യാസപ്പെട്ടിരിക്കുന്നു?
പ്രോംപ്റ്റ് എഞ്ചിനീയറിംഗ് ഒരൊറ്റ നിർദ്ദേശത്തെ രൂപപ്പെടുത്തുന്നു. ഏജന്റ് ഹാർനെസ് എഞ്ചിനീയറിംഗ് ഏജന്റ് പ്രവർത്തിക്കുന്ന മുഴുവൻ സിസ്റ്റത്തെയും, നിരവധി ഘട്ടങ്ങൾ, ഉപകരണങ്ങൾ, സെഷനുകൾ എന്നിവയിലൂടെ രൂപപ്പെടുത്തുന്നു. ഒരു പ്രോംപ്റ്റ് എന്നത് ഹാർനെസിലെ ഒരു ഫയലാണ്.
എന്തുകൊണ്ടാണ് ഹാർനെസ് ഒരു സുരക്ഷാ അപകടമാകുന്നത്?
കാരണം ഒരു ഏജന്റിന് ചെയ്യാൻ അനുവാദമുള്ള കാര്യങ്ങൾ ഇത് നിയന്ത്രിക്കുന്നു, കൂടാതെ സുരക്ഷാ ആർട്ടിഫാക്റ്റുകളായി അപൂർവ്വമായി അവലോകനം ചെയ്യപ്പെടുന്ന പ്ലെയിൻ-ടെക്സ്റ്റ് ഫയലുകളിലാണ് ഇത് ജീവിക്കുന്നത്. ഒരു റൂൾസ് ഫയലോ ഒരു MCP കോൺഫിഗറേഷനോ വിട്ടുവീഴ്ച ചെയ്യുക, മോഡലിൽ സ്പർശിക്കാതെ തന്നെ നിങ്ങൾ ഏജന്റിനെ നിയന്ത്രിക്കും.
ആരാണ് സെക്യൂരിറ്റി ഏജന്റിന്റെ ഉടമസ്ഥതയിൽ എടുക്കേണ്ടത്?
ആപ്ലിക്കേഷൻ സുരക്ഷ, ഏജന്റുമാരെ നിർമ്മിക്കുകയും കോൺഫിഗർ ചെയ്യുകയും ചെയ്യുന്ന എഞ്ചിനീയർമാരുമായി പ്രവർത്തിക്കുന്നു. ഹാർനെസ് നിങ്ങൾ അയയ്ക്കുന്ന സോഫ്റ്റ്വെയറിന്റെ ഭാഗമാണ്, അതിനാൽ ഇത് നിങ്ങളുടെ കോഡിന്റെ ബാക്കി ഭാഗങ്ങളെപ്പോലെ തന്നെ അവലോകനം, സ്കാനിംഗ്, ഇൻവെന്ററി പ്രക്രിയകളിൽ ഉൾപ്പെടുന്നു.







