കോഡ് ഷിപ്പ് ചെയ്യുമ്പോൾ അത് നിരീക്ഷിക്കാൻ എല്ലാ സുരക്ഷാ ടീമിനും പരിശീലനം നൽകിയിട്ടുണ്ട്. ഡാറ്റ എത്തുമ്പോൾ അത് നിരീക്ഷിക്കാൻ മിക്കവാറും ആർക്കും പരിശീലനം ലഭിച്ചിട്ടില്ല, കൂടാതെ ഡാറ്റ വിഷബാധ ചൂഷണം ചെയ്യുന്നത് ആ ബ്ലൈൻഡ് സ്പോട്ടാണ്. വിഷബാധയേറ്റ ഒരു മോഡൽ ഉൽപ്പാദനത്തിൽ എത്തുമ്പോഴേക്കും, അപകടസാധ്യത ഒരിക്കലും കോഡ് അവലോകനത്തിൽ ഉണ്ടായിരുന്നില്ല. മാസങ്ങൾക്ക് മുമ്പ് ആരും ഓഡിറ്റ് ചെയ്യാത്ത ഒരു ഡാറ്റാസെറ്റിലായിരുന്നു അത്.
ഡാറ്റാ വിഷബാധ എന്താണെന്നും, പ്രായോഗികമായി ഡാറ്റാ വിഷബാധ ആക്രമണങ്ങൾ എങ്ങനെ വികസിക്കുന്നുവെന്നും, AI ഡാറ്റ വിഷബാധ എന്തുകൊണ്ടാണ് ഏറ്റവും അപകടകരമായ ഒന്നായി മാറിയതെന്നും ഈ ഗ്ലോസറി എൻട്രി വിശദീകരിക്കുന്നു. AI കാലഘട്ടത്തിൽ ഏറ്റവും വേഗത്തിൽ വളരുന്ന അപകടസാധ്യതകൾ SDLC, അതിനെതിരായ യഥാർത്ഥ പ്രതിരോധം എങ്ങനെയിരിക്കും.
ഡാറ്റ വിഷബാധയുടെ അർത്ഥം #
ഒരു AI മോഡലിനെ പരിശീലിപ്പിക്കാനോ, ഫൈൻ-ട്യൂൺ ചെയ്യാനോ, ഗ്രൗണ്ട് ചെയ്യാനോ ഉപയോഗിക്കുന്ന ഡാറ്റ മനഃപൂർവ്വം കൃത്രിമം കാണിക്കുന്നതിനെയാണ് ഡാറ്റ വിഷബാധ എന്ന് പറയുന്നത്. അങ്ങനെ മോഡൽ തെറ്റായ കാര്യം മനസ്സിലാക്കുകയോ, ആക്രമണകാരി ആഗ്രഹിക്കുന്ന രീതിയിൽ പെരുമാറുകയോ, ഒരിക്കലും വെളിപ്പെടുത്തരുതാത്ത വിവരങ്ങൾ ചോർത്തുകയോ ചെയ്യുന്നു. വിന്യാസത്തിനുശേഷം മോഡലിനെ ആക്രമിക്കുന്നതിനുപകരം, ആക്രമണകാരി മോഡൽ നിർമ്മിച്ച അസംസ്കൃത വസ്തുവിനെ ആക്രമിക്കുന്നു.
ഡാറ്റാ വിഷബാധയ്ക്ക് പിന്നിലെ കാതലായ ആശയം ലളിതവും അസ്വസ്ഥത ഉളവാക്കുന്നതുമാണ്: ഒരു AI മോഡൽ അത് പഠിച്ച ഡാറ്റയുടെ അത്രയും വിശ്വസനീയമാണ്. പരിശീലനം ആരംഭിക്കുന്നതിന് മുമ്പ് തന്നെ ആ ഡാറ്റ കേടായതോ, പക്ഷപാതപരമോ, അല്ലെങ്കിൽ ബൂബി-ട്രാപ്പ് ചെയ്തതോ ആണെങ്കിൽ, കോഡ് അവലോകനം, പരിശോധന അല്ലെങ്കിൽ റൺടൈം മോണിറ്ററിംഗ് എന്നിവയൊന്നും അടിസ്ഥാന പിഴവ് കണ്ടെത്തില്ല, കാരണം മോഡൽ അത് പഠിപ്പിച്ചതുപോലെ തന്നെ (ക്ഷുദ്രകരമായി) പ്രവർത്തിക്കുന്നു.
AI ഡാറ്റ വിഷബാധയും പരമ്പരാഗത സോഫ്റ്റ്വെയർ ദുർബലതകളും തമ്മിലുള്ള വ്യത്യാസം #
പരമ്പരാഗത ആപ്ലിക്കേഷൻ സുരക്ഷ കോഡിലാണ് അപകടമുണ്ടെന്ന് അനുമാനിക്കുന്നു: ഒരു മോശം ഫംഗ്ഷൻ, ഒരു പാച്ച് ചെയ്യാത്ത ലൈബ്രറി, തെറ്റായി കോൺഫിഗർ ചെയ്ത സെർവർ. AI ഡാറ്റ വിഷബാധ ആ അനുമാനത്തെ പൂർണ്ണമായും തകർക്കുന്നു. ഏതെങ്കിലും കോഡ് എഴുതുന്നതിനോ ഏതെങ്കിലും മോഡൽ വിന്യസിക്കുന്നതിനോ വളരെ മുമ്പുതന്നെ ഒരു പരിശീലന സെറ്റിലോ, ഫൈൻ-ട്യൂണിംഗ് ഡാറ്റാസെറ്റിലോ, അല്ലെങ്കിൽ ഒരു വീണ്ടെടുക്കൽ സൂചികയിലോ അഴിമതി നടന്നതിനാൽ, കണ്ടെത്താൻ ഒരു ദുർബലമായ കോഡ് ലൈൻ ഇല്ല.
അതുകൊണ്ടാണ് പാരമ്പര്യ ഉപകരണങ്ങൾ ഉപയോഗിച്ച് AI ഡാറ്റ വിഷബാധ കണ്ടെത്തുന്നത് വളരെ ബുദ്ധിമുട്ടുള്ളത്. SAST സ്കാനർ കോഡ് വായിക്കുന്നു. ഒരു ഡിപൻഡൻസി സ്കാനർ പാക്കേജ് മാനിഫെസ്റ്റുകൾ വായിക്കുന്നു. മൾട്ടി-ജിഗാബൈറ്റ് പരിശീലന കോർപ്പസോ എംബഡഡ് ഡോക്യുമെന്റുകൾ നിറഞ്ഞ വെക്റ്റർ ഡാറ്റാബേസോ ആരും വായിക്കുന്നില്ല, അത് പ്രീcisAI ഡാറ്റ വിഷബാധ അതിന്റെ നാശനഷ്ടങ്ങൾക്ക് കാരണമാകുന്ന എലി. ക്യൂരിറ്റി ഗവേഷകർ ഉത്തരവാദിത്തത്തോടെ വെളിപ്പെടുത്തുന്നു. മറ്റുള്ളവരെ ആദ്യം കണ്ടെത്തുകയും ആയുധമാക്കുകയും ചെയ്യുന്നത് ആക്രമണകാരികളാണ്, ഇതാണ് ഏറ്റവും കൂടുതൽ നാശനഷ്ടങ്ങൾ വരുത്തുന്ന സാഹചര്യം.
ഡാറ്റ വിഷബാധ ആക്രമണങ്ങൾ യഥാർത്ഥത്തിൽ എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്? #
ഡാറ്റ വിഷബാധ ആക്രമണങ്ങൾ സാധാരണയായി ചില രൂപങ്ങളിൽ ഒന്നാണ്:
- പരിശീലന ഡാറ്റ വിഷബാധ: ഒരു മോഡലിനെ ആദ്യം മുതൽ പരിശീലിപ്പിക്കുന്നതിനോ നിലവിലുള്ളത് ഫൈൻ-ട്യൂൺ ചെയ്യുന്നതിനോ ഉപയോഗിക്കുന്ന ഡാറ്റാസെറ്റിലേക്ക് ഒരു ആക്രമണകാരി കൃത്രിമം കാണിച്ചതോ, തെറ്റായി ലേബൽ ചെയ്തതോ, അല്ലെങ്കിൽ ക്ഷുദ്രകരമായതോ ആയ ഉദാഹരണങ്ങൾ ചേർക്കുന്നു, ഇത് ഒരു മറഞ്ഞിരിക്കുന്ന പക്ഷപാതമോ പിൻവാതിൽ പെരുമാറ്റമോ പഠിക്കാൻ കാരണമാകുന്നു.
- ലേബൽ ഫ്ലിപ്പിംഗ്: മുകളിൽ പറഞ്ഞതിന്റെ കൂടുതൽ സൂക്ഷ്മമായ ഒരു പതിപ്പ്, അവിടെ ഒരു ആക്രമണകാരി പരിശീലന ഉദാഹരണങ്ങളുടെ ഒരു ചെറിയ ഉപവിഭാഗത്തിലെ ലേബലുകൾ മാത്രം മാറ്റുന്നു, മോഡൽ എന്തിനുമായി ബന്ധപ്പെടുത്താൻ പഠിക്കുന്നു എന്നതിനെ നിശബ്ദമായി വളച്ചൊടിക്കുന്നു.
- RAG ഉം കോൺടെക്സ്റ്റ് വിഷബാധയും: വീണ്ടെടുക്കൽ-വർദ്ധിപ്പിച്ച ജനറേഷൻ സിസ്റ്റങ്ങളിൽ, ഒരു ആക്രമണകാരി റൺടൈമിൽ മോഡൽ വീണ്ടെടുക്കുന്ന നോളജ് ബേസിലേക്കോ വെക്റ്റർ സ്റ്റോറിലേക്കോ വിഷലിപ്തമായ രേഖകൾ നട്ടുപിടിപ്പിക്കുന്നു, അതിനാൽ മോഡൽ ആത്മവിശ്വാസത്തോടെ തെറ്റായതോ കൃത്രിമമായതോ ആയ വിവരങ്ങൾ സ്ഥിരീകരിച്ച വസ്തുത പോലെ ആവർത്തിക്കുന്നു.
- ബാക്ക്ഡോർ ട്രിഗറുകൾ: ഒരു ആക്രമണകാരി ഉൾച്ചേർക്കുന്നത് a പരിശീലന ഡാറ്റയിലെ പ്രത്യേക പാറ്റേൺ അതിനാൽ മോഡൽ മിക്കവാറും എല്ലാ സാഹചര്യങ്ങളിലും സാധാരണയായി പ്രവർത്തിക്കുന്നു, പക്ഷേ ഒരു മറഞ്ഞിരിക്കുന്ന ട്രിഗർ വാക്യമോ ഇൻപുട്ടോ ദൃശ്യമാകുന്ന നിമിഷം ആക്രമണകാരി തിരഞ്ഞെടുത്ത ഔട്ട്പുട്ട് ഉത്പാദിപ്പിക്കുന്നു.
- സപ്ലൈ ചെയിൻ വിഷബാധ: ഒരു ആക്രമണകാരി ഒരു പൊതു അല്ലെങ്കിൽ പങ്കിട്ട ഡാറ്റാസെറ്റിൽ വിട്ടുവീഴ്ച ചെയ്യുന്നു, മുൻകൂട്ടി പരിശീലിപ്പിച്ച ഒരു മോഡൽ ചെക്ക്പോയിന്റ്, അല്ലെങ്കിൽ ഒരു എംബെഡിംഗ് pipeline അങ്ങനെ അതിൽ നിന്ന് വരുന്ന ഓരോ ഡൌൺസ്ട്രീം ടീമിനും യഥാർത്ഥ ആക്രമണത്തിൽ സ്പർശിക്കാതെ തന്നെ വിഷം അവകാശപ്പെടാൻ കഴിയും.
ഈ ഡാറ്റ വിഷബാധ ആക്രമണങ്ങളെയെല്ലാം ഒരുമിച്ച് ബന്ധിപ്പിക്കുന്നത് സമയക്രമമാണ്. മോഡൽ ഒരു യഥാർത്ഥ ഉപയോക്താവിന് ഉത്തരം നൽകുന്നതിനു മുമ്പുതന്നെ കേടുപാടുകൾ സംഭവിക്കുന്നു, അതുകൊണ്ടാണ് "ഒരു കോഡ് വരി എഴുതുന്നതിനുമുമ്പ്" എന്ന വാചകം ഈ ഭീഷണിയെ വിവരിക്കുന്നത്.cisely: മോഡൽ അതിന്റെ അടിത്തറയിലാണ് വിട്ടുവീഴ്ച ചെയ്തിരിക്കുന്നത്, ഔട്ട്പുട്ടിൽ അല്ല.
ഒരു കോഡ് ലൈൻ എഴുതുന്നതിനുമുമ്പ് ആക്രമണകാരികൾ എങ്ങനെയാണ് ഒരു AI മോഡലിനെ ദുഷിപ്പിക്കുന്നത്? #
മുകളിൽ വിവരിച്ച എല്ലാ ഡാറ്റാ വിഷബാധ ആക്രമണങ്ങളും ഒരേ സമയ നേട്ടം പങ്കിടുന്നു: ഒരു മോഡൽ ഒരു ഉപയോക്താവ് കാണുന്ന ഒരൊറ്റ ഔട്ട്പുട്ട് സൃഷ്ടിക്കുന്നതിന് വളരെ മുമ്പുതന്നെ, അപ്സ്ട്രീമിൽ വിട്ടുവീഴ്ച സംഭവിക്കുന്നു. പാച്ച് ചെയ്യാൻ ദുർബലമായ ഒരു ഫംഗ്ഷനോ ക്ഷുദ്രകരമായ പ്രവർത്തനമോ ഇല്ല. commit അവലോകനത്തിൽ പിടിക്കാൻ, കാരണം മോഡൽ ഇതുവരെ ഒന്നും എഴുതിയിട്ടില്ല. അത് പഠിച്ചു എന്ന് മാത്രം, അത് പഠിച്ചത് ഇതിനകം തെറ്റാണ്.
ഇതാണ് ആപ്ലിക്കേഷൻ സുരക്ഷാ ടീമുകൾ വേട്ടയാടാൻ പരിശീലിപ്പിച്ചിട്ടുള്ള ദുർബലതകളിൽ നിന്ന് AI ഡാറ്റ വിഷബാധയെ അടിസ്ഥാനപരമായി വ്യത്യസ്തമാക്കുന്നത്. ഒരു ബാക്ക്ഡോർ മോഡൽ ഒരു കോഡ് ഡിഫയറിൽ വൃത്തിയുള്ള ഒന്നിന് സമാനമായി കാണപ്പെടുന്നു. ഇത് ഒരു pull request അവലോകനം. ആക്രമണകാരി നട്ടുപിടിപ്പിച്ച നിർദ്ദിഷ്ട അവസ്ഥ ഒടുവിൽ ഉൽപാദനത്തിൽ പ്രത്യക്ഷപ്പെടുന്നതുവരെ, മിക്ക ചോദ്യങ്ങളും ഇത് സമാഹരിക്കുകയും വിന്യസിക്കുകയും ഉത്തരം നൽകുകയും ചെയ്യുന്നു. അപ്പോഴേക്കും, ചോദ്യം "ഏത് കോഡാണ് ഇത് അവതരിപ്പിച്ചത്" എന്നല്ല, "എന്ത് ഡാറ്റയാണ് ഇത് ചെയ്തത്, അത് എത്രത്തോളം പഴക്കമുള്ളതാണ്" എന്നതാണ്.
AI ഡാറ്റ വിഷബാധ വളരുന്ന ഒരു മുൻഗണനയായിരിക്കുന്നത് എന്തുകൊണ്ട്? #
AI ഡാറ്റ വിഷബാധ ഇനി ഒരു സൈദ്ധാന്തിക ആശങ്കയല്ല. ഇത് ഔദ്യോഗികമായി അംഗീകരിക്കപ്പെട്ടിരിക്കുന്നത് LLM04: ഡാറ്റയും മോഡൽ വിഷബാധയും ജനറേറ്റീവ് AI യുഗത്തിലെ നിർവചിക്കുന്ന ഭീഷണികളിൽ ഒന്നായി, പ്രോംപ്റ്റ് ഇഞ്ചക്ഷൻ, സപ്ലൈ ചെയിൻ അപകടസാധ്യതകൾക്കൊപ്പം, LLM ആപ്ലിക്കേഷനുകൾക്കായുള്ള OWASP ടോപ്പ് 10-ൽ ഇടം നേടി. എല്ലാ സുരക്ഷാ ടീമിന്റെയും റഡാറിൽ മൂന്ന് പ്രവണതകൾ അതിനെ ഉയർത്തിക്കാട്ടുന്നു:
- ട്രിഗർ ചെയ്യുന്നതുവരെ കേടുപാടുകൾ അദൃശ്യമാണ്. വിഷബാധയേറ്റ ഒരു മോഡലിന് എല്ലാ പ്രവർത്തന പരിശോധനകളിലും വിജയിക്കാനും മാസങ്ങളോളം പൂർണതയോടെ പ്രവർത്തിക്കാനും കഴിയും, ഒരു ആക്രമണകാരി നട്ടുപിടിപ്പിച്ച നിർദ്ദിഷ്ട ട്രിഗർ അവസ്ഥ ഒടുവിൽ ഉൽപാദനത്തിൽ പ്രത്യക്ഷപ്പെടുന്നതുവരെ.
- വീണ്ടെടുക്കൽ-വർദ്ധിപ്പിച്ച തലമുറ എല്ലായിടത്തും ഉണ്ട്. ഡോക്യുമെന്റുകൾ, വിക്കികൾ, ടിക്കറ്റുകൾ അല്ലെങ്കിൽ വെക്റ്റർ ഡാറ്റാബേസ് എന്നിവയിൽ നിന്ന് തത്സമയ സന്ദർഭം വലിച്ചെടുക്കാൻ ഒരു മോഡലിനെ അനുവദിക്കുന്ന ഏതൊരു സിസ്റ്റത്തിനും ഒരു പുതിയ, ഓഡിറ്റ് ചെയ്യാത്ത ഇൻപുട്ട് പ്രതലമുണ്ട്, കൂടാതെ ഡാറ്റ വിഷബാധ ആക്രമണങ്ങൾ ലക്ഷ്യമിടുന്നത് ആ പ്രതലമാണ്.
- ഡാറ്റാസെറ്റുകൾ ഇപ്പോൾ സപ്ലൈ ചെയിൻ ആസ്തികളാണ്. ഓപ്പൺ സോഴ്സ് പാക്കേജുകൾ വലിക്കുന്നതുപോലെ തന്നെ, ടീമുകൾ ബാഹ്യ ഉറവിടങ്ങളിൽ നിന്ന് മുൻകൂട്ടി പരിശീലിപ്പിച്ച മോഡലുകൾ, എംബെഡിംഗുകൾ, പൊതു ഡാറ്റാസെറ്റുകൾ എന്നിവ പതിവായി വലിച്ചെടുക്കുന്നു, കൂടാതെ ഒരു വിട്ടുവീഴ്ച ചെയ്ത പാക്കേജ് പോലെ, ഒരു വിട്ടുവീഴ്ച ചെയ്ത ഡാറ്റാസെറ്റിന് അത് ഉപയോഗിക്കുന്ന എല്ലാ ടീമുകളിലേക്കും നിശബ്ദമായി ആക്രമണം എത്തിക്കാൻ കഴിയും.
ഡാറ്റ വിഷബാധ കണ്ടെത്തലും പ്രതിരോധവും #
മോഡലിന്റെ മുകളിലൂടെ ഡാറ്റ വിഷബാധ സംഭവിക്കുന്നതിനാൽ, പ്രതിരോധവും മുകളിലൂടെ ആരംഭിക്കേണ്ടതുണ്ട്:
- അസാധാരണമായ കോഡുകൾ മാത്രമല്ല, അസാധാരണമായ ഡാറ്റ ഉറവിടങ്ങളും ശ്രദ്ധിക്കുക. പെരുമാറ്റപരവും അനോമലി ഡിറ്റക്ഷനും ഡാറ്റ പ്രവേശിക്കുന്നിടത്തേക്ക് വ്യാപിപ്പിക്കേണ്ടതുണ്ട്. pipeline, സംഭരണിയുടെ അതിർത്തിയിൽ നിർത്തരുത്.
- എന്നതിലെ ഓരോ ഡാറ്റാസെറ്റും അറിയുക pipeline. നിങ്ങൾക്ക് അറിയാത്ത ഒരു ഡാറ്റാസെറ്റിൽ വിഷബാധ സാധ്യത ഓഡിറ്റ് ചെയ്യാൻ കഴിയില്ല. പരിശീലനം, വിലയിരുത്തൽ, വീണ്ടെടുക്കൽ ഡാറ്റാസെറ്റുകളുടെ തുടർച്ചയായ കണ്ടെത്തൽ പ്രതിരോധത്തിന്റെ ആദ്യ നിരയാണ്.
- ഡാറ്റാസെറ്റിൽ നിന്ന് മോഡലിലേക്കും ഔട്ട്പുട്ടിലേക്കും ഉള്ള ലൈനേജ് കണ്ടെത്തുക. ഒരു ഡാറ്റാസെറ്റ് ഒരു മോഡലിലേക്കും, ഒരു മോഡലിൽ നിന്ന് ഒരു ഏജന്റിലേക്കും, ഒരു എൻഡ്പോയിന്റിലേക്കും, അല്ലെങ്കിൽ ഒരു കോഡിംഗ് ടൂളിലേക്കും കൊണ്ടുപോകുന്ന പാത മാപ്പ് ചെയ്യുന്നതിലൂടെയാണ് "നമുക്ക് മോശം ഔട്ട്പുട്ട് ലഭിച്ചു" എന്നത് "ഏത് ഡാറ്റാസെറ്റാണ് അത് അവതരിപ്പിച്ചതെന്ന് ഞങ്ങൾക്ക് കൃത്യമായി അറിയാം" എന്നാക്കി മാറ്റുന്നത്.
- പരിശീലന സെറ്റുകൾ മാത്രമല്ല, വീണ്ടെടുക്കൽ ഉറവിടങ്ങളും സൂക്ഷ്മമായി പരിശോധിക്കുക. RAG സിസ്റ്റങ്ങളിൽ, വെക്റ്റർ സ്റ്റോറിനും നോളജ് ബേസിനും പരിശീലന ഡാറ്റയുടെ അതേ സമഗ്രത പരിശോധനകൾ ആവശ്യമാണ്, കാരണം കോൺടെക്സ്റ്റ് വിഷബാധ പരിശീലന സമയത്തല്ല, അന്വേഷണ സമയത്താണ് സംഭവിക്കുന്നത്.
ഡാറ്റ വിഷബാധ വിടവ് നികത്താൻ സൈജെനി എങ്ങനെ സഹായിക്കുന്നു? #
മിക്ക സ്ഥാപനങ്ങൾക്കും ഇല്ലാത്ത ദൃശ്യപരതയിൽ നിന്നാണ് ഡാറ്റ വിഷബാധയ്ക്കെതിരായ പ്രതിരോധം ആരംഭിക്കുന്നത്. സൈജെനി's AI ഇൻവെന്ററി എല്ലാ AI അസറ്റുകളും തുടർച്ചയായി കണ്ടെത്തുന്നു. SDLC, അതിനു പിന്നിലുള്ള ഡാറ്റാസെറ്റുകൾ ഉൾപ്പെടെ: പരിശീലന ഡാറ്റ, മൂല്യനിർണ്ണയ സെറ്റുകൾ, RAG അല്ലെങ്കിൽ വീണ്ടെടുക്കൽ ഉറവിടങ്ങൾ, കൂടാതെ ഡാറ്റാസെറ്റിൽ നിന്ന് മോഡലിലേക്കും എൻഡ്പോയിന്റിലേക്കും പ്രവർത്തിക്കുന്ന ഒരു ലൈവ് റിലേഷൻഷിപ്പ് ഗ്രാഫിലേക്ക് അവയെ മാപ്പ് ചെയ്യുന്നു. MCP സെർവറിലേക്കുള്ള ഏജന്റിലേക്ക് കോഡിംഗ് ടൂളിലേക്ക്. ആ ഗ്രാഫാണ് സംശയാസ്പദമായ ഒരു മോഡൽ ഔട്ട്പുട്ടിനെ കണ്ടെത്താനാകുന്ന ഒരു ചോദ്യമാക്കി മാറ്റുന്നത്: ഏത് ഡാറ്റാസെറ്റാണ് ഇത് നൽകിയത്, അത് എവിടെ നിന്ന് വന്നു.
ആ ഇൻവെന്ററിക്ക് പുറമേ, സൈജെനിയുടെ AI സുരക്ഷ വീണ്ടെടുക്കലിലും RAG-ലും വിഷം കലർന്ന സന്ദർഭം ഉൾപ്പെടെ, വെക്റ്ററിന്റെയും എംബെഡിംഗ് ബലഹീനതകളും കണ്ടെത്തുന്നു. pipelines, എന്നതിലേക്ക് വിന്യസിച്ചിരിക്കുന്നു എൽഎൽഎം ആപ്ലിക്കേഷനുകളിൽ OWASP ടോപ്പ് 10. ഒരു മോഡലിന്റെ പരിശീലന, വീണ്ടെടുക്കൽ ഉറവിടങ്ങൾ ശുദ്ധമാണെന്ന് വിശ്വസിക്കുന്നതിനുപകരം, സൈജെനി അവയെ ആക്രമണ പ്രതലത്തിന്റെ ഭാഗമായി കണക്കാക്കുന്നു, അത് ഇതിനകം കോഡ്, ഡിപൻഡൻസികൾ, pipelines. "ഈ മോഡലിനെ പരിശീലിപ്പിച്ച ഡാറ്റ ഏതാണ്, ഞങ്ങൾക്ക് അത് തെളിയിക്കാൻ കഴിയുമോ" എന്ന് നിലവിൽ നിങ്ങൾക്ക് ഉത്തരം നൽകാൻ കഴിയുന്നില്ലെങ്കിൽ, ഒരു AI ഡാറ്റ വിഷബാധ സംഭവം ചോദ്യത്തിന് നിർബന്ധിതമാകുന്നതിന് മുമ്പ് നികത്തേണ്ട കൃത്യമായ വിടവ് അതാണ്.
പതിവുചോദ്യങ്ങൾ #
ഒരു മോഡൽ പഠിക്കുന്ന ഡാറ്റ (പരിശീലന ഡാറ്റ, ഫൈൻ-ട്യൂണിംഗ് ഡാറ്റ, അല്ലെങ്കിൽ വീണ്ടെടുക്കൽ സന്ദർഭം) ദുഷിപ്പിക്കുന്നതോ കൈകാര്യം ചെയ്യുന്നതോ ആയ പ്രവർത്തനമാണ് AI-യിലെ ഡാറ്റ വിഷബാധ. അങ്ങനെ മോഡൽ ആക്രമണകാരി സ്വാധീനിച്ചതോ വിശ്വസനീയമല്ലാത്തതോ ആയ ഔട്ട്പുട്ട് സൃഷ്ടിക്കുന്നു.
ഇല്ല. പ്രോംപ്റ്റ് ഇൻജക്ഷൻ, ക്വറി സമയത്ത് ഒരു മോഡലിന്റെ പെരുമാറ്റത്തെ കൃത്രിമമായി രൂപപ്പെടുത്തിയ ഇൻപുട്ട് വഴി കൈകാര്യം ചെയ്യുന്നു. മോഡൽ പരിശീലിപ്പിച്ചതോ വീണ്ടെടുക്കുന്നതോ ആയ അടിസ്ഥാന ഡാറ്റയെ ഡാറ്റ വിഷബാധ ദുഷിപ്പിക്കുന്നു, അതിനാൽ ഏതെങ്കിലും പ്രോംപ്റ്റ് അയയ്ക്കുന്നതിന് മുമ്പ് കേടുപാടുകൾ തീർന്നു പോകുന്നു.
അതെ. വീണ്ടെടുക്കൽ-വർദ്ധിപ്പിച്ച ജനറേഷൻ സിസ്റ്റങ്ങളിൽ, ഒരു ആക്രമണകാരിക്ക് റൺടൈമിൽ ഒരു മോഡൽ വീണ്ടെടുക്കുന്ന ഡോക്യുമെന്റുകളെയോ വെക്റ്റർ ഡാറ്റാബേസിനെയോ വിഷലിപ്തമാക്കാൻ കഴിയും, അങ്ങനെ യഥാർത്ഥ പരിശീലന സെറ്റിൽ ഒരിക്കലും തൊടാതെ തന്നെ സമാനമായ ഫലം കൈവരിക്കാൻ കഴിയും.
കാരണം അത് കോഡിലാണ് ജീവിക്കുന്നത്, ഡാറ്റയിലാണ്. പരമ്പരാഗത ആപ്പ്സെക് ഉപകരണങ്ങൾ മൾട്ടി-ജിഗാബൈറ്റ് പരിശീലന സെറ്റുകളോ വെക്റ്റർ സ്റ്റോറുകളോ അല്ല, സോഴ്സ് കോഡും ഡിപൻഡൻസി മാനിഫെസ്റ്റുകളും സ്കാൻ ചെയ്യുന്നു, അതിനാൽ കോഡ്-കേന്ദ്രീകൃത ഭീഷണി മോഡലിനായി നിർമ്മിച്ച ഉപകരണങ്ങൾ ഡാറ്റ വിഷബാധ ആക്രമണങ്ങളെ പലപ്പോഴും ശ്രദ്ധിക്കാതെ പോകുന്നു.
ഏതൊരു സ്ഥാപനവും ആന്തരിക അല്ലെങ്കിൽ മൂന്നാം കക്ഷി ഡാറ്റയിൽ മോഡലുകൾ ഫൈൻ-ട്യൂൺ ചെയ്യുന്നത്, വീണ്ടെടുക്കൽ-വർദ്ധിപ്പിച്ച ജനറേഷൻ ഉപയോഗിച്ച്, അല്ലെങ്കിൽ പൊതു ഉറവിടങ്ങളിൽ നിന്ന് മുൻകൂട്ടി പരിശീലിപ്പിച്ച മോഡലുകളും ഡാറ്റാസെറ്റുകളും വലിച്ചെടുക്കുന്നത് തുറന്നുകാട്ടപ്പെടുന്നു, കാരണം അവ ഓരോന്നും ഡാറ്റ വിഷബാധയ്ക്കുള്ള ഒരു പ്രവേശന പോയിന്റാണ്.
