Təcili inyeksiya nədir?

Əgər sizə təcili inyeksiyanın nə olduğunu soruşublarsa və cavabınız yalnız yarısını alıblarsa, qısaca belədir: bu, süni intellekt modelinin emal etdiyi girişə zərərli və ya manipulyativ mətnin daxil edildiyi və onu orijinal təlimatlarını görməməzliyə vurmağa və əvəzinə hücumçunun təlimatlarını yerinə yetirməyə məcbur etdiyi bir hücum texnikasıdır. Təcili inyeksiyanın mənası budur: bu, koddakı bir səhv deyil, ənənəvi istismar kodu əvəzinə adi dildən istifadə edərək modelin təlimatlarını ələ keçirən bir hücumdur.

Təcili inyeksiya mənası, sadə dildə #

Sürətli inyeksiya mənasını sözbəsöz təhlil etmək onun qalmasına kömək edir:

• İstifadəsi: istifadəçi tərəfindən birbaşa yazıldığı və ya sənəddən, veb səhifədən və ya API cavabından avtomatik olaraq götürüldüyü süni intellekt modelinə daxil edilən təlimatlar və kontekst.
• Enjeksiyon: SQL inyeksiyası ilə eyni məntiqdən götürülmüş, orada olması nəzərdə tutulmayan bir şeyin daxil edilməsi, burada etibarsız girişin adi məlumatlar əvəzinə əmr kimi qəbul edilməsi.

Beləliklə, kimsə təcili inyeksiyanın nə olduğunu soruşduqda, ən sadə cavab budur: süni intellekt modelinin tərtibatçısı tərəfindən verilən təlimatlarla emal etdiyi məzmunun içərisində gizlədilən təlimatlar arasındakı fərqi ayırd edə bilmədikdə baş verənlərdir.

Əslində nə daxildir? #

Real həyatda baş verən hadisələrin əksəriyyəti aşağıdakı əsas kateqoriyalara aiddir:

• Birbaşa təcili inyeksiya: təcavüzkar zərərli təlimatı birbaşa söhbətə və ya giriş sahəsinə yazır və modeldən əvvəlki qaydalarını görməməzlikdən gəlməsini açıq şəkildə xahiş edir ("bütün əvvəlki təlimatları görməməzlikdən gəlin və...").
• Dolayı təcili inyeksiyaZərərli təlimat modelin sonradan oxuduğu məzmunun, məsələn, veb səhifənin, PDF-in, e-poçtun və ya kod şərhinin içərisində gizlənir və yalnız model həmin məzmunu emal etdikdə aktivləşir və həmin anda heç bir hücumçu mövcud olmur.
• Jailbreak tipli inyeksiya: modelin təhlükəsizliyini aşmaq üçün rol oyunu, hipotetik çərçivələmə və ya kodlaşdırma fəndlərindən istifadə edən spesifik bir inyeksiya ləzzəti guardrails xüsusilə, vəzifəsini ələ keçirmək əvəzinə.

Sürətli İnyeksiya və Jailbreak: Fərq nədir? #

Tez inyeksiyanın nə olduğunu izah edən ümumi bir nümunə, onun jailbreak-dən necə fərqləndiyini göstərir. Bu ikisi üst-üstə düşür, lakin eyni deyil. Jailbreak, xüsusən də modelin təhlükəsizliyini və... məzmun guardrails, imtina etmək üçün öyrədildiyi bir şeyi deməyə və ya yaratmağa məcbur etmək. Təcili inyeksiya daha geniş mənada başa düşülür: söhbət modelin təlimatlarını və ya tapşırığını ələ keçirməkdən gedir ki, bu da təhlükəsizliklə bağlı ola bilər və ya olmaya bilər. guardrails ümumiyyətlə. Müştəri xidmətləri agentinə istifadəçinin məlumatlarını xarici ünvana e-poçtla göndərməyi sakitcə deyən dəstək biletində gizlədilmiş dolayı inyeksiya heç nəyi jailbreak etməyə çalışmır; o, tapşırığın özünü yönləndirir.

Təcili inyeksiyanın əslində harada göründüyü #

Təcili inyeksiyanın mənasını başa düşdükdən sonra, real sistemlərdə riskin harada olduğunu müəyyən etmək daha asan olur:

MCP serverləri və süni intellekt kodlaşdırma köməkçiləri – zərərli şərh, README və ya alət nəticəsi yükü agentin geliştiricinin kod bazası və ya terminalı daxilində etdiklərini yönləndirə bilər. Bu, onun ətrafında qurulmuş proqramlaşdırma dilindən asılı olaraq fərqlidir, lakin əsas ideya (redaktor + qurma alətləri + sazlayıcı, bir yerdə) eyni qalır.

Çatbotlar və dəstək agentləri – istifadəçi botun sistem sorğusunu göstərməsi və ya gözlənilməz hərəkətlər etməsi üçün daxil edilmiş mətni yapışdırır.

Axtarış-artırılmış nəsil (RAG) pipelines – bilik bazasındakı zəhərlənmiş sənəd, bərpa edildikdə aktivləşən təlimatları daşıyır.

Muxtar süni intellekt agentləri – internetdə gəzən, e-poçtları oxuyan və ya alətlərə zəng edən agent toxunduğu istənilən məzmundan daxil edilmiş təlimatları götürə və sonra real icazələrlə onlara əməl edə bilər.

Niyə Təcili İnyeksiyanın Mənası "Sadəcə Təcili Hiylə"dən Başqa Əhəmiyyətlidir? #

Bunu bir yenilik, bir chatbotu axmaq bir şey deməyə məcbur etməyin ağıllı bir yolu kimi rədd etmək asandır. Lakin süni intellekt modelləri e-poçt göndərə, kod icra edə, verilənlər bazalarına sorğu göndərə və ya paketlər quraşdıra bilən agentlərə qoşulduqdan sonra, sorğu inyeksiyası chat pəncərəsi marağı olmaqdan çıxır və əsl təhlükəsizlik sərhədi probleminə çevrilir: modelin oxuduğu məzmuna nəzarət edən şəxs, düzgün şərtlər altında, həmin modelin bundan sonra nə edəcəyini idarə edə bilər. Buna görə də bu inyeksiya indi ayrıca bir kateqoriya kimi görünür. LLM Tətbiqləri üçün OWASP-ın Ən Yaxşı 10-luğuvə niyə təcili inyeksiyanın nə olduğunu anlamaq indi süni intellektlə işləyən sistemlər quran və ya təmin edən hər kəs üçün əsas bilik hesab olunur, təkcə qırmızı komanda üzvləri üçün maraq deyil.

Əgər buna xüsusi olaraq AppSec və DevSecOps baxımından, yəni təcili inyeksiya riskinin süni intellekt agentləri, MCP serverləri və süni intellekt tərəfindən yaradılan kod arasında necə göründüyü baxımından baxırsınızsa, biz bunu burada daha ətraflı şəkildə əhatə etmişik: Süni intellekt Təchizat Zəncirinin Təhlükəsizliyi.

FAQ #