Süni intellekt Təhlükəsizliyi nədir? Süni intellekt təhlükəsizliyi, proqram təminatının asılı olduğu süni intellekt modellərini, agentlərini, məlumat dəstlərini və infrastrukturunu süni intellekt sistemlərinin necə qurulduğu, öyrədildiyi və işlədildiyi kimi unikal risklərdən qorumaq təcrübəsidir. Bu, istifadədə olan hər bir süni intellekt aktivinin aşkarlanmasını, təcili inyeksiya və təhlükəli agent davranışı kimi süni intellektlə əlaqəli zəifliklərin aşkarlanmasını və təhlükəli süni intellekt hərəkətlərinin zərər verməzdən əvvəl dayandırılmasını təmin edən siyasətlərin tətbiqini əhatə edir. Bu, əsas süni intellekt təhlükəsizliyidir, yəni lüğət girişinin qalan hissəsi açılır.
Kodu, asılılıqları və infrastrukturu qoruyan ənənəvi tətbiq təhlükəsizliyindən fərqli olaraq, Süni İntellekt Təhlükəsizliyi yeni bir aktiv sinfini qoruyur: modellər, sorğular, agentlər və onları birləşdirən maşın-maşın protokolları. Süni İntellekt bir xüsusiyyətdən proqram təminatı təchizat zəncirinin özünə keçdikcə, o, fərqli, zəruri bir müdafiə təbəqəsinə çevrilib.
Süni intellekt təhlükəsizliyinin mənası: qısa tərif #
Ən sadə şəkildə desək, süni intellekt təhlükəsizlik mənası belədir: süni intellekt kodunu əvvəlcədən qoruduğunuz kimi təhlükəsizliyi təmin edir, lakin ənənəvi alətlərin heç vaxt görmək üçün yaradılmadığı bir sıra komponentlər və davranışlar üçün.
Konsepsiyanı ümumi qarışıqlıq nöqtəsindən ayırmağın faydalı bir yolu: Süni intellekt təhlükəsizliyi "təhlükəsizlikdə süni intellekt" ilə eyni deyil. Təhlükəsizlikdə süni intellekt mövcud təhlükəsizlik işini təkmilləşdirmək üçün süni intellektdən istifadə etməyi nəzərdə tutur, məsələn, zəiflik tapıntılarını sıralayan süni intellekt modeli. Süni intellekt təhlükəsizliyi isə, əksinə, süni intellektin özünün təhlükəsizliyini nəzərdə tutur: model faylları, təlim məlumatları, agentlər, göstərişlər və süni intellekt alətlərinin hərəkətə keçməsinə imkan verən serverlər. Hər ikisi süni intellektdən etibarlı istifadə üsullarıdır, lakin fərqli suallara cavab verirlər.
Niyə məsələdir #
Proqram təminatı qrupları süni intellekt kodlaşdırma köməkçilərini, muxtar agentləri və Model Kontekst Protokolu (MCP) onları təmin etmək üçün nəzərdə tutulmuş vasitələri geridə qoyan bir sürətlə. Bu dəyişikliyin yeni bir hücum səthi yaratmasının bir neçə səbəbi:
Süni intellekt asılılıqları zəhərlənə və ya icad edilə bilər. Süni intellekt kodlaşdırma köməkçiləri bəzən mövcud olmayan paketləri tövsiyə edirlər. Bu, hücum edənlərin əvvəlcədən qeydiyyatdan keçirib silahlandıra biləcəyi "slopsquatting" adlanan bir modeldir.
Süni intellekt tərəfindən yaradılan kod öz risk profilinə malikdir. Süni intellekt kod generasiyasının müstəqil müqayisəsi göstərib ki, əsas model bacarıqlı və yaxşı təlim keçmiş olsa belə, süni intellekt tərəfindən yazılmış kodun əhəmiyyətli bir hissəsi ümumi zəiflik nümunələrini ortaya çıxarır.
Agentlər və MCP serverləri yeni, əsasən nəzarət olunmayan infrastrukturdur. Agentlər faylları oxuya, alətlərə zəng edə və geliştiricinin adından hərəkət edə bilərlər. Agentin təlimatları, qayda faylları və ya qoşulmuş MCP serverləri manipulyasiya edilərsə, agent qoruması nəzərdə tutulan sistemə qarşı çevrilə bilər.
Süni intellekt konfiqurasiyası artıq hücum səthidir. Bacarıq faylları, qayda faylları və sorğu şablonları adətən təhlükəsizliklə əlaqəli artefaktlar kimi deyil, sənədləşmə kimi qəbul edilir. Hücumçular artıq nümayiş etdiriblər ki, bu fayllara yerləşdirilmiş gizli təlimatlar süni intellekt köməkçisinin cavabında heç bir görünən iz olmadan arxa qapılı kod yaratmasına səbəb ola bilər.
Nəyi əhatə edir #
Tam bir süni intellekt təhlükəsizlik proqramı adətən üç funksiyanı əhatə edir:
1. Kəşf (Süni İnventarlaşdırma) #
Hər hansı bir şeyin təhlükəsizliyi təmin edilməzdən əvvəl onu tapmaq lazımdır. Süni intellekt təhlükəsizliyi təşkilatın depolarında hər bir süni intellekt aktivinin davamlı olaraq aşkarlanması ilə başlayır və pipelines: modellər, süni intellekt çərçivələri, məlumat dəstləri, nəticə çıxarma son nöqtələri, agentlər, süni intellekt kodlaşdırma alətləri və qoşulduqları MCP serverləri. Bu inventar adətən maşınla oxuna bilən süni intellekt materiallar siyahısı (AI-BOM), proqram təminatı materiallar siyahısına ekvivalent süni intellekt kimi ifadə olunur (SBOM).
2. Aşkarlama (Süni İntellekt Riski) #
Süni intellekt aktivləri məlum olduqdan sonra, Süni intellekt Təhlükəsizliyi aşağıdakılar da daxil olmaqla, onlara xas riskləri aşkar edir:
- Təcili inyeksiya və sistemdə sızma, burada etibarsız məzmun süni intellekt modelinin necə davrandığını manipulyasiya edir
- Təhlükəsiz olmayan MCP konfiqurasiyası, burada qoşulmuş alət və ya server zəhərlənə və ya təqlid edilə bilər
- Həddindən artıq aktivlik, agentin insan yoxlaması olmadan nəzərdə tutulan sərhədlərindən kənara çıxmasına icazə verildiyi hallarda
- Süni intellekt fayllarında sirlərin ifşası, burada API açarları və ya etimadnamələri süni intellekt alətləri tərəfindən istifadə edilən konfiqurasiya vasitəsilə sızır
- Zəif və ya halüsinasiyalı süni intellekt asılılıqları, o cümlədən slopsquatting
Bu risk kateqoriyaları dərc olunmuş, icma tərəfindən nəzərdən keçirilmiş çərçivələrə, xüsusən də LLM Tətbiqləri üçün OWASP Top 10-a aiddir.
3. İcra (Guardrails) #
Son təbəqə, işə salınmadan əvvəl təhlükəli süni intellekt davranışını dayandırır: zərərli paketin quraşdırılmasını bloklamaq, bacarıq və ya qaydalar faylına etibar edilməzdən əvvəl onu təsdiqləmək və ya siyasəti pozan agent hərəkətini ələ keçirmək. Süni intellekt təhlükəsizliyinin görünürlükdən aktiv müdafiəyə keçdiyi yer budur.
Əsas Süni İntellekt Təhlükəsizlik Riskləri, Təyin Edilib #
| Müddət | Nə deməkdir |
|---|---|
| Təcili inyeksiya | Süni intellekt modelinin məzmununda gizlənmiş zərərli təlimatlar emal olunur və bu da onun nəzərdə tutulan məqsədinə zidd hərəkət etməsinə səbəb olur |
| Yamaclarda çömbəlmə | Süni intellekt modelinin adları ilə uyğun gələn saxta paketləri qeydiyyata alan hücumçular, ehtimal ki, halüsinasiyalar yarada və tövsiyə edə bilərlər |
| MCP riski | Süni intellekt agentlərinə xarici alətləri çağırmağa imkan verən Model Kontekst Protokolu serverlərindəki zəifliklər, o cümlədən alət zəhərlənməsi və təsdiqlənməmiş giriş |
| Həddindən artıq aktivlik | Süni intellekt agentinə vəzifəsinin tələb etdiyindən daha çox muxtariyyət və ya giriş imkanı verildi |
| Qaydalar/bacarıq faylı arxa qapı | Süni intellekt kodlaşdırma köməkçisini görünən çıxışında görünmədən idarə edən konfiqurasiya fayllarının içərisinə yerləşdirilmiş gizli simvollar və ya təlimatlar |
| AI-BOM | Audit və risklərin idarə edilməsi üçün istifadə edilən, təşkilatın süni intellekt aktivlərinin maşınla oxuna bilən inventarı |
Süni intellekt Təhlükəsizlik Çərçivələri və Standards #
Bu, nəşr olunmuş kiçik bir dəstəyə bağlıdır standardhər hansı bir satıcının taksonomiyasından daha çox s:
- LLM Tətbiqləri üçün OWASP-ın Ən Yaxşı 10-luğu (2025)Süni intellekt tətbiqi risklərinin ən geniş istinad edilən siyahısı, təcili inyeksiya, həssas məlumatların açıqlanması, təchizat zənciri riski və daha çoxunu əhatə edir.
- NIST SP 800-218A: generativ süni intellekt və ikili istifadəli təməl modelləri üçün uyğunlaşdırılmış təhlükəsiz proqram təminatı inkişaf təcrübələri üçün rəhbərlik.
- Gartner-in AI-SPM və AI TRiSM: analitik tərəfindən müəyyən edilmiş süni intellekt təhlükəsizlik duruşunun idarə edilməsi kateqoriyaları və süni intellekt etibar, risk və təhlükəsizlik idarəetməsinin daha geniş sahəsi.
Bunlar birlikdə təşkilatlara yalnız marketinq təriflərinə etibar etmək əvəzinə, "təhlükəsiz süni intellekt"in əslində nə demək olduğunu anlamaq üçün ortaq bir lüğət verir.
Süni intellekt təhlükəsizliyi və əlaqəli terminlər #
- Süni intellekt təhlükəsizliyi və AppSecAppSec tətbiq kodunu və onun asılılıqlarını təmin edir. AppSec alətlərinin yoxlamaq üçün yaradılmadığı süni intellekt modellərini, agentlərini və süni intellektə xas konfiqurasiyanı təmin edir.
- Süni intellekt təhlükəsizliyi və süni intellekt idarəetməsiİdarəetmə, təşkilatın süni intellektdən istifadəsi üçün tələb etdiyi siyasətləri və təsdiqləri müəyyən edir. Bu siyasətlərin praktikada, kod və agent səviyyəsində qüvvədə olduğunu təsdiqləyir və tətbiq edir.
- Süni intellekt təhlükəsizliyi və MLSecOpsMLSecOps, maşın öyrənmə həyat dövrünün (təlim, məlumat, model yerləşdirmə) təhlükəsizliyini təmin etməyə yönəlmişdir. O, daha genişdir və agentlərə, kodlaşdırma köməkçilərinə və onları canlı sistemlərə bağlayan protokollara qədər uzanır.
Xygeni süni intellekt təhlükəsizliyinə necə yanaşır
#
Xygeni's Süni intellekt təhlükəsizlik məhsulu eyni kəşf, aşkarlama və tətbiq modelini birbaşa proqram təminatının inkişaf həyat dövrünə tətbiq edir. O, depolar arasında davamlı olaraq süni intellekt inventarını qurur, tez inyeksiya və təhlükəsiz olmayan MCP konfiqurasiyası kimi süni intellektlə bağlı riskləri aşkarlayır və hər bir tapıntını OWASP-ın LLM Tətbiqləri üçün Top 10-luğuna uyğunlaşdırır, beləliklə, təhlükəsizlik və mühəndislik qrupları kodlarında artıq hansı süni intellekt işlədiyini təxmin etmək əvəzinə, bir süni intellekt-BOM və bir risk baxışından işləyir.
FAQ #
Süni intellekt təhlükəsizliyi, süni intellekt modellərinin, agentlərinin, məlumatların və onları birləşdirən infrastrukturun süni intellekt sistemlərinin necə qurulduğuna və işlədiyinə xas olan risklərdən qorunmasıdır.
Xeyr. Kibertəhlükəsizlik bütün rəqəmsal riskləri əhatə edən çətir intizamıdır. Süni intellekt təhlükəsizliyi, süni intellektə xas aktivlərə və sürətli inyeksiya və ya təhlükəli agent davranışı kimi uğursuzluq rejimlərinə yönəlmiş kibertəhlükəsizliyin ixtisaslaşmış bir alt hissəsidir.
Tərtibatçıları süni intellekt kodlaşdırma köməkçilərindən istifadə edən, məhsullarında süni intellekt modelləri tətbiq edən və ya iş axınlarına muxtar agentlər və MCP serverləri daxil edən istənilən təşkilat. Buraya artıq ölçüsündən asılı olmayaraq əksər proqram təminatı qrupları daxildir.
