Süni intellekt agentinin təhlükəsizliyi artıq modelin nə deməsi ilə bağlı deyil. Bu, agentin nə etməsi ilə bağlıdır: çağırdığı alətlər, oxuduğu məlumatlar, saxladığı etimadnamələr və özü quraşdırdığı paketlər.
Və əksər komandalar ilk suala cavab verə bilmir: əslində hansı agentləri işlədirik? Onlar LangChain qrafikləri, MCP serverləri kimi depolarda yaşayırlar. SKILL.md faylları və fərdi tərtibatçıların cümə günortadan sonra konfiqurasiya etdiyi süni intellekt kodlaşdırma vasitələri. Heç kim onları nəzərdən keçirməyib və zərərli bacarıq sadəcə mətndir.
TL; DR
Süni intellekt agentinin təhlükəsizliyi dörd addımda: baxın, qiymətləndirin, dövrəni təhlükəsizləşdirin, quraşdırmaları qoruyun
Görə bilmədiyiniz agentləri təhlükəsizləşdirə bilməzsiniz. Süni intellekt agent təhlükəsizliyi kodunuzdakı hər bir agentin, MCP serverinin, bacarığının, modelinin və süni intellekt kodlaşdırma alətinin inventarlaşdırılması ilə başlayır.
- Agentlərin necə qurulduğuna dair risklər: istifadəçi girişini birləşdirən sorğular, alət çağırış agentləri yoxdur guardrails, gizli təlimatlarla həddindən artıq imtiyazlı etimadnamələr və bacarıqlar. Bunun əksəriyyəti yerləşdirilməzdən əvvəl kodda görünür və xəritələşdirilir Agent Tətbiqləri üçün OWASP Top 10.
- Döngü daxilində təhlükəsizlik: Kodlaşdırma agentləri loop daxilində təhlükəsizliyə ehtiyac duyurlar, ona görə də yazdıqlarını əvvəlcədən skan edib düzəldirlər commitTed, həftələr sonra yox.
- Quraşdırmaları qoruyun: Agentlər də asılılıqları quraşdırır. İmza mövcud olmamışdan əvvəl işləyən zərərli proqram aşkarlanması, zərərli paketləri quraşdıran hər kəsi, istər geliştirici, istərsə də agenti əhatə edir.
- Bir iş axını: Süni intellekt tapıntıları, AppSec tapıntılarınızın qalan hissəsi ilə eyni çeşidləmə, biletlər və hesabatlardan keçir.
İlk addım: Depolarınızda süni intellekt inventarını yaradın, onu süni intellekt BOM kimi ixrac edin və sonra CI-də yeni agent kodunu daxil edin.
Niyə süni intellekt agentinin təhlükəsizliyi fərqli bir problemdir
LLM funksiyası mətni qaytarır və insan onunla nə edəcəyinə qərar verir. Agent bu döngəni özü bağlayır: planlaşdırır, alətləri çağırır, veb səhifələri, e-poçtları və sənədləri oxuyur, faylları yazır və əmrləri icra edir. Agentə verdiyiniz hər bir imkan, hücumçunun borc ala biləcəyi bir imkandır.
OWASP da eyni fərqi qoymuşdur. OWASP Agent Tətbiqləri 2026-cı il üçün Top 10 (ASI01-dən ASI10-a) üzərində qurulur LLM Tətbiqləri üçün OWASP-ın Ən Yaxşı 10-luğuLLM siyahısı modelin dediklərini əhatə edir; agent siyahısı agentin nə etdiyini əhatə edir.
Hal-hazırda əksər təşkilatlar iki növ agent işlədir:
- Tətbiqlərinizə daxil etdiyiniz agentlər: LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel və ya LlamaIndex kimi çərçivələrlə qurulmuş dəstək köməkçiləri, daxili kopilotlar və iş axınları, tez-tez alətlərə qoşulur MCP serverləri.
- Tərtibatçılarınız istifadə edən süni intellekt kodlaşdırma agentləri: Kod yazan, konfiqurasiyanı redaktə edən və asılılıqlar əlavə edən Claude Code, Cursor, GitHub Copilot, Windsurf və digərləri.
Süni intellekt agent təhlükəsizliyi hər ikisini əhatə etməlidir, çünki hər ikisi sizin icazələriniz ilə işləyir.
Addım 1: hər bir agenti, MCP serverini və bacarığı inventarlaşdırın
Süni intellekt agentlərinin təhlükəsizliyi sual lövhəsi ilə başlayır və auditorlar indi soruşurlar: hansı süni intellektdən istifadə edirik? Xygeni AI Təhlükəsizlik mənbədən cavab verir: kod, konfiqurasiya, manifestlər və asılılıqlar.
Modelləri, agentləri və agent serverlərini, süni intellekt çərçivələrini, MCP serverlərini və onların alətlərini, bacarıqlarını (SKILL.md, AGENTS.md), istəklər, guardrails, vektor anbarları, məlumat dəstləri, nəticə çıxarma son nöqtələri və depolarınızda konfiqurasiya edilmiş süni intellekt kodlaşdırma alətləri. Həmçinin onların necə qoşulduğunu xəritələşdirir: hansı agentin hansı modeldən istifadə etdiyini, hansı alətləri icra etdiyini və hansı MCP serverlərini çağırdığını.
Nəticə, CycloneDX formatında AI-BOM kimi ixrac edilə bilən, AB Süni İntellekt Aktının risk kateqoriyası sahəsini əhatə edən hər aktiv üçün idarəetmə qeydinə malik canlı süni intellekt inventarıdır.
Kodunuzda artıq hansı süni intellekt olduğunu görmək istəyirsiniz? Bir mühəndislə görüş təyin edin, və depolarınızdan birinin süni intellekt inventarını quracağıq.
Addım 2: Agentlərin necə qurulduğundakı riskləri müəyyənləşdirin
Agent zəifliklərinin əksəriyyəti ekzotik deyil. Onlar sətir birləşməsindən ibarət olan bir sorğu, giriş maneəsi olmayan alət çağırış agenti və ya agentin ehtiyac duyduğundan daha geniş əhatə dairəsinə malik etimadnamədir. Hamısı kodda barmaq izləri buraxır ki, yerləşdirilməzdən əvvəl onları CI-də tapa biləsiniz.
Süni intellekt agenti kodda tuta biləcəyiniz risklər
Hər bir risk xəritəsi LLM Tətbiqləri üçün OWASP-ın Ən Yaxşı 10-luğu və ya onun agent yoldaşları, buna görə də tapıntılar auditorlarınızla eyni dildə danışır.
| Risk | Kodda necə görünür | OWASP xəritələşdirmə |
|---|---|---|
| Təcili inyeksiya | İstifadəçi məzmununu rol ayırıcıları, ayırıcılar və ya digər elementlər olmadan birləşdirən sistem sorğuları guardrails | LLM01 |
| Dolayı inyeksiya | Giriş olmadan alət çağırış agentləri guardrailsvə ya veb səhifələri, e-poçtları və ya əldə edilmiş sənədləri dezinfeksiya edilməmiş şəkildə qəbul edən agentlər | LLM01 |
| Təhlükəli çıxış emalı | Model çıxışı çatır eval və ya funksiyalar və fayllar arasında izlənilən digər təhlükəli lavabolar | LLM05 |
| Həddindən artıq imtiyazlı agent şəxsiyyətləriQeyri-insani şəxsiyyət istismarı | Statik uzunömürlü etimadnamələr, əhatə dairəsi daralmadan ortaq etimadnamələr, yüksək imtiyazlarla işləyən MCP və ya alət serverləri | ASI03 |
| Zərərli və ya səhv yazılmış bacarıqlarAgent bacarıqları təchizat zənciri | Gizli zərərli direktivlər SKILL.md or AGENTS.md, məlum bacarıqları və ya inteqrasiyaları təqlid edən bacarıq adları | Agent Bacarıqları Top 10 |
| Sorğulardakı sirlər | Etimadnamələr sorğu fayllarının içərisində saxlanılır | LLM07 |
Hər tapıntı özünün OWASP LLM Top 10 kateqoriyasını, üstəgəl tətbiq olunduğu OWASP Agent Tətbiqləri və Agent Bacarıqları etiketlərini və qırmızı komanda hücum vektorlarını daşıyır.
Bacarıqlar xüsusi diqqətə layiqdir, çünki bacarıq faylındakı zərərli təlimat kod deyil, nəsrdir və heç bir imza onu görə bilmir. Abunə süni intellekt yoxlaması, işarələnmiş bacarıq və agent təlimat fayllarının niyyətini versiyalı, deterministik bir quruluşla qiymətləndirir, buna görə də eyni fayl həmişə eyni qərarı alır. Öz özünüzə məxsus modeldə işləyə bilər, buna görə də kod və sorğuların mühitinizi tərk etməsi lazım deyil. Bacarıq səviyyəsi balı daha sonra bu siqnalları bir cavabda birləşdirir: təhlükəsiz, ehtiyatlı olun və ya quraşdırmayın.
Daha dərindən gedin: sessiyamızı izləyin Partlayış Radiusu: Agent Xahiş Etmədiyiniz Şeyə Toxunduqda, agentin icazələri onun vəzifəsindən daha uzağa çatdıqda nə baş verdiyi barədə.
Addım 3: təhlükəsizliyi kodlaşdırma agentinin döngəsinə yerləşdirin
Süni intellekt kodlaşdırma agentləri yazır və commit kodu hər kəsin nəzərdən keçirə biləcəyindən daha sürətli edir. İki həftə sonra cərimələnən tapıntı nadir hallarda düzəldilir. Düzəliş agent hələ işləyərkən baş verməlidir.
Xygeni MCP Server lokal olaraq işləyir və hansı modeldə işləməsindən asılı olmayaraq, MCP-ni dəstəkləyən istənilən süni intellekt kodlaşdırma agenti ilə işləyir. Agent yazdığı kodu skan edə, yeni problemləri sadalaya, süni intellekt triage qərarlarını ala və düzəlişlər tələb edə bilər. SAST və SCA tapıntılar. Dəyişiklik təmiz olana qədər, heç nə dəyişməzdən əvvəl təkrarlanır commitTed, komandanızın təsdiqləri ilə.
Bu, sizinlə eyni mühərriklərdən, siyasətlərdən və səssiz rejim qaydalarından istifadə edir pipeline, buna görə də agent və sizin CI heç vaxt fikir ayrılığına düşmür. Agentlə birlikdə işləyən tərtibatçılar üçün IDE plaginləri eyni tapıntıları və düzəlişləri redaktora gətirin.
Addım 4: hansı agentlərin quraşdırıldığını qoruyun
Süni intellekt kodlaşdırma agenti özü asılılıq əlavə edə bilər və tanış bir ada malik yeni bir paketin qanuni olub olmadığını yoxlamaq üçün dayanmayacaq. Hücumçular bunu bilirlər və açıq mənbəli reyestrlər onların gözlədiyi yerdir.
Zərərli Proqram Müdafiəsi imza mövcud olmamışdan əvvəl zərərli paketləri işarələyir, onları quraşdıran şəxs, geliştirici və ya agent olsun. Geliştiricinin maşınında, Shield Hər hansı bir şey işə düşməzdən əvvəl siyasəti tətbiq edir: yeni paketlər üçün minimum yaş, IDE uzantıları və plaginlər üçün əhatə dairəsi, zərərli indikatorların və riskli coğrafiyaların bloklanması və maşının saxlanılması lazım olduqda son nöqtənin təcrid olunması.
Daha dərinə getmək istəyirsiniz?
İşləyicidəki qüsur və ona çatan açıq son nöqtə bir sahibi ilə bir problemdir. Əgər artıq başqa bir DAST alətini işlədirsinizsə, Xygeni nəticələrini sizdən dəyişdirməyinizi istəmədən eyni risk görünüşünə idxal edir.
Hər iki təbəqənin birlikdə işləməsini görmək istəyirsiniz? Sessiyamızı izləyin Koddan İcra Zamanına: Niyə SAST + DAST müasir AppSec üçün vacibdir, burada kod tapıntıları və icra müddəti testlərinin bir-birini necə təsdiqlədiyini araşdırırıq.
Bir iş axını, başqa bir konsol deyil
Süni intellekt agentinin təhlükəsizliyi öz növbəsi olan ayrı bir alətə çevrildikdə uğursuz olur. Xygeni-də süni intellekt tapıntıları eyni hunidan keçir, Süni intellekt triajı, biletlər və hesabatlar, eləcə də tapıntılarınızın qalan hissəsi. Süni intellekt Remediation, bütün on OWASP LLM kateqoriyası üçün kontekstə uyğun düzəliş təlimatı verir və ASPM süni intellekt riskini kod, asılılıq və pipeline bir baxışda risk.
Süni intellekt agentinin təhlükəsizliyi və uyğunluğu
Tənzimləyicilər, auditorlar və müştərilər getdikcə daha çox idarə etdiyiniz süni intellekt və onun risklərinin necə təsnif edildiyi barədə məlumat istəyirlər. AB AI Aktı və ISO / IEC 42001 həm bu istiqamətdə irəliləyir, həm də süni intellekt (AI-BOM) çevrilir standard satınalma anketlərindəki maddə.
Hər aktiv üçün risk kateqoriyası sahəsi olan süni intellekt inventarı idarəetmə qrupunuza bu iş üçün dəlil bazası verir. Bu, AB Süni intellekt Aktına hazırlığı dəstəkləyir; uyğunluq qiymətləndirməsi deyil və hüquqi baxışınızı əvəz etmir.
və ya orta ölçülü komandalar sadədir:
- Hər birində pull request: Dəyişdirilmiş kodda CI-də API Təhlükəsizliyi, üstəgəl artan DAST skanları.
- əvvəl commit: kimi pre-commit mərhələli fayllarda qapı.
- Gecəlik və ya birləşmə zamanı: tam DAST skaneri.
- Hər böyük buraxılışdan əvvəl: Gecikməni təsdiqləmək və hər bir düzəlişin boşluğu bağladığını təsdiqləmək üçün süni intellekt mərhələli testdən keçirildi.
API Təhlükəsizlik skaneri hava boşluğu olan mühitlər də daxil olmaqla istənilən yerdə işləyir və Xygeni SaaS-a və ya sizin on-premises platforması. Nəticələr JSON olaraq çıxır, SARIF 2.1.0, CSV və Markdown üçün pull request Şərhlərin.
API təhlükəsizlik testi və uyğunluq
Bankçılıq, sığorta və ya dövlət sektorundakı komandalar üçün API təhlükəsizlik testi də sübutdur. Hər bir tapıntı uyğunluq etiketlərinə malikdir GDPR Maddə 32, PCI DSS 4.0 (3.4, 6.4.3, 7.1, 7.2 və 8 tələbləri) və NIST SP 800-53 (AC-3, AC-6, IA-2, IA-5), platformada və JSON və SARIF çıxışında görünür.
Əgər təşkilatınız alt-üst olarsa DORA or NIS 2, iş vaxtı testi, tənzimləyicilərinizin hələ də tələb etdiyi əl ilə edilən pentestlər arasında davamlı dəlil təmin edir.
Süni intellekt agent təhlükəsizliyini 7 addımda necə tətbiq etmək olar
Budur, real inkişaf komandasında süni intellekt agent təhlükəsizliyinin ən sürətli işləməsi üçün praktik yoxlama siyahısı.
- Kəşf etmək
Depolarınızdakı hər bir süni intellekt aktivini inventarlaşdırın
Agentlər, MCP serverləri, bacarıqlar, modellər, göstərişlər və süni intellekt kodlaşdırma alətləri üçün bütün depoları skan edin və nəticəni süni intellekt-BOM kimi ixrac edin. Bu, sizin əsas xəttinizdir və hər bir addımın işlədiyi siyahıdır.
- Sınıflandır
Hər agentə sahibi və risk səviyyəsi verin
Hər bir agent üçün onun kimin sahibi olduğunu, hansı məlumatlara və vasitələrə çata biləcəyini və AB Süni İntellekt Aktına əsasən risk kateqoriyasını qeyd edin. Heç kimin sahibi olmayan agent, heç kimin düzəldə bilməyəcəyi bir agentdir.
- Algıla
Hər birində CI-də agent kodunu skan edin pull request
Digər skanlamalarınızla yanaşı süni intellekt risk aşkarlamasını da işə salın. Əsas xətti görmək üçün bloklamayan rejimdə başlayın, sonra komandalar təmizlədikdən sonra Kritik tapıntılarda blok birləşmələrini edin.
- baxış
Hər kəs onları quraşdırmadan əvvəl bacarıqları nəzərdən keçirin
Bacarıq və agent təlimat fayllarını skan edin, məsələn
SKILL.mdvəAGENTS.md, süni intent baxışını aktivləşdirin və "quraşdırmayın" hökmünü sərt bir maneə kimi qəbul edin. - Məhdudlaşdırın
Agent icazələrini kiçilt
Statik uzunömürlü etimadnamələri əhatə dairəsi məhdud olanlarla əvəz edin, agentlər arasında etimadnamələrin paylaşılmasını dayandırın və heç vaxt ehtiyac duymadıqları yüksək imtiyazlarla MCP və ya alət serverlərini işə salmayın.
- Döngədə düzəldin
Təhlükəsizliyi kodlaşdırma agentinin döngəsinə yerləşdirin
Süni intellekt kodlaşdırma agentlərinizi təhlükəsizlik MCP serverinə qoşun ki, onlar kodlarını skan edib düzəltməzdən əvvəl öz kodlarını düzəldsinlər. committed, sizinlə eyni siyasətlərlə pipeline.
- Qorumaq
Geliştirici maşınlarına düşənləri qoruyun
Yeni paketlər üçün minimum yaş həddini tətbiq edin, imza mövcud olmazdan əvvəl zərərli paketləri aşkar edin və IDE uzantılarını və plaginlərini, onları quraşdıran hər kəsi, geliştiricini və ya agenti əhatə edin.
Sonra: Hər tapıntını AppSec-in qalan hissəsi ilə eyni çeşidləmə, biletləmə və hesabat iş axınına yönləndirin ki, süni intellekt riski öz növbəsində qalmasın.
Heç vaxt görüşmədiyiniz bir agenti təmin edə bilməzsiniz
Süni intellekt agent təhlükəsizliyi artıq bir skaner deyil. Bu, hansı agentləri işlətdiyinizi bilmək, onların necə qurulduğundakı riskləri müəyyən etmək, təhlükəsizliyi kodlaşdırma agentinin dövrəsinə yerləşdirmək və hansı agentlərin quraşdırdığını qorumaqdır. İnventardan başlayın: qalan hər şey ondan asılıdır.
Kodunuzdakı hər bir agenti, MCP serverini və bacarığı görmək istəyirsiniz? Bir mühəndislə görüş təyin edin depolarınızın süni intellekt inventarını yaratmaq və onun nəticələrini nəzərdən keçirmək üçün. Və ya pulsuz başlayın AI ilə SAST, SCA, sirlərin aşkarlanması, IDE plaginləri və açıq mənbəli paketlərdə zərərli proqram aşkarlanması. Kredit kartı tələb olunmur.
Süni intellekt agentinin təhlükəsizliyi ilə bağlı tez-tez verilən suallar
Süni intellekt agent təhlükəsizliyi LLM təhlükəsizliyindən nə ilə fərqlənir?
LLM təhlükəsizliyi modelin dedikləri ilə bağlıdır: sızdırılmış məlumatlar, manipulyasiya edilmiş cavablar, təhlükəli çıxış. Süni intellekt agent təhlükəsizliyi agentin alətlər, yaddaş, etimadnamələr və digər agentlərlə nə etməsi ilə bağlıdır. Buna görə də OWASP, LLM Top 10-luğuna əlavə olaraq Agent Tətbiqləri üçün ayrıca Top 10 (ASI01-dən ASI10-a qədər) dərc edir.
Təşkilatımda süni intellekt agentlərini və MCP serverlərini necə tapa bilərəm?
Koddan başlayın. Xygeni AI Security, depolarınızdakı agentləri, MCP serverlərini, bacarıqları, modelləri, göstərişləri və AI kodlaşdırma alətlərini aşkar edir, onların necə qoşulduğunu xəritələşdirir və nəticəni CycloneDX formatında AI-BOM kimi ixrac edir. Digər skanlarınızla birlikdə CI-də işləyir.
Zərərli bir bacarıq və ya MCP serveri mənim tərtibatçılarımı təhlükəyə ata bilərmi?
Bəli: bacarıq təlimatları sadə mətn şəklindədir və agent onları geliştiricinin icazələri ilə izləyəcək. Xygeni gizli zərərli direktivləri və bacarıq adlarını təqlid edənləri işarələyir, süni intellekt nəzərdən keçirərək bacarıqın niyyətini qiymətləndirə bilər və hər bir bacarığı təhlükəsiz, ehtiyatlı və ya quraşdırılmayan kimi qiymətləndirir. Zərərli Proqram Təminatı Müdafiəsi və Shield agentlərin gətirdiyi paketləri və genişləndiriciləri əhatə edin.







