Жасанды интеллект агентінің қауіпсіздігі енді модельдің не айтқанына байланысты емес. Бұл агенттің не істейтініне байланысты: ол шақыратын құралдар, оқитын деректер, сақтайтын тіркелгі деректері және өзі орнататын пакеттер.
Көптеген командалар бірінші сұраққа жауап бере алмайды: біз шын мәнінде қандай агенттерді іске қосып жатырмыз? Олар репозиторийлерде LangChain графиктері, MCP серверлері ретінде тұрады, SKILL.md файлдар және жеке әзірлеушілер жұма күні түстен кейін конфигурациялаған жасанды интеллект кодтау құралдары. Оларды ешкім қарап шыққан жоқ, ал зиянды дағды жай ғана мәтін болып табылады.
TL; DR
Жасанды интеллект агентінің қауіпсіздігі төрт қадаммен: оны көру, бағалау, циклды қорғау, орнатуларды қорғау
Көрінбейтін агенттерді қорғай алмайсыз. Жасанды интеллект агентінің қауіпсіздігі кодыңыздағы әрбір агенттің, MCP серверінің, дағдының, модельдің және жасанды интеллект кодтау құралының тізімінен басталады.
- Агенттердің қалай құрылатынына байланысты тәуекел: пайдаланушы енгізген деректерді біріктіретін сұраулар, құралды шақыратын агенттер жоқ guardrails, жасырын нұсқаулары бар артықшылықты тіркелгі деректері мен дағдылары. Оның көп бөлігі кодта, орналастыру алдында көрінеді және ...-қа сәйкес келеді Агенттік қосымшалар бойынша OWASP үздік 10.
- Цикл ішіндегі қауіпсіздік: Кодтау агенттері цикл ішінде қауіпсіздікті қажет етеді, сондықтан олар жазғандарын тексеріп, түзетеді commitТед, билетте бірнеше аптадан кейін емес.
- Орнатуларды қорғаңыз: агенттер тәуелділіктерді де орнатады. Қолтаңба пайда болғанға дейін жұмыс істейтін зиянды бағдарламаларды анықтау зиянды пакеттерді орнатқан кез келген адамға, әзірлеушіге немесе агентке, әсер етеді.
- Бір жұмыс процесі: Жасанды интеллект нәтижелері AppSec-тің қалған нәтижелері сияқты бірдей сұрыптаудан, билеттерден және есептерден өтеді.
Бірінші қадам: Репозиторийлеріңізде жасанды интеллекттің тізімін жасаңыз, оны жасанды интеллект-BOM ретінде экспорттаңыз, содан кейін CI-де жаңа агент кодын енгізіңіз.
Неліктен жасанды интеллект агентінің қауіпсіздігі басқа мәселе болып табылады
LLM функциясы мәтінді қайтарады, ал адам онымен не істеу керектігін шешеді. Агент бұл циклды өздігінен жабады: ол жоспарлайды, құралдарды шақырады, веб-беттерді, электрондық пошталарды және құжаттарды оқиды, файлдарды жазады және командаларды орындайды. Агентке берген әрбір мүмкіндік - шабуылдаушы қарызға ала алатын мүмкіндік.
OWASP дәл осындай айырмашылық жасады. OWASP агенттік қосымшалары бойынша 2026 жылғы үздік 10 (ASI01-ден ASI10-ға дейін) негізінде құрылады LLM бағдарламалары бойынша OWASP үздік 10LLM тізімі модельдің не айтатынын қамтиды; агенттік тізім агенттің не істейтінін қамтиды.
Қазіргі уақытта көптеген ұйымдар агенттердің екі түрін басқарады:
- Қолданбаларыңызға енгізетін агенттер: қолдау көмекшілері, ішкі қосалқы бағдарламалар және LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel немесе LlamaIndex сияқты фреймворктармен жасалған жұмыс процестері, көбінесе құралдарға қосылады MCP серверлері.
- Әзірлеушілеріңіз пайдаланатын жасанды интеллект кодтау агенттері: Claude Code, Cursor, GitHub Copilot, Windsurf және басқалары код жазады, конфигурацияны өңдейді және тәуелділіктерді қосады.
Жасанды интеллект агентінің қауіпсіздігі екеуін де қамтуы керек, себебі екеуі де сіздің рұқсаттарыңызбен жұмыс істейді.
1-қадам: әрбір агентті, MCP серверін және дағдыны түгендеу
Жасанды интеллект агентінің қауіпсіздігі сұрақ тақтасынан басталады, ал аудиторлар енді сұрайды: біз қандай жасанды интеллектті пайдаланып жатырмыз? Xygeni AI қауіпсіздігі оған бастапқы код арқылы жауап береді: код, конфигурация, манифесттер және тәуелділіктер.
Ол модельдерді, агенттерді және агент серверлерін, жасанды интеллект құрылымдарын, MCP серверлерін және олардың құралдарын, дағдыларын (SKILL.md, AGENTS.md), сұраулар, guardrails, векторлық қоймалар, деректер жиынтықтары, қорытынды нүктелері және репозиторийлеріңізде конфигурацияланған жасанды интеллект кодтау құралдары. Сондай-ақ, олардың қалай қосылатынын көрсетеді: қай агент қай модельді пайдаланады, қай құралдарды орындайды және қай MCP серверлерін шақырады.
Нәтижесінде, CycloneDX форматында AI-BOM ретінде экспорттауға болатын, ЕО AI заңының тәуекел санаты өрісін қамтитын әрбір актив үшін басқару жазбасы бар тірі AI инвентаризациясы пайда болады.
Кодыңызда қандай жасанды интеллект бар екенін көргіңіз келе ме? Инженермен кездесуге жазылыңыз, және біз сіздің репозиторийлеріңіздің бірінің жасанды интеллект қорын жасаймыз.
2-қадам: агенттердің қалай құрылатынындағы тәуекелдерді анықтаңыз
Агенттің осалдықтарының көпшілігі экзотикалық емес. Олар жолдарды біріктіру арқылы жасалған шақыру, кіріс қоршауы жоқ құралды шақыратын агент немесе агентке қажеттен әлдеқайда кең ауқымды тіркелгі деректері арқылы жасалған шақыру. Олардың барлығы кодта саусақ іздерін қалдырады, сондықтан сіз оларды орналастырмас бұрын CI-де таба аласыз.
Кодта байқалуы мүмкін жасанды интеллект агентінің қауіптері
Әрбір тәуекел картасы LLM бағдарламалары бойынша OWASP үздік 10 немесе оның агенттік серіктері, сондықтан қорытындылар сіздің аудиторларыңызбен бірдей тілде сөйлейді.
| тәуекел | Кодта қалай көрінеді | OWASP картаға түсіру |
|---|---|---|
| Жедел инъекция | Рөлдерді бөлусіз, бөлгіштерсіз немесе пайдаланушы мазмұнын біріктіретін жүйе сұраулары guardrails | LLM01 |
| Жанама инъекция | Ешқандай кіріссіз құрал шақыратын агенттер guardrailsнемесе зарарсыздандырылмаған веб-беттерді, электрондық пошталарды немесе алынған құжаттарды қабылдайтын агенттер | LLM01 |
| Қауіпсіз шығыс өңдеуі | Модель шығысы жетіп жатыр eval немесе функциялар мен файлдар бойынша бақыланатын басқа қауіпті раковиналар | LLM05 |
| Артықшылықтары бар агент идентификаторларыАдам емес жеке бастың жеке басын теріс пайдалану | Статикалық ұзақ мерзімді тіркелгі деректері, ауқымын тарылтусыз ортақ тіркелгі деректері, жоғары артықшылықтармен жұмыс істейтін MCP немесе құрал серверлері | ASI03 |
| Зиянды немесе қате жазылған дағдыларАгент дағдыларын жеткізу тізбегі | Жасырын зиянды нұсқаулар SKILL.md or AGENTS.md, белгілі дағдыларды немесе интеграцияларды бейнелейтін дағдылар атаулары | Агенттік дағдылардың үздік 10-ы |
| Сұраулардағы құпиялар | Сұрау файлдарында сақталған тіркелгі деректері | LLM07 |
Әрбір жаңалық OWASP LLM Top 10 санатына, сондай-ақ олардың қолданылатын OWASP Agent Applications және Agent Skills тегтеріне және қызыл команданың шабуыл векторларына ие.
Дағдылар ерекше назар аударуға тұрарлық, себебі дағды файлындағы зиянды нұсқаулық код емес, проза болып табылады және оны ешбір қолтаңба көре алмайды. Жасанды интеллектке шолу белгіленген дағды мен агент нұсқау файлдарының ниетін нұсқаланған, детерминирленген орнату арқылы бағалайды, сондықтан сол файл әрқашан бірдей шешім шығарады. Ол сіздің жеке орналастырылған моделіңізде жұмыс істей алады, сондықтан код пен нұсқаулар сіздің ортаңыздан шығудың қажеті жоқ. Содан кейін дағды деңгейіндегі балл бұл сигналдарды бір жауапқа біріктіреді: қауіпсіз, сақ болыңыз немесе орнатпаңыз.
Тереңдетіңіз: біздің сессияны көріңіз Жарылыс радиусы: Агент сіз сұрамаған нәрсеге қол тигізгендеагенттің рұқсаттары оның міндетінен тыс жерлерге жеткенде не болатыны туралы.
3-қадам: қауіпсіздікті кодтау агентінің цикліне енгізіңіз
Жасанды интеллект кодтау агенттері жазады және commit кодты кез келген адам қарап шыға алатыннан жылдамырақ. Екі аптадан кейін айыппұл салынған бұзушылық сирек түзетіледі. Түзету агент әлі жұмыс істеп тұрған кезде жасалуы керек.
Xygeni MCP сервері жергілікті түрде жұмыс істейді және MCP қолдайтын кез келген жасанды интеллект кодтау агентімен, ол қандай модельде жұмыс істесе де, жұмыс істейді. Агент жаңа ғана жазған кодты сканерлей алады, жаңа мәселелерді тізімдей алады, жасанды интеллект бойынша триаж шешімдерін ала алады және түзетулерді сұрай алады. SAST және SCA нәтижелер. Ол өзгеріс таза болғанша, ештеңе өзгермес бұрын қайталанады commitТед, сіздің командаңыздың мақұлдауымен.
Ол сіздің сияқты қозғалтқыштарды, саясаттарды және дыбысты өшіру ережелерін пайдаланады pipeline, сондықтан агент пен сіздің CI ешқашан келіспейді. Агентпен бірге жұмыс істейтін әзірлеушілер үшін IDE плагиндері редакторға сол тұжырымдар мен түзетулерді енгізіңіз.
4-қадам: қандай агенттер орнататынын қорғаңыз
Жасанды интеллект кодтау агенті өздігінен тәуелділікті қоса алады және таныс атауы бар жаңа пакеттің заңды екенін тексеруді тоқтатпайды. Шабуылдаушылар мұны біледі, ал ашық бастапқы кодты тізілімдер оларды күтеді.
Зиянды бағдарламалардан қорғау зиянды пакеттерді қолтаңба пайда болғанға дейін белгілейді, оларды кім орнатса да, әзірлеуші немесе агент. Әзірлеушінің компьютерінде, Shield кез келген нәрсе іске қосылмас бұрын саясатты орындайды: жаңа пакеттер үшін ең аз жас, IDE кеңейтімдері мен плагиндерін қамту, зиянды индикаторларды және қауіпті географиялық аймақтарды бұғаттау және машинаны оқшаулау қажет болған кезде соңғы нүктені оқшаулау.
Тереңірек барғыңыз келе ме?
Өңдегіштегі ақаулық және оған жететін ашық нүкте бір ғана мәселе, бір иесімен. Ал егер сіз басқа DAST құралын іске қоссаңыз, Xygeni оның нәтижелерін ауыстыруды сұрамай-ақ, сол тәуекел көрінісіне импорттайды.
Екі қабаттың бірге жұмыс істейтінін көргіңіз келе ме? Біздің сессияны көріңіз Кодтан орындау уақытына дейін: Неліктен SAST + DAST екеуі де заманауи AppSec үшін маңызды, мұнда біз кодты анықтау мен орындау уақытын тексерудің бір-бірін қалай растайтынын қарастырамыз.
Бір жұмыс процесі, басқа консоль емес
Жасанды интеллект агентінің қауіпсіздігі өзінің кезегі бар бөлек құралға айналған кезде істен шығады. Xygeni-де жасанды интеллект нәтижелері сол воронка арқылы өтеді, Жасанды интеллект триажы, билеттер мен есептер сіздің қалған зерттеу нәтижелеріңіз сияқты. AI Remediation барлық он OWASP LLM санаттары үшін контекстке негізделген түзету нұсқауларын береді және ASPM жасанды интеллект тәуекелін код, тәуелділік және pipeline тәуекел бір көзқараспен қарастырылады.
Жасанды интеллект агентінің қауіпсіздігі және сәйкестігі
Реттеушілер, аудиторлар және тұтынушылар сіз басқаратын жасанды интеллекттің түгендеуін және оның тәуекелі қалай жіктелетінін сұрайды. ЕО AI актісі және ISO / IEC 42001 екеуі де сол бағытта алға жылжиды, ал жасанды интеллект-бомға айналуда standard сатып алу сауалнамаларындағы тармақ.
Әрбір актив үшін тәуекел санаты өрісі бар жасанды инвентаризация сіздің басқару командаңызға сол жұмыс үшін дәлелді база береді. Ол ЕО жасанды интеллект туралы заңына дайындықты қолдайды; бұл сәйкестікті бағалау емес және сіздің заңды шолуыңызды алмастырмайды.
немесе орта командалар қарапайым:
- Әрқайсысында pull request: Өзгертілген кодтағы CI API қауіпсіздігі, сонымен қатар инкрементальды DAST сканерлеулері.
- бұрын commit: сияқты pre-commit сатылы файлдардағы қақпа.
- Түн сайын немесе біріктіру кезінде: толық DAST сканерлеуі.
- Әрбір ірі шығарылым алдында: Артта қалған жұмыстарды растау және әрбір түзетудің олқылықты жапқанын растау үшін жасанды интеллект пен-тестілеуді кезең-кезеңмен қолдануға қарсы тестілеу.
API қауіпсіздік сканері ауа өткізбейтін орталарды қоса алғанда, кез келген жерде жұмыс істейді және Xygeni SaaS немесе сіздің on-premises платформасы. Нәтижелер JSON ретінде шығарылады, SARIF 2.1.0, CSV және Markdown үшін pull request Пікірлер.
API қауіпсіздік сынағы және сәйкестік
Банк, сақтандыру немесе мемлекеттік сектордағы топтар үшін API қауіпсіздік сынағы да дәлел болып табылады. Әрбір тұжырым сәйкестік белгілеріне ие GDPR 32-бабы, PCI DSS 4.0 (3.4, 6.4.3, 7.1, 7.2 және 8 талаптары) және NIST SP 800-53 (AC-3, AC-6, IA-2, IA-5), платформада және JSON және SARIF шығысында көрінеді.
Егер сіздің ұйымыңыз құзыретті органға жатса ДОРА or NIS 2, орындау уақытын тестілеу сізге реттеушілеріңіз әлі де талап ететін қолмен жасалған пентесттер арасында үздіксіз дәлел береді.
7 қадаммен жасанды интеллект агентінің қауіпсіздігін қалай енгізуге болады
Міне, нақты әзірлеушілер тобында жасанды интеллект агентінің қауіпсіздігін ең жылдам жұмыс істеу ретімен практикалық тексеру тізімі.
- ашу
Репозиторийлеріңіздегі әрбір жасанды интеллект активін түгендеңіз
Агенттерді, MCP серверлерін, дағдыларды, модельдерді, шақыруларды және жасанды интеллект кодтау құралдарын іздеу үшін барлық репозиторийлерді сканерлеңіз және нәтижені жасанды интеллект-BOM ретінде экспорттаңыз. Бұл сіздің негізгі сызығыңыз және әрбір басқа қадам жұмыс істейтін тізім.
- Классификациялау
Әрбір агентке иесін және тәуекел деңгейін беріңіз
Әрбір агент үшін оның кімге тиесілі екенін, қандай деректер мен құралдарға қол жеткізе алатынын және оның ЕО жасанды интеллект заңына сәйкес қауіп санатын жазыңыз. Ешкімге тиесілі емес агент - ешкім түзете алмайтын агент.
- Анықтау
Әрбір құрылғыда CI жүйесіндегі агент кодын сканерлеңіз pull request
Басқа сканерлеулеріңізбен бірге жасанды интеллект қаупін анықтауды іске қосыңыз. Бастапқы сызықты көру үшін блоктамайтын режимде бастаңыз, содан кейін топтар тазалағаннан кейін маңызды нәтижелерде біріктірулерді блоктаңыз.
- шолу
Біреу оларды орнатпас бұрын дағдыларды қарап шығыңыз
сияқты дағдылар мен агент нұсқаулығы файлдарын сканерлеңіз
SKILL.mdжәнеAGENTS.md, жасанды интеллекттің ниетін шолуды қосыңыз және «орнатпаңыз» деген шешімді қатаң тоқтату ретінде қарастырыңыз. - шектеу
Агент рұқсаттарын кішірейту
Статикалық ұзақ мерзімді тіркелгі деректерін ауқымды тіркелгі деректерімен ауыстырыңыз, агенттер арасында тіркелгі деректерін бөлісуді тоқтатыңыз және ешқашан қажет емес жоғары артықшылықтары бар MCP немесе құрал серверлерін іске қоспаңыз.
- Циклде түзету
Қауіпсіздікті кодтау агентінің цикліне енгізіңіз
Жасанды интеллект кодтау агенттеріңізді қауіпсіздік MCP серверіне қосыңыз, сонда олар өз кодтарын тексеріп, түзетеді committed, сіздің саясатыңызбен бірдей pipeline.
- қорғау
Әзірлеуші машиналарына түсетін нәрселерді қорғаңыз
Жаңа пакеттер үшін ең төменгі жасты белгілеңіз, қолтаңба пайда болғанға дейін зиянды пакеттерді анықтаңыз және IDE кеңейтімдері мен плагиндерін, оларды орнатқан кез келген адамды, әзірлеушіні немесе агентті қамтыңыз.
Сонда: Әрбір зерттеуді AppSec бағдарламасының қалған бөлігі сияқты бірдей сұрыптау, тіркеу және есеп беру жұмыс процесіне бағыттаңыз, сонда жасанды интеллект тәуекелі өз кезегінде қалмайды.
Сіз ешқашан кездестірмеген агентті қамтамасыз ете алмайсыз
Жасанды интеллект агентінің қауіпсіздігі – бұл тағы бір сканер емес. Бұл сіз қай агенттерді іске қосатыныңызды білу, олардың қалай жасалғанындағы тәуекелді анықтау, қауіпсіздікті кодтау агентінің цикліне енгізу және қандай агенттер орнататынын қорғау. Инвентаризациядан бастаңыз: қалғанының бәрі соған байланысты.
Кодыңыздағы әрбір агентті, MCP серверін және дағдыны көргіңіз келе ме? Инженермен кездесуге жазылыңыз репозиторийлеріңіздің жасанды интеллект қорын құру және оның нәтижелерін қарау. Немесе тегін бастаңыз AI-мен SAST, SCA, құпияларды анықтау, IDE плагиндері және ашық бастапқы кодты пакеттердегі зиянды бағдарламаларды анықтау. Несие картасынсыз.
Жасанды интеллект агентінің қауіпсіздігі туралы жиі қойылатын сұрақтар
Жасанды интеллект агентінің қауіпсіздігі LLM қауіпсіздігінен қалай ерекшеленеді?
LLM қауіпсіздігі модельдің айтқанымен байланысты: деректер ағып кетуі, манипуляцияланған жауаптар, қауіпсіз емес шығыс. Жасанды интеллект агентінің қауіпсіздігі агенттің құралдармен, жадпен, тіркелгі деректерімен және басқа агенттермен не істейтінімен байланысты. Сондықтан OWASP LLM үздік 10-нан басқа Агенттік қолданбалар үшін бөлек үздік 10-ды (ASI01-ден ASI10-ға дейін) жариялайды.
Ұйымымдағы жасанды интеллект агенттері мен MCP серверлерін қалай табамын?
Кодтан бастаңыз. Xygeni AI Security сіздің репозиторийлеріңіздегі агенттерді, MCP серверлерін, дағдыларды, модельдерді, шақыруларды және AI кодтау құралдарын анықтайды, олардың қалай қосылатынын картаға түсіреді және нәтижені CycloneDX форматында AI-BOM ретінде экспорттайды. Ол басқа сканерлеулеріңізбен бірге CI форматында жұмыс істейді.
Зиянды дағды немесе MCP сервері менің әзірлеушілеріме қауіп төндіруі мүмкін бе?
Иә: дағдының нұсқаулары қарапайым мәтін түрінде болады және агент оларды әзірлеушінің рұқсаттарымен орындайды. Xygeni жасырын зиянды директиваларды және дағды атауларын жалған деп белгілейді, жасанды интеллект шолуы арқылы дағдының ниетін бағалай алады және әрбір дағдыны қауіпсіз, сақтық шаралары бар немесе орнатылмаған деп бағалайды. Зиянды бағдарламалардан қорғау және Shield агенттер әкелетін пакеттер мен кеңейтімдерді жабыңыз.







