Хиймэл оюун ухааны агентын аюулгүй байдал нь загварын юу гэж хэлэхээс илүү чухал юм. Энэ нь агентын юу хийдэг, дууддаг хэрэгслүүд, уншдаг өгөгдөл, хадгалдаг итгэмжлэлүүд болон өөрөө суулгадаг багцуудын тухай юм.
Ихэнх багууд эхний асуултанд хариулж чадахгүй байна: бид үнэндээ ямар агентуудыг ажиллуулж байна вэ? Тэд LangChain график, MCP сервер гэх мэт репозиторуудад амьдардаг. SKILL.md файлууд болон хөгжүүлэгчид Баасан гарагийн үдээс хойш тохируулсан хиймэл оюун ухааны код бичих хэрэгслүүд. Хэн ч тэдгээрийг хянаж үзээгүй бөгөөд хортой ур чадвар нь зүгээр л энгийн текст юм.
TL, DR
Хиймэл оюун ухааны агентын аюулгүй байдлыг дөрвөн алхамаар хангана уу: харах, оноо авах, давталтыг аюулгүй болгох, суулгалтыг хамгаалах
Та харж чадахгүй агентуудаа хамгаалж чадахгүй. Хиймэл оюун ухааны агентын аюулгүй байдал нь таны кодонд байгаа агент, MCP сервер, ур чадвар, загвар болон хиймэл оюун ухааны код бичих хэрэгслийн жагсаалтаас эхэлдэг.
- Агентуудыг хэрхэн бүтээх эрсдэл: хэрэглэгчийн оролтыг нэгтгэдэг мөрүүд, хэрэгсэл дууддаг агентууд нь ямар ч утгагүй guardrails, хэт давуу эрхтэй итгэмжлэл болон далд зааварчилгаатай ур чадварууд. Үүний ихэнх нь байршуулахаас өмнө код дотор харагдаж, холбогдох болно. Агентлагт зориулсан OWASP-ийн шилдэг 10 програм.
- Давталт доторх аюулгүй байдал: Код бичих агентууд давталтынхаа дотор аюулгүй байдал шаарддаг тул бичсэн зүйлээ сканнердаж, засахаас нь өмнө засдаг. commitТед, хэдэн долоо хоногийн дараа биш.
- Суулгацуудыг хамгаалах: Агентууд мөн хамааралтай програмуудыг суулгадаг. Гарын үсэг үүсэхээс өмнө ажилладаг хортой програм хангамжийг илрүүлэх нь хөгжүүлэгч эсвэл агент гэх мэт хортой багцуудыг суулгасан хэнээс ч хамардаг.
- Нэг ажлын урсгал: Хиймэл оюун ухааны олдворууд нь таны AppSec-ийн бусад олдворуудтай адил ангилах, тасалбарлах, тайлан гаргах замаар дамждаг.
Эхний алхам: Өөрийн репозиторт хиймэл оюун ухааны нөөцийг үүсгэж, AI-BOM хэлбэрээр экспортлоод дараа нь CI-д шинэ агентын код оруулна уу.
Хиймэл оюун ухааны агентын аюулгүй байдал яагаад өөр асуудал вэ
LLM функц нь текст буцаадаг бөгөөд хүн үүнтэй юу хийхээ шийддэг. Агент нь энэ давталтыг өөрөө хаадаг: төлөвлөх, хэрэгслүүдийг дуудах, вэб хуудас, имэйл болон баримт бичгийг унших, файл бичих, командуудыг ажиллуулах. Таны агентад өгсөн чадвар бүр нь халдагч зээлж авах боломжтой чадвар юм.
OWASP мөн адил ялгааг гаргасан. 2026 оны агентлаг програмуудын OWASP-ийн шилдэг 10 (ASI01-ээс ASI10 хүртэл) нь дээр суурилдаг LLM өргөдөл гаргагчдын OWASP-ийн шилдэг 10LLM жагсаалт нь загварын юу гэж хэлснийг хамардаг; агентын жагсаалт нь агентын юу хийдгийг хамардаг.
Ихэнх байгууллагууд одоо хоёр төрлийн агентлаг ажиллуулдаг:
- Таны аппликейшнуудад суулгасан агентууд: LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel эсвэл LlamaIndex зэрэг фрэймворкуудаар бүтээгдсэн, ихэвчлэн хэрэгслүүдтэй холбогдсон дэмжлэгийн туслахууд, дотоод хамтран ажиллагсад болон ажлын урсгалууд MCP серверүүд.
- Таны хөгжүүлэгчдийн ашигладаг хиймэл оюун ухааны кодчилолын агентууд: Код бичих, тохиргоог засах, хамаарлыг нэмэх Claude Code, Cursor, GitHub Copilot, Windsurf болон бусад.
Хиймэл оюун ухааны агентын аюулгүй байдал нь хоёуланг нь хамрах ёстой, учир нь хоёулаа таны зөвшөөрлөөр ажилладаг.
Алхам 1: агент, MCP сервер болон ур чадвар бүрийг тооллого хийх
Хиймэл оюун ухааны агентын аюулгүй байдал нь асуултын самбараас эхэлдэг бөгөөд аудиторууд одоо асууж байна: бид ямар хиймэл оюун ухаан ажиллуулж байна вэ? Xygeni хиймэл оюун ухааны аюулгүй байдал код, тохиргоо, манифест болон хамаарлуудаас хариулдаг.
Энэ нь загварууд, агентууд болон агент серверүүд, хиймэл оюун ухааны хүрээ, MCP серверүүд болон тэдгээрийн хэрэгслүүд, ур чадваруудыг илрүүлдэг.SKILL.md, AGENTS.md), өдөөлтүүд, guardrails, векторын хадгалалт, өгөгдлийн багц, дүгнэлтийн төгсгөлийн цэгүүд болон таны репозиторт тохируулсан хиймэл оюун ухааны кодчилолын хэрэгслүүд. Энэ нь мөн тэдгээрийг хэрхэн холбодог болохыг харуулдаг: аль агент аль загварыг ашигладаг, аль хэрэгслийг ажиллуулдаг, аль MCP серверийг дууддаг.
Үр дүн нь Европын Холбооны хиймэл оюун ухааны тухай хуулийн эрсдэлийн ангиллын талбарыг багтаасан хөрөнгө тус бүрийн засаглалын бүртгэлтэй, CycloneDX форматаар AI-BOM хэлбэрээр экспортлох боломжтой амьд хиймэл оюун ухааны бүртгэл юм.
Таны кодонд аль хэдийн хиймэл оюун ухаан байгааг харахыг хүсч байна уу? Инженертэй уулзалт захиалах, мөн бид танай репозиторуудын нэгний хиймэл оюун ухааны нөөцийг бүтээх болно.
Алхам 2: Агентуудыг хэрхэн бүтээх эрсдэлийг олж мэдэх
Агентын ихэнх эмзэг байдал нь чамин биш юм. Эдгээр нь мөрийн холболтоор бүтээгдсэн мөр, оролтын хамгаалалтгүй хэрэгсэл дуудах агент эсвэл агентын хэрэгцээнээс хамаагүй илүү өргөн хүрээтэй итгэмжлэл юм. Эдгээр нь бүгд кодонд хурууны хээ үлдээдэг тул та тэдгээрийг байршуулахаас өмнө CI-д барьж чадна.
Код доторх хиймэл оюун ухааны агентын илрүүлж болох эрсдэлүүд
Эрсдэл бүр нь дараах зураглалтай холбогдоно: LLM өргөдөл гаргагчдын OWASP-ийн шилдэг 10 эсвэл түүний төлөөлөгчдийн хамтрагчид тул олдворууд нь таны аудиторуудтай ижил хэлээр ярьдаг.
| эрсдлийн | Код дотор ямар харагдаж байна | OWASP зураглал |
|---|---|---|
| Шуурхай тарилга хийх | Системийн хүсэлтүүд нь хэрэглэгчийн контентыг дүрийн тусгаарлалт, тусгаарлагчгүйгээр нэгтгэдэг. guardrails | LLM01 |
| Шууд бус тарилга | Оролтгүй хэрэгсэл дуудах агентууд guardrails, эсвэл ариутгаагүй вэб хуудас, имэйл эсвэл татаж авсан баримт бичгийг залгидаг агентууд | LLM01 |
| Аюултай гаралтын боловсруулалт | Загварын гаралт хүрч байна eval эсвэл функц болон файлуудаар дамжин мөрдөгдөж буй бусад аюултай угаалтуурууд | LLM05 |
| Хэт давуу эрхтэй агентын таних тэмдэгХүн биш хүний үндэслэлийг доромжлох | Статик урт хугацааны итгэмжлэлүүд, хамрах хүрээг нарийсгахгүйгээр хуваалцсан итгэмжлэлүүд, өндөр эрхтэйгээр ажиллаж буй MCP эсвэл хэрэгслийн серверүүд | ASI03 |
| Хорлонтой эсвэл алдаатай бичих чадварАгентын ур чадварын хангамжийн сүлжээ | Нууцлагдсан хортой удирдамжууд SKILL.md or AGENTS.md, мэдэгдэж буй ур чадвар эсвэл интеграцийг дуурайсан ур чадварын нэрс | Агентын ур чадварын шилдэг 10 |
| Заавар дахь нууцууд | Промп файл дотор хадгалагдсан итгэмжлэлүүд | LLM07 |
Олдвор бүр нь OWASP LLM-ийн шилдэг 10 ангилал, мөн тэдгээрийг хаана хэрэглэх OWASP Agent Applications болон Agentic Skills гэсэн шошготой бөгөөд улаан багийн довтолгооны векторуудыг агуулдаг.
Ур чадварын файл дахь хортой заавар нь код биш, харин үг хэллэг учраас ур чадварууд онцгой анхаарал татах ёстой бөгөөд гарын үсэг үүнийг харж чадахгүй. Хиймэл оюун ухааныг сонгох шалгалт нь тэмдэглэгдсэн ур чадвар болон агентын зааварчилгааны файлуудын зорилгыг хувилбартай, тодорхой тохиргоогоор шүүдэг тул ижил файл үргэлж ижил дүгнэлт гаргадаг. Энэ нь таны өөрийн байршуулсан загвар дээр ажиллах боломжтой тул код болон зааварчилгаа таны орчноос гарах шаардлагагүй болно. Ур чадварын түвшний оноо нь эдгээр дохиог нэг хариулт болгон нэгтгэдэг: аюулгүй, болгоомжтой эсвэл суулгахгүй байх.
Илүү гүнзгийрэх: манай хуралдааныг үзээрэй Тэсрэлтийн радиус: Агент таны хүсээгүй зүйлд хүрэх үед, агентын зөвшөөрөл түүний үүргээс цааш хүрэхэд юу болох талаар.
Алхам 3: Кодлох агентын давталтад аюулгүй байдлыг оруулна уу
Хиймэл оюун ухааны код бичих агентууд бичих болон commit кодыг хэн ч хянаж чадахаас хурдан. Хоёр долоо хоногийн дараа торгууль ногдуулсан олдворыг засах нь ховор байдаг. Агент ажиллаж байх үед засвар хийх ёстой.
Xygeni MCP сервер нь орон нутагт ажилладаг бөгөөд ямар ч загвар дээр ажиллаж байгаагаас үл хамааран MCP-г дэмждэг аливаа хиймэл оюун ухааны кодчилолын агенттай ажилладаг. Агент нь дөнгөж сая бичсэн кодоо сканнердаж, шинэ асуудлуудыг жагсааж, хиймэл оюун ухааны ангиллын шийдвэрийг авч, засварлах хүсэлт гаргаж болно. SAST болон SCA үр дүн. Энэ нь өөрчлөлт цэвэр болтол, ямар нэгэн зүйл цэвэр болохоос өмнө давтагддаг commitТед, танай багийн тогтоосон зөвшөөрлүүдтэй хамт.
Энэ нь таныхтай ижил хөдөлгүүр, бодлого болон дуугүй болгох дүрмийг ашигладаг pipeline, тиймээс агент болон таны мэдээллийн технологийн зөвлөх хэзээ ч санал зөрөлддөггүй. Агенттай хамтран ажилладаг хөгжүүлэгчдийн хувьд IDE залгаасууд засварлагч руу ижил олдвор болон засваруудыг оруулна уу.
Алхам 4: ямар агентууд суулгаж байгааг хамгаалаарай
Хиймэл оюун ухааны кодчилолын агент нь өөрөө хамаарал нэмж болох бөгөөд танил нэртэй цоо шинэ багц хууль ёсны эсэхийг шалгахаа болихгүй. Халдагчид үүнийг мэддэг бөгөөд нээлттэй эхийн бүртгэлүүд тэднийг хүлээж байдаг.
Хортой програм хангамжийн хамгаалалт Хөгжүүлэгч эсвэл агентаас үл хамааран гарын үсэг байхаас өмнө хортой багцуудыг тэмдэглэдэг. Хөгжүүлэгчийн машин дээр, Shield ямар нэгэн зүйл ажиллахаас өмнө бодлогыг хэрэгжүүлдэг: шинэ багцуудын хамгийн бага нас, IDE өргөтгөлүүд болон залгаасуудын хамрах хүрээ, хортой индикаторууд болон эрсдэлтэй газарзүйн байршлыг хаах, мөн машиныг хязгаарлах шаардлагатай үед төгсгөлийн цэгийг тусгаарлах.
Илүү гүнзгийрмээр байна уу?
Хянагч болон түүнд хүрсэн ил гарсан төгсгөлийн цэгийн алдаа нь нэг эзэмшигчтэй холбоотой нэг асуудал юм. Хэрэв та өөр DAST хэрэгслийг аль хэдийн ажиллуулж байгаа бол Xygeni нь танаас солихыг хүсэлгүйгээр үр дүнгээ ижил эрсдэлийн харагдац руу импортлодог.
Хоёр давхарга хамтдаа ажиллаж байгааг харахыг хүсч байна уу? Манай хуралдааныг үзээрэй Кодоос ажиллах хугацаа хүртэл: Яагаад SAST + DAST нь орчин үеийн AppSec-д зайлшгүй шаардлагатай, энд бид кодын олдворууд болон ажиллах хугацааны тестүүд бие биенээ хэрхэн баталгаажуулдаг талаар авч үзэх болно.
Нэг ажлын урсгал, өөр консол биш
Хиймэл оюун ухааны агентын аюулгүй байдал нь өөрийн гэсэн дараалалтай тусдаа хэрэгсэл болоход бүтэлгүйтдэг. Xygeni-д хиймэл оюун ухааны олдворууд ижил юүлүүрээр дамждаг, Хиймэл оюун ухааны ангилалт, тасалбар болон тайлангууд нь таны бусад олдворууд юм. AI Remediation нь бүх арван OWASP LLM ангиллын хувьд контекстэд мэдрэмтгий засварлах зааварчилгаа өгдөг бөгөөд ASPM код, хамаарал болон бусад зүйлсийн хажууд хиймэл оюун ухааны эрсдэлийг тавьдаг. pipeline нэг талаас нь авч үзвэл эрсдэл.
Хиймэл оюун ухааны агентын аюулгүй байдал ба нийцэл
Зохицуулагчид, аудиторууд болон үйлчлүүлэгчид таны ажиллуулж буй хиймэл оюун ухааны жагсаалт болон түүний эрсдэлийг хэрхэн ангилдаг талаар улам бүр их асууж байна. ЕХ-ны AI хууль болон ISO / IEC 42001 хоёулаа энэ чиглэлд түлхэц болж, хиймэл оюун ухаант эдийн засаг нь нэгэн төрлийн болж байна. standard худалдан авалтын асуулгын хуудасны зүйл.
Хөрөнгө тус бүрийн эрсдэлийн ангиллын талбар бүхий хиймэл оюун ухааны бүртгэл нь танай засаглалын багт уг ажлын нотолгооны баазыг өгдөг. Энэ нь Европын Холбооны хиймэл оюун ухааны тухай хуулийн бэлэн байдлыг дэмждэг; энэ нь тохирлын үнэлгээ биш бөгөөд таны хууль эрх зүйн хяналтыг орлохгүй.
эсвэл дунд хэмжээний багууд энгийн:
- Бүх зүйл дээр pull request: Өөрчлөгдсөн код дээрх CI дахь API аюулгүй байдал, мөн нэмэгдсэн DAST сканнерууд.
- өмнө commit: нэг адил pre-commit шаталсан файлууд дээрх хаалга.
- Шөнө бүр эсвэл нэгтгэх үед: бүрэн DAST скан хийх.
- Томоохон хувилбар бүрийн өмнө: Хоцрогдлыг баталгаажуулж, засвар бүр нүхийг хаасныг баталгаажуулахын тулд үе шаттайгаар хиймэл оюун ухааныг туршиж үзсэн.
API аюулгүй байдлын сканнер нь агаар тусгаарлагч орчин зэрэг хаана ч ажилладаг бөгөөд Xygeni SaaS эсвэл таны on-premises платформ. Үр дүн нь JSON хэлбэрээр гарч ирдэг, SARIF 2.1.0, CSV болон Markdown-д зориулсан pull request санал.
API аюулгүй байдлын туршилт ба нийцэл
Банк, даатгал эсвэл төрийн хэвшлийн багуудын хувьд API аюулгүй байдлын туршилт нь мөн нотолгоо болдог. Олдвор бүр нь нийцлийн шошготой байдаг GDPR 32 дугаар зүйл, PCI DSS 4.0 (3.4, 6.4.3, 7.1, 7.2 болон 8-р шаардлагууд) болон NIST SP 800-53 (AC-3, AC-6, IA-2, IA-5), платформ болон JSON болон SARIF гаралтад харагдана.
Хэрэв танай байгууллага харьяалагдах бол ДОРА or NIS2, ажиллах үеийн туршилт нь таны зохицуулагчид шаардлагатай хэвээр байгаа гарын авлагын пентестүүдийн хооронд тасралтгүй нотолгоо өгдөг.
Хиймэл оюун ухааны агентын аюулгүй байдлыг 7 алхамаар хэрхэн хэрэгжүүлэх вэ
Бодит хөгжүүлэлтийн багт хиймэл оюун ухааны агентын аюулгүй байдлыг хамгийн хурдан ажиллуулах дарааллаар нь практик шалгах жагсаалтыг энд оруулав.
- Discover
Өөрийн санд байгаа хиймэл оюун ухааны бүх хөрөнгийг тооллого хий
Агентууд, MCP серверүүд, ур чадварууд, загварууд, зааварчилгаа болон хиймэл оюун ухааны код бичих хэрэгслүүдийн талаар бүх репозиторыг сканнердаж, үр дүнг нь хиймэл оюун ухааны BOM хэлбэрээр экспортло. Энэ бол таны суурь шугам бөгөөд бусад алхам бүрээс хамаарч жагсаалт гарна.
- Ангилал
Агент бүрт эзэмшигч болон эрсдэлийн түвшинг өг
Агент бүрийн хувьд хэн эзэмшдэг, ямар өгөгдөл, хэрэгсэлд хүрч болох, мөн Европын Холбооны хиймэл оюун ухааны тухай хуулийн эрсдэлийн ангиллыг тэмдэглэнэ үү. Хэний ч эзэмшдэггүй агент бол хэний ч засах боломжгүй агент юм.
- Тодорхойлолт
Агентын кодыг CI дээр сканнердах pull request
Бусад сканнердахынхаа хажууд хиймэл оюун ухааны эрсдэл илрүүлэлтийг ажиллуулна уу. Суурь шугамыг харахын тулд хаалтгүй горимоос эхэлж, багууд цэвэрлэсний дараа Чухал олдворууд дээр нэгтгэлүүдийг хаах.
- тойм
Хэн нэгэн суулгахаасаа өмнө ур чадвараа шалгаарай
гэх мэт ур чадвар болон агентын зааварчилгааны файлуудыг сканнердах
SKILL.mdболонAGENTS.md, хиймэл оюун ухааны санааны хяналтыг асааж, "суулгахгүй" гэсэн шийдвэрийг хатуу зогсолт гэж үзнэ үү. - хязгаарлах
Агуулах агентын зөвшөөрлүүд
Статик урт хугацааны итгэмжлэлүүдийг хамрах хүрээтэй итгэмжлэлүүдээр сольж, агентуудын хооронд итгэмжлэл хуваалцахаа больж, MCP эсвэл багажны серверүүдийг шаардлагагүй өндөр эрхтэйгээр хэзээ ч ажиллуулж болохгүй.
- Гогцоонд засах
Кодлох агентын давталтад аюулгүй байдлыг оруулна уу
Хиймэл оюун ухааны кодчилолын агентуудаа аюулгүй байдлын MCP сервертэй холбож, тэд өөрсдийн кодыг шалгахаас өмнө сканнердаж, засах боломжтой. commitтед, таныхтай адил бодлоготой pipeline.
- хамгаалах
Хөгжүүлэгчийн машинууд дээр юу бууж байгааг хамгаалаарай
Шинэ багцуудын хамгийн бага насыг мөрдөж, гарын үсэг үүсэхээс өмнө хортой багцуудыг илрүүлж, IDE өргөтгөлүүд болон залгаасуудыг суулгасан хүн, хөгжүүлэгч эсвэл агентыг хамрах.
дараа нь: Олдвор бүрийг AppSec-ийн бусад хэсэгтэй адил ангилах, тасалбар олгох, тайлагнах ажлын урсгалд чиглүүл, ингэснээр хиймэл оюун ухааны эрсдэл өөрийн гэсэн дараалалд орохгүй.
Та хэзээ ч уулзаж байгаагүй агентаа хамгаалж чадахгүй
Хиймэл оюун ухааны агентын аюулгүй байдал гэдэг нь дахин нэг сканнер биш юм. Энэ нь та ямар агентуудыг ажиллуулж байгааг мэдэх, тэдгээрийг хэрхэн бүтээж байгаад эрсдэл учруулах, код бичих агентын давталтад аюулгүй байдлыг оруулах, мөн ямар агентууд суулгаж байгааг хамгаалах явдал юм. Бараа материалаас эхэл: бусад бүх зүйл үүнээс хамаарна.
Код дээрх бүх агент, MCP сервер болон ур чадварыг харахыг хүсч байна уу? Инженертэй уулзалт захиалах репозиторынхоо хиймэл оюун ухааны жагсаалтыг бүрдүүлж, түүний үр дүнг хянах. Эсвэл үнэгүй эхлэх AI-тай SAST, SCA, нууц илрүүлэлт, IDE залгаасууд болон нээлттэй эхийн багцууд дээрх хортой програм хангамж илрүүлэлт. Кредит картгүй.
Хиймэл оюун ухааны агентын аюулгүй байдлын талаар байнга асуудаг асуултууд
Хиймэл оюун ухааны агентын аюулгүй байдал нь LLM аюулгүй байдлаас юугаараа ялгаатай вэ?
LLM аюулгүй байдал нь загвар юу гэж хэлдэг тухай юм: алдагдсан өгөгдөл, өөрчлөгдсөн хариултууд, аюултай гаралт. Хиймэл оюун ухааны агентын аюулгүй байдал нь агент хэрэгсэл, санах ой, итгэмжлэл болон бусад агентуудтай юу хийдэг тухай юм. Тийм ч учраас OWASP нь LLM-ийн шилдэг 10-аас гадна Агентын хэрэглээний тусдаа шилдэг 10-ыг (ASI01-ээс ASI10 хүртэл) нийтэлдэг.
Байгууллагадаа хиймэл оюун ухааны агентууд болон MCP серверүүдийг хэрхэн олох вэ?
Кодоос эхэл. Xygeni AI Security нь таны репозитор дахь агентууд, MCP серверүүд, ур чадварууд, загварууд, зааварчилгаа болон AI код бичих хэрэгслүүдийг илрүүлж, тэдгээрийн хэрхэн холбогддогийг зураглаж, үр дүнг CycloneDX форматаар AI-BOM хэлбэрээр экспортлодог. Энэ нь таны бусад сканнерын хажууд CI хэлбэрээр ажилладаг.
Хортой ур чадвар эсвэл MCP сервер миний хөгжүүлэгчдийг эрсдэлд оруулж болох уу?
Тийм: ур чадварын заавар нь энгийн текст бөгөөд агент нь хөгжүүлэгчийн зөвшөөрлийн дагуу тэдгээрийг дагаж мөрдөх болно. Xygeni нь далд хортой зааварчилгаа болон ур чадварын нэрийг дуурайлган тэмдэглэж, ур чадварын зорилгыг хиймэл оюун ухааны хяналтаар үнэлж, ур чадвар бүрийг аюулгүй, болгоомжтой эсвэл суулгахгүй гэж дүгнэж болно. Хортой програм хангамжийн хамгаалалт болон Shield багцууд болон сунгалтын агентуудын авчирсан зүйлсийг хамрах.







