ENISE 2026 дээрх Xygeni хиймэл оюун ухааны кодчилолын агентын аюулгүй байдал

Хувилбарыг худалдаанд гаргах боломжтой гэж хэн шийдсэн бэ? ENISE 2026-аас хиймэл оюун ухааны кодчилолын агентын аюулгүй байдлын хичээлүүд

TL, DR

ENISE 2026 бидэнд хиймэл оюун ухааны кодчилолын агентын аюулгүй байдлын талаар юу зааж өгсөн бэ

Хиймэл оюун ухаан таны кодыг аль хэдийн бичдэг. Үйлдвэрлэлд юу хүрэхийг шийдэх нь танаас л хамаарна.

  • Нэг өгүүлбэр хангалттай байсан: GitHub-ийн асуудлын гарчигт нуугдсан асуулт нь хиймэл оюун ухааны ангиллын агентыг төгсгөлтэй гинжин хэлхээ эхлүүлэхэд хүргэсэн. Клайныг зөвшөөрөлгүй суллах, таван сая гаруй хэрэглэгчтэй код бичих туслах.
  • CVE оролцоогүй: Халдлага нь сонгодог эмзэг байдлыг бус, харин алга болсон таван хяналтыг ашигласан тул уламжлалт сканнеруудад тэмдэглэх зүйл байгаагүй.
  • Саад тотгор хөдөллөө: Хиймэл оюун ухаан код бичиж, эмзэг байдлыг хурдан олдог. Кодыг аюулгүй нэгтгэж, аль олдворууд нь бодит болохыг баталгаажуулах нь одоо хамгийн хэцүү хэсэг юм.
  • Кодлох агентууд нь таны хангамжийн сүлжээний нэг хэсэг юм: Халдагчид таны кодыг бичсэн бүх зүйлийг онилж байна: зохиомол багцын нэрс, хордуулсан хамаарлууд, тэр ч байтугай хөгжүүлэгчийн зөөврийн компьютер дээрх хиймэл оюун ухааны туслахууд хүртэл.

Эхний алхам: Дөрвөн асуултанд хариулна уу. Таны хөгжилд ямар агентууд оролцдог, тэд юу оруулж чадах, таны юу pipelines гүйцэтгэж болох бөгөөд та аль олдворуудыг үнэхээр баталгаажуулж чадах вэ.

Леон хотод болсон ENISE 2026 дээр манай гүйцэтгэх захирал Жесус Куадрадо хиймэл оюун ухааны кодчилолын агентын аюулгүй байдлын талаарх илтгэлээ статистикийн слайд биш, харин түүхээр эхлүүлэв. Түүний өрөөнд юу ярьсан, мөн түүний асуулт бүрт үлдээсэн дөрвөн асуулт энд байна. CISО хамт.

Нэг өгүүлбэр хангалттай байсан

Энэ оны эхээр нэгэн аюулгүй байдлын судлаач сая сая хөгжүүлэгчдийн ашигладаг код бичих туслахын хуурамч хувилбарыг ямар ч exploit, zero-day эсвэл хулгайлагдсан нууц үггүйгээр нийтэлж болохыг харуулсан. Үүнд GitHub-ын асуудлын гарчигт ганц өгүүлбэр л хангалттай байсан.

Энэхүү хэрэгсэл нь алдартай нээлттэй эхийн код бичих туслах болох Cline байв. Өнөөдрийн олон төслийн нэгэн адил түүний баг хиймэл оюун ухаантай хийсэн ажлынхаа нэг хэсгийг автоматжуулсан: агент GitHub-ын шинэ асуудал бүрийг уншиж, ангилж, хариу өгдөг байв. Ажлаа хийхийн тулд уг агент терминалд хандах эрхтэй байсан бөгөөд интернетэд байгаа хэний ч нээсэн асуудал дээр ажилладаг байв. Судлаач Аднан Хан халдлагын гинжийг "Clinejection" гэж нэрлэсэн бөгөөд Саймон Уиллисон ... хэрхэн ажилладаг талаар тодорхой дүгнэлт.

 

Гинж таван газраас тасарсан:

  1. Гадаад текст нь зааварчилгаа болсон. Асуудлын гарчиг нь агентын мөрөнд шууд орсон тул хэрэгслийг суулгах хүсэлт нь тушаал шиг харагдаж байв.
  2. Агент шаардлагатай хэмжээнээс илүү их эрх мэдэлтэй байсан. Энэ нь асуудлуудыг ангилах зориулалттай байсан ч командуудыг ажиллуулж чаддаг байсан тул үүнийг хийсэн.
  3. Шалгалт болон хувилбар нь кэшийг хуваалцсан. Суулгасан хэрэгсэл нь CI кэшийг хордуулсан бөгөөд хувилбарын ажлын урсгал үүнийг өвлөн авсан.
  4. Хувилбарууд нь удаан эдэлгээтэй токен ашигласан. Кэш хордсон тул npm хэвлэх токен хүрэхэд ойрхон байв.
  5. Хэн ч чөлөөлөлтийг зөвшөөрөөгүй. Хувилбарыг тээвэрлэхээс өмнө хүнээр баталгаажуулах шаардлагагүй байсан.

Хэдэн долоо хоногийн дараа хэн нэгэн үүнийг жинхэнэ утгаар нь ашиглаж, cline@2.3.0 гэсэн зөвшөөрөлгүй хувилбарыг нийтэлжээ. Энэ нь найман цаг орчим онлайн байсан бөгөөд дөрвөн мянган удаа суулгагдсан байна. Энэ удаад зөвхөн өөр нэг хиймэл оюун ухааны агент суулгасан байна. Энэ нь итгэмжлэл хулгайлагч эсвэл ransomware байж болох юм.

Тэнд юу байгаагүйг анхаарна уу: SQL injection, CVE, уламжлалт сканнер юу ч тэмдэглэдэггүй байсан. Тэгэхээр энэ хувилбарыг хэн илгээж болно гэж шийдсэн бэ?

Хэн ч биш.

Таван алга болсон удирдлага, тус бүрийг юу хаадаг вэ

Clinejection гинжин хэлхээний холбоос бүр тэнд байхгүй байсан удирдлага байсан. Тэдгээрийн аль нь ч ашиглахын тулд CVE шаардлагагүй байсан.

Гинжин хэлхээний холбоосЮу дутагдаж байсан бэҮүнийг хаадаг удирдлага
1. Дугаарын гарчигИтгэмжлэгдээгүй мессеж агентын хүсэлт рүү шууд орсонБүх гадны оролтыг итгэмжлэгдээгүй гэж үзэж, агентын заавраас хол байлга
2. Ангилах агентАнгилалын агент ямар ч командыг ажиллуулж болноХамгийн бага давуу эрх: агент бүрт зөвхөн түүний ажилд шаардлагатай хэрэгслийг өгөх
3. Хуваалцсан кэшАнгилах болон суллах ажлын урсгалууд нь ижил кэш түлхүүрийг ашигласанАжлын урсгалыг тусгаарлаж, хянаж үзэх pipeline код хэлбэрээр тохиргоо хийх
4. npm токенХувилбарууд нь урт хугацааны хэвлэх тэмдэг дээр тулгуурладаг байсанХэвлэн нийтлэх богино хугацааны, хамрах хүрээтэй итгэмжлэл
5. суллахНийтлэхээс өмнө хүний ​​зөвшөөрөл эсвэл баталгаажуулалт хийгдээгүйХувилбар бүрт зөвшөөрөл болон гарын үсэг зурсан гарал үүсэл шаардлагатай

Код бичих нь одоо саад тотгор биш болсон

Cline бол гадны зүйл биш. Энэ бол урьдчилсан тойм. Хиймэл оюун ухааны кодчилолын агентууд одоо бичиж, суулгаж, commit кодыг хянах үйл явцыг зохион бүтээгээгүй хурдаар ашигладаг бөгөөд хиймэл оюун ухааны лабораториуд ч гэсэн өөрсдийн багаж хэрэгслээс илүү хурдан өөрчлөлтүүдийг нэгтгэдэг гэж мэдээлдэг.

Саад бэрхшээл арилсан. Код бичих нь хямдхан. Аюулгүй нэгтгэх нь тийм биш.

Эмзэг байдлыг олох нь хямдхан. Аль нь бодит болохыг мэдэх нь тийм биш.

Хиймэл оюун ухаан нь эмзэг байдлыг олохдоо маш сайн. Энэ нь өөрөө хийж чадахгүй зүйл бол аль нь жинхэнэ болохыг хэлж өгөх явдал юм.

Тэрбум тэрбум төхөөрөмж дээр ажилладаг номын сан болох curl-ийн засварчид үүнийг маш хүндээр харагдуулсан. Тэдний хүлээн авсан аюулгүй байдлын тайлангийн ихэнх нь бодит эмзэг байдал биш байсан ч тус бүр нь жижиг сайн дурын багийн гишүүдийг хэдэн цагийн турш холбосон. 2026 оны 1-р сард Curl нь алдааны шагналын хөтөлбөрөө зогсоосончанар муутай, хиймэл оюун ухаанаар үүсгэгдсэн тайлангууд их байгааг дурдаж байна.

Хиймэл оюун ухаанаар ажилладаг нээлтүүдтэй адил чадвар нь хэдэн зуун бодит нээлт эсвэл шуугиан тарьж чадна. Ялгаа нь хэн тэдгээрийг баталгаажуулдаг, энэ нь ямар үнэтэй вэ гэдэгт оршино.

Таны код бичих агент одоо таны хангамжийн сүлжээний нэг хэсэг болсон

Халдагчид логик дүгнэлтэд хүрсэн: хэрэв агентууд код бичдэг бол яагаад код руу халдах ёстой гэж? Үүнийг бичсэн хүн рүү дайрдаг.

  • Налуу газар гулгах. Хиймэл оюун ухаанаар үүсгэгдсэн кодын судалгаагаар загварууд байхгүй багцуудыг байнга санал болгодог бөгөөд ихэвчлэн ижил зохиомол нэрийг давтдаг болохыг тогтоожээ. Халдагч зөвхөн нэгийг нь бүртгүүлээд хүлээх хэрэгтэй.
  • Хиймэл оюун ухааны туслахууд эздийнхээ эсрэг боссон. Алдартай Nx бүтээх хэрэгсэлд хийсэн s1ngularity халдлагын үеэр хортой програм хангамж нь хөгжүүлэгчийн машинаас хиймэл оюун ухааны код бичих туслахуудыг хайж, тэднээс .env файлууд, SSH түлхүүрүүд, үүлэн токенуудын нууцыг олохыг хүссэн. Хохирогчийн өөрийн хиймэл оюун ухаан нь халдагчийн ажлыг хийсэн.

Довтолгооны гадаргуу нь зөвхөн таны код байхаа больсон. Энэ бол таны өмнөөс код бичдэг бүх зүйл юм. Эдгээр эрсдэлүүдийн ихэнх нь одоо ...-д тусгагдсан болно. LLM өргөдөл гаргагчдын OWASP-ийн шилдэг 10 мөн бидний гарын авлагад тайлбарласан OWASP-ийн Агентлаг Хэрэглээний Шилдэг 10-д багтсан болно OWASP Agentic хиймэл оюун ухааны шилдэг 10 бүтээгдэхүүн.

Хиймэл оюун ухааны кодчилолын агентын аюулгүй байдал: тус бүр дөрвөн асуулт CISО хариулж чаддаг байх ёстой

Хиймэл оюун ухаант кодчилолын агентын аюулгүй байдлын талаархи асуултууд

Есүс энэ бүхнийг дөрвөн асуулт болгон хувиргасан. Өөрийн байгууллагынхаа өмнөөс эдгээр асуултад хариулж үзээрэй:

  1. Өнөөдөр бидний хөгжилд ямар агентууд болон загварууд ажиллаж байна вэ? Таны зөвшөөрсөн зүйлс биш: тэнд байгаа зүйлс. IDE туслахууд, GitHub ботууд, цаг хэмнэхийн тулд хэн нэгний тохируулсан агентууд.
  2. Тэд манай програм хангамжид юу оруулж чадах вэ? Зохион бүтээсэн багцууд, өгөөшний хамаарлууд, IDE өргөтгөлүүд, MCP серверүүд, хаанаас ч татаж авсан загварууд.
  3. Бидний юу хийж чадах вэ pipelines-г ажиллуулах, ямар зөвшөөрлүүдээр ажиллуулах вэ? Cline дээр хуваалцсан кэш нь хэвлэлийн токенд хүрэхэд хангалттай байсан.
  4. Бидэнд хэлсэн бүх зүйлээс бид аль олдворыг үнэхээр баталгаажуулж чадах вэ?

Дөрөв дэх асуулт нь харагдаж байгаагаасаа илүү чухал: та агентын хийсэн зүйлийн талаарх өөрийн дүгнэлтэд найдаж болохгүй. Танд бие даасан нотлох баримт хэрэгтэй.

Xygeni тэдэнд хэрхэн хариулдаг вэ?

Тэнд юу байгааг хар даа. Xygeni хиймэл оюун ухааны аюулгүй байдал Таны репозитор дахь загварууд, агентууд, MCP серверүүд болон хиймэл оюун ухааны кодчилолын хэрэгслүүдийн жагсаалтыг гаргаж, эрсдэлийг OWASP-ийн LLM програмуудын шилдэг 10 жагсаалтад оруулдаг. Та өөрийн мэдэхгүй зүйлийг удирдаж чадахгүй.

xygeni ai аюулгүй байдлын бараа материал - Raph

Орох ёсгүй зүйлээ боль. Хортой програм хангамжийн эрт сэрэмжлүүлэг гарын үсэг үүсэхээс өмнө хортой багцуудыг илрүүлдэг бөгөөд энэ нь бидний үнэгүй төлөвлөгөөнд багтсан болно. Ксигени Shield Хөгжүүлэгчийн ажлын станцууд дээр хортой багцуудыг суулгахаас нь өмнө хааж, багц, IDE өргөтгөл болон залгаасуудын хамгийн бага насыг мөрдөж, эдгээр халдлагаас хамааралтай цонхыг хаадаг.

xygeni shield хаагдсан багц ide

Хамгаалах pipeline. CI/CD Аюулгүй байдал нь ажлын урсгал, зөвшөөрөл болон нууцыг шалгадаг бөгөөд Build Security гарын үсэг зурсан нэмэлтүүд SLSA гэрчлэлүүд, ингэснээр та нийтэлсэн зүйлээ өөрийн бүтээсэн зүйл гэдгийг баталж чадна. Энэ бол Клайнд бүтэлгүйтсэн зүйл юм.

Үзэл бодлоор биш, нотлох баримтаар баталгаажуул. Энэ бол хиймэл оюун ухаан хамгийн их амлалт өгч, хамгийн их алдаа гаргадаг газар юм. Таны ажиллуулах бүрт өөрчлөгддөг үр дүн нь аудиторын хувьд нотлох баримт эсвэл хаалга болж чадахгүй. pipelineТиймээс Xygeni дээр хиймэл оюун ухаан шийддэггүй. Хиймэл оюун ухааны туршилтын үед LLM нь довтолгоог пентестер шиг төлөвлөдөг боловч детерминистик мэргэ төлөгч нь бодит бөгөөд аюулгүй дохиогоор ажиллаж байгаа эсэхийг шийддэг. Шийдвэр бүр нь ашиглагдах боломжтой, ашиглагдах боломжгүй эсвэл дүгнэлтгүй биш бөгөөд тус бүр нь таны аудитор эсвэл удирдах зөвлөлд үзүүлэх боломжтой дахин ажиллуулах боломжтой концепцийн нотолгоотой ирдэг.

xygeni ai pentesting-ийн батлагдсан олдвор

Хиймэл оюун ухаан санал болгодог. Детерминист хөдөлгүүр шийддэг. Та нотлох баримтыг хадгалдаг.

деcisион чинийх хэвээрээ л байна

Жесус эхэлсэн газраа хаав. Cline-ийн нэг хувилбар нь хэний ч зөвшөөрөлгүйгээр илгээгдсэн бөгөөд энэ нь багийнхан хайхрамжгүй хандсанаас бус, харин хэн ч зөв асуултуудыг цагт нь асуугаагүйгээс болсон юм. Хиймэл оюун ухааны кодчилолын агентын аюулгүй байдал нь агент танд ямар нэгэн зүйл илгээхээс өмнө эдгээр асуултуудыг асуухтай холбоотой юм.

Хиймэл оюун ухаан таны кодыг аль хэдийн бичдэг. Үйлдвэрлэлд юу хүрэхийг шийдэх нь танаас л хамаарна.

За, өнөөдөр та дөрвөн асуултын алинд нь хариулж чадахгүй вэ?

Бид 62-р тавцан дээр гурван өдөр аюулгүй байдал болон хөгжүүлэлтийн багуудтай яг эдгээр асуултуудын талаар ярилцсан. Зочилсон бүх хүмүүст баярлалаа.

ENISE 2026 үзэсгэлэнгийн 62-р индэр дээрх Xygeni баг

ENISE 2026 дээрх Xygeni баг, зүүнээс баруун тийш: Жесус Куадрадо, Маркос Мартин, болон Агустин Санчес Фонсека.

Xygeni танай орчинд тэдэнд хэрхэн хариу үйлдэл үзүүлдэгийг харахыг хүсч байна уу? Үнэгүй эхэл or демо захиалах.

ТАХ

Хиймэл оюун ухаант кодчилолын агентын аюулгүй байдал гэж юу вэ?

Хиймэл оюун ухааны кодчилолын агентын аюулгүй байдал гэдэг нь таны програм хангамжийн хөгжүүлэлтийн амьдралын мөчлөгт хиймэл оюун ухааны кодчилолын туслахууд болон агентууд юу харж, суулгаж, гүйцэтгэж, нийтэлж болохыг хянах практик юм. Энэ нь агентууд өөрсдөө, тэдний авчирсан бүрэлдэхүүн хэсгүүд, pipelineтэд өдөөж чадна, мөн тэдний гаралтад итгэхэд шаардлагатай нотолгоо.

Клайнжекцийн дайралт гэж юу байсан бэ?

Clinejection нь Cline репозиторын эсрэг хийсэн халдлагын гинжин хэлхээ байсан бөгөөд GitHub-ийн асуудлын гарчигт нуугдсан мөр нь хиймэл оюун ухааны ангиллын агентыг командуудыг ажиллуулахад хуурсан. Кэш хордлогын тусламжтайгаар халдагч npm нийтлэх токенд хүрч, Cline-ийн зөвшөөрөлгүй хувилбарыг гаргасан бөгөөд энэ нь ойролцоогоор дөрвөн мянган удаа суулгагдсан байв.

Слопскваттинг гэж юу вэ?

Слопскваттинг гэдэг нь халдагч нь хиймэл оюун ухааны загваруудын зохиох хандлагатай багцын нэрийг бүртгэдэг хангамжийн сүлжээний халдлага юм. Хөгжүүлэгч эсвэл код бичих агент хий үзэгдэлтэй багцыг суулгахад тэд халдагчийн кодыг авдаг.

Хиймэл оюун ухаан аюулгүй байдлын олдворуудыг өөрөө баталгаажуулж чадах уу?

Найдвартай биш. Хиймэл оюун ухаан эмзэг байдлыг олж, тайлбарлаж чаддаг ч түүний гаралт нь гүйлгээний хооронд өөрчлөгдөж болох бөгөөд энэ нь нотлох баримт болгон сул болгодог. Илүү аюулгүй арга бол хиймэл оюун ухаан санал болгож, детерминистик хөдөлгүүр шийдвэр гаргах явдал юм, ингэснээр ижил оролт үргэлж ижил, баталгаажсан үр дүнг гаргадаг.

sca-tools-програм хангамжийн-бүтцийн-шинжилгээний-хэрэгсэл
Програм хангамжийн эрсдэлээ эрэмбэлэх, засах, аюулгүй болгох
Үнэгүй бүртгэлээ аваарай.
Зээлийн картын шаардлагагүй.

Програм хангамж хөгжүүлэлт болон хүргэлтээ аюулгүй байлгаарай

Xygeni Product Suite-тэй хамт