AI аюулгүй байдал

Хиймэл оюун ухааны аюулгүй байдал: Хэний ч шүүмжлээгүй файлууд одоо таны хамгийн том халдлагын гадаргуу болж байна

Ур чадварын файл. Дүрмийн файл. MCP серверийн тохиргоо. Цэвэр текстийн гурван мөр, commitбаримт бичиг шиг боловсруулсан, баримт бичиг шиг хянасан бөгөөд тэдгээрийн аль нь ч код шиг харагдахгүй байна. Гэсэн хэдий ч тус бүр нь таны хиймэл оюун ухааны туслахад юу хийхийг зааварласан, юунд хүрэхийг зөвшөөрсөн талаар чимээгүйхэн дахин бичиж болно. Энэ бол хиймэл оюун ухааны аюулгүй байдлын цаана байгаа эвгүй үнэн юм. 2026 нь. Салбар нь хиймэл оюун ухаанаар үүсгэгдсэн код юу агуулж байгаа талаар хоёр жил санаа зовж байсан. Хамгийн хэцүү асуудал нь хиймэл оюун ухааны хангамжийн сүлжээ өөрөө болж хувирсан: загварууд, агентууд, MCP серверүүд болон тохиргооны файлууд нь одоо таны эх код болон нээлттэй эхийн хамаарлуудтай зэрэгцэн байрладаг бөгөөд ихэнхдээ бүртгэлгүй, хянаагүй байдаг. Чухам ийм учраас хиймэл оюун ухааны хангамжийн сүлжээний аюулгүй байдал өөрийн гэсэн салбар болсон бөгөөд зөв хиймэл оюун ухааны аюулгүй байдлын компанийг сонгох нь зөв сканнер сонгохтой адил чухал юм.

Хэн ч төсөвлөөгүй халдлагын гадаргуу

Програм хангамж нь халдагч этгээдийн довтлох боломжтой хэд хэдэн газартай байсан: код, хамаарлууд, pipelineХиймэл оюун ухаан дахин хоёрыг нэмсэн бөгөөд хоёулаа хиймэл оюун ухааны хангамжийн сүлжээнд шууд холбогдсон.

Загвар өмсөгч ба агент. Багажны хордлого, шуурхай тарилга, хэний ч төсөөлж байснаас илүү өргөн хүрээтэй агентын бие даасан байдал. MCP серверийн тайлбарт нуугдсан заавар нь хамтран нисгэгчийн хийдэг зүйлийг чимээгүйхэн чиглүүлж чаддаг бөгөөд хөгжүүлэгч үүнийг хэзээ ч харж чадахгүй.

Хөгжүүлэгчийн өөрийн орчин. IDE, хиймэл оюун ухааны хамтран хөгжүүлэгчид, MCP серверүүд, агент CLI-ууд. Загвар гэж юу болохыг мэддэггүй хуучин AppSec сканнеруудад үл үзэгдэх, үйлдлийн системийг ажигладаг бөгөөд хамаарал эсвэл MCP дуудлага гэж юу болохыг мэддэггүй EDR-д үл үзэгдэх.

Эдгээрийн аль нь ч онолын үндэслэл биш юм. Сүүлийн арван найман сарын хугацаанд:

  • Нууцлагдмал Юникод “дүрмийн файлын арын хаалга” нь халдагчид Copilot болон Cursor-ын уншдаг тохиргооны файлуудад үл үзэгдэх заавруудыг оруулж, туслахын үүсгэсэн кодыг чимээгүйхэн арын хаалгаар оруулах боломжийг олгодог. GitHub нь 2025 онд үүний талаар анхааруулга нэмсэн.
  • Алдартай MCP гүүр (CVSS 9.6)-д гарсан команд тарилгын алдааг засахаас өмнө 400,000 гаруй удаа татагдсан нь итгэмжлэгдээгүй MCP серверт холбогдоход л кодыг бүрэн алсаас гүйцэтгэсэн анхны баримтжуулсан тохиолдол юм.
  • Өөрөө үрждэг npm өт нь хөгжүүлэгчдийг өөрсдийгөө хүргэх механизм болгон хувиргасан бөгөөд энэ хэв маяг дараагийн саруудад бусад экосистемд давтагдсан нь хиймэл оюун ухааны хангамжийн сүлжээний аюулгүй байдлын доголдол байв.
  • Судлаачид LLM-үүдийн зөвлөсөн багцуудын нэлээд хэсэг нь огт байдаггүй бөгөөд жинхэнэ хөгжүүлэгч загвараас импортлохыг хүсэхээс өмнө халдагч "slopsquatted" нэрсийг бүртгэдэг болохыг тогтоожээ.

Google-ийн хиймэл оюун ухааны програм хангамжийн хангамжийн сүлжээг хамгаалах судалгаа өөр өнцгөөс ижил төстэй дүгнэлтэд хүрч байна: 2023, 2024 онд эргэлдэж байсан загварууд нь өгөгдлийг шүүж авах эсвэл татаж авсны дараа арын хаалга үүсгэх боломжтой код агуулсан байсан ч хууль ёсны харагдаж байсан бөгөөд уг засвар нь шинэ ангиллын хэрэгсэл биш, харин өмнө нь хэн ч хянаж байгаагүй эд өлгийн зүйлсэд гарал үүсэл, гарын үсэг гэх мэт хангамжийн сүлжээний сахилга батыг хэрэгжүүлэх явдал байв. Энэ бол нэг өгүүлбэрээр хиймэл оюун ухааны хангамжийн сүлжээний аюулгүй байдлын асуудал юм: эд өлгийн зүйлс шинэ боловч тэдэнд хэрэгтэй сахилга бат шинэ биш юм.

Таны одоо байгаа хэрэгслүүд яагаад ажиллахаа больдог вэ

SAST кодыг уншдаг. SCA хамаарлын манифестийг уншдаг. Загвар гэж юу болох, MCP сервер юу илчилдэг, эсвэл ур чадварын файл агентад юу хийхийг зааварладагийг хэн ч мэдэхгүй. Энэ зай нь хиймэл оюун ухааны эриний халдлагууд яг хаана, "бидний сканнердсан код" болон "бидний чимээгүйхэн хэрэгжүүлсэн хиймэл оюун ухаан"-ын хоорондох зайд байрладаг.

Үр дүн нь сүүдрийн хиймэл оюун ухааны ангилал № юм CISO одоогоор дараах асуултуудад хариулж чадна: бид ямар загваруудыг ажиллуулж байгаа, аль агентууд юунд хүрч чадах, өнгөрсөн мягмар гарагт хэн нэгэн хэнд ч хэлэлгүйгээр ямар MCP сервертэй холбогдсон бэ. Энэ асуултад сайн хариулах нь хиймэл оюун ухааны хангамжийн сүлжээний аюулгүй байдлын ажил бөгөөд AppSec-ийн ерөнхий хэрэгслүүд энд дутагдаж байгаагийн шалтгаан юм.

Хиймэл оюун ухааны аюулгүй байдал үнэндээ юу гэсэн үг вэ

Ксигени үүнийг гурван холбогдсон хөдөлгөөн гэж үздэг хиймэл оюун ухааны аюулгүй байдлын компани юм SDLC: илрүүлэх, илрүүлэх, хэрэгжүүлэх.

Нээх: танд үнэхээр ямар хиймэл оюун ухаан байгааг мэдэж аваарай

Таны репозиторууд дээрх тасралтгүй, автомат илрүүлэлт нь хиймэл оюун ухааны бүх хөрөнгийг хамардаг: загварууд, хүрээ, өгөгдлийн багц, дүгнэлтийн төгсгөлийн цэгүүд, агентууд, MCP серверүүд, ур чадварууд, зааварчилгаанууд, guardrails, мөн таны хөгжүүлэгчдийн ашиглаж буй хиймэл оюун ухааны код бичих хэрэгслүүд. Судалгаа байхгүй. Өөрийгөө тайлагнах шаардлагагүй. Хэрэв энэ нь репозиторт ул мөр үлдээсэн бол энэ нь жинхэнэ хиймэл оюун ухааны хангамжийн сүлжээний аюулгүй байдлын хамгийн эхний бөгөөд хамгийн үндсэн шаардлага болох бараа материалын жагсаалтад гарч ирнэ.

Дараа нь хиймэл оюун ухааны график нь эдгээр хөрөнгүүд хэрхэн холбогддогийг харуулдаг: аль загвар нь өгөгдлийн багцыг дамжуулдаг, аль агент нь аль хэрэгслийг дууддаг, аль MCP сервер нь аль туслахын ард байрладаг. Тусдаа байгаа хөрөнгийг харахад бага зүйл хэлдэг. График нь эрсдэл хаана төвлөрч байгааг харуулдаг.

Тэрхүү нээлтээс Xygeni нь дараах зүйлийг бий болгодог. AI-BOM: таны програм хангамж дахь хиймэл оюун ухаантай холбоотой бүх зүйлийн аудит хийхэд бэлэн, машинаар уншигдахуйц жагсаалт. Зохицуулагч, аудитор эсвэл үйлчлүүлэгч танаас ямар хиймэл оюун ухаан ажиллуулж байгааг асуухад хариулт нь гурван долоо хоногийн турш хөөцөлдөхийн оронд татаж авахад л хангалттай.

Илрүүлэх: уламжлалт сканнерууд харж чадахгүй эрсдэлүүд

Зориулалтын хиймэл оюун ухааны сканнер нь хиймэл оюун ухааны системд хамаарах алдааны горимуудыг хайдаг: шуурхай тарилга, багажны тарилга болон найдваргүй багажны дуудалт, сэргээлтээр дамжуулан өгөгдөл алдагдах, системийн шуурхай тарилгыг тойрч гарах, хэт их нөлөө үзүүлэх. Олдвор бүр нь LLM өргөдөл гаргагчдын OWASP-ийн шилдэг 10 мөн "хиймэл оюун ухааны хэрэглээгээ хянана уу" гэсэн тодорхой бус анхааруулга биш харин өртөлтийг үүсгэдэг яг тодорхой файл болон мөрийг зааж өгдөг.

Ижил илрүүлэлтийн давхарга нь ур чадварын файлууд, дүрмийн файлууд болон MCP тохиргоог аюулгүй байдлын эд өлгийн зүйлс гэж үздэг болохоос хор хөнөөлгүй баримт бичиг биш юм. Энэ нь хортой эсвэл хордсон ур чадваруудыг тэмдэглэж, MCP серверийн тохиргоог багажны хордлого байгаа эсэхийг шалгаж, таны хиймэл оюун ухааны ажлын ачааллыг үнэхээр удирдаж буй заавруудыг илрүүлдэг.

Эрэмбэлэх: булангуудыг биш, харин чимээг бууруулдаг юүлүүр

Олдвор бүрийг аажмаар шүүж байдаг: програмын кодонд юу хүрч болох, дараа нь үнэхээр ашиглах боломжтой, дараа нь танай баг идэвхтэй хөгжүүлж буй кодонд юу байгаа хүртэл. Хөгжүүлэгчийн дараалалд хүрдэг зүйл бол үйлдвэрлэлд үнэхээр аюул учруулж буй богино жагсаалт бөгөөд хүрээний лавлагаа, өртөлтийн цонх, бууруулах удирдамжийг хавсаргасан болно.

Хэрэгжүүлэх: ажиллуулахаас нь өмнө зогсоох

Shield Хөгжүүлэгчийн өөрийн төгсгөлийн цэгт бодлогын хэрэгжилтийг авчирдаг: энэ нь зөвшөөрөлгүй болон хортой суулгалтууд, баталгаажаагүй загварууд болон зөвшөөрөлгүй MCP серверүүдийг ямар нэгэн зүйл ажиллахаас өмнө хаадаг. Үүний доор Xygeni-ийн байрладаг. Хортой програм хангамжийн эрт сэрэмжлүүлэг (MEW), гарын үсэг байхаас өмнө хортой багцуудыг илрүүлдэг боловч давхаргын нэр хүндэд суурилсан хэрэгслүүд нь хэн ч багцын талаар мэдээлээгүй тул итгэдэг хэвээр байна. Энэ бол хиймэл оюун ухааны хангамжийн сүлжээний аюулгүй байдлын хэрэгжилтийн тал хувь юм: илрүүлэлт болон илрүүлэлт нь юу нь буруу байгааг танд хэлж өгдөг, Shield үүнийг үнэндээ зогсоодог зүйл юм.

Таны хиймэл оюун ухааны нөлөө зөвхөн таны хиймэл оюун ухааны кодонд байдаггүй

Хиймэл оюун ухааны хангамжийн сүлжээний аюулгүй байдлын бүрэн дүр зургийг гаргахад загварын бараа материалаас илүү ихийг шаарддаг бөгөөд зөвхөн гял цал зүйлс ховор байдаг:

  • Хиймэл оюун ухааны үйлчилгээ үзүүлэгчийн итгэмжлэл prompt файлууд, агентын тохиргоонууд эсвэл pipeline Лог нь бусад нууцуудтай адил нууц бөгөөд Xygeni-ийн нууц илрүүлэлт нь тэдгээрийг олон нийтийн бүртгэлд хүрэхээс өмнө илрүүлдэг.
  • Эмзэг хиймэл оюун ухаан болон машин механизмын хамаарал таны стекийн үлдсэн хэсгийг хамарсан програм хангамжийн найрлагын шинжилгээгээр илэрсэн ердийн CVE-үүдийг агуулдаг. Хиймэл оюун ухааныг нэвтрүүлэх талаар хийсэн гуравдагч этгээдийн судалгаагаар орчин үеийн хиймэл оюун ухааны стекийн хэр их хэсэг нь гаднаас авсан багцууд болон далд бүрэлдэхүүн хэсгүүд болохыг харуулсан бөгөөд энэ нь яг л програм хангамжийн найрлагын шинжилгээг хамрах зорилгоор бүтээгдсэн зүйл юм.
  • Хортой багцууд ямар ч зөвлөгөөнөөс илүү хурдан нийтлэгдсэн pipeline Тэдгээрийг гарын үсэг зурахаас өмнө барьсан тохиолдолд каталогжуулж болно, мөн MEW чадвар нь таны хангамжийн сүлжээний үлдсэн хэсгийг хамгаалдаг.

Агентын давхарга: DevAI болон CoreAI

Илрүүлэлт болон илрүүлэлт нь таны репозиторт аль хэдийн байгаа зүйлсийг хамардаг. DevAI эрсдэл үүссэн газарт ажилладаг: IDE дотор, хүн болон хиймэл оюун ухаанаар үүсгэгдсэн кодыг бичиж байх үед нь сканнерддаг тасралтгүй, идэвхтэй давхарга хэлбэрээр ажилладаг бөгөөд ямар ч заавар шаардлагагүй. Энэ нь олдворын цаана байгаа бүрэн ашиглалтын замыг тайлбарлаж, хөгжүүлэгч угсралтыг эвдэхгүйгээр итгэлтэйгээр хэрэгжүүлж болох MCP-баталгаажсан засваруудыг санал болгодог.

CoreAI оюун ухааны давхарга болгон бие даасан сканнеруудын дээр байрладаг: энэ нь код, хамаарал, pipeline, мөн өгөгдлийг нэг эрсдэлийн загварт оруулж, асуултуудад байгалийн хэлээр хариулж, аюулгүй байдлын удирдагчийн засаглал зүгээр л мэдэгдэж байгаа биш, харин бодит байдал дээр болж байгааг харуулах шаардлагатай гүйцэтгэх удирдлагад бэлэн тайланг гаргадаг.

Хиймэл оюун ухааны аюулгүй байдлын талаарх мэдлэгээ өргөжүүл. Юуг ч бүү хулгайл.

Шинэ аюулгүй байдлын ангилалд хамгийн түгээмэл эсэргүүцэл бол "бидэнд хангалттай хэрэгсэл аль хэдийн бий болсон" юм. Хиймэл оюун ухааны аюулгүй байдлын компанийн хувьд Xygeni танаас юуг ч солихыг хүсдэггүй: өөрийн олдворуудад хэрэглэсэн ижил ангилалт, тайлбар, эрэмбэлэлт нь таны одоо байгаа олдворуудад адилхан үйлчилдэг. SAST, SCA, болон гуравдагч талын сканнерууд. Таны одоогийн стек нь хохирогч биш харин оролт болж, таны хиймэл оюун ухааны хангамжийн сүлжээний аюулгүй байдлын байдал нь түүнд хавсаргасан "хугалж солих" төсөлгүйгээр сайжирна.

Энэ яагаад дараа нь биш, одоо чухал вэ

Зохицуулагчид өөр өөр чиглэлээс ижил хүлээлттэй тулгарч байна: Европын Холбооны Хиймэл Оюун Ухааны тухай хууль, NIS2, Испанийн ENS зэрэг нь бүгд хиймэл оюун ухааны системийн бараа материалын нөөц, мөрдөх чадварыг шаардаж байгаа бөгөөд хиймэл оюун ухаан (AI-BOM) нь үйлдвэрлэх зорилгоор бүтээгдсэнтэй ижил нотолгоо юм. Яг дагаж мөрдөх механизмууд тогтож байгаа ч гэсэн аяллын чиглэл тодорхой байна: та хэзээ ч бараа материалын нөөц бүрдүүлж байгаагүй хиймэл оюун ухаанаа гэрчилж чадахгүй бөгөөд хэрэв нийлүүлэлтийн сүлжээ өөрөө танд харагдахгүй бол хиймэл оюун ухааны хангамжийн сүлжээний аюулгүй байдлыг шаардаж чадахгүй.

Хиймэл оюун ухааны аюулгүй байдлын компанийг сонгох

Хиймэл оюун ухааны аюулгүй байдлын компани бүр өөрийн хил хязгаарыг нэг дор тогтоодоггүй. Зарим нь таны хиймэл оюун ухаанаар үүсгэгдсэн кодыг сканнердахаас өөр аргагүй болдог. Бусад нь төгсгөлийн цэг дээр зогсдог. Хиймэл оюун ухааны хангамжийн сүлжээний аюулгүй байдлын асуудал нь аль ч зүсмэлээс илүү том асуудал юм: энэ нь загвар, агент, MCP сервер, ур чадварын файл болон тэдгээрийн доор байрлах ердийн хамаарлыг хамардаг. Нэг консол дээр AppSec-ийн бусад олдворуудтай хамт илрүүлэлтээс эхлээд хэрэгжилт хүртэлх бүрэн амьдралын мөчлөгийн үзэл баримтлал нь нэг цэгийн хэрэгсэл биш харин хиймэл оюун ухааны аюулгүй байдлын компанийг үнэлэхдээ анхаарах ёстой зүйл юм.

Хэний ч хянадаггүй файлууд орж ирсэн. Хиймэл оюун ухааны аюулгүй байдал бол тэдгээрийг хянах сахилга бат бөгөөд хиймэл оюун ухааны хангамжийн сүлжээний аюулгүй байдал нь бусад бүх зүйлийг аль хэдийн хянаж байдаг платформ дээр уг сахилга батыг төгсгөл хүртэл хадгалахад хүргэдэг зүйл юм.

Таны хиймэл оюун ухаан үнэндээ юу хийхийг зөвшөөрч байгааг хараарай. Үнэгүй эхэл or демо хуваарь гаргах.

тусламж

Xygeni-ийн код миний дэд бүтцээс хэзээ нэгэн цагт гардаг уу?
Үгүй. Сканнердах нь таны өөрийн орчин дотор ажилладаг бөгөөд эх код нь хэзээ ч Xygeni-ийн серверүүд рүү байршуулагддаггүй. Хиймэл оюун ухааны нөөц болон AI-BOM нь сканнерын гадагш илгээсэн хуулбараас бус, харин дотооддоо харж буй зүйлээс бүрддэг.

Хиймэл оюун ухааны аюулгүй байдал, DevAI болон CoreAI-ийн хооронд ямар ялгаа байдаг вэ?
AI Security нь дараах зүйлсийг илрүүлж, илрүүлдэг: энэ нь AI-BOM-ын нөөцийг бүрдүүлж, шуурхай тарилга эсвэл хордсон ур чадварын файлууд зэрэг эрсдэлүүдийг олдог. DevAI нь хөгжүүлэгчид код бичиж байх үед IDE дотор ажилладаг бөгөөд тэдгээр нь ажиллах явцад засваруудыг санал болгодог. CoreAI нь хоёулангийнх нь дээр байрладаг бөгөөд бүх платформ дээрх олдворуудыг хооронд нь уялдуулж, таны аюулгүй байдлын байдлын талаархи асуултуудад байгалийн хэлээр хариулдаг.

Xygeni нь ямар хиймэл оюун ухааны аюулгүй байдлын хүрээтэй нийцдэг вэ?
Судалгааны үр дүнгүүд нь NIST SP 800-218A болон бусад хөтөлбөрүүдийн хамт LLM програмуудын OWASP-ийн шилдэг 10, MCP-ийн OWASP-ийн шилдэг 10, агентын ур чадварын OWASP-ийн шилдэг 10 жагсаалтад багтсан болно. CISХиймэл оюун ухааны материалын тооцооны талаарх A/G7 удирдамж. Энэхүү зураглал нь хиймэл оюун ухааныг зөвхөн бараа материалын бүртгэл гэхээсээ илүү нийцлийн нотолгоо болгон ашиглах боломжтой болгодог зүйл юм.

Энэ нь хиймэл оюун ухааны номын сан эсвэл загвар бүрийг эрсдэл гэж тэмдэглэх үү?
Үгүй. Эрэмбэлэх юүлүүр нь олдворуудыг програмын кодод юу хүрч болох, үнэхээр ашиглах боломжтой, идэвхтэй хөгжүүлэлтэд юу байгааг нарийсгадаг тул хөгжүүлэгчийн харж буй жагсаалт нь богино бөгөөд илрүүлсэн хиймэл оюун ухааны бүх хөрөнгийн жагсаалт биш юм.

sca-tools-програм хангамжийн-бүтцийн-шинжилгээний-хэрэгсэл
Програм хангамжийн эрсдэлээ эрэмбэлэх, засах, аюулгүй болгох
Үнэгүй бүртгэлээ аваарай.
Зээлийн картын шаардлагагүй.

Програм хангамжийн хөгжүүлэлт болон хүргэлтээ аюулгүй байлгаарай

Xygeni Product Suite-тэй хамт