Хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд: DevSecOps багууд хиймэл оюун ухааны системийг аюулгүй болгохын тулд юу мэдэх ёстой вэ
Хиймэл оюун ухааны аюулгүй байдлын эрсдэл нь загварын зан төлөв эсвэл өгөгдлийн нууцлалаар хязгаарлагдахаа больсон. Өнөөдөр эдгээр нь програм хангамжийг бичих, хянах, бүтээх, тээвэрлэх арга барилд нөлөөлдөг. Хиймэл оюун ухааны код бичих хэрэгслүүд, агентлагт суурилсан хиймэл оюун ухааны системүүд болон хиймэл оюун ухаанаар ажилладаг ажлын урсгалууд нэвтэрч байгаа тул SDLC, DevSecOps багууд шинэ төрлийн эрсдэлтэй тулгарч байна: илүү хурдан код бичих, илүү хурдан автоматжуулалт хийх, илүү хурдан алдаа гаргах.
Гэсэн хэдий ч энэ нь багууд хиймэл оюун ухааны хэрэглээг удаашруулах ёстой гэсэн үг биш юм. Үүний оронд тэдэнд хиймэл оюун ухааны тусламжтайгаар хөгжүүлэлтийн хурдад тохирсон аюулгүй байдлын хяналт хэрэгтэй. Энэхүү гарын авлагад бид хиймэл оюун ухааны аюулгүй байдлын хамгийн чухал эрсдэлүүд, тэдгээр нь бодит инженерчлэлийн ажлын урсгалд хэрхэн илэрдэг, багууд код, хамаарал, нууц гэх мэт зүйлсийн нөлөөллийг хэрхэн бууруулж болохыг тайлбарлах болно. pipelineс, болон агентууд.
Хиймэл оюун ухаан аюул заналхийллийн орчныг хэрхэн өөрчилдөг талаар илүү өргөн хүрээтэй тоймыг манай гарын авлагаас үзнэ үү Хиймэл оюун ухааны кибер аюулгүй байдал.
Хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд юу вэ?
Хиймэл оюун ухааныг бодит систем дотор зохион бүтээх, сургах, нэгтгэх эсвэл ашиглах үед гарч ирдэг сул тал, аюул занал, эсвэл алдааны хэлбэрүүд нь хиймэл оюун ухааныг бодит систем дотор зохион бүтээх, сургах, нэгтгэх эсвэл ашиглах үед гарч ирдэг. Эдгээр эрсдэлүүд нь загвар, өгөгдөл, заавар, API, код, pipelineс, мөн тэдгээрийг холбодог хэрэгслүүд.
The Хиймэл оюун ухаан болон кибер аюулгүй байдлын талаарх NCSC-ийн удирдамж кибер аюулгүй байдал нь аюулгүй, найдвартай хиймэл оюун ухааны системийн гол шаардлага гэдгийг тайлбарладаг. Үүнтэй адилаар, NIST AI эрсдэлийн удирдлагын тогтолцоо байгууллагуудад засаглал, хэмжилт, практик хяналтаар дамжуулан хиймэл оюун ухааны эрсдэлийг удирдах бүтцийг өгдөг.
DevSecOps багуудын хувьд асуудал илүү тодорхой байна. Хиймэл оюун ухаан одоо програм хангамжийн хүргэлтийн гинжин хэлхээний нэг хэсэг болсон. Энэ нь код бичиж, хамаарлыг санал болгож, тохиргоог үүсгэж, API-г дуудаж, заримдаа бие даан ажилладаг. Үүний үр дүнд хиймэл оюун ухааны аюулгүй байдлын эрсдэлийг дотор нь зохицуулах ёстой. SDLC, зөвхөн загварын түвшинд ч биш.
Хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд яагаад одоо өөр байна вэ?
Уламжлалт кибер аюулгүй байдлын эрсдэлүүд нь ихэвчлэн хүний бичсэн код, эмзэг багцууд, сул итгэмжлэлүүд эсвэл буруу тохируулсан дэд бүтцээс үүдэлтэй байдаг. Эдгээр эрсдэлүүд байсаар байна. Гэсэн хэдий ч хиймэл оюун ухаан нь тэдгээрийн хэр хурдан гарч ирэх, илрүүлэхэд хэр хэцүү байгааг өөрчилдөг.
Хиймэл оюун ухаанаар үүсгэгдсэн код зөв харагдаж болох ч баталгаажуулалтын шалгалтыг алдаж магадгүй. Хиймэл оюун ухааны код бичих туслах нь эмзэг багц санал болгож магадгүй. Агентын ажлын урсгал буруу хэрэгслийг дуудах, буруу файлд хандах эсвэл бүртгэл дэх нууцыг илчлэх боломжтой. Үүнээс гадна, хиймэл оюун ухааны системүүд нь ихэвчлэн контекст, заавар, холбогч болон гадаад хэрэгслүүдээс хамаардаг бөгөөд энэ нь аюулгүй байдал алдагдаж болзошгүй олон газрыг бий болгодог.
The LLM өргөдөл гаргагчдын OWASP-ийн шилдэг 10 шуурхай мэдээлэл түгээх, эмзэг мэдээллийн задрал, хангамжийн сүлжээний асуудлууд, хэт их оролцоо зэрэг эрсдэлүүдийг онцолж өгдөг. Эдгээр ангилалууд нь хиймэл оюун ухааны зан төлөвийг бодит програмын аюулгүй байдлын асуудлуудтай холбодог тул ашигтай байдаг.
Өөрөөр хэлбэл, хиймэл оюун ухааны аюулгүй байдлын эрсдэл нь зөвхөн загвартай холбоотой биш юм. Энэ нь загварыг тойрсон бүхэл бүтэн системтэй холбоотой юм.
DevSecOps багуудын хувьд хиймэл оюун ухааны гол аюулгүй байдлын эрсдэлүүд
Хөгжүүлэлт, AppSec болон бусад салбарт хиймэл оюун ухааныг ашиглахад хамгийн чухал эрсдэлүүдийг дор дурдав. CI/CD Ажлын урсгал.
1. Хиймэл оюун ухаанаар үүсгэгдсэн кодын эмзэг байдал
Хиймэл оюун ухааны код бичих хэрэгслүүд нь ажилладаг боловч аюулгүй биш код үүсгэж чаддаг. Жишээлбэл, тэд зохих параметрчилэлгүйгээр SQL асуулга үүсгэх, оролтын баталгаажуулалтыг алгасах эсвэл сул баталгаажуулалтын логикийг хэрэгжүүлж болзошгүй.
Энэ нь олон хиймэл оюун ухааны системүүд сургалтын өгөгдөл дээр үндэслэн кодын хэв маягийг үүсгэдэгтэй холбоотой юм. Гэсэн хэдий ч, код нь үргэлж аюулгүй байдаггүй. Практикт загвар нь олон нийтийн репозиторуудад түгээмэл байдаг тул аюулгүй бус жишээнүүдийг хуулбарлаж болно.
Нийтлэг жишээнд дараахь орно:
- SQL тарилга
- Cross-site скрипт
- Зөвшөөрлийн шалгалт дутуу байна
- Сессийн зохицуулалт сул байна
- Аюултай бус цуваажуулалт
- CSRF хамгаалалт дутуу байна
Тиймээс хиймэл оюун ухаанаар үүсгэгдсэн кодыг батлагдах хүртэл нь итгэлгүй гэж үзэх хэрэгтэй. SAST, бодлогын шалгалт, болон хяналт.
Дотоод холбоосын санал: энэ хэсгийг өөрийн нийтлэлтэй холбох AI SAST.
2. Нийлүүлэлтийн сүлжээ ба хамаарлын эрсдэлүүд
Хиймэл оюун ухааны хэрэгслүүд зөвхөн код үүсгэдэггүй. Тэд мөн багц, хувилбар, скрипт болон суулгах командуудыг санал болгодог. Энэ нь хиймэл оюун ухааны зөвлөмжөөс програм хангамжийн хангамжийн сүлжээний эрсдэл хүртэлх шууд замыг бий болгодог.
Жишээлбэл, хиймэл оюун ухааны хэрэгсэл нь дараахь зүйлийг санал болгож болно.
- Хуучирсан багц
- Бичгийн алдаатай хамаарал
- Галлюцинациятай багцын нэр
- Сэжигтэй суулгалтын скриптүүдтэй багц
- Эмзэг боловч өргөн хэрэглэгддэг номын сан
Түүнчлэн, халдагчид хиймэл оюун ухааны хэрэгслүүд зохион бүтээх магадлалтай багцын нэрийг бүртгүүлснээр энэ зан үйлийг ашиглаж болно. Энэ эрсдэлийг ихэвчлэн slopsquatting гэж нэрлэдэг. Энэ нь загварын хий үзэгдлийг багцын хангамжийн сүлжээний халдлага болгон хувиргадаг.
Энэ эрсдэлийг бууруулахын тулд багууд хэрэгтэй SCA, хортой програм хангамж илрүүлэх, хамаарлын бодлогын хэрэгжилт, хүрэх боломжтой байдлын шинжилгээ. Тэд мөн ашиглах боломжтой байдлын дохионуудыг ашиглах ёстой, тухайлбал EPSS болон идэвхтэй мөлжлөгийн тагнуулын мэдээлэл CISАшиглагдсан мэдэгдэж буй эмзэг байдлын каталог.
3. Хиймэл оюун ухааны ажлын урсгал дахь нууцын илрэл
Нууц мэдээлэл илчлэгдэх нь хиймэл оюун ухааны аюулгүй байдлын хамгийн практик эрсдэлүүдийн нэг юм. Хөгжүүлэгчид ихэвчлэн хиймэл оюун ухааны хэрэгслүүдэд контекст оруулдаг. Энэ контекстэд API түлхүүр, токен, итгэмжлэл, URL эсвэл дотоод тохиргоо орж болно.
Үүнээс гадна, хиймэл оюун ухаанаар үүсгэгдсэн код нь бодит мэт харагдах эсвэл бүр дордвол нууцыг эх файл руу буцааж хуулдаг орлуулагч агуулж болно. pipeline скриптүүд эсвэл логууд. Нууцууд Git-ийн түүхэнд орсны дараа эсвэл CI/CD логууд нь анхныхаас хойш удаан хугацаанд ашиглагдах боломжтой хэвээр байж болно commit.
Нийтлэг өртөлтийн цэгүүдэд дараахь зүйлс орно.
- Шуурхай түүх
- Үүсгэсэн код
- явах commits
- CI/CD бүртгэлүүд
- IaC файлууд
- Контейнерын зураг
- Хуваалцсан ажлын талбарууд
Ийм учраас багууд IDE түвшний сканнердах аргыг хослуулах хэрэгтэй. pre-commit шалгалтууд, репозиторын түүхийн сканнерууд, CI/CD лог сканнердах, автоматаар цуцлах.
Дотоод холбоосын санал: энэ хэсгийг нууцлалын аюулгүй байдлын бүтээгдэхүүн эсвэл холбогдох контенттойгоо холбоно уу.
4. Хиймэл оюун ухааны агент болон багаж хэрэгслийг буруу ашиглах
Агент AI Агентууд зөвхөн үйлдэл санал болгоод зогсохгүй, арга хэмжээ авч чаддаг тул эрсдэлийн шинэ давхаргыг бий болгодог.
Хиймэл оюун ухааны агент нь бүрхүүлийн командуудыг ажиллуулах, файлуудыг засах, API-г дуудах, нээх боломжтой. pull requests, CI ажлын урсгалыг өөрчлөх эсвэл үүлэн үйлчилгээтэй харилцах. Энэ нь бүтээмжийн асар их өсөлтийг бий болгодог ч алдааны тархалтын радиусыг нэмэгдүүлдэг.
Гол эрсдэлүүд нь:
- Аюултай бүрхүүлийн гүйцэтгэл
- Хэт их зөвшөөрөгдсөн API түлхүүрүүд
- Зөвшөөрөлгүй кодын өөрчлөлтүүд
- MCP эсвэл API холбогчийн буруу тохиргоо
- Зөвшөөрөгдсөн хүрээнээс гадуурх багажны дуудлага
- Даалгавраас гадна хүрээлэн буй орчинд нэвтрэх боломж
Хэт их эрх мэдлийн OWASP LLM-ийн шилдэг 10 ангилал энд онцгой хамааралтай. Хэрэв агент хэт их хандалттай бол буруу зааварчилгаа, шуурхай тарилга эсвэл эвдэрсэн хэрэгсэл нь жинхэнэ аюулгүй байдлын үйл явдал болж хувирч болно.
5. CI/CD болон Pipeline эрсдэл
Хиймэл оюун ухаанаар үүсгэгдсэн код эцэст нь хүрдэг pipelineТэр үед эрсдэл нь эх кодоос бүтээлт, эд өлгийн зүйлс, нууцлал, хамаарал болон байршуулалтын ажлын урсгал руу шилждэг.
Жишээлбэл, хиймэл оюун ухааны тусламжтайгаар хийгдсэн өөрчлөлт нь дараахь зүйлийг хийж болно.
- Аюултай бүтээх алхам нэмэх
- GitHub Actions ажлын урсгалыг өөрчлөх
- Суулгах явцад хортой багцыг татаж авах
- Нууцыг бүтээх бүртгэлд хэвлэх
- Аюулгүй байдлын хяналтыг идэвхгүй болгох
- Байршуулалтын логикийг өөрчлөх
Үүний үр дүнд, CI/CD Аюулгүй байдал нь хиймэл оюун ухааныг нэвтрүүлэхэд зайлшгүй шаардлагатай болж байна. Pipeline guardrails Аюултай бус хэв маягийг үйлдвэрлэлд хүрэхээс нь өмнө хаах ёстой. Илүү гүнзгий агуулгыг манай контентоос үзнэ үү CI/CD аюулгүй байдал болон software supply chain security.
6. Өгөгдөл алдагдах болон шуурхай мэдээлэл оруулах
Шуурхай тарилга нь хиймэл оюун ухааны аюулгүй байдлын хамгийн сайн мэддэг эрсдэлүүдийн нэг боловч үүнийг ихэвчлэн буруу ойлгодог. Энэ нь зөвхөн чатботын асуудал биш юм. Энэ нь гадны оролтыг хүлээн авч, дараа нь үйлдлийг чиглүүлэхэд ашигладаг аливаа хиймэл оюун ухааны ажлын урсгалд нөлөөлж болно.
Жишээлбэл, хортой асуудлын тодорхойлолт, README файл, дэмжлэгийн тасалбар эсвэл хамаарлын баримт бичгийн хуудас нь далд зааврыг агуулж болно. Хэрэв хиймэл оюун ухааны агент тухайн контентыг уншиж, дагаж мөрдвөл халдагч нь хэрэгслийн дуудлага, кодын өөрчлөлт эсвэл өгөгдөлд хандахад нөлөөлж болзошгүй.
Өгөгдөл алдагдах нь үүнтэй төстэй аргаар тохиолдож болно. Загвар нь эмзэг нөхцөл байдлыг илчлэх, хувийн файлуудыг нэгтгэн дүгнэх эсвэл нууц өгөгдлийг гадны үйлчилгээнд илгээх боломжтой. Тиймээс хиймэл оюун ухааны системд шуурхай шүүлтүүр, гаралтын хяналт, хэрэгслийн хязгаарлалт, ямар өгөгдөлд хандах боломжтой талаар тодорхой хил хязгаар шаардлагатай.
Хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд SDLC
Хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд нь програм хангамжийн амьдралын мөчлөгийн янз бүрийн үе шатанд гарч ирдэг. Гол нь зөвхөн эцсийн програмыг төдийгүй үе шат бүрийг аюулгүй байлгах явдал юм.
| SDLC Тайзны | Хиймэл оюун ухааны аюулгүй байдлын эрсдэл | Жишээ нь | Санал болгож буй хяналт |
|---|---|---|---|
| ЭНД | Хиймэл оюун ухаанаар үүсгэгдсэн аюултай код | Хиймэл оюун ухааны код бичих туслах нь аюулгүй бус баталгаажуулалтын логикийг санал болгож байна. | Бодит цаг SAST болон аюулгүй кодчилолын санал хүсэлт. |
| Commit | Нууцыг илчлэх | Үүсгэсэн кодонд токен гарч ирнэ эсвэл commit түүх. | Нууц илрүүлэлт, pre-commit чек, автоматаар цуцлах. |
| Pull Request | Бодлогыг тойрч гарах | Үүсгэсэн код нь хандалтын хяналтын дүрмийг хянаж үзэхгүйгээр өөрчилдөг. | PR guardrails болон бодлогын хэрэгжилт. |
| бий болгох | Хортой хамаарал | Хиймэл оюун ухааны санал болгосон багц нь сэжигтэй суулгалтын шинж чанарыг агуулдаг. | SCA, хортой програм хангамж илрүүлэх, болон хамаарлын бодлогын шалгалтууд. |
| CI/CD | Pipeline заль мэх | Агент нь ажлын урсгалын файлууд эсвэл байршуулалтын скриптүүдийг өөрчилдөг. | CI/CD аюулгүй байдлын шалгалт болон аномали илрүүлэлт. |
| Ажиллах цаг | Шуурхай тарилга эсвэл өгөгдөл алдагдах | Гадаад оролт нь хиймэл оюун ухааны ажлын урсгалыг мэдрэмтгий нөхцөл байдлыг илчлэхэд хүргэдэг. | Шуурхай хяналт, хандалтын хязгаарлалт, хяналт. |
Хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд ба уламжлалт кибер аюулгүй байдлын эрсдэлүүд
Уламжлалт кибер аюулгүй байдал чухал хэвээр байна. Гэсэн хэдий ч хиймэл оюун ухаан нь өөр хяналт шаарддаг шинэ зан үйлийн хэв маягийг нэмж байна.
| газар | Уламжлалт кибер аюулгүй байдлын эрсдэл | Хиймэл оюун ухааны аюулгүй байдлын эрсдэл |
|---|---|---|
| код | Хүний бичсэн эмзэг байдал. | Илүү өндөр хурдтайгаар хиймэл оюун ухаанаар үүсгэгдсэн аюултай хэв маяг. |
| хамаарлууд | Мэдэгдэж буй эмзэг багцууд. | Хиймэл оюун ухаанаар санал болгосон хий үзэгдэлтэй, хортой эсвэл аюултай багцууд. |
| нууц | Санамсаргүйгээр итгэмжлэлүүд commitхөгжүүлэгчид тохируулсан. | Нууцуудыг заавар, үүсгэсэн код эсвэл лог руу хуулсан. |
| Багаж | Хөгжүүлэгчийн хэрэгслүүдийг гараар буруу ашиглах. | Автономит агентууд хэрэгслүүд эсвэл API-г буруу ашиглаж байна. |
| Pipelines | Буруу тохируулсан CI/CD Ажлын урсгал. | Агентын үүсгэсэн ажлын урсгалын өөрчлөлт эсвэл аюултай автоматжуулалт. |
Бодит ертөнцийн хиймэл оюун ухааны аюулгүй байдлын эрсдэлийн жишээнүүд
Хиймэл оюун ухааны аюулгүй байдлын эрсдэл нь онолын шинж чанартай биш юм. Хэд хэдэн олон нийтийн хүрээ, судалгааны ажил одоо эдгээр асуудлыг илүү албан ёсоор хянаж байна.
The MIT хиймэл оюун ухааны эрсдэлийн сан Төрөл бүрийн шалтгаан, чиглэлээр 1,700 гаруй хиймэл оюун ухааны эрсдэлийг жагсаасан болно. Үүний зэрэгцээ, OWASP нь шуурхай тарилга, эмзэг мэдээллийн задрал, хангамжийн сүлжээний эмзэг байдал, хэт их оролцоо зэрэг LLM програмын эрсдэлийн практик ангиллыг санал болгодог.
DevSecOps багуудын хувьд хамгийн хамааралтай жишээнүүд нь програм хангамжийн хүргэлтэд ихэвчлэн гарч ирдэг:
- Эмзэг кодыг санал болгодог хиймэл оюун ухааны хэрэгслүүд
- Ажлын урсгалын файлуудыг өөрчилдөг хиймэл оюун ухааны агентууд
- Хиймэл оюун ухаанаар үүсгэгдсэн хамаарлууд нь нийлүүлэлтийн сүлжээнд өртөх байдлыг бий болгож байна
- Нууцууд нь заавар, бүртгэл эсвэл commits
- Батлагдсан хүрээнээс гадуурх хэрэгслүүдийг дууддаг агентын ажлын урсгалууд
Товчхондоо, хиймэл оюун ухааны системүүд код, итгэмжлэл, багцуудад хүрч чадсан үед хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд илүү ноцтой болдог. pipelineс, эсвэл дэд бүтэц.
Практикт хиймэл оюун ухааны аюулгүй байдлын эрсдэлийг хэрхэн бууруулах вэ
Хиймэл оюун ухааны аюулгүй байдлын эрсдлийг бууруулах хамгийн сайн арга бол хиймэл оюун ухааны тусламжтайгаар хөгжүүлэлтийг нэг хэсэг гэж үзэх явдал юм. SDLCЭнэ нь хөгжүүлэгчид үнэхээр ажилладаг бодлогыг эрт сканнердах, байнга баталгаажуулах, хэрэгжүүлэх гэсэн үг юм.
1. IDE дээр хиймэл оюун ухаанаар үүсгэгдсэн кодыг сканнердах
Хөгжүүлэгчид хиймэл оюун ухаанаар үүсгэгдсэн код бичиж эсвэл хүлээн авч байхдаа аюулгүй байдлын санал хүсэлтийг харах ёстой. Энэ нь контекст шилжих хөдөлгөөнийг багасгаж, асуудлыг Git-д хүрэхээс өмнө засахад тусалдаг.
ашиглана:
- SAST IDE-д
- Шугамын доторх эмзэг байдлын тайлбарууд
- Аюулгүй засварлах зөвлөмжүүд
- Бодлогын мэдлэгтэй нөхөн сэргээлт
Энэ нь ялангуяа хиймэл оюун ухааны код бичих туслахуудад чухал ач холбогдолтой бөгөөд аюултай саналууд нь кодын санд хурдан орж чаддаг.
2. Бүтээхээс өмнө хамаарлыг баталгаажуулах
Хиймэл оюун ухааны санал болгож буй хамаарлуудыг суулгах эсвэл тээвэрлэхээс өмнө баталгаажуулсан байх ёстой. Тиймээс багууд хөгжүүлэлтийн явцад хамаарлын хяналтыг хэрэгжүүлэх ёстой. CI/CD.
ашиглана:
- SCA
- Хортой програм илрүүлэх
- Бичлэгийн бичлэгийг илрүүлэх
- EPSS оноо
- Хүрэх чадварын шинжилгээ
- Бодлогод суурилсан хаалт
Энэ нь зөвхөн онолын эрсдэл төдийгүй бодит эрсдэлийг илэрхийлж буй багцуудыг эрэмбэлэхэд тусалдаг.
3. Нууцыг автоматаар илрүүлж, устгах
Нууц сканнердах нь зөвхөн эх кодоос илүү ихийг хамрах ёстой. Хиймэл оюун ухааны тусламжтайгаар хийгдсэн ажлын урсгалууд нь олон газарт итгэмжлэлийг илчилж чаддаг.
ашиглана:
- Pre-commit скан хийх
- Хадгалах сангийн түүхийг сканнердах
- Pipeline лог скан хийх
- IaC скан хийх
- Контейнерын зургийг сканнердах
- Автоматаар хүчингүй болгох
Үүний үр дүнд багууд өртөлт болон хязгаарлалтын хоорондох хугацааг багасгадаг.
4. Хэрэгжүүлэх Guardrails in CI/CD
Guardrails өөрчлөлтийг үргэлжлүүлэхэд хангалттай аюулгүй эсэхийг шийдэх ёстой. Тайлагнах нь ашигтай боловч ноцтой эрсдэлийн үед хаах шаардлагатай.
Guardrails хамрах ёстой:
- Шинэ чухал эмзэг байдал
- нууц
- Хортой хамаарлууд
- Бэхэлгээгүй эсвэл итгэмжлэгдээгүй багцууд
- Ажлын урсгалын аюултай өөрчлөлтүүд
- Алдагдсан SBOMs
- Бодлогын зөрчил
Үүнээс гадна, багууд шаардлагатай үед зөвхөн тайлангийн горимоор эхэлж, дараа нь өөртөө итгэх итгэл нэмэгдэхийн хэрээр хаах горим руу шилжих хэрэгтэй.
5. Агентын хэрэгслийн зан төлөвийг хянах
Агентын хиймэл оюун ухааны системүүд ажиглагдахуйц байх шаардлагатай. Хэрэв агент файлуудыг засварлаж, бүтээлтийг идэвхжүүлж эсвэл API-г дуудаж чадвал багууд юу хийсэн, хэзээ хийсэн, мөн үйлдэл хүлээгдэж байсан эсэхийг мэдэх шаардлагатай.
Хяналт:
- Багажны дуудлага
- Ажлын урсгалын файлын өөрчлөлтүүд
- Хадгалах сангийн бичих үйл ажиллагаа
- Сүлжээний чиглэлүүд
- Нууцын хандалт
- Pull request бий болгох
- Pipeline тригер
Энэхүү харагдах байдалгүйгээр агентын бие даасан байдалд итгэхэд хэцүү болно.
Xygeni нь хиймэл оюун ухааны аюулгүй байдлын эрсдлийг бууруулахад тусалдаг газар
Xygeni нь програм хангамжийн хүргэлтийн бүх сүлжээнд хиймэл оюун ухааны тусламжтайгаар хөгжүүлэлтийг хангахад анхаарлаа хандуулдаг. Хиймэл оюун ухааны эрсдэлийг тусад нь ангилахын оронд код, хамаарал, нууц гэх мэт зүйлсийг холбодог. pipelineболон бизнесийн орчин.
Жишээлбэл:
- SAST хиймэл оюун ухаанаар үүсгэгдсэн аюулгүй бус кодыг эрт илрүүлэхэд тусалдаг.
- SCA хамаарлыг баталгаажуулж, хортой багцуудыг илрүүлдэг.
- Нууцын аюулгүй байдал репозиторууд дээрх ил гарсан итгэмжлэлүүдийг илрүүлдэг ба pipelines.
- CI/CD Аюулгүй байдал аюултай өөрчлөлтүүд урагшлахаас өмнө бодлогыг хэрэгжүүлдэг.
- Гажиг илрүүлэх хөгжүүлэлт болон хүргэлтийн ажлын урсгал дахь ер бусын зан үйлийг тодорхойлдог.
- ASPM багууд юу чухал болохыг эрэмбэлэх боломжтой байхын тулд олдворуудыг нэг эрсдэлийн үзэл бодолд холбодог.
Энэ нь чухал ач холбогдолтой, учир нь хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд нь давхаргын хоорондын шинж чанартай байдаг. Эмзэг хамаарал, ил гарсан токен, аюултай ажлын урсгалын өөрчлөлт нь цэгийн хэрэгслүүдэд тусдаа харагдаж болно. Гэсэн хэдий ч эдгээр нь хамтдаа илүү том халдлагын замыг төлөөлж чадна.
Мэдэх ёстой хиймэл оюун ухааны аюулгүй байдлын эрсдэлийн удирдлагын хүрээ
Багуудад ажлаа бүтцэд нь оруулахад хэд хэдэн хүрээ тусалдаг.
The NIST AI эрсдэлийн удирдлагын тогтолцоо байгууллагуудад хиймэл оюун ухааны эрсдэлийг зураглах, хэмжих, удирдах, зохицуулахад тусалдаг. Энэ нь манлайлал, хууль тогтоомжийн хэрэгжилт болон эрсдэлийн хөтөлбөрүүдэд ашигтай.
The LLM өргөдөл гаргагчдын OWASP-ийн шилдэг 10 шуурхай тарилга, мэдрэмтгий өгөгдлийн илрэл, хангамжийн сүлжээний эмзэг байдал, хэт их оролцоо зэрэг техникийн эрсдэлүүдийг шууд харуулдаг тул AppSec багуудад илүү практик байдаг.
The NCSC хиймэл оюун ухаан болон кибер аюулгүй байдлын удирдамж хиймэл оюун ухаан байгууллагын кибер эрсдэлийг хэрхэн өөрчилдөгийг ойлгох шаардлагатай аюулгүй байдлын удирдагчдад хэрэгтэй.
Эдгээр нөөцүүд хамтдаа нэг тодорхой зүйлийг харуулж байна: Хиймэл оюун ухааны аюулгүй байдлыг хүмүүс, үйл явц, систем, програм хангамжийн хүргэлтийн ажлын урсгалаар удирдах ёстой.
Шалгах хуудас: Хиймэл оюун ухааны аюулгүй байдлын эрсдэлийг хэрхэн бууруулах вэ
Энэхүү шалгах хуудсыг практик эхлэлийн цэг болгон ашиглаарай.
| Хяналтын хэсэг | Юу хийх вэ | Энэ нь яагаад чухал вэ? |
|---|---|---|
| AI-ийн үүсгэсэн код | Run SAST IDE, PR болон CI/CD pipeline. | Аюултай кодыг үйлдвэрлэлд хүрэхээс сэргийлдэг. |
| хамаарлууд | ашиглах SCA, хортой програм хангамж илрүүлэх, EPSS болон хүрэх боломжтой байдал. | Эрсдэлтэй хиймэл оюун ухааны санал болгосон багцуудыг хаадаг. |
| нууц | Scan commits, логууд, түүх, IaC, болон савнууд. | Итгэмжлэлийн мэдээлэлд өртөх болон буруу ашиглалтыг бууруулдаг. |
| CI/CD | мөрдүүлэх pipeline guardrails болон бодлогын хаалга. | Аюултай бус бүтээлт болон байршуулалтыг зогсооно. |
| Агентын хэрэгслүүд | Хэрэгслийн дуудлага, API хандалт болон ажлын урсгалын өөрчлөлтийг хянах. | Хэт их сонголт болон гэнэтийн зан авирыг хязгаарладаг. |
| Эрсдэлийн менежмент | ашиглах ASPM олдворуудыг давхаргуудаар хооронд нь уялдуулах. | Багуудад бодит бизнесийн эрсдэлд анхаарлаа төвлөрүүлэхэд тусалдаг. |
Түлхүүр Takeaways
- Хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд одоо код, хамаарал, нууцлалд нөлөөлж байна. pipelineс, болон агентууд.
- Уламжлалт AppSec хэрэгслүүд хэрэгтэй хэвээр байгаа ч тэдгээр нь илүү эрт, илүү өргөн хүрээнд ажиллах ёстой.
- Хиймэл оюун ухаанаар үүсгэгдсэн кодыг баталгаажуулах хүртэл итгэлгүй гэж үзэх хэрэгтэй.
- Хиймэл оюун ухааны агентын ажлын урсгалын хэрэгцээ guardrails, зөвшөөрөл болон ажиглагдах байдал.
- DevSecOps багуудад дэлхий даяар нэгдсэн харагдах байдал хэрэгтэй байна SDLC хиймэл оюун ухааны эрсдэлийг үр дүнтэй удирдах.
Түгээмэл асуултууд: Хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд
Хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд юу вэ?
Хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд нь хиймэл оюун ухааны системийг бүтээх, нэгтгэх эсвэл ашиглах үед гарч ирдэг аюул заналхийлэл эсвэл сул талууд юм. Эдгээр нь загвар, өгөгдөл, заавар, код, хамаарал, API болон бусад зүйлсэд нөлөөлж болно. pipelines.
DevSecOps багуудын хувьд хиймэл оюун ухааны аюулгүй байдлын хамгийн том эрсдэлүүд юу вэ?
Хамгийн том эрсдэлд хиймэл оюун ухаанаар үүсгэгдсэн аюулгүй бус код, эмзэг хамаарал, нууц мэдээлэлд өртөх, шуурхай тарилга хийх, агентын хэт их зөвшөөрөл, аюултай байдал орно. CI/CD автоматжуулалт.
Хиймэл оюун ухааны аюулгүй байдлын эрсдэлүүд уламжлалт кибер аюулгүй байдлын эрсдэлээс яагаад ялгаатай вэ?
Хиймэл оюун ухааны системүүд код үүсгэж, хамаарлыг санал болгож, хэрэгслүүдийг дуудаж, бие даан ажиллах боломжтой. Үүний үр дүнд эрсдэлүүд илүү хурдан бөгөөд илүү олон давхаргад гарч ирдэг. SDLC.
Багууд хиймэл оюун ухааны аюулгүй байдлын эрсдэлийг хэрхэн бууруулах вэ?
Багууд хиймэл оюун ухаанаар үүсгэгдсэн кодыг сканнердах, хамаарлыг баталгаажуулах, нууцыг илрүүлэх, хэрэгжүүлэх замаар эрсдэлийг бууруулж чадна CI/CD guardrails, агентын зан төлөвийг хянах, мөн үр дүнгүүдийг хооронд нь уялдуулах ASPM.
Хиймэл оюун ухаанаар үүсгэгдсэн код аюулгүй юу?
Хиймэл оюун ухаанаар үүсгэгдсэн код нь анхдагчаар аюулгүй биш байдаг. Үүнийг үйлдвэрлэлд хүрэхээс өмнө хянаж, сканнердаж, туршиж, баталгаажуулсан байх ёстой.
Эцсийн бодол: Хиймэл оюун ухааны аюулгүй байдлын эрсдэлийн хэрэгцээ SDLC-Түвшний хяналтууд
Хиймэл оюун ухаан нь програм хангамжийн эрсдэлийн хурд болон хэлбэрийг өөрчилдөг. Энэ нь багуудад илүү хурдан бүтээхэд тусалдаг төдийгүй аюулгүй бус код, ил болсон нууц, аюултай хамаарал, эрсдэлтэй автоматжуулалтыг хүргэлтийн сүлжээнд нэвтрүүлэх шинэ аргуудыг нэвтрүүлдэг.
Тиймээс хиймэл оюун ухааны аюулгүй байдлыг зөвхөн загвар засаглал эсвэл бодлогын баримт бичгээр зохицуулж болохгүй. Үүнд практик хяналт шаардлагатай SDLCIDE санал хүсэлт, SAST, SCAнууц илрүүлэлт, CI/CD guardrails, гажиг илрүүлэх, болон ASPM- түвшний хамаарал.
Хиймэл оюун ухааны аюулгүй байдлын эрсдэлийг сайн удирддаг багууд хиймэл оюун ухааны хэрэглээг хаах биш, харин түүнийг тойрсон зөв аюулгүй байдлын давхаргыг бий болгох болно.
