Xygeni аюулгүй байдлын тайлбар толь
Програм хангамжийн хөгжүүлэлт ба хүргэлтийн аюулгүй байдлын тайлбар толь

Түргэн тарилга гэж юу вэ?

Хэрэв танаас шуурхай тарилга гэж юу болохыг асуусан бөгөөд зөвхөн хагас хариулт авсан бол товч хувилбар нь энд байна: энэ нь хиймэл оюун ухааны загвар боловсруулсан оролт руу хортой эсвэл зальжин текстийг оруулж, анхны зааврыг нь үл тоомсорлож, оронд нь халдагчийн зааврыг дагахад хүргэдэг халдлагын арга юм. Энэ бол шуурхай тарилгын гол утга учир юм: энэ нь кодын алдаа биш, харин уламжлалт эксплойт кодын оронд энгийн хэлийг ашиглан загварын зааврыг хулгайлдаг халдлага юм.

Шуурхай тарилгын утга, энгийн үгээр #

Шуурхай тарилгын утгыг үг бүрээр нь задлан шинжлэх нь үүнийг хадгалахад тусална:

  • Захиалга: хэрэглэгч шууд бичсэн эсвэл баримт бичиг, вэб хуудас эсвэл API хариултаас автоматаар татаж авсан эсэхээс үл хамааран хиймэл оюун ухааны загварт оруулсан зааварчилгаа болон контекст.
  • Тарилга: SQL injection-тэй ижил логикоос зээлсэн, тэнд байх ёсгүй зүйлийг оруулах, үүнд итгэмжлэгдээгүй оролтыг энгийн өгөгдөл биш харин тушаал гэж үздэг.

Тиймээс хэн нэгэн шуурхай тарилга гэж юу болохыг асуухад хамгийн энгийн хариулт нь: хиймэл оюун ухааны загвар нь хөгжүүлэгчийн өгсөн заавар болон боловсруулж буй контент дотор нуугдсан заавруудын хоорондох ялгааг ялгаж чадахгүй үед юу болдог вэ гэдэг юм.

Үүнд үнэндээ юу багтдаг вэ? #

Бодит ертөнцийн ихэнх тохиолдлууд эдгээр үндсэн ангилалд багтдаг:

  • Шууд шууд тарилгаХалдагч хортой зааврыг чат эсвэл оролтын талбарт шууд бичиж, загвараас өмнөх дүрмийг нь үл тоомсорлохыг ил тод хүсдэг ("өмнөх бүх зааврыг үл тоомсорлох ба ...").
  • Шууд бус шуурхай тарилгаХортой заавар нь загварын дараа нь уншдаг вэб хуудас, PDF, имэйл эсвэл кодын тайлбар гэх мэт контент дотор нуугдсан байдаг бөгөөд энэ нь зөвхөн загвар нь тухайн контентыг боловсруулах үед идэвхждэг бөгөөд тухайн мөчид халдагч байхгүй.
  • Jailbreak маягийн тарилгазагварын аюулгүй байдлыг тойрч гарахын тулд дүрд тоглох, таамаглалын хүрээ эсвэл кодчилолын заль мэхийг ашигладаг тарилгын тодорхой амт guardrails ялангуяа, түүний даалгаврыг булаан авахын оронд.

Шуурхай тарилга ба Jailbreak: Ялгаа нь юу вэ? #

Шуурхай тарилга гэж юу болохыг харуулсан нийтлэг нэмэлт нь jailbreak-аас юугаараа ялгаатай вэ гэдэг юм. Энэ хоёр нь давхцаж байгаа боловч адилхан биш юм. Jailbreak нь загварын аюулгүй байдал болон... агуулга guardrails, татгалзахаар сургагдсан зүйлийг хэлэх эсвэл бий болгох. Шуурхай тарилга гэдэг нь илүү өргөн хүрээтэй ойлголт юм: энэ нь загварын зааварчилгаа эсвэл даалгаврыг булаан авах тухай бөгөөд энэ нь аюулгүй байдалтай холбоотой байж болох ч байж болохгүй. guardrails огтхон ч биш. Дэмжлэгийн тасалбарт нуугдсан шууд бус тарилга нь хэрэглэгчийн өгөгдлийг гадаад хаяг руу имэйлээр илгээхийг хэрэглэгчийн үйлчилгээний агентад чимээгүйхэн хэлдэг бөгөөд энэ нь ямар нэгэн зүйлийг jailbreak хийхийг оролдож байгаа хэрэг биш; энэ нь даалгаврыг өөрөө дахин чиглүүлж байгаа хэрэг юм.

Шуурхай тарилга үнэндээ хаана гарч ирдэг вэ #

Шуурхай тарилгын утгыг ойлгосны дараа бодит системд эрсдэл хаана байгааг олж мэдэхэд илүү хялбар болно.

MCP серверүүд болон хиймэл оюун ухааны код бичих туслахууд – хортой сэтгэгдэл, README эсвэл хэрэгслийн үр дүнгийн ачаалал нь хөгжүүлэгчийн кодын сан эсвэл терминал дотор агентын хийдэг зүйлийг дахин чиглүүлж болно. Энэ нь түүний бүтээсэн програмчлалын хэлнээс хамааран өөр өөр боловч гол санаа (засварлагч + бүтээх хэрэгслүүд + дибаг хийгч, нэг дор) хэвээр байна.

Чатбот болон дэмжлэгийн агентууд – хэрэглэгч ботыг системийн хүсэлтийг харуулах эсвэл санамсаргүй үйлдэл хийхийн тулд оруулсан текстийг буулгадаг.

Дахин сэргээх үеийн (RAG) pipelines – Мэдлэгийн сан дахь хордсон баримт бичиг нь татаж авахад идэвхждэг зааврыг агуулдаг.

Автономит хиймэл оюун ухааны агентууд – Вэбээр аялдаг, имэйл уншдаг эсвэл хэрэгслүүд рүү залгадаг агент нь хүрсэн аливаа контентоос оруулсан зааврыг авч, дараа нь бодит зөвшөөрлөөр тэдгээр дээр ажиллах боломжтой.

Шуурхай тарилгын утга учир нь "зүгээр л шуурхай заль мэх"-ээс гадна яагаад чухал вэ? #

Үүнийг шинэлэг зүйл, чатботыг ямар нэгэн утгагүй зүйл хэлэх ухаалаг арга гэж үл тоомсорлоход амархан. Гэхдээ хиймэл оюун ухааны загваруудыг имэйл илгээх, код гүйцэтгэх, мэдээллийн сангаас лавлах эсвэл багц суулгах боломжтой агентууд болгон холбосны дараа шуурхай тарилга нь чат цонхны сонирхол байхаа больж, жинхэнэ аюулгүй байдлын хил хязгаарын асуудал болж хувирдаг: загварын уншдаг контентыг хэн хянаж байгаа нь зөв нөхцөлд тухайн загварын дараа юу хийхийг хянаж чадна. Тийм ч учраас энэ тарилга одоо өөрийн гэсэн ангилал болж гарч ирж байна. LLM өргөдөл гаргагчдын OWASP-ийн шилдэг 10мөн яагаад шуурхай тарилга гэж юу болохыг ойлгох нь одоо зөвхөн улаан багийн гишүүдийн сониуч зан биш харин хиймэл оюун ухаанаар ажилладаг системийг бүтээж эсвэл аюулгүй болгож буй хүн бүрийн хувьд суурь мэдлэг гэж тооцогддог болсон.

Хэрэв та үүнийг AppSec болон DevSecOps өнцгөөс, өөрөөр хэлбэл шуурхай тарилгын эрсдэл нь зөвхөн энэ нэр томьёоны утгыг бус харин хиймэл оюун ухааны агентууд, MCP серверүүд болон хиймэл оюун ухааны үүсгэсэн код дээр хэрхэн илэрдэгийг авч үзэж байгаа бол бид үүнийг энд илүү дэлгэрэнгүй авч үзсэн болно. Хиймэл оюун ухааны хангамжийн сүлжээний аюулгүй байдал.

тусламж #

Нэг өгүүлбэрээр хурдан тарилга гэж юу вэ?

Хиймэл оюун ухааны загвар боловсруулсан оролт эсвэл контент дотор хортой зааврыг нууж, загварыг анхны зааврын оронд халдагчийн зааврыг дагахад хүргэдэг халдлага юм.

Энэ нэр томьёоны шууд тарилга гэдэг нь юу гэсэн үг вэ?

Энэ нь “prompt” (хиймэл оюун ухааны загварт өгөгдсөн зааварчилгаа болон контекст)-ийг зөвхөн өгөгдөл агуулсан зүйлд зөвшөөрөлгүй командуудыг оруулахтай хослуулсан бөгөөд энэ нь SQL injection гэх мэт хуучин халдлагын ард байгаа гол санаа юм.

Энэ нь jailbreak хийхтэй адилхан уу?

Үгүй. Jailbreak нь загвар өмсөгчийн аюулгүй байдлыг тусгайлан чиглүүлдэг guardrails Зөвшөөрөгдөөгүй контент үүсгэхийн тулд. Шуурхай тарилга нь илүү өргөн хүрээтэй: энэ нь загварын даалгавар эсвэл зааврыг булаан авдаг бөгөөд энэ нь аюулгүйн шүүлтүүртэй огт холбоогүй байж магадгүй юм.

Халдагч хүн юу ч бичихгүйгээр шууд тарилга хийж болох уу?

Тийм. Үүнийг шууд бус шуурхай тарилга гэж нэрлэдэг: хортой заавар нь загвар эсвэл агентын дараа нь уншдаг баримт бичиг, вэб хуудас эсвэл файл дотор байрладаг бөгөөд контент боловсруулагдах мөчид автоматаар идэвхждэг.

Шуурхай тарилга нь код бичих эмзэг байдлыг шаарддаг уу?

Үгүй. Энэ нь загвар нь байгалийн хэлийг хэрхэн тайлбарлаж байгааг ашигладаг болохоос програмын кодын алдаа биш юм. Энэ нь уламжлалт аюулгүй байдлын хэрэгслүүдээр нөхөөс хийхэд хэцүү болгодог зүйл юм.

Үнэгүй эхлүүлэх

Үнэгүй эхлүүлээрэй.
Зээлийн картын шаардлагагүй.

Нэг товшилтоор эхлүүлнэ үү:

Энэ мэдээллийг дараах зааврын дагуу найдвартай хадгална Үйлчилгээний нөхцөл болон Хувийн мэдээллийн талаарх Баримтлал

Аппын дэлгэцийн агшин