Xygeni аюулгүй байдлын тайлбар толь
Програм хангамжийн хөгжүүлэлт ба хүргэлтийн аюулгүй байдлын тайлбар толь

Хиймэл оюун ухаан гэж юу вэ guardrails?

AI guardrails нь хиймэл оюун ухааны системийг аюулгүй, найдвартай, хүлээгдэж буй хязгаарт байлгадаг хяналтууд юм. Тэд загварт юу орж байгааг, түүнээс юу гарч байгааг, мөн хиймэл оюун ухааны агент юу хийхийг зөвшөөрч байгааг шалгадаг. Ямар нэгэн зүйл шугамыг давах үед хашлага нь үүнийг хааж, дахин бичиж эсвэл хүнд илгээдэг.

Хэрэв та хиймэл оюун ухаан гэж юу болохыг асуувал guardrails Уулын зам дээрх саад бэрхшээлийг бодоод үз дээ. Тэд машин жолооддоггүй, шийдэмгий жолоочийг санаатайгаар хадан цохионоос унахыг нь зогсоодоггүй. Тэд нийтлэг, урьдчилан таамаглаж болох алдааг осол болгон хувиргахаас сэргийлдэг.

AI guardrails нэг өгүүлбэрт утга учиртай #

AI guardrails товчхондоо гэсэн утгатай: загвар эсвэл агентын эргэн тойронд байрлуулсан дүрэм, шүүлтүүр, шалгалтын багц бөгөөд ингэснээр хортой гаралт гаргахгүй, өгөгдөл алдагдахгүй, хортой зааврыг дагаж мөрдөхгүй эсвэл хэний ч зөвшөөрөөгүй үйлдэл хийхгүй.

Энэ нэр томьёо нь бодлого болон кодыг хоёуланг нь хамардаг. Бодлого нь хиймэл оюун ухаан хэзээ ч юу хийх ёсгүйг хэлдэг. Хашлага гэдэг нь загварыг дуудах бүрт тухайн бодлогыг ажиллах үед хэрэгжүүлдэг програм хангамжийн хэсэг юм.

Яагаад AI guardrails одоо чухал #

Асуултанд хариулдаг чатбот зөвхөн буруу зүйл хэлж чадна. Хэрэгслүүдийг дууддаг, имэйл уншдаг, кодыг засварладаг эсвэл командуудыг ажиллуулдаг хиймэл оюун ухааны агент буруу зүйл хийж болно. Энэ өөрчлөлт нь хиймэл оюун ухааны шалтгаан юм guardrails байх нь сайхан шаардлагаас үндсэн шаардлага руу шилжсэн.

Гурван зүйл эрсдэлийг нэмэгдүүлсэн:

Зохицуулалт нь хяналтыг хүлээдэг. Европын Холбооны хиймэл оюун ухааны тухай хууль нь өндөр эрсдэлтэй хиймэл оюун ухааны систем нийлүүлэгчдээс эрсдэлийг удирдахыг шаарддаг. хүмүүсийг мэдээлэлтэй байлга мөн систем юу хийдгийг тэмдэглэнэ үү. Guardrails нь багууд эдгээр хяналтууд практик дээр байгааг харуулж буй аргуудын нэг юм.

Загварууд нь хийх ёсгүй зааврыг дагадаг. Prompt injection нь вэб хуудас, баримт бичиг эсвэл кодын тайлбарт командуудыг нуудаг бөгөөд загвар нь тэдгээрийг тушаал гэж үздэг. LLM өргөдөл гаргагчдын OWASP-ийн шилдэг 10 үүнийг нэгдүгээр эрсдэл гэж ангилдаг (LLM01).

Агентууд жинхэнэ зөвшөөрөлтэй байдаг. Репозитор эсвэл мэдээллийн санд бичих эрхтэй агент нь машины хурдаар хохирол учруулж болзошгүй. OWASP үүнийг хэт их агентлаг (LLM06) гэж нэрлэдэг.

Хиймэл оюун ухааны төрөл guardrails #

Ихэнх хиймэл оюун ухаан guardrails загварын эргэн тойронд хаана байрлаж байгаагаас хамааран таван бүлэгт хуваагдана.

Төрөл:Хаана сууж байнаЭнэ юуг шалгадаг вэЖишээ нь
Оролт guardrailsЗааварчилгаа загварт хүрэхээс өмнөШуурхай тарилга, jailbreak оролдлого, сэдвээс гадуурх эсвэл хориотой хүсэлтүүд, хувийн мэдээлэл"Өмнөх зааврыг үл тоомсорло" гэсэн мессежийг хаах
гаралтын guardrailsЗагвар хариулсны дараа, хэрэглэгч эсвэл систем үүнийг харахаас өмнөХортой эсвэл хор хөнөөлтэй контент, алдагдсан нууц эсвэл хувийн мэдээлэл, зохиомол баримт, аюултай кодAPI түлхүүрийг устгаснаар загвар нь хариулт руугаа хуулсан
үйл ажиллагааны guardrailsАгент болон түүний хэрэгслүүдийн хоорондЯмар хэрэгслүүдийг дуудаж болох, ямар параметрүүдтэй, хэзээ хүн батлах ёстой вэАгент файл устгах эсвэл мөнгө илгээхээс өмнө зөвшөөрөл шаардах
Өгөгдөл guardrailsСургалтын өгөгдөл, RAG эх сурвалж болон санах ойн талаарХордсон баримт бичиг, найдваргүй эх сурвалж, хэрэглэгчийн харахыг хориглосон өгөгдөлХэрэглэгчийн хандалтын эрхээр татаж авсан баримт бичгүүдийг шүүх
Загвар ба хангамжийн сүлжээ guardrailsЗагвар, заавар, залгаасууд болон ур чадваруудын эргэн тойрондАюултай загвар ачаалах, тогтоогоогүй сануулга, хортой ур чадвар эсвэл MCP серверүүдАчаалахын тулд алсаас код гүйцэтгэх шаардлагатай загварыг татгалзах

Оролт ба гарц guardrails хамгийн түгээмэл байдаг, учир нь тэдгээрийг ямар ч LLM-ийн эргэн тойронд давхарга болгон нэмэхэд хялбар байдаг. Үйлдэл guardrails хиймэл оюун ухааны агентуудын хувьд хамгийн чухал нь, учир нь энэ бол муу шийдэл юмcisион нь системд бодит өөрчлөлт болдог.

Хиймэл оюун ухаан хэрхэн guardrails практик дээр ажиллах #

AI guardrails Хүсэлт бүрийн замд шалган нэвтрүүлэх цэг болж ажиллана. Үйлчлүүлэгчийн захиалгыг уншиж, буцаан олголт хийх боломжтой дэмжлэг үзүүлэх агентыг ашиглана уу:

  1. Хэрэглэгч мессеж илгээдэг. Оролтын хашлага нь үүнийг тарилгын загвар, jailbreak заль мэх болон загварт хүрэх ёсгүй хувийн мэдээллийг хайж олдог.
  2. Агент нь контекстийг сэргээж авдаг. Өгөгдлийн хамгаалалт нь зөвхөн энэ үйлчлүүлэгчид хамаарах захиалгыг татаж авах, мөн татаж авсан текстийг зааварчилгаа биш өгөгдөл гэж үзэх боломжийг олгодог.
  3. Загвар өмсөгч хэрэгсэл дуудахаар шийдэв. Үйлдлийн хашлага нь дуудлагыг бодлоготой харьцуулж шалгадаг: тогтоосон дүнгээс бага буцаан олголт явагдаж, илүү их хэмжээний буцаан олголт хүнийг хүлээнэ.
  4. Модель хариултаа бичдэг. Гаралтын хашлага нь мэдрэмтгий зүйлсийг арилгаж, аяыг шалгаж, бодлогыг зөрчсөн контентыг хаадаг.
  5. Бүх зүйл бүртгэгдсэн байна. Де бүрcisионыг бүртгэдэг тул баг хаагдсан хүсэлтүүдийг хянаж, дүрмийг тохируулж, аудиторуудад юу болсныг харуулж чадна.

Guardrails энгийн дүрмүүд (түлхүүр үгсийн жагсаалт, тогтмол илэрхийллүүд, хэрэгслийн зөвшөөрөгдсөн жагсаалтууд), текстийг эрсдэлээр нь үнэлдэг сургагдсан ангилагч эсвэл эхнийхийг нь үнэлдэг хоёр дахь загвар байж болно. Ихэнх үйлдвэрлэлийн тохиргоонууд гурвыг нь хослуулдаг, учир нь дүрмүүд хурдан бөгөөд урьдчилан таамаглах боломжтой байдаг бол ангилагч нь дүрмүүд юуг алдаж байгааг олж мэддэг.

Хиймэл оюун ухаан хаана байна guardrails дутуу унах #

AI guardrails эрсдэлийг бууруулдаг боловч тэд үүнийг арилгадаггүй. Халдагчид тэдгээрийг байнга шалгадаг бөгөөд шинэ jailbreak нь өчигдөр ажиллаж байсан шүүлтүүрийг давж гарч болзошгүй. Загвар дээр барьсан хашлагыг хамгаалж буй загвартайгаа адил заль мэхээр хуурч болно.

Хамгийн том ялгаа нь цаг хугацаа юм. Ажиллах хугацаа guardrails Хиймэл оюун ухааны системийг ажиллаж эхэлсний дараа л хардаг. Тэд хөгжүүлэгч оролтын шалгалтгүйгээр агент бүтээсэн, хөвөгч хувилбарт мөр тавьсан, хэрэгслийн серверт админ эрх өгсөн эсвэл далд зааварчилгаатай ур чадвар суулгасан гэж хэлж чадахгүй. Эдгээр сул талууд нь анхны хэрэглэгчийн мессеж ирэхээс өмнө код болон тохиргоонд байдаг.

Тийм ч учраас guardrails нь хиймэл оюун ухааны аюулгүй байдлын нэг хэсэг болохоос бүгдийг нь биш юм. Багууд мөн кодондоо хиймэл оюун ухааны хөрөнгийг олж, эрсдэлтэй хэв маягийг шалгаж, хиймэл оюун ухааны хангамжийн сүлжээг шалгаж, гаргахаасаа өмнө асуудлыг засах шаардлагатай. Guardrails дараа нь үйлдвэрлэлд юу болж байгааг олж мэдээрэй.

Шилдэг туршлага #

  • Тэдгээрийг давхарлан тавь. Оролт, гаралт болон үйлдлийг ашиглах guardrails хамтдаа. Ганц шүүлтүүр бүгдийг нь барьж авдаггүй.
  • Бүх татаж авсан контентыг итгэлгүй гэж үзнэ үү. Вэб хуудас, имэйл, баримт бичиг болон хэрэгслийн үр дүн нь далд зааврыг агуулж болно.
  • Агентуудад хамгийн бага шаардлагатай давуу эрхийг олго. Хэрэгслүүд, хамрах хүрээний итгэмжлэлийг хязгаарлаж, буцаахад хэцүү үйлдлүүдэд хүний ​​​​зөвшөөрөл шаардана.
  • Заавар болон загваруудыг тэмдэглэсэн хэвээр байлга. Бүртгэлээс "хамгийн сүүлд" татсан хүсэлтийг хянаж үзэхгүйгээр өөрчилж болно.
  • Юу суулгаснаа шалгаарай. Ур чадвар, залгаасууд болон MCP серверүүд нь таны хиймэл оюун ухааны хангамжийн сүлжээний нэг хэсэг бөгөөд хортой зааврыг агуулж болно.
  • Бүртгэл хийж, хянана уу. Хаагдсан хүсэлтүүд нь хүмүүс системийг хэрхэн эвдэхийг оролдож байгааг харуулж, дүрмийг тохируулахад тань тусална.
  • Тэднийг довтлогч шиг туршиж үзээрэй. Өөрийнхөө эсрэг улаан багийн мөр болон хиймэл оюун ухааны туршилтуудыг ажиллуул guardrails суллахаас өмнө болон дараа.
  • Тэдгээрийг хүрээ рүү зурагла. LLM програмуудад зориулсан OWASP-ийн шилдэг 10 нь танд хамрах, тайлагнах эрсдэлийн хуваалцсан жагсаалтыг өгдөг.

Хиймэл оюун ухаанаа шалгаарай guardrails тээвэрлэхээс өмнө оршин тогтнох #

Ажиллах үеийн хиймэл оюун ухаан guardrails зөвхөн тэдэнтэй хамт барьсан зүйлийг л хамгаал. Xygeni-ийн хиймэл оюун ухааны аюулгүй байдал кодоос өмнө зайг олдог. Энэ нь таны репозитор дахь загварууд, заавар, агентууд, ур чадварууд болон MCP серверүүдийн жагсаалтыг гаргаж, дараа нь хаана байгааг тэмдэглэдэг. guardrails дутуу байна: хэрэглэгчийн оролтыг тусгаарлахгүйгээр хольдог системийн мөрүүд, оролтгүй хэрэгсэл дууддаг агентууд guardrails, вэб хуудас эсвэл баримт бичгийг ариутгалгүйгээр залгидаг агентууд, мөн ямар ч шалгалтгүйгээр зураг эсвэл аудио оролт. Олдвор бүр нь LLM програмуудын OWASP-ийн шилдэг 10-т багтдаг.

Энэ нь мөн таны хиймэл оюун ухааны эргэн тойрон дахь хангамжийн сүлжээг хамардаг: хөвөгч хувилбаруудад бэхлэгдсэн заавар, аюултай загвар ачаалах, далд хортой зааварчилгаатай ур чадварууд болон өндөр эрхтэйгээр ажиллаж буй хэрэгслийн серверүүд. Guardrails CI дээр өөрчлөлт таны бодлогыг зөрчсөн үед нэгтгэлийг зогсоодог бөгөөд AI Pentesting нь таны програм бодит халдлагаас хэрхэн хамгаалагдсаныг шалгадаг.

Үүнийг үйлдлээр нь харах

тусламж #

Хиймэл оюун ухаан гэж юу вэ guardrails энгийнээр хэлбэл?

AI guardrails хиймэл оюун ухааны системийн эргэн тойрон дахь аюулгүй байдлын шалгалтууд юм. Эдгээр нь загварт юу орж, юу гарч, хиймэл оюун ухааны агент юу хийхийг зөвшөөрсөнийг шүүдэг тул таны тогтоосон дүрмийн хүрээнд үлддэг.


AI-ийн утга учир юу вэ? guardrails?

AI guardrails гэдэг нь хиймэл оюун ухааны гаралт болон хиймэл оюун ухааны үйлдлүүдийг аюулгүй, найдвартай, нийцтэй байлгадаг бодлого, шүүлтүүр болон техникийн хяналтын багц юм. Бодлого нь хязгаарыг тодорхойлдог бөгөөд хашлага нь ажиллах үед үүнийг хэрэгжүүлдэг.

Хиймэл оюун ухааны жишээнүүд юу вэ? guardrails?

Нийтлэг жишээнд шуурхай тарилгын шүүлтүүр, хортой контентын шүүлтүүр, хувийн мэдээллийг нуух, гаралтад нууцаар илрүүлэх, агентуудад зориулсан хэрэгслийн зөвшөөрлийн жагсаалт болон эрсдэлтэй үйлдлүүдэд хүний ​​зөвшөөрөл зэрэг орно.

Хиймэл оюун ухаанаар хийж болно guardrails тойрч гарах уу?

Тийм ээ. Jailbreak болон шинэ тарилгын техникүүд тэдгээрийг давж чадна. Тийм ч учраас guardrails давхарлаж, тогтмол туршиж, хиймэл оюун ухааны системийн код болон тохиргооны аюулгүй байдлын шалгалттай хослуулах хэрэгтэй.

Үнэгүй эхлүүлэх

Үнэгүй эхлүүлээрэй.
Зээлийн картын шаардлагагүй.

Нэг товшилтоор эхлүүлнэ үү:

Энэ мэдээллийг дараах зааврын дагуу найдвартай хадгална Үйлчилгээний нөхцөл болон Хувийн мэдээллийн талаарх Баримтлал

Аппын дэлгэцийн агшин