ຖ້າທ່ານຖືກຖາມວ່າ prompt injection ແມ່ນຫຍັງ ແລະ ໄດ້ຮັບຄຳຕອບພຽງເຄິ່ງດຽວ, ນີ້ແມ່ນຕົວຢ່າງສັ້ນໆ: ມັນເປັນເຕັກນິກການໂຈມຕີທີ່ຂໍ້ຄວາມທີ່ເປັນອັນຕະລາຍ ຫຼື ມີການຫຼອກລວງຖືກເອົາເຂົ້າໄປໃນຂໍ້ມູນປ້ອນຂໍ້ມູນ ເຊິ່ງແບບຈຳລອງ AI ຈະປະມວນຜົນ, ຫຼອກລວງໃຫ້ມັນບໍ່ສົນໃຈຄຳແນະນຳເດີມຂອງມັນ ແລະ ປະຕິບັດຕາມຄຳແນະນຳຂອງຜູ້ໂຈມຕີແທນ. ນັ້ນແມ່ນຫຼັກຂອງການ prompt injection ຊຶ່ງໝາຍຄວາມວ່າ: ມັນບໍ່ແມ່ນຂໍ້ຜິດພາດໃນລະຫັດ, ມັນແມ່ນການໂຈມຕີທີ່ລັກລອບເອົາຄຳແນະນຳຂອງແບບຈຳລອງໂດຍໃຊ້ພາສາທຳມະດາແທນທີ່ຈະເປັນລະຫັດການເຈາະລະບົບແບບດັ້ງເດີມ.
ຄວາມໝາຍຂອງການສັກຢາແບບດ່ວນ, ໃນແງ່ທຳມະດາ #
ການແຍກຄວາມໝາຍຂອງການສີດຄຳສັບອອກມາຢ່າງໄວຈະຊ່ວຍໃຫ້ມັນຕິດຢູ່ໄດ້:
- Prompt: ຄຳແນະນຳ ແລະ ສະພາບການທີ່ປ້ອນເຂົ້າໃນຮູບແບບ AI, ບໍ່ວ່າຈະພິມໂດຍກົງໂດຍຜູ້ໃຊ້ ຫຼື ດຶງເຂົ້າມາໂດຍອັດຕະໂນມັດຈາກເອກະສານ, ໜ້າເວັບ ຫຼື ການຕອບສະໜອງຂອງ API.
- ການສີດ: ການໃສ່ບາງສິ່ງບາງຢ່າງທີ່ບໍ່ໄດ້ໝາຍຄວາມວ່າຈະຢູ່ທີ່ນັ້ນ, ຢືມມາຈາກເຫດຜົນດຽວກັນກັບການສີດ SQL, ບ່ອນທີ່ການປ້ອນຂໍ້ມູນທີ່ບໍ່ໜ້າເຊື່ອຖືຖືກປະຕິບັດເປັນຄຳສັ່ງແທນທີ່ຈະເປັນຂໍ້ມູນທຳມະດາ.
ສະນັ້ນ, ເມື່ອມີຄົນຖາມວ່າ prompt injection ແມ່ນຫຍັງ, ຄຳຕອບທີ່ງ່າຍທີ່ສຸດແມ່ນ: ມັນແມ່ນສິ່ງທີ່ເກີດຂຶ້ນເມື່ອຮູບແບບ AI ບໍ່ສາມາດບອກຄວາມແຕກຕ່າງລະຫວ່າງຄຳແນະນຳທີ່ນັກພັດທະນາໃຫ້ ແລະ ຄຳແນະນຳທີ່ເຊື່ອງໄວ້ພາຍໃນເນື້ອຫາທີ່ມັນກຳລັງປະມວນຜົນ.
ມັນປະກອບມີຫຍັງແດ່ແທ້? #
ກໍລະນີຕົວຈິງສ່ວນໃຫຍ່ຕົກຢູ່ໃນໝວດໝູ່ຫຼັກໆເຫຼົ່ານັ້ນ:
- ການສັກຢາໂດຍກົງ: ຜູ້ໂຈມຕີພິມຄຳສັ່ງທີ່ເປັນອັນຕະລາຍໃສ່ໃນການສົນທະນາ ຫຼື ຊ່ອງປ້ອນຂໍ້ມູນໂດຍກົງ, ໂດຍຂໍໃຫ້ແບບຈຳລອງບໍ່ສົນໃຈກົດລະບຽບກ່ອນໜ້ານີ້ (“ບໍ່ສົນໃຈຄຳແນະນຳກ່ອນໜ້ານີ້ທັງໝົດ ແລະ…”).
- ການສັກຢາກະຕຸ້ນທາງອ້ອມຄຳສັ່ງທີ່ເປັນອັນຕະລາຍຖືກເຊື່ອງໄວ້ພາຍໃນເນື້ອຫາທີ່ຮູບແບບອ່ານໃນພາຍຫຼັງ, ເຊັ່ນ: ໜ້າເວັບ, PDF, ອີເມວ, ຫຼືຄຳເຫັນລະຫັດ, ແລະມັນຈະເປີດໃຊ້ງານເມື່ອຮູບແບບປະມວນຜົນເນື້ອຫານັ້ນ, ໂດຍບໍ່ມີຜູ້ໂຈມຕີຢູ່ໃນເວລານັ້ນ.
- ການສັກຢາແບບ Jailbreakລົດຊາດສະເພາະຂອງການສີດທີ່ໃຊ້ການສະແດງບົດບາດ, ການວາງກອບແບບສົມມຸດຕິຖານ, ຫຼື ເຄັດລັບການເຂົ້າລະຫັດເພື່ອຫຼີກລ່ຽງຄວາມປອດໄພຂອງຕົວແບບ guardrails ໂດຍສະເພາະ, ແທນທີ່ຈະລັກລອບໜ້າທີ່ຂອງມັນ.
ການສັກຢາດ່ວນ ທຽບກັບ ການ Jailbreaking: ມີຄວາມແຕກຕ່າງກັນແນວໃດ? #
ການຕິດຕາມທົ່ວໄປກ່ຽວກັບສິ່ງທີ່ເອີ້ນວ່າ prompt injection ແມ່ນວ່າມັນແຕກຕ່າງຈາກການ jailbreak ແນວໃດ. ທັງສອງຢ່າງນີ້ຊ້ອນກັນແຕ່ບໍ່ຄືກັນ. ການ jailbreaking ແມ່ນກ່ຽວກັບການຫຼີກລ່ຽງຄວາມປອດໄພຂອງຮຸ່ນ ແລະ ເນື້ອໃນ guardrails, ການເຮັດໃຫ້ມັນເວົ້າ ຫຼື ສ້າງບາງສິ່ງບາງຢ່າງທີ່ມັນໄດ້ຮັບການຝຶກອົບຮົມໃຫ້ປະຕິເສດ. ການສີດແບບທັນທີທັນໃດແມ່ນກວ້າງກວ່າ: ມັນກ່ຽວກັບການລັກລອບເອົາຄຳແນະນຳ ຫຼື ໜ້າວຽກຂອງຮູບແບບ, ເຊິ່ງອາດຈະກ່ຽວຂ້ອງກັບ ຫຼື ບໍ່ກ່ຽວຂ້ອງກັບຄວາມປອດໄພ. guardrails ເລີຍ. ການສັກຢາທາງອ້ອມທີ່ເຊື່ອງໄວ້ໃນປີ້ສະໜັບສະໜູນທີ່ບອກຕົວແທນບໍລິການລູກຄ້າຢ່າງງຽບໆໃຫ້ສົ່ງອີເມວຂໍ້ມູນຂອງຜູ້ໃຊ້ໄປຫາທີ່ຢູ່ພາຍນອກບໍ່ໄດ້ພະຍາຍາມ jailbreak ໃດໆ; ມັນເປັນການປ່ຽນເສັ້ນທາງໜ້າວຽກເອງ.
ບ່ອນທີ່ການສັກຢາດ່ວນປະກົດຂຶ້ນແທ້ໆ #
ເມື່ອທ່ານເຂົ້າໃຈຄວາມໝາຍຂອງການສີດທັນທີ, ມັນຈະງ່າຍຂຶ້ນທີ່ຈະຊອກຫາບ່ອນທີ່ມີຄວາມສ່ຽງຢູ່ໃນລະບົບຕົວຈິງ:
ເຊີບເວີ MCP ແລະ ຜູ້ຊ່ວຍຂຽນລະຫັດ AI - ຄຳເຫັນທີ່ເປັນອັນຕະລາຍ, README, ຫຼື payload ຂອງເຄື່ອງມືສາມາດປ່ຽນເສັ້ນທາງສິ່ງທີ່ຕົວແທນເຮັດພາຍໃນ codebase ຫຼື terminal ຂອງນັກພັດທະນາ. ຂຶ້ນກັບພາສາການຂຽນໂປຣແກຣມທີ່ມັນຖືກສ້າງຂຶ້ນມາ, ແຕ່ແນວຄວາມຄິດຫຼັກ (ຕົວແກ້ໄຂ + ເຄື່ອງມືສ້າງ + debugger, ຢູ່ບ່ອນດຽວ) ຍັງຄົງຄືເກົ່າ.
Chatbots ແລະຕົວແທນສະໜັບສະໜູນ - ຜູ້ໃຊ້ວາງຂໍ້ຄວາມທີ່ຖືກສີດເຂົ້າມາເພື່ອເຮັດໃຫ້ bot ເປີດເຜີຍການກະຕຸ້ນຂອງລະບົບ ຫຼື ປະຕິບັດການກະທຳທີ່ບໍ່ຕັ້ງໃຈ.
ລຸ້ນທີ່ເພີ່ມຕື່ມ (RAG) pipelines - ເອກະສານທີ່ເປັນພິດໃນຖານຄວາມຮູ້ມີຄຳແນະນຳທີ່ເປີດໃຊ້ງານເມື່ອຖືກດຶງຄືນ.
ຕົວແທນ AI ອັດຕະໂນມັດ - ຕົວແທນທີ່ທ່ອງເວັບ, ອ່ານອີເມວ, ຫຼືໂທຫາເຄື່ອງມືສາມາດເກັບເອົາຄຳແນະນຳທີ່ຖືກສົ່ງເຂົ້າມາຈາກເນື້ອຫາໃດໆທີ່ມັນແຕະຕ້ອງ, ຈາກນັ້ນດຳເນີນການກັບພວກມັນດ້ວຍການອະນຸຍາດທີ່ແທ້ຈິງ.
ເປັນຫຍັງຄວາມໝາຍຂອງການສັກຢາດ່ວນຈຶ່ງມີຄວາມສຳຄັນນອກເໜືອໄປຈາກ “ພຽງແຕ່ເຄັດລັບການສັກດ່ວນ” #
ມັນງ່າຍທີ່ຈະປະຕິເສດມັນວ່າເປັນສິ່ງແປກໃໝ່, ເປັນວິທີທີ່ສະຫຼາດທີ່ຈະເຮັດໃຫ້ chatbot ເວົ້າບາງສິ່ງບາງຢ່າງທີ່ໂງ່ໆ. ແຕ່ເມື່ອຮູບແບບ AI ຖືກເຊື່ອມຕໍ່ເຂົ້າກັບຕົວແທນທີ່ສາມາດສົ່ງອີເມວ, ປະຕິບັດລະຫັດ, ຖານຂໍ້ມູນສອບຖາມ, ຫຼືຕິດຕັ້ງແພັກເກດ, ການສີດແບບກະຕຸ້ນຈະຢຸດເປັນຄວາມຢາກຮູ້ຢາກເຫັນໃນໜ້າຕ່າງສົນທະນາ ແລະກາຍເປັນບັນຫາຂອບເຂດຄວາມປອດໄພຕົວຈິງ: ຜູ້ໃດກໍຕາມທີ່ຄວບຄຸມເນື້ອຫາທີ່ຮູບແບບອ່ານສາມາດຄວບຄຸມສິ່ງທີ່ຮູບແບບນັ້ນເຮັດຕໍ່ໄປພາຍໃຕ້ເງື່ອນໄຂທີ່ເໝາະສົມ. ນັ້ນແມ່ນເຫດຜົນທີ່ການສີດນີ້ປະກົດເປັນໝວດໝູ່ຂອງມັນເອງໃນ 10 ອັນດັບຕົ້ນໆຂອງ OWASP ສຳລັບໃບສະໝັກ LLM, ແລະເປັນຫຍັງການເຂົ້າໃຈວ່າການສັກໄວແມ່ນຫຍັງຈຶ່ງຖືວ່າເປັນຄວາມຮູ້ພື້ນຖານສຳລັບທຸກຄົນທີ່ສ້າງ ຫຼື ຮັກສາຄວາມປອດໄພຂອງລະບົບທີ່ໃຊ້ AI, ບໍ່ແມ່ນພຽງແຕ່ຄວາມຢາກຮູ້ຢາກເຫັນສຳລັບກຸ່ມແດງເທົ່ານັ້ນ.
ຖ້າທ່ານກຳລັງເບິ່ງເລື່ອງນີ້ໂດຍສະເພາະຈາກມຸມມອງຂອງ AppSec ແລະ DevSecOps, ນັ້ນຄື, ຄວາມສ່ຽງຕໍ່ການສີດແບບວ່ອງໄວຈະປາກົດຂຶ້ນໃນທົ່ວຕົວແທນ AI, ເຊີບເວີ MCP, ແລະລະຫັດທີ່ສ້າງຂຶ້ນໂດຍ AI ແທນທີ່ຈະເປັນພຽງແຕ່ຄວາມໝາຍຂອງຄຳສັບນັ້ນ, ພວກເຮົາໄດ້ກວມເອົາສິ່ງນັ້ນຢ່າງລະອຽດກວ່ານີ້: ຄວາມປອດໄພຂອງລະບົບຕ່ອງໂສ້ການສະໜອງ AI.
FAQ #
ເປັນການໂຈມຕີທີ່ຄຳແນະນຳທີ່ເປັນອັນຕະລາຍຖືກເຊື່ອງໄວ້ພາຍໃນຂໍ້ມູນປ້ອນຂໍ້ມູນ ຫຼື ເນື້ອຫາທີ່ແບບຈຳລອງ AI ປະມວນຜົນ, ເຊິ່ງເຮັດໃຫ້ແບບຈຳລອງປະຕິບັດຕາມຄຳແນະນຳຂອງຜູ້ໂຈມຕີແທນທີ່ຈະເປັນຄຳແນະນຳເດີມ.
ມັນລວມ “ການກະຕຸ້ນ” (ຄຳແນະນຳ ແລະ ສະພາບການທີ່ໃຫ້ກັບຮູບແບບ AI) ກັບ “ການສີດ” (ການໃສ່ຄຳສັ່ງທີ່ບໍ່ໄດ້ຮັບອະນຸຍາດເຂົ້າໃນສິ່ງທີ່ຄວນມີຂໍ້ມູນເທົ່ານັ້ນ), ເຊິ່ງເປັນແນວຄວາມຄິດຫຼັກດຽວກັນທີ່ຢູ່ເບື້ອງຫຼັງການໂຈມຕີແບບເກົ່າເຊັ່ນ: ການສີດ SQL.
ບໍ່. ການ Jailbreaking ແມ່ນແນໃສ່ຄວາມປອດໄພຂອງຮຸ່ນໂດຍສະເພາະ guardrails ເພື່ອເຮັດໃຫ້ມັນຜະລິດເນື້ອຫາທີ່ບໍ່ໄດ້ຮັບອະນຸຍາດ. ການສັກຢາແບບດ່ວນແມ່ນກວ້າງກວ່າ: ມັນລັກລອບໜ້າວຽກ ຫຼື ຄຳແນະນຳຂອງແບບຈຳລອງ, ເຊິ່ງອາດຈະບໍ່ກ່ຽວຂ້ອງກັບຕົວກອງຄວາມປອດໄພເລີຍ.
ແມ່ນແລ້ວ. ອັນນີ້ເອີ້ນວ່າການສີດການກະຕຸ້ນທາງອ້ອມ: ຄຳສັ່ງທີ່ເປັນອັນຕະລາຍຈະຢູ່ພາຍໃນເອກະສານ, ໜ້າເວັບ ຫຼື ໄຟລ໌ທີ່ຕົວແບບ ຫຼື ຕົວແທນອ່ານໃນພາຍຫຼັງ, ແລະ ມັນຈະກະຕຸ້ນໂດຍອັດຕະໂນມັດໃນເວລາທີ່ເນື້ອຫາຖືກປະມວນຜົນ.
ບໍ່. ມັນໃຊ້ປະໂຫຍດຈາກວິທີທີ່ຕົວແບບຕີຄວາມພາສາທຳມະຊາດ, ບໍ່ແມ່ນຂໍ້ບົກຜ່ອງໃນລະຫັດແອັບພລິເຄຊັນ. ນັ້ນແມ່ນສິ່ງທີ່ເຮັດໃຫ້ມັນຍາກທີ່ຈະແກ້ໄຂດ້ວຍເຄື່ອງມືຄວາມປອດໄພແບບດັ້ງເດີມ.
