สรุปโดยย่อ: วิศวกรรมการควบคุมเอเจนต์และช่องโหว่ที่ซ่อนอยู่
การออกแบบระบบเอเจนต์ (Agent harness engineering) คือการสร้างทุกสิ่งทุกอย่างรอบตัวโมเดล AI (คำสั่ง เครื่องมือ สิทธิ์ หน่วยความจำ และวงจรป้อนกลับ) เพื่อเปลี่ยนให้มันกลายเป็นเอเจนต์ที่ใช้งานได้จริง สายรัดนั้นต่างหาก ไม่ใช่ตัวโมเดล ที่เป็นต้นเหตุของความเสี่ยงด้านความปลอดภัยที่แท้จริงในปัจจุบัน
- การเปลี่ยนแปลง: ทีมต่างๆ หยุดปรับแต่งข้อความแจ้งเตือนและเริ่มออกแบบระบบเชื่อมต่อแทน เอเจนต์ = โมเดล + ระบบเชื่อมต่อ
- ปัญหา: ชุดควบคุมต่างๆ จะถูกจัดเก็บในรูปแบบไฟล์ข้อความธรรมดา (กฎ ทักษะ การตั้งค่า MCP) ซึ่งจะได้รับการตรวจสอบเหมือนเอกสารประกอบ หากมีการตรวจสอบเลยก็ตาม
- หลักฐาน: ช่องโหว่ในไฟล์กฎและช่องโหว่ MCP CVE ที่แท้จริงแสดงให้เห็นว่าผู้โจมตีได้เล็งเป้าหมายไปที่ช่องโหว่นี้แล้ว
- การแก้ไข: ปฏิบัติต่อชุดสายไฟเหมือนกับรหัสสินค้า ตรวจสอบสินค้าคงคลัง ตรวจทาน และสแกนก่อนจัดส่ง
ทุกการสนทนาเกี่ยวกับความปลอดภัยของ AI มักจะจบลงด้วยประเด็นเรื่องโมเดล มันสามารถถูกเจาะระบบได้หรือไม่? มันจะเกิดภาพหลอนหรือไม่? ผู้ให้บริการกำลังฝึกฝนโมเดลโดยใช้ข้อมูลของเราอยู่หรือไม่?
เป็นคำถามที่สมเหตุสมผล แต่กลับกลายเป็นคำถามที่ผิดมากขึ้นเรื่อย ๆ เมื่อเอเจนต์ AI ลบตารางข้อมูลการผลิต ผลักดันช่องโหว่ หรือส่งรายชื่อลูกค้าให้คนแปลกหน้า แทบจะไม่ใช่ตัวโมเดลที่ล้มเหลว โมเดลทำในสิ่งที่เครื่องมือของมันอนุญาตให้ทำได้ถูกต้องแล้ว
เอเจนต์ = โมเดล + สายรัด
ในช่วงปีที่ผ่านมา อุตสาหกรรมได้เปลี่ยนแปลงความหมายของการสร้างด้วย AI อย่างเงียบๆ วิศวกรรมแบบทันทีทันใดได้ถูกแทนที่ด้วยวิศวกรรมตามบริบท และวิศวกรรมตามบริบทก็ได้นำไปสู่สิ่งที่มีขนาดใหญ่กว่านั้น: วิศวกรรมสายรัดตัวแทน.
แนวคิดนี้เรียบง่าย โมเดลนั้นเป็นเพียงเครื่องมือคิดเชิงตรรกะที่ไม่มีมือ ส่วนชุดควบคุมต่างหากที่เป็นทุกสิ่งทุกอย่างที่ทำให้มันมีมือและมีงานทำ ได้แก่ คำสั่งที่มันปฏิบัติตาม เครื่องมือที่มันเรียกใช้ได้ สิทธิ์การเข้าถึงที่มันมี หน่วยความจำที่มันเก็บ และการตรวจสอบที่ช่วยตรวจจับข้อผิดพลาดของมัน เว็บไซต์ของมาร์ติน ฟาวเลอร์ อธิบายว่าวิศวกรรมการเชื่อมต่อคือการทำงานที่ผู้ใช้เอเจนต์ที่เขียนโค้ดทำอยู่ในปัจจุบันเพื่อให้เอเจนต์มีความน่าเชื่อถือ และ กรอบวิชาการที่เผยแพร่ในปีนี้ แบ่งชุดควบคุมออกเป็น 11 หน้าที่ ตั้งแต่การเข้าถึงเครื่องมือและหน่วยความจำโครงการ ไปจนถึงการอนุญาตและการตรวจสอบยืนยัน
ผลลัพธ์ที่ได้นั้นเป็นเรื่องจริง ทีมที่ฝึกฝนด้านวิศวกรรมการออกแบบสายรัดสำหรับเอเจนต์รายงานว่า การเปลี่ยนเฉพาะสายรัด โดยใช้รุ่นเดียวกัน สามารถเปลี่ยนผลลัพธ์ของเอเจนต์ได้อย่างมาก นี่เป็นประเด็นที่น่ากังวลสำหรับทุกคนในแวดวงความปลอดภัย เพราะหากสายรัดเป็นตัวกำหนดพฤติกรรมของเอเจนต์ สายรัดก็จะเป็นตัวกำหนดว่าเอเจนต์จะถูกนำไปใช้ในทางที่ผิดได้อย่างไร
ลองนึกถึงเรื่องธรรมดาๆ อย่างการติดตั้งไลบรารีที่จำเป็น นักพัฒนาจะหยุดเพื่อตรวจสอบชื่อแพ็กเกจ เอเจนต์ที่มีเครื่องมือที่เหมาะสมจะรันคำสั่งนั้น และหากแพ็กเกจนั้นเป็นอันตราย ก็จะไม่มีอะไรในระบบที่จะหยุดมันได้ นั่นคือสิ่งที่เราจะมาพูดคุยกันใน SafeDev Talks ตอนนี้: จะเกิดอะไรขึ้นเมื่อเอเจนต์ AI ติดตั้งส่วนประกอบที่จำเป็น ด้วยตนเอง และเหตุใดวิศวกรรมการเชื่อมต่อเอเจนต์จึงกลายเป็นปัญหาในห่วงโซ่อุปทานโดยปริยาย
การออกแบบการเชื่อมต่อเอเจนต์ในที่เก็บข้อมูลมีลักษณะอย่างไร
เปิดคลังเก็บข้อมูลที่นักพัฒนาใช้เอเจนต์ AI แล้วคุณจะพบเครื่องมือควบคุมอยู่ที่นั่น ในไฟล์ที่คุณอาจไม่เคยสแกนมาก่อน:
- ไฟล์กฎและคำแนะนำ (
AGENTS.md,.cursorrules(คำแนะนำสำหรับนักบินผู้ช่วย) ที่บอกให้ตัวแทนปฏิบัติตัวอย่างไร - ไฟล์ทักษะ แพ็คเกจดังกล่าวมีคุณสมบัติที่นำกลับมาใช้ซ้ำได้ ซึ่งเอเจนต์จะโหลดเมื่อต้องการ
- การกำหนดค่าเซิร์ฟเวอร์ MCP ที่เชื่อมต่อเอเจนต์กับเครื่องมือ ฐานข้อมูล และ API
- ข้อความแจ้งเตือนของระบบและแม่แบบข้อความแจ้งเตือน ฝังอยู่ในโค้ดแอปพลิเคชัน
- การเดินสายตัวแทน: ตัวแทนสามารถเข้าถึงเครื่องมือใดได้บ้าง สามารถดึงข้อมูลใดได้บ้าง และมีข้อจำกัดใดอยู่ระหว่างนั้นหรือไม่
ทั้งหมดเป็นข้อความธรรมดา ทั้งหมดเป็น commitไฟล์เหล่านี้ถูกแนบมากับโค้ด และทั้งหมดจะได้รับการตรวจสอบในลักษณะเดียวกับการตรวจสอบเอกสาร คือ การเหลือบมองอย่างรวดเร็ว การอนุมัติ และการรวมเข้าด้วยกัน แต่ไฟล์แต่ละไฟล์เหล่านี้สามารถเปลี่ยนแปลงคำสั่งที่ตัวแทนได้รับและสิ่งที่พวกเขาสามารถแก้ไขได้โดยไม่แจ้งให้ทราบล่วงหน้า
นั่นคือผลที่แท้จริงของการออกแบบระบบควบคุมเอเจนต์: การตั้งค่าที่มีประสิทธิภาพที่สุดในซอฟต์แวร์ของคุณกลับได้รับการตรวจสอบน้อยที่สุด
ผู้โจมตีสังเกตเห็นแล้ว
นี่ไม่ใช่ข้อกังวลเชิงทฤษฎี สายรัดนิรภัยนี้มีประวัติเหตุการณ์ที่เกิดขึ้นไม่นานแต่มีความสำคัญอย่างยิ่ง
- ช่องโหว่ในไฟล์กฎ ในเดือนมีนาคม พ.ศ. 2025 นักวิจัยได้เปิดเผยการโจมตีที่ใช้ตัวอักษร Unicode ที่ซ่อนอยู่ภายในไฟล์กฎ เพื่อสั่งการให้ผู้ช่วยเขียนโค้ด AI แทรกโค้ดที่เป็นอันตรายโดยไม่แจ้งให้ทราบในคำตอบที่มองเห็นได้ ผู้ตรวจสอบที่อ่านไฟล์ไม่พบสิ่งผิดปกติใดๆ ปัจจุบันการโจมตีนี้ถูกจัดอยู่ในหมวดหมู่แล้ว กรณีศึกษา MITRE ATLAS AML.CS0041.
- เครื่องมือ MCP ที่ถูกปนเปื้อน ตลอดปี 2025 นักวิจัยได้แสดงให้เห็นซ้ำแล้วซ้ำเล่าว่าเอเจนต์เชื่อถือคำอธิบายเครื่องมือโดยปริยาย ดังนั้นเซิร์ฟเวอร์ MCP ที่เป็นอันตรายจึงสามารถควบคุมเอเจนต์ได้เพียงแค่การอธิบายตัวเองอย่างถูกต้อง ในปีเดียวกันนั้น CVE-2025-6514 โปรแกรมไคลเอ็นต์ MCP ที่มีการดาวน์โหลดอย่างแพร่หลาย อนุญาตให้เรียกใช้คำสั่งจากระยะไกลเมื่อเชื่อมต่อกับเซิร์ฟเวอร์ที่ไม่น่าเชื่อถือ โดยได้รับการจัดอันดับ 9.6 บน CVSS
- อำนาจการตัดสินใจที่มากเกินไป การขอ OWASP Top 10 สำหรับการสมัครเรียน LLM ระบุว่าการให้อำนาจการตัดสินใจมากเกินไปเป็นความเสี่ยงอันดับต้น ๆ: ตัวแทนได้รับเครื่องมือ สิทธิ์ หรือความเป็นอิสระมากกว่าที่งานต้องการ นี่ไม่ใช่ข้อบกพร่องของแบบจำลอง แต่เป็นการออกแบบระบบควบคุมการทำงานที่ผิดพลาดcisไอออน
สังเกตแบบแผนนี้ การโจมตีเหล่านี้ไม่ได้ทำลายโมเดล แต่ทำลายเพียงโครงสร้างภายใน และโมเดลก็ทำงานส่วนที่เหลือได้อย่างแม่นยำ
เหตุใดระบบรักษาความปลอดภัยของคุณจึงมองไม่เห็นสิ่งนี้
ส่วนที่น่าอึดอัดใจก็คือ องค์กรส่วนใหญ่มีเครื่องมือรักษาความปลอดภัยแอปพลิเคชันที่ดีอยู่แล้ว และแทบไม่มีเครื่องมือใดเลยที่สร้างขึ้นมาเพื่อรองรับระบบรักษาความปลอดภัยระดับนี้
การวิเคราะห์แบบคงที่เข้าใจโค้ด แต่ไม่รู้ว่าโมเดลคืออะไร หรือทำไมข้อความที่ไม่น่าเชื่อถือที่ไหลเข้ามาในพรอมต์ระบบจึงมีความสำคัญ การวิเคราะห์องค์ประกอบจะจัดทำรายการแพ็กเกจ แต่จะไม่แสดงรายการเซิร์ฟเวอร์ MCP หรือไฟล์ทักษะ เครื่องสแกนความลับอาจพลาดคีย์ API ที่อยู่ในไฟล์การกำหนดค่าเอเจนต์ เครื่องมือเหล่านี้ไม่มีข้อบกพร่องใดๆ เพียงแต่ถูกสร้างขึ้นสำหรับโลกที่การกำหนดค่าไม่ได้กำหนดคำสั่ง
ดังนั้น การพัฒนาตัวเชื่อมต่อเอเจนต์จึงดำเนินไปอย่างรวดเร็ว และฝ่ายรักษาความปลอดภัยจะตรวจสอบเฉพาะส่วนที่มองเห็นได้ คือ โมเดลและโค้ด ส่วนตัวเชื่อมต่อจะอยู่ระหว่างกลาง
5 วิธีปฏิบัติในการรัดสายรัดให้แน่น
การรักษาความปลอดภัยด้านวิศวกรรมของเอเจนต์ฮาร์เนสไม่จำเป็นต้องมีทีมใหม่ แต่ต้องการเพียงนิสัยบางอย่างที่มองฮาร์เนสฮาร์เนสในฐานะที่เป็นเจตนาที่สามารถดำเนินการได้
| นิสัย | ทำไมมันถึงมีความสำคัญ | สิ่งที่ต้องทำ |
|---|---|---|
| 1. ตรวจสอบและบันทึกรายการสายรัดทุกชิ้น | คุณไม่สามารถจัดหาตัวแทนที่ไม่มีใครแจ้งไว้ได้ | ค้นหาโมเดล เอเจนต์ เซิร์ฟเวอร์ MCP ทักษะ และข้อความแจ้งเตือนทั้งหมดในคลังเก็บข้อมูลของคุณ จากโค้ดและไฟล์การกำหนดค่าโดยตรง แทนที่จะค้นหาจากแบบสำรวจ |
| 2. ตรวจสอบไฟล์ harness เช่น โค้ด | กฎ ระเบียบ ทักษะ และการตั้งค่า MCP สามารถเปลี่ยนแปลงวิธีการทำงานของเอเจนต์ได้ แต่กลับได้รับการตรวจสอบเหมือนเอกสารประกอบ | ให้พวกเขาเหมือนกัน pull request การตรวจสอบอย่างละเอียดในฐานะตรรกะของแอปพลิเคชัน รวมถึงการตรวจสอบอักขระที่ซ่อนอยู่ |
| 3. ตรึงสิ่งที่เอเจนต์โหลดไว้ | ข้อความแจ้งเตือนหรือโมเดลที่อ้างอิงโดยป้ายกำกับที่เปลี่ยนแปลงได้ สามารถเปลี่ยนจุดอ้างอิงได้โดยไม่ต้องแก้ไขโค้ด | ตรึงข้อความแจ้งเตือนและแบบจำลองไว้ในเวอร์ชันที่ไม่สามารถเปลี่ยนแปลงได้ |
| 4. ติดตั้งราวกันตกที่อ่างล้างมือทุกจุด | เอกสารที่ดึงมา ผลลัพธ์จากเครื่องมือ และเนื้อหาของผู้ใช้ ล้วนสามารถนำคำสั่งที่แทรกเข้าไปในโมเดลได้ | ติดตั้งราวกั้นในเส้นทางที่เนื้อหานั้นสามารถเข้าถึงโมเดลได้ |
| 5. อย่าเก็บข้อมูลประจำตัวไว้ในสายรัดนิรภัย | คีย์ของผู้ให้บริการ AI ในไฟล์ข้อความแจ้งเตือนและการกำหนดค่าเอเจนต์ เป็นช่องโหว่ที่ผู้โจมตีสามารถเข้าถึงได้ง่าย | ลบไฟล์เหล่านั้นออก แล้วทำการสแกนไฟล์สายรัดต่อไปเพื่อค้นหาความลับ วิธีนี้แก้ไขได้ง่ายมาก |
การยึดสายรัดให้แน่น ไม่ใช่แค่การเลือกโมเดล
Xygeni AI Security เริ่มต้นจากจุดที่วิศวกรรมการจัดการเอเจนต์ทิ้งร่องรอยไว้ นั่นคือในคลังเก็บข้อมูลของคุณ มันจะค้นหาทรัพย์สิน AI ทั่วทั้งโค้ดเบสของคุณ (โมเดล เอเจนต์ เซิร์ฟเวอร์ MCP ทักษะ พรอมต์) guardrailsรวมถึงเครื่องมือเขียนโค้ด AI ที่ใช้งานอยู่) จากโค้ด ส่วนประกอบ และไฟล์การกำหนดค่าที่เครื่องมือเหล่านั้นทิ้งไว้
จากนั้น ระบบจะวิเคราะห์ไฟล์ทักษะ ไฟล์กฎ และการกำหนดค่า MCP ในฐานะสิ่งประดิษฐ์ด้านความปลอดภัย ไม่ใช่เอกสาร และตรวจจับความเสี่ยงระดับการแทรกข้อความแจ้งเตือนในการเชื่อมต่อเอเจนต์ เช่น เนื้อหาที่ไม่น่าเชื่อถือที่เข้าถึงข้อความแจ้งเตือนของระบบหรือปลายทางการดึงข้อมูลที่ไม่มีการป้องกัน การสแกนความลับของ Xygeni จะระบุข้อมูลประจำตัวของผู้ให้บริการ AI ในข้อความแจ้งเตือนและไฟล์การกำหนดค่าเอเจนต์ และส่วนประกอบต่างๆ ของสแต็ก AI ของคุณจะได้รับการตรวจจับมัลแวร์แบบเดียวกับส่วนอื่นๆ ก่อนที่จะมีลายเซ็นเกิดขึ้น
คำถามที่พบบ่อย
วิศวกรรมการเชื่อมต่อเอเจนต์คืออะไร?
การออกแบบสภาพแวดล้อมสำหรับเอเจนต์ (Agent harness engineering) คือศาสตร์แห่งการออกแบบสภาพแวดล้อมรอบ ๆ โมเดล AI (คำสั่ง เครื่องมือ สิทธิ์ หน่วยความจำ บริบท และวงจรการตรวจสอบ) เพื่อให้เอเจนต์นั้นทำงานได้น่าเชื่อถือ โมเดลทำหน้าที่ให้เหตุผล ส่วนสภาพแวดล้อมจะตัดสินว่าเอเจนต์สามารถมองเห็นและทำอะไรได้บ้าง
การออกแบบระบบควบคุมเอเจนต์แตกต่างจากการออกแบบระบบแจ้งเตือนอย่างไร?
การออกแบบคำสั่งแจ้งเตือน (Prompt engineering) กำหนดรูปแบบคำสั่งเดียว ในขณะที่การออกแบบระบบตัวแทน (Agent harness engineering) กำหนดรูปแบบระบบทั้งหมดที่ตัวแทนทำงานอยู่ ครอบคลุมหลายขั้นตอน เครื่องมือ และเซสชัน คำสั่งแจ้งเตือนเป็นเพียงไฟล์หนึ่งในระบบนั้น
เหตุใดสายรัดจึงเป็นความเสี่ยงด้านความปลอดภัย?
เนื่องจากไฟล์กฎควบคุมสิ่งที่เอเจนต์ได้รับอนุญาตให้ทำ และไฟล์นั้นอยู่ในรูปแบบข้อความธรรมดาซึ่งแทบจะไม่ได้รับการตรวจสอบในฐานะหลักฐานด้านความปลอดภัย หากไฟล์กฎหรือการกำหนดค่า MCP ถูกบุกรุก คุณจะสามารถควบคุมเอเจนต์ได้โดยไม่ต้องแตะต้องโมเดล
ใครควรเป็นเจ้าของระบบรักษาความปลอดภัยของเอเจนต์?
การรักษาความปลอดภัยของแอปพลิเคชัน รวมถึงการทำงานร่วมกับวิศวกรที่สร้างและกำหนดค่าเอเจนต์ ระบบรักษาความปลอดภัยเป็นส่วนหนึ่งของซอฟต์แวร์ที่คุณจัดส่ง ดังนั้นจึงควรอยู่ในกระบวนการตรวจสอบ การสแกน และการจัดการสินค้าคงคลังเดียวกันกับส่วนอื่นๆ ของโค้ดของคุณ







