วิศวกรรมสายรัดเอเจนต์

วิศวกรรมการเชื่อมต่อเอเจนต์: ตัวแบบไม่ใช่พื้นผิวการโจมตี แต่การเชื่อมต่อต่างหากที่เป็นพื้นผิวการโจมตี

สรุปโดยย่อ: วิศวกรรมการควบคุมเอเจนต์และช่องโหว่ที่ซ่อนอยู่

การออกแบบระบบเอเจนต์ (Agent harness engineering) คือการสร้างทุกสิ่งทุกอย่างรอบตัวโมเดล AI (คำสั่ง เครื่องมือ สิทธิ์ หน่วยความจำ และวงจรป้อนกลับ) เพื่อเปลี่ยนให้มันกลายเป็นเอเจนต์ที่ใช้งานได้จริง สายรัดนั้นต่างหาก ไม่ใช่ตัวโมเดล ที่เป็นต้นเหตุของความเสี่ยงด้านความปลอดภัยที่แท้จริงในปัจจุบัน

  • การเปลี่ยนแปลง: ทีมต่างๆ หยุดปรับแต่งข้อความแจ้งเตือนและเริ่มออกแบบระบบเชื่อมต่อแทน เอเจนต์ = โมเดล + ระบบเชื่อมต่อ
  • ปัญหา: ชุดควบคุมต่างๆ จะถูกจัดเก็บในรูปแบบไฟล์ข้อความธรรมดา (กฎ ทักษะ การตั้งค่า MCP) ซึ่งจะได้รับการตรวจสอบเหมือนเอกสารประกอบ หากมีการตรวจสอบเลยก็ตาม
  • หลักฐาน: ช่องโหว่ในไฟล์กฎและช่องโหว่ MCP CVE ที่แท้จริงแสดงให้เห็นว่าผู้โจมตีได้เล็งเป้าหมายไปที่ช่องโหว่นี้แล้ว
  • การแก้ไข: ปฏิบัติต่อชุดสายไฟเหมือนกับรหัสสินค้า ตรวจสอบสินค้าคงคลัง ตรวจทาน และสแกนก่อนจัดส่ง

ทุกการสนทนาเกี่ยวกับความปลอดภัยของ AI มักจะจบลงด้วยประเด็นเรื่องโมเดล มันสามารถถูกเจาะระบบได้หรือไม่? มันจะเกิดภาพหลอนหรือไม่? ผู้ให้บริการกำลังฝึกฝนโมเดลโดยใช้ข้อมูลของเราอยู่หรือไม่?

เป็นคำถามที่สมเหตุสมผล แต่กลับกลายเป็นคำถามที่ผิดมากขึ้นเรื่อย ๆ เมื่อเอเจนต์ AI ลบตารางข้อมูลการผลิต ผลักดันช่องโหว่ หรือส่งรายชื่อลูกค้าให้คนแปลกหน้า แทบจะไม่ใช่ตัวโมเดลที่ล้มเหลว โมเดลทำในสิ่งที่เครื่องมือของมันอนุญาตให้ทำได้ถูกต้องแล้ว

เอเจนต์ = โมเดล + สายรัด

ในช่วงปีที่ผ่านมา อุตสาหกรรมได้เปลี่ยนแปลงความหมายของการสร้างด้วย AI อย่างเงียบๆ วิศวกรรมแบบทันทีทันใดได้ถูกแทนที่ด้วยวิศวกรรมตามบริบท และวิศวกรรมตามบริบทก็ได้นำไปสู่สิ่งที่มีขนาดใหญ่กว่านั้น: วิศวกรรมสายรัดตัวแทน.

แนวคิดนี้เรียบง่าย โมเดลนั้นเป็นเพียงเครื่องมือคิดเชิงตรรกะที่ไม่มีมือ ส่วนชุดควบคุมต่างหากที่เป็นทุกสิ่งทุกอย่างที่ทำให้มันมีมือและมีงานทำ ได้แก่ คำสั่งที่มันปฏิบัติตาม เครื่องมือที่มันเรียกใช้ได้ สิทธิ์การเข้าถึงที่มันมี หน่วยความจำที่มันเก็บ และการตรวจสอบที่ช่วยตรวจจับข้อผิดพลาดของมัน เว็บไซต์ของมาร์ติน ฟาวเลอร์ อธิบายว่าวิศวกรรมการเชื่อมต่อคือการทำงานที่ผู้ใช้เอเจนต์ที่เขียนโค้ดทำอยู่ในปัจจุบันเพื่อให้เอเจนต์มีความน่าเชื่อถือ และ กรอบวิชาการที่เผยแพร่ในปีนี้ แบ่งชุดควบคุมออกเป็น 11 หน้าที่ ตั้งแต่การเข้าถึงเครื่องมือและหน่วยความจำโครงการ ไปจนถึงการอนุญาตและการตรวจสอบยืนยัน

ผลลัพธ์ที่ได้นั้นเป็นเรื่องจริง ทีมที่ฝึกฝนด้านวิศวกรรมการออกแบบสายรัดสำหรับเอเจนต์รายงานว่า การเปลี่ยนเฉพาะสายรัด โดยใช้รุ่นเดียวกัน สามารถเปลี่ยนผลลัพธ์ของเอเจนต์ได้อย่างมาก นี่เป็นประเด็นที่น่ากังวลสำหรับทุกคนในแวดวงความปลอดภัย เพราะหากสายรัดเป็นตัวกำหนดพฤติกรรมของเอเจนต์ สายรัดก็จะเป็นตัวกำหนดว่าเอเจนต์จะถูกนำไปใช้ในทางที่ผิดได้อย่างไร 

ลองนึกถึงเรื่องธรรมดาๆ อย่างการติดตั้งไลบรารีที่จำเป็น นักพัฒนาจะหยุดเพื่อตรวจสอบชื่อแพ็กเกจ เอเจนต์ที่มีเครื่องมือที่เหมาะสมจะรันคำสั่งนั้น และหากแพ็กเกจนั้นเป็นอันตราย ก็จะไม่มีอะไรในระบบที่จะหยุดมันได้ นั่นคือสิ่งที่เราจะมาพูดคุยกันใน SafeDev Talks ตอนนี้: จะเกิดอะไรขึ้นเมื่อเอเจนต์ AI ติดตั้งส่วนประกอบที่จำเป็น ด้วยตนเอง และเหตุใดวิศวกรรมการเชื่อมต่อเอเจนต์จึงกลายเป็นปัญหาในห่วงโซ่อุปทานโดยปริยาย

การออกแบบการเชื่อมต่อเอเจนต์ในที่เก็บข้อมูลมีลักษณะอย่างไร

เปิดคลังเก็บข้อมูลที่นักพัฒนาใช้เอเจนต์ AI แล้วคุณจะพบเครื่องมือควบคุมอยู่ที่นั่น ในไฟล์ที่คุณอาจไม่เคยสแกนมาก่อน:

  • ไฟล์กฎและคำแนะนำ (AGENTS.md, .cursorrules(คำแนะนำสำหรับนักบินผู้ช่วย) ที่บอกให้ตัวแทนปฏิบัติตัวอย่างไร
  • ไฟล์ทักษะ แพ็คเกจดังกล่าวมีคุณสมบัติที่นำกลับมาใช้ซ้ำได้ ซึ่งเอเจนต์จะโหลดเมื่อต้องการ
  • การกำหนดค่าเซิร์ฟเวอร์ MCP ที่เชื่อมต่อเอเจนต์กับเครื่องมือ ฐานข้อมูล และ API
  • ข้อความแจ้งเตือนของระบบและแม่แบบข้อความแจ้งเตือน ฝังอยู่ในโค้ดแอปพลิเคชัน
  • การเดินสายตัวแทน: ตัวแทนสามารถเข้าถึงเครื่องมือใดได้บ้าง สามารถดึงข้อมูลใดได้บ้าง และมีข้อจำกัดใดอยู่ระหว่างนั้นหรือไม่

ทั้งหมดเป็นข้อความธรรมดา ทั้งหมดเป็น commitไฟล์เหล่านี้ถูกแนบมากับโค้ด และทั้งหมดจะได้รับการตรวจสอบในลักษณะเดียวกับการตรวจสอบเอกสาร คือ การเหลือบมองอย่างรวดเร็ว การอนุมัติ และการรวมเข้าด้วยกัน แต่ไฟล์แต่ละไฟล์เหล่านี้สามารถเปลี่ยนแปลงคำสั่งที่ตัวแทนได้รับและสิ่งที่พวกเขาสามารถแก้ไขได้โดยไม่แจ้งให้ทราบล่วงหน้า

นั่นคือผลที่แท้จริงของการออกแบบระบบควบคุมเอเจนต์: การตั้งค่าที่มีประสิทธิภาพที่สุดในซอฟต์แวร์ของคุณกลับได้รับการตรวจสอบน้อยที่สุด

ผู้โจมตีสังเกตเห็นแล้ว

นี่ไม่ใช่ข้อกังวลเชิงทฤษฎี สายรัดนิรภัยนี้มีประวัติเหตุการณ์ที่เกิดขึ้นไม่นานแต่มีความสำคัญอย่างยิ่ง

  • ช่องโหว่ในไฟล์กฎ ในเดือนมีนาคม พ.ศ. 2025 นักวิจัยได้เปิดเผยการโจมตีที่ใช้ตัวอักษร Unicode ที่ซ่อนอยู่ภายในไฟล์กฎ เพื่อสั่งการให้ผู้ช่วยเขียนโค้ด AI แทรกโค้ดที่เป็นอันตรายโดยไม่แจ้งให้ทราบในคำตอบที่มองเห็นได้ ผู้ตรวจสอบที่อ่านไฟล์ไม่พบสิ่งผิดปกติใดๆ ปัจจุบันการโจมตีนี้ถูกจัดอยู่ในหมวดหมู่แล้ว กรณีศึกษา MITRE ATLAS AML.CS0041.
  • เครื่องมือ MCP ที่ถูกปนเปื้อน ตลอดปี 2025 นักวิจัยได้แสดงให้เห็นซ้ำแล้วซ้ำเล่าว่าเอเจนต์เชื่อถือคำอธิบายเครื่องมือโดยปริยาย ดังนั้นเซิร์ฟเวอร์ MCP ที่เป็นอันตรายจึงสามารถควบคุมเอเจนต์ได้เพียงแค่การอธิบายตัวเองอย่างถูกต้อง ในปีเดียวกันนั้น CVE-2025-6514 โปรแกรมไคลเอ็นต์ MCP ที่มีการดาวน์โหลดอย่างแพร่หลาย อนุญาตให้เรียกใช้คำสั่งจากระยะไกลเมื่อเชื่อมต่อกับเซิร์ฟเวอร์ที่ไม่น่าเชื่อถือ โดยได้รับการจัดอันดับ 9.6 บน CVSS
  • อำนาจการตัดสินใจที่มากเกินไป การขอ OWASP Top 10 สำหรับการสมัครเรียน LLM ระบุว่าการให้อำนาจการตัดสินใจมากเกินไปเป็นความเสี่ยงอันดับต้น ๆ: ตัวแทนได้รับเครื่องมือ สิทธิ์ หรือความเป็นอิสระมากกว่าที่งานต้องการ นี่ไม่ใช่ข้อบกพร่องของแบบจำลอง แต่เป็นการออกแบบระบบควบคุมการทำงานที่ผิดพลาดcisไอออน

สังเกตแบบแผนนี้ การโจมตีเหล่านี้ไม่ได้ทำลายโมเดล แต่ทำลายเพียงโครงสร้างภายใน และโมเดลก็ทำงานส่วนที่เหลือได้อย่างแม่นยำ

เหตุใดระบบรักษาความปลอดภัยของคุณจึงมองไม่เห็นสิ่งนี้

ส่วนที่น่าอึดอัดใจก็คือ องค์กรส่วนใหญ่มีเครื่องมือรักษาความปลอดภัยแอปพลิเคชันที่ดีอยู่แล้ว และแทบไม่มีเครื่องมือใดเลยที่สร้างขึ้นมาเพื่อรองรับระบบรักษาความปลอดภัยระดับนี้

การวิเคราะห์แบบคงที่เข้าใจโค้ด แต่ไม่รู้ว่าโมเดลคืออะไร หรือทำไมข้อความที่ไม่น่าเชื่อถือที่ไหลเข้ามาในพรอมต์ระบบจึงมีความสำคัญ การวิเคราะห์องค์ประกอบจะจัดทำรายการแพ็กเกจ แต่จะไม่แสดงรายการเซิร์ฟเวอร์ MCP หรือไฟล์ทักษะ เครื่องสแกนความลับอาจพลาดคีย์ API ที่อยู่ในไฟล์การกำหนดค่าเอเจนต์ เครื่องมือเหล่านี้ไม่มีข้อบกพร่องใดๆ เพียงแต่ถูกสร้างขึ้นสำหรับโลกที่การกำหนดค่าไม่ได้กำหนดคำสั่ง

ดังนั้น การพัฒนาตัวเชื่อมต่อเอเจนต์จึงดำเนินไปอย่างรวดเร็ว และฝ่ายรักษาความปลอดภัยจะตรวจสอบเฉพาะส่วนที่มองเห็นได้ คือ โมเดลและโค้ด ส่วนตัวเชื่อมต่อจะอยู่ระหว่างกลาง

5 วิธีปฏิบัติในการรัดสายรัดให้แน่น

การรักษาความปลอดภัยด้านวิศวกรรมของเอเจนต์ฮาร์เนสไม่จำเป็นต้องมีทีมใหม่ แต่ต้องการเพียงนิสัยบางอย่างที่มองฮาร์เนสฮาร์เนสในฐานะที่เป็นเจตนาที่สามารถดำเนินการได้

นิสัยทำไมมันถึงมีความสำคัญสิ่งที่ต้องทำ
1. ตรวจสอบและบันทึกรายการสายรัดทุกชิ้นคุณไม่สามารถจัดหาตัวแทนที่ไม่มีใครแจ้งไว้ได้ค้นหาโมเดล เอเจนต์ เซิร์ฟเวอร์ MCP ทักษะ และข้อความแจ้งเตือนทั้งหมดในคลังเก็บข้อมูลของคุณ จากโค้ดและไฟล์การกำหนดค่าโดยตรง แทนที่จะค้นหาจากแบบสำรวจ
2. ตรวจสอบไฟล์ harness เช่น โค้ดกฎ ระเบียบ ทักษะ และการตั้งค่า MCP สามารถเปลี่ยนแปลงวิธีการทำงานของเอเจนต์ได้ แต่กลับได้รับการตรวจสอบเหมือนเอกสารประกอบให้พวกเขาเหมือนกัน pull request การตรวจสอบอย่างละเอียดในฐานะตรรกะของแอปพลิเคชัน รวมถึงการตรวจสอบอักขระที่ซ่อนอยู่
3. ตรึงสิ่งที่เอเจนต์โหลดไว้ข้อความแจ้งเตือนหรือโมเดลที่อ้างอิงโดยป้ายกำกับที่เปลี่ยนแปลงได้ สามารถเปลี่ยนจุดอ้างอิงได้โดยไม่ต้องแก้ไขโค้ดตรึงข้อความแจ้งเตือนและแบบจำลองไว้ในเวอร์ชันที่ไม่สามารถเปลี่ยนแปลงได้
4. ติดตั้งราวกันตกที่อ่างล้างมือทุกจุดเอกสารที่ดึงมา ผลลัพธ์จากเครื่องมือ และเนื้อหาของผู้ใช้ ล้วนสามารถนำคำสั่งที่แทรกเข้าไปในโมเดลได้ติดตั้งราวกั้นในเส้นทางที่เนื้อหานั้นสามารถเข้าถึงโมเดลได้
5. อย่าเก็บข้อมูลประจำตัวไว้ในสายรัดนิรภัยคีย์ของผู้ให้บริการ AI ในไฟล์ข้อความแจ้งเตือนและการกำหนดค่าเอเจนต์ เป็นช่องโหว่ที่ผู้โจมตีสามารถเข้าถึงได้ง่ายลบไฟล์เหล่านั้นออก แล้วทำการสแกนไฟล์สายรัดต่อไปเพื่อค้นหาความลับ วิธีนี้แก้ไขได้ง่ายมาก

การยึดสายรัดให้แน่น ไม่ใช่แค่การเลือกโมเดล

Xygeni AI Security เริ่มต้นจากจุดที่วิศวกรรมการจัดการเอเจนต์ทิ้งร่องรอยไว้ นั่นคือในคลังเก็บข้อมูลของคุณ มันจะค้นหาทรัพย์สิน AI ทั่วทั้งโค้ดเบสของคุณ (โมเดล เอเจนต์ เซิร์ฟเวอร์ MCP ทักษะ พรอมต์) guardrailsรวมถึงเครื่องมือเขียนโค้ด AI ที่ใช้งานอยู่) จากโค้ด ส่วนประกอบ และไฟล์การกำหนดค่าที่เครื่องมือเหล่านั้นทิ้งไว้

จากนั้น ระบบจะวิเคราะห์ไฟล์ทักษะ ไฟล์กฎ และการกำหนดค่า MCP ในฐานะสิ่งประดิษฐ์ด้านความปลอดภัย ไม่ใช่เอกสาร และตรวจจับความเสี่ยงระดับการแทรกข้อความแจ้งเตือนในการเชื่อมต่อเอเจนต์ เช่น เนื้อหาที่ไม่น่าเชื่อถือที่เข้าถึงข้อความแจ้งเตือนของระบบหรือปลายทางการดึงข้อมูลที่ไม่มีการป้องกัน การสแกนความลับของ Xygeni จะระบุข้อมูลประจำตัวของผู้ให้บริการ AI ในข้อความแจ้งเตือนและไฟล์การกำหนดค่าเอเจนต์ และส่วนประกอบต่างๆ ของสแต็ก AI ของคุณจะได้รับการตรวจจับมัลแวร์แบบเดียวกับส่วนอื่นๆ ก่อนที่จะมีลายเซ็นเกิดขึ้น

คำถามที่พบบ่อย

วิศวกรรมการเชื่อมต่อเอเจนต์คืออะไร?

การออกแบบสภาพแวดล้อมสำหรับเอเจนต์ (Agent harness engineering) คือศาสตร์แห่งการออกแบบสภาพแวดล้อมรอบ ๆ โมเดล AI (คำสั่ง เครื่องมือ สิทธิ์ หน่วยความจำ บริบท และวงจรการตรวจสอบ) เพื่อให้เอเจนต์นั้นทำงานได้น่าเชื่อถือ โมเดลทำหน้าที่ให้เหตุผล ส่วนสภาพแวดล้อมจะตัดสินว่าเอเจนต์สามารถมองเห็นและทำอะไรได้บ้าง

การออกแบบระบบควบคุมเอเจนต์แตกต่างจากการออกแบบระบบแจ้งเตือนอย่างไร?

การออกแบบคำสั่งแจ้งเตือน (Prompt engineering) กำหนดรูปแบบคำสั่งเดียว ในขณะที่การออกแบบระบบตัวแทน (Agent harness engineering) กำหนดรูปแบบระบบทั้งหมดที่ตัวแทนทำงานอยู่ ครอบคลุมหลายขั้นตอน เครื่องมือ และเซสชัน คำสั่งแจ้งเตือนเป็นเพียงไฟล์หนึ่งในระบบนั้น

เหตุใดสายรัดจึงเป็นความเสี่ยงด้านความปลอดภัย?

เนื่องจากไฟล์กฎควบคุมสิ่งที่เอเจนต์ได้รับอนุญาตให้ทำ และไฟล์นั้นอยู่ในรูปแบบข้อความธรรมดาซึ่งแทบจะไม่ได้รับการตรวจสอบในฐานะหลักฐานด้านความปลอดภัย หากไฟล์กฎหรือการกำหนดค่า MCP ถูกบุกรุก คุณจะสามารถควบคุมเอเจนต์ได้โดยไม่ต้องแตะต้องโมเดล

ใครควรเป็นเจ้าของระบบรักษาความปลอดภัยของเอเจนต์?

การรักษาความปลอดภัยของแอปพลิเคชัน รวมถึงการทำงานร่วมกับวิศวกรที่สร้างและกำหนดค่าเอเจนต์ ระบบรักษาความปลอดภัยเป็นส่วนหนึ่งของซอฟต์แวร์ที่คุณจัดส่ง ดังนั้นจึงควรอยู่ในกระบวนการตรวจสอบ การสแกน และการจัดการสินค้าคงคลังเดียวกันกับส่วนอื่นๆ ของโค้ดของคุณ

sca-tools-software-composition-analysis-tools
จัดลำดับความสำคัญ แก้ไข และรักษาความปลอดภัยความเสี่ยงด้านซอฟต์แวร์ของคุณ
สมัครบัญชีฟรีได้เลย
ไม่ต้องใช้บัตรเครดิต

รักษาความปลอดภัยในการพัฒนาและส่งมอบซอฟต์แวร์ของคุณ

ด้วยชุดผลิตภัณฑ์ Xygeni