AI guardrails ส่วนประกอบควบคุมเหล่านี้คือสิ่งที่ช่วยให้ระบบ AI อยู่ภายในขอบเขตที่ปลอดภัยและคาดหวังได้ พวกมันตรวจสอบสิ่งที่ป้อนเข้าไปในโมเดล สิ่งที่ออกมาจากโมเดล และสิ่งที่ตัวแทน AI ได้รับอนุญาตให้ทำ เมื่อมีสิ่งใดเกินขอบเขต ส่วนประกอบควบคุมจะบล็อก แก้ไข หรือส่งต่อไปยังมนุษย์
ถ้าคุณถามว่า AI คืออะไร guardrails ลองนึกถึงราวกั้นบนถนนบนภูเขาดู พวกมันไม่ได้ขับรถ และพวกมันไม่ได้หยุดคนขับที่ตั้งใจจะขับรถตกหน้าผาโดยเจตนา พวกมันแค่ช่วยป้องกันไม่ให้ความผิดพลาดทั่วไปที่คาดเดาได้กลายเป็นอุบัติเหตุ
AI guardrails ความหมายในประโยคเดียว #
AI guardrails กล่าวโดยสรุปคือ: ชุดของกฎ ตัวกรอง และการตรวจสอบที่วางไว้รอบโมเดลหรือเอเจนต์ เพื่อป้องกันไม่ให้เกิดผลลัพธ์ที่เป็นอันตราย ข้อมูลรั่วไหล ทำตามคำสั่งที่เป็นอันตราย หรือกระทำการใดๆ ที่ไม่มีใครอนุมัติ
คำนี้ครอบคลุมทั้งนโยบายและรหัสโปรแกรม นโยบายระบุว่า AI ต้องไม่ทำอะไรบ้าง ส่วน "ขอบเขตควบคุม" คือส่วนของซอฟต์แวร์ที่บังคับใช้นโยบายนั้นในระหว่างการทำงาน ทุกครั้งที่มีการเรียกใช้โมเดล
ทำไมต้อง AI guardrails เรื่องตอนนี้ #
แชทบอทที่ตอบคำถามได้นั้นย่อมตอบผิดได้เสมอ ส่วนเอเจนต์ AI ที่เรียกใช้เครื่องมือ อ่านอีเมล แก้ไขโค้ด หรือรันคำสั่งต่างๆ ก็อาจทำผิดพลาดได้เช่นกัน การเปลี่ยนแปลงนี้เองที่เป็นเหตุผลว่าทำไม AI ถึงมีความสำคัญ guardrails เปลี่ยนจากสิ่งที่ควรมีมาเป็นสิ่งจำเป็นพื้นฐาน
มีสามสิ่งที่เป็นปัจจัยสำคัญที่ทำให้สถานการณ์ตึงเครียดมากขึ้น:
กฎระเบียบย่อมคาดหวังการควบคุม กฎหมาย AI ของสหภาพยุโรปกำหนดให้ผู้ให้บริการระบบ AI ที่มีความเสี่ยงสูงต้องบริหารจัดการความเสี่ยง แจ้งให้มนุษย์ทราบอยู่เสมอ และบันทึกสิ่งที่ระบบดำเนินการ Guardrails เป็นหนึ่งในวิธีที่ทีมแสดงให้เห็นว่าการควบคุมเหล่านั้นมีอยู่จริงในทางปฏิบัติ
นางแบบทำตามคำสั่งที่พวกเธอไม่ควรทำ การแทรกคำสั่งแบบ Prompt injection จะซ่อนคำสั่งไว้ในหน้าเว็บ เอกสาร หรือข้อความแสดงความคิดเห็นในโค้ด และโมเดลจะถือว่าคำสั่งเหล่านั้นเป็นคำสั่งจริงๆ OWASP Top 10 สำหรับการสมัครเรียน LLM จัดให้เป็นความเสี่ยงอันดับหนึ่ง (LLM01)
ตัวแทนมีสิทธิ์ในการเข้าถึงข้อมูลอย่างแท้จริง เอเจนต์ที่มีสิทธิ์เขียนไปยังที่เก็บข้อมูลหรือฐานข้อมูลอาจก่อให้เกิดความเสียหายด้วยความเร็วของเครื่อง OWASP เรียกสิ่งนี้ว่า "เอเจนต์ที่มากเกินไป" (LLM06)
input และ output guardrails เป็นรูปแบบที่พบได้บ่อยที่สุด เนื่องจากสามารถเพิ่มเป็นชั้นรอบๆ LLM ใดๆ ก็ได้ การดำเนินการ guardrails สิ่งนี้สำคัญที่สุดสำหรับเอージェนต์ AI เพราะนั่นคือจุดที่การออกแบบที่ไม่ดีจะส่งผลเสียcisไอออนกลายเป็นสิ่งเปลี่ยนแปลงที่แท้จริงในระบบ
AI คืออะไร guardrails ปฏิบัติงานจริง #
AI guardrails ทำหน้าที่เป็นจุดตรวจสอบในเส้นทางของทุกคำขอ ลองนึกถึงเจ้าหน้าที่ฝ่ายสนับสนุนที่สามารถอ่านคำสั่งซื้อของลูกค้าและดำเนินการคืนเงินได้:
- ผู้ใช้ส่งข้อความ ระบบตรวจสอบข้อมูลขาเข้าจะสแกนหาแพทเทิร์นการแทรกข้อมูล กลโกงการเจลเบรก และข้อมูลส่วนบุคคลที่ไม่ควรเข้าถึงโมเดล
- ตัวแทนจะดึงข้อมูลบริบท ระบบคัดกรองข้อมูลจะช่วยให้มั่นใจได้ว่าจะดึงเฉพาะคำสั่งซื้อที่เป็นของลูกค้ารายนี้เท่านั้น และจะถือว่าข้อความที่ดึงมาเป็นข้อมูล ไม่ใช่คำสั่ง
- แบบจำลองตัดสินใจเรียกใช้เครื่องมือ ระบบตรวจสอบการดำเนินการจะตรวจสอบการโทรตามนโยบาย: การคืนเงินที่มีมูลค่าต่ำกว่าจำนวนที่กำหนดจะดำเนินการได้ ส่วนการคืนเงินที่มีมูลค่าสูงกว่านั้นจะต้องรอการตรวจสอบจากเจ้าหน้าที่
- แบบจำลองจะเขียนคำตอบของมัน ระบบตรวจสอบผลลัพธ์จะลบข้อมูลที่ละเอียดอ่อน ตรวจสอบโทนเสียง และบล็อกเนื้อหาที่ละเมิดนโยบาย
- ทุกอย่างถูกบันทึกไว้หมดแล้ว แต่ละ decisกระบวนการนี้จะถูกบันทึกไว้ เพื่อให้ทีมงานสามารถตรวจสอบคำขอที่ถูกบล็อก ปรับแต่งกฎ และแสดงให้ผู้ตรวจสอบบัญชีเห็นว่าเกิดอะไรขึ้น
Guardrails อาจเป็นกฎง่ายๆ (รายการคำหลัก นิพจน์ปกติ รายการเครื่องมือที่อนุญาต) ตัวจำแนกประเภทที่ได้รับการฝึกฝนซึ่งให้คะแนนข้อความตามความเสี่ยง หรือแบบจำลองที่สองที่ประเมินแบบจำลองแรก โดยทั่วไปแล้ว การตั้งค่าใช้งานจริงส่วนใหญ่จะผสมผสานทั้งสามอย่างเข้าด้วยกัน เพราะกฎนั้นรวดเร็วและคาดเดาได้ ในขณะที่ตัวจำแนกประเภทจะตรวจจับสิ่งที่กฎพลาดไป
ปัญญาประดิษฐ์อยู่ที่ไหน guardrails สั้นไป #
AI guardrails ช่วยลดความเสี่ยง แต่ไม่ได้กำจัดความเสี่ยงออกไปทั้งหมด ผู้โจมตีทดสอบระบบเหล่านี้อยู่ตลอดเวลา และช่องโหว่ใหม่ๆ ก็สามารถเล็ดลอดผ่านตัวกรองที่เคยใช้งานได้เมื่อวานนี้ได้ ระบบป้องกันที่สร้างขึ้นบนแบบจำลองก็อาจถูกหลอกด้วยกลอุบายแบบเดียวกับแบบจำลองที่มันปกป้องอยู่เช่นกัน
ช่องว่างที่ใหญ่กว่าคือเรื่องเวลา ระยะเวลาการทำงาน guardrails คุณจะเห็นระบบ AI ก็ต่อเมื่อมันทำงานจริงแล้วเท่านั้น พวกเขาไม่สามารถบอกคุณได้ว่านักพัฒนาสร้างเอเจนต์โดยไม่มีการตรวจสอบข้อมูลป้อนเข้า ตรึงข้อความแจ้งเตือนไว้กับเวอร์ชันแบบลอยตัว ให้สิทธิ์ผู้ดูแลระบบเซิร์ฟเวอร์เครื่องมือ หรือติดตั้งทักษะที่มีคำสั่งที่ซ่อนอยู่ จุดอ่อนเหล่านั้นอยู่ในโค้ดและการกำหนดค่ามานานแล้ว ก่อนที่ข้อความจากผู้ใช้ข้อความแรกจะมาถึง
นั่นคือเหตุผล guardrails การตรวจสอบเหล่านี้เป็นเพียงส่วนหนึ่งของความปลอดภัยของ AI ไม่ใช่ทั้งหมด ทีมงานยังต้องค้นหาทรัพย์สิน AI ในโค้ดของตน สแกนหารูปแบบที่มีความเสี่ยง ตรวจสอบห่วงโซ่อุปทานของ AI และแก้ไขปัญหาต่างๆ ก่อนที่จะปล่อยใช้งาน Guardrails จากนั้นจึงตรวจสอบสิ่งที่ยังหลุดรอดไปในขั้นตอนการผลิต
ปฏิบัติที่ดีที่สุด #
- วางซ้อนกันหลายๆ ชั้น ใช้ข้อมูลนำเข้า ข้อมูลส่งออก และการกระทำ guardrails ทำงานร่วมกัน ไม่มีตัวกรองใดตัวเดียวที่ดักจับได้ทุกอย่าง
- ให้ถือว่าเนื้อหาที่ดึงมาทั้งหมดเป็นเนื้อหาที่ไม่น่าเชื่อถือ หน้าเว็บ อีเมล เอกสาร และผลลัพธ์จากเครื่องมือต่างๆ อาจมีคำสั่งที่ซ่อนอยู่
- ให้สิทธิ์แก่เจ้าหน้าที่ในระดับที่จำเป็นน้อยที่สุด จำกัดเครื่องมือ กำหนดขอบเขตสิทธิ์การเข้าถึง และกำหนดให้ต้องได้รับการอนุมัติจากมนุษย์สำหรับการกระทำที่ยากต่อการแก้ไข
- ปักหมุดข้อความแจ้งเตือนและแบบจำลองไว้ ข้อความแจ้งเตือนที่ดึงมาจากรีจิสทรี ณ เวลา "ล่าสุด" อาจเปลี่ยนแปลงได้โดยไม่ต้องตรวจสอบ
- ตรวจสอบสิ่งที่คุณติดตั้ง ทักษะ ปลั๊กอิน และเซิร์ฟเวอร์ MCP เป็นส่วนหนึ่งของห่วงโซ่อุปทาน AI ของคุณ และสามารถแฝงคำสั่งที่เป็นอันตรายได้
- บันทึกและตรวจสอบ คำขอที่ถูกบล็อกจะแสดงให้เห็นว่ามีคนพยายามฝ่าฝืนระบบอย่างไร และช่วยให้คุณปรับแต่งกฎได้
- ทดสอบพวกมันเหมือนกับที่ผู้โจมตีจะทำ เรียกใช้คำสั่งโจมตีแบบ Red-team และการทดสอบเจาะระบบด้วย AI กับระบบของคุณ guardrails ก่อนและหลังการปล่อยตัว
- จัดทำแผนผังให้สอดคล้องกับกรอบงาน OWASP Top 10 สำหรับการสมัครเรียน LLM นำเสนอรายการความเสี่ยงที่คุณต้องครอบคลุมและรายงานร่วมกัน
ตรวจสอบให้แน่ใจว่า AI ของคุณ guardrails มีอยู่ก่อนที่คุณจะจัดส่ง #
ปัญญาประดิษฐ์รันไทม์ guardrails ปกป้องเฉพาะสิ่งที่สร้างขึ้นด้วยพวกเขาเท่านั้น ระบบรักษาความปลอดภัย AI ของ Xygeni ตรวจพบช่องโหว่ได้เร็วกว่าเดิมในโค้ด โดยจะสร้างรายการของโมเดล พรอมต์ เอเจนต์ ทักษะ และเซิร์ฟเวอร์ MCP ในที่เก็บข้อมูลของคุณ จากนั้นจะทำเครื่องหมายตำแหน่งที่มีปัญหา guardrails สิ่งที่ขาดหายไป: ข้อความแจ้งเตือนระบบที่ผสมผสานการป้อนข้อมูลของผู้ใช้โดยไม่แยกออกจากกัน, ตัวแทนเรียกใช้เครื่องมือที่ไม่มีการป้อนข้อมูล guardrailsรวมถึงเอเจนต์ที่นำเข้าเว็บเพจหรือเอกสารโดยไม่ผ่านการตรวจสอบความปลอดภัย และนำเข้าภาพหรือเสียงโดยไม่มีการตรวจสอบใดๆ เลย ผลการค้นพบทั้งหมดนี้สอดคล้องกับ OWASP Top 10 สำหรับแอปพลิเคชัน LLM
นอกจากนี้ยังครอบคลุมถึงห่วงโซ่อุปทานที่เกี่ยวข้องกับ AI ของคุณด้วย ได้แก่ ข้อความแจ้งเตือนที่ตรึงไว้กับเวอร์ชันแบบลอยตัว การโหลดโมเดลที่ไม่ปลอดภัย ทักษะที่มีคำสั่งที่เป็นอันตรายซ่อนอยู่ และเซิร์ฟเวอร์เครื่องมือที่ทำงานด้วยสิทธิ์ระดับสูง Guardrails ใน CI ให้หยุดการรวมโค้ดเมื่อการเปลี่ยนแปลงใดๆ ขัดกับนโยบายของคุณ และ AI Pentesting จะตรวจสอบว่าแอปพลิเคชันของคุณสามารถรับมือกับการโจมตีจริงได้อย่างไร
คำถามที่พบบ่อย #
AI guardrails คือการตรวจสอบความปลอดภัยรอบระบบ AI โดยจะกรองสิ่งที่ป้อนเข้าไปในโมเดล สิ่งที่ออกมา และสิ่งที่ตัวแทน AI ได้รับอนุญาตให้ทำ เพื่อให้เป็นไปตามกฎที่คุณกำหนดไว้
ปัญญาประดิษฐ์ (AI) หมายถึงอะไร guardrails?
AI guardrails ความหมายคือ ชุดของนโยบาย ตัวกรอง และการควบคุมทางเทคนิคที่ช่วยให้ผลลัพธ์และการกระทำของ AI ปลอดภัย มั่นคง และเป็นไปตามข้อกำหนด นโยบายกำหนดขีดจำกัด และกลไกควบคุมจะบังคับใช้ขีดจำกัดนั้นในระหว่างการทำงาน
ตัวอย่างทั่วไป ได้แก่ ตัวกรองการฉีดข้อความแจ้งเตือน ตัวกรองเนื้อหาที่เป็นอันตราย การปกปิดข้อมูลส่วนบุคคล การตรวจจับข้อมูลลับในผลลัพธ์ รายการอนุญาตเครื่องมือสำหรับเอเจนต์ และการอนุมัติจากมนุษย์สำหรับการกระทำที่มีความเสี่ยง
ใช่แล้ว การเจาะระบบและการใช้เทคนิคการฉีดข้อมูลแบบใหม่ๆ สามารถผ่านระบบเหล่านี้ได้ นั่นคือเหตุผล guardrails ควรมีการจัดระบบเป็นชั้นๆ ทดสอบอย่างสม่ำเสมอ และผสานรวมกับการตรวจสอบความปลอดภัยของโค้ดและการกำหนดค่าของระบบ AI
