คำศัพท์ด้านความปลอดภัยของ Xygeni
คำศัพท์ด้านความปลอดภัยในการพัฒนาและส่งมอบซอฟต์แวร์

ปัญญาประดิษฐ์ (AI) คืออะไร guardrails?

AI guardrails ส่วนประกอบควบคุมเหล่านี้คือสิ่งที่ช่วยให้ระบบ AI อยู่ภายในขอบเขตที่ปลอดภัยและคาดหวังได้ พวกมันตรวจสอบสิ่งที่ป้อนเข้าไปในโมเดล สิ่งที่ออกมาจากโมเดล และสิ่งที่ตัวแทน AI ได้รับอนุญาตให้ทำ เมื่อมีสิ่งใดเกินขอบเขต ส่วนประกอบควบคุมจะบล็อก แก้ไข หรือส่งต่อไปยังมนุษย์

ถ้าคุณถามว่า AI คืออะไร guardrails ลองนึกถึงราวกั้นบนถนนบนภูเขาดู พวกมันไม่ได้ขับรถ และพวกมันไม่ได้หยุดคนขับที่ตั้งใจจะขับรถตกหน้าผาโดยเจตนา พวกมันแค่ช่วยป้องกันไม่ให้ความผิดพลาดทั่วไปที่คาดเดาได้กลายเป็นอุบัติเหตุ

AI guardrails ความหมายในประโยคเดียว #

AI guardrails กล่าวโดยสรุปคือ: ชุดของกฎ ตัวกรอง และการตรวจสอบที่วางไว้รอบโมเดลหรือเอเจนต์ เพื่อป้องกันไม่ให้เกิดผลลัพธ์ที่เป็นอันตราย ข้อมูลรั่วไหล ทำตามคำสั่งที่เป็นอันตราย หรือกระทำการใดๆ ที่ไม่มีใครอนุมัติ

คำนี้ครอบคลุมทั้งนโยบายและรหัสโปรแกรม นโยบายระบุว่า AI ต้องไม่ทำอะไรบ้าง ส่วน "ขอบเขตควบคุม" คือส่วนของซอฟต์แวร์ที่บังคับใช้นโยบายนั้นในระหว่างการทำงาน ทุกครั้งที่มีการเรียกใช้โมเดล

ทำไมต้อง AI guardrails เรื่องตอนนี้ #

แชทบอทที่ตอบคำถามได้นั้นย่อมตอบผิดได้เสมอ ส่วนเอเจนต์ AI ที่เรียกใช้เครื่องมือ อ่านอีเมล แก้ไขโค้ด หรือรันคำสั่งต่างๆ ก็อาจทำผิดพลาดได้เช่นกัน การเปลี่ยนแปลงนี้เองที่เป็นเหตุผลว่าทำไม AI ถึงมีความสำคัญ guardrails เปลี่ยนจากสิ่งที่ควรมีมาเป็นสิ่งจำเป็นพื้นฐาน

มีสามสิ่งที่เป็นปัจจัยสำคัญที่ทำให้สถานการณ์ตึงเครียดมากขึ้น:

กฎระเบียบย่อมคาดหวังการควบคุม กฎหมาย AI ของสหภาพยุโรปกำหนดให้ผู้ให้บริการระบบ AI ที่มีความเสี่ยงสูงต้องบริหารจัดการความเสี่ยง แจ้งให้มนุษย์ทราบอยู่เสมอ และบันทึกสิ่งที่ระบบดำเนินการ Guardrails เป็นหนึ่งในวิธีที่ทีมแสดงให้เห็นว่าการควบคุมเหล่านั้นมีอยู่จริงในทางปฏิบัติ

นางแบบทำตามคำสั่งที่พวกเธอไม่ควรทำ การแทรกคำสั่งแบบ Prompt injection จะซ่อนคำสั่งไว้ในหน้าเว็บ เอกสาร หรือข้อความแสดงความคิดเห็นในโค้ด และโมเดลจะถือว่าคำสั่งเหล่านั้นเป็นคำสั่งจริงๆ OWASP Top 10 สำหรับการสมัครเรียน LLM จัดให้เป็นความเสี่ยงอันดับหนึ่ง (LLM01)

ตัวแทนมีสิทธิ์ในการเข้าถึงข้อมูลอย่างแท้จริง เอเจนต์ที่มีสิทธิ์เขียนไปยังที่เก็บข้อมูลหรือฐานข้อมูลอาจก่อให้เกิดความเสียหายด้วยความเร็วของเครื่อง OWASP เรียกสิ่งนี้ว่า "เอเจนต์ที่มากเกินไป" (LLM06)

ประเภทของ AI guardrails #

AI ส่วนใหญ่ guardrails แบ่งออกเป็นห้ากลุ่ม โดยขึ้นอยู่กับตำแหน่งที่พวกเขานั่งอยู่รอบแบบจำลอง

ประเภทมันอยู่ตรงไหนสิ่งที่ตรวจสอบตัวอย่าง
อินพุต guardrailsก่อนที่ข้อความแจ้งเตือนจะไปถึงโมเดลการฉีดโค้ดโดยทันที การพยายามเจลเบรก การร้องขอที่ไม่เกี่ยวข้องหรือต้องห้าม ข้อมูลส่วนบุคคลการบล็อกข้อความที่บอกว่า “เพิกเฉยต่อคำสั่งก่อนหน้านี้ของคุณ”
เอาท์พุต guardrailsหลังจากที่แบบจำลองตอบคำถามแล้ว ก่อนที่ผู้ใช้หรือระบบจะเห็นคำตอบนั้นเนื้อหาที่เป็นพิษหรือเป็นอันตราย ความลับหรือข้อมูลส่วนบุคคลที่รั่วไหล ข้อเท็จจริงที่แต่งขึ้น รหัสที่ไม่ปลอดภัยการลบคีย์ API ที่โมเดลคัดลอกลงในคำตอบ
การกระทำ guardrailsระหว่างตัวแทนและเครื่องมือของเขาเครื่องมือใดบ้างที่สามารถเรียกใช้ได้ ด้วยพารามิเตอร์ใด และเมื่อใดที่มนุษย์ต้องอนุมัติต้องขออนุมัติก่อนที่ตัวแทนจะลบไฟล์หรือโอนเงิน
ข้อมูล guardrailsโดยรอบข้อมูลการฝึกอบรม แหล่งที่มาของ RAG และหน่วยความจำเอกสารที่ถูกปนเปื้อน แหล่งข้อมูลที่ไม่น่าเชื่อถือ ข้อมูลที่ผู้ใช้ไม่ได้รับอนุญาตให้ดูกรองเอกสารที่ดึงมาตามสิทธิ์การเข้าถึงของผู้ใช้
แบบจำลองและห่วงโซ่อุปทาน guardrailsโดยรอบโมเดลนั้นจะมีคำแนะนำ ปลั๊กอิน และทักษะต่างๆ เองการโหลดโมเดลที่ไม่ปลอดภัย, ข้อความแจ้งเตือนที่ไม่ได้ตรึงไว้, ทักษะที่เป็นอันตราย หรือเซิร์ฟเวอร์ MCPปฏิเสธโมเดลที่ต้องใช้การเรียกใช้โค้ดจากระยะไกลในการโหลด

input และ output guardrails เป็นรูปแบบที่พบได้บ่อยที่สุด เนื่องจากสามารถเพิ่มเป็นชั้นรอบๆ LLM ใดๆ ก็ได้ การดำเนินการ guardrails สิ่งนี้สำคัญที่สุดสำหรับเอージェนต์ AI เพราะนั่นคือจุดที่การออกแบบที่ไม่ดีจะส่งผลเสียcisไอออนกลายเป็นสิ่งเปลี่ยนแปลงที่แท้จริงในระบบ

AI คืออะไร guardrails ปฏิบัติงานจริง #

AI guardrails ทำหน้าที่เป็นจุดตรวจสอบในเส้นทางของทุกคำขอ ลองนึกถึงเจ้าหน้าที่ฝ่ายสนับสนุนที่สามารถอ่านคำสั่งซื้อของลูกค้าและดำเนินการคืนเงินได้:

  1. ผู้ใช้ส่งข้อความ ระบบตรวจสอบข้อมูลขาเข้าจะสแกนหาแพทเทิร์นการแทรกข้อมูล กลโกงการเจลเบรก และข้อมูลส่วนบุคคลที่ไม่ควรเข้าถึงโมเดล
  2. ตัวแทนจะดึงข้อมูลบริบท ระบบคัดกรองข้อมูลจะช่วยให้มั่นใจได้ว่าจะดึงเฉพาะคำสั่งซื้อที่เป็นของลูกค้ารายนี้เท่านั้น และจะถือว่าข้อความที่ดึงมาเป็นข้อมูล ไม่ใช่คำสั่ง
  3. แบบจำลองตัดสินใจเรียกใช้เครื่องมือ ระบบตรวจสอบการดำเนินการจะตรวจสอบการโทรตามนโยบาย: การคืนเงินที่มีมูลค่าต่ำกว่าจำนวนที่กำหนดจะดำเนินการได้ ส่วนการคืนเงินที่มีมูลค่าสูงกว่านั้นจะต้องรอการตรวจสอบจากเจ้าหน้าที่
  4. แบบจำลองจะเขียนคำตอบของมัน ระบบตรวจสอบผลลัพธ์จะลบข้อมูลที่ละเอียดอ่อน ตรวจสอบโทนเสียง และบล็อกเนื้อหาที่ละเมิดนโยบาย
  5. ทุกอย่างถูกบันทึกไว้หมดแล้ว แต่ละ decisกระบวนการนี้จะถูกบันทึกไว้ เพื่อให้ทีมงานสามารถตรวจสอบคำขอที่ถูกบล็อก ปรับแต่งกฎ และแสดงให้ผู้ตรวจสอบบัญชีเห็นว่าเกิดอะไรขึ้น

Guardrails อาจเป็นกฎง่ายๆ (รายการคำหลัก นิพจน์ปกติ รายการเครื่องมือที่อนุญาต) ตัวจำแนกประเภทที่ได้รับการฝึกฝนซึ่งให้คะแนนข้อความตามความเสี่ยง หรือแบบจำลองที่สองที่ประเมินแบบจำลองแรก โดยทั่วไปแล้ว การตั้งค่าใช้งานจริงส่วนใหญ่จะผสมผสานทั้งสามอย่างเข้าด้วยกัน เพราะกฎนั้นรวดเร็วและคาดเดาได้ ในขณะที่ตัวจำแนกประเภทจะตรวจจับสิ่งที่กฎพลาดไป

ปัญญาประดิษฐ์อยู่ที่ไหน guardrails สั้นไป #

AI guardrails ช่วยลดความเสี่ยง แต่ไม่ได้กำจัดความเสี่ยงออกไปทั้งหมด ผู้โจมตีทดสอบระบบเหล่านี้อยู่ตลอดเวลา และช่องโหว่ใหม่ๆ ก็สามารถเล็ดลอดผ่านตัวกรองที่เคยใช้งานได้เมื่อวานนี้ได้ ระบบป้องกันที่สร้างขึ้นบนแบบจำลองก็อาจถูกหลอกด้วยกลอุบายแบบเดียวกับแบบจำลองที่มันปกป้องอยู่เช่นกัน

ช่องว่างที่ใหญ่กว่าคือเรื่องเวลา ระยะเวลาการทำงาน guardrails คุณจะเห็นระบบ AI ก็ต่อเมื่อมันทำงานจริงแล้วเท่านั้น พวกเขาไม่สามารถบอกคุณได้ว่านักพัฒนาสร้างเอเจนต์โดยไม่มีการตรวจสอบข้อมูลป้อนเข้า ตรึงข้อความแจ้งเตือนไว้กับเวอร์ชันแบบลอยตัว ให้สิทธิ์ผู้ดูแลระบบเซิร์ฟเวอร์เครื่องมือ หรือติดตั้งทักษะที่มีคำสั่งที่ซ่อนอยู่ จุดอ่อนเหล่านั้นอยู่ในโค้ดและการกำหนดค่ามานานแล้ว ก่อนที่ข้อความจากผู้ใช้ข้อความแรกจะมาถึง

นั่นคือเหตุผล guardrails การตรวจสอบเหล่านี้เป็นเพียงส่วนหนึ่งของความปลอดภัยของ AI ไม่ใช่ทั้งหมด ทีมงานยังต้องค้นหาทรัพย์สิน AI ในโค้ดของตน สแกนหารูปแบบที่มีความเสี่ยง ตรวจสอบห่วงโซ่อุปทานของ AI และแก้ไขปัญหาต่างๆ ก่อนที่จะปล่อยใช้งาน Guardrails จากนั้นจึงตรวจสอบสิ่งที่ยังหลุดรอดไปในขั้นตอนการผลิต

ปฏิบัติที่ดีที่สุด #

  • วางซ้อนกันหลายๆ ชั้น ใช้ข้อมูลนำเข้า ข้อมูลส่งออก และการกระทำ guardrails ทำงานร่วมกัน ไม่มีตัวกรองใดตัวเดียวที่ดักจับได้ทุกอย่าง
  • ให้ถือว่าเนื้อหาที่ดึงมาทั้งหมดเป็นเนื้อหาที่ไม่น่าเชื่อถือ หน้าเว็บ อีเมล เอกสาร และผลลัพธ์จากเครื่องมือต่างๆ อาจมีคำสั่งที่ซ่อนอยู่
  • ให้สิทธิ์แก่เจ้าหน้าที่ในระดับที่จำเป็นน้อยที่สุด จำกัดเครื่องมือ กำหนดขอบเขตสิทธิ์การเข้าถึง และกำหนดให้ต้องได้รับการอนุมัติจากมนุษย์สำหรับการกระทำที่ยากต่อการแก้ไข
  • ปักหมุดข้อความแจ้งเตือนและแบบจำลองไว้ ข้อความแจ้งเตือนที่ดึงมาจากรีจิสทรี ณ เวลา "ล่าสุด" อาจเปลี่ยนแปลงได้โดยไม่ต้องตรวจสอบ
  • ตรวจสอบสิ่งที่คุณติดตั้ง ทักษะ ปลั๊กอิน และเซิร์ฟเวอร์ MCP เป็นส่วนหนึ่งของห่วงโซ่อุปทาน AI ของคุณ และสามารถแฝงคำสั่งที่เป็นอันตรายได้
  • บันทึกและตรวจสอบ คำขอที่ถูกบล็อกจะแสดงให้เห็นว่ามีคนพยายามฝ่าฝืนระบบอย่างไร และช่วยให้คุณปรับแต่งกฎได้
  • ทดสอบพวกมันเหมือนกับที่ผู้โจมตีจะทำ เรียกใช้คำสั่งโจมตีแบบ Red-team และการทดสอบเจาะระบบด้วย AI กับระบบของคุณ guardrails ก่อนและหลังการปล่อยตัว
  • จัดทำแผนผังให้สอดคล้องกับกรอบงาน OWASP Top 10 สำหรับการสมัครเรียน LLM นำเสนอรายการความเสี่ยงที่คุณต้องครอบคลุมและรายงานร่วมกัน

ตรวจสอบให้แน่ใจว่า AI ของคุณ guardrails มีอยู่ก่อนที่คุณจะจัดส่ง #

ปัญญาประดิษฐ์รันไทม์ guardrails ปกป้องเฉพาะสิ่งที่สร้างขึ้นด้วยพวกเขาเท่านั้น ระบบรักษาความปลอดภัย AI ของ Xygeni ตรวจพบช่องโหว่ได้เร็วกว่าเดิมในโค้ด โดยจะสร้างรายการของโมเดล พรอมต์ เอเจนต์ ทักษะ และเซิร์ฟเวอร์ MCP ในที่เก็บข้อมูลของคุณ จากนั้นจะทำเครื่องหมายตำแหน่งที่มีปัญหา guardrails สิ่งที่ขาดหายไป: ข้อความแจ้งเตือนระบบที่ผสมผสานการป้อนข้อมูลของผู้ใช้โดยไม่แยกออกจากกัน, ตัวแทนเรียกใช้เครื่องมือที่ไม่มีการป้อนข้อมูล guardrailsรวมถึงเอเจนต์ที่นำเข้าเว็บเพจหรือเอกสารโดยไม่ผ่านการตรวจสอบความปลอดภัย และนำเข้าภาพหรือเสียงโดยไม่มีการตรวจสอบใดๆ เลย ผลการค้นพบทั้งหมดนี้สอดคล้องกับ OWASP Top 10 สำหรับแอปพลิเคชัน LLM

นอกจากนี้ยังครอบคลุมถึงห่วงโซ่อุปทานที่เกี่ยวข้องกับ AI ของคุณด้วย ได้แก่ ข้อความแจ้งเตือนที่ตรึงไว้กับเวอร์ชันแบบลอยตัว การโหลดโมเดลที่ไม่ปลอดภัย ทักษะที่มีคำสั่งที่เป็นอันตรายซ่อนอยู่ และเซิร์ฟเวอร์เครื่องมือที่ทำงานด้วยสิทธิ์ระดับสูง Guardrails ใน CI ให้หยุดการรวมโค้ดเมื่อการเปลี่ยนแปลงใดๆ ขัดกับนโยบายของคุณ และ AI Pentesting จะตรวจสอบว่าแอปพลิเคชันของคุณสามารถรับมือกับการโจมตีจริงได้อย่างไร

ดูมันในการดำเนินการ

คำถามที่พบบ่อย #

ปัญญาประดิษฐ์ (AI) คืออะไร guardrails ในแง่ง่ายๆ?

AI guardrails คือการตรวจสอบความปลอดภัยรอบระบบ AI โดยจะกรองสิ่งที่ป้อนเข้าไปในโมเดล สิ่งที่ออกมา และสิ่งที่ตัวแทน AI ได้รับอนุญาตให้ทำ เพื่อให้เป็นไปตามกฎที่คุณกำหนดไว้


ปัญญาประดิษฐ์ (AI) หมายถึงอะไร guardrails?

AI guardrails ความหมายคือ ชุดของนโยบาย ตัวกรอง และการควบคุมทางเทคนิคที่ช่วยให้ผลลัพธ์และการกระทำของ AI ปลอดภัย มั่นคง และเป็นไปตามข้อกำหนด นโยบายกำหนดขีดจำกัด และกลไกควบคุมจะบังคับใช้ขีดจำกัดนั้นในระหว่างการทำงาน

ตัวอย่างของ AI มีอะไรบ้าง guardrails?

ตัวอย่างทั่วไป ได้แก่ ตัวกรองการฉีดข้อความแจ้งเตือน ตัวกรองเนื้อหาที่เป็นอันตราย การปกปิดข้อมูลส่วนบุคคล การตรวจจับข้อมูลลับในผลลัพธ์ รายการอนุญาตเครื่องมือสำหรับเอเจนต์ และการอนุมัติจากมนุษย์สำหรับการกระทำที่มีความเสี่ยง

ปัญญาประดิษฐ์สามารถทำได้หรือไม่ guardrails จะถูกข้ามไปได้หรือไม่?

ใช่แล้ว การเจาะระบบและการใช้เทคนิคการฉีดข้อมูลแบบใหม่ๆ สามารถผ่านระบบเหล่านี้ได้ นั่นคือเหตุผล guardrails ควรมีการจัดระบบเป็นชั้นๆ ทดสอบอย่างสม่ำเสมอ และผสานรวมกับการตรวจสอบความปลอดภัยของโค้ดและการกำหนดค่าของระบบ AI

เริ่มฟรี

เริ่มต้นใช้งานฟรี
ไม่ต้องใช้บัตรเครดิต

เริ่มต้นได้ง่ายๆ เพียงคลิกเดียว:

ข้อมูลนี้จะถูกจัดเก็บอย่างปลอดภัยตามข้อกำหนด ข้อกำหนดในการให้บริการ และ ความเป็นส่วนตัว

ภาพหน้าจอแอป