ความเสี่ยงและขอบเขตของการระเบิดของ AI ที่มีเอเจนต์

ความเสี่ยงและขอบเขตความเสียหายของ AI ที่ทำงานโดยตัวแทน: จำกัดขอบเขตของตัวแทน หรือฟื้นตัวได้เร็วขึ้น?

TL; DR

สามคำตอบสำหรับคำถามเดียวกันเกี่ยวกับความเสี่ยงของ AI ที่มีตัวแทน

เราคาดหวังว่าจะมีความเห็นพ้องกันในวงกว้างเกี่ยวกับการจำกัดการทำงานของ AI แต่กลับได้คำตอบที่แตกต่างกันถึงสามแบบ

  • เปโดร ฟอร์ตูนา: แบ่งเอเจนต์ออกเป็นเอเจนต์ย่อยๆ จำนวนมาก โดยแต่ละเอเจนต์มีสิทธิ์การเข้าถึงที่จำกัดที่สุดเท่าที่จะเป็นไปได้ และเพิ่มการตรวจสอบขณะทำงานเพื่อหยุดการทำงานของเอเจนต์เหล่านั้นตั้งแต่เนิ่นๆ
  • แจ็ค เทรฟอน: สำหรับเอเจนต์การเขียนโค้ดนั้น กลับตรงกันข้าม การจำกัดเอเจนต์ตัวใดตัวหนึ่งจะทำลายสิ่งที่ทำให้มันมีประโยชน์ ดังนั้นจงยอมรับผลกระทบและลงทุนในการติดตามและกู้คืนอย่างรวดเร็ว
  • หลุยส์ โรดริเกซ เบอร์โซซา: บรรทัดที่สาม ปฏิบัติต่อโมเดลแนวหน้าเหมือนกับที่คุณปฏิบัติต่อมัลแวร์ ออกแบบระบบควบคุมเพื่อจำกัดตัวแทนเฉพาะแต่ละตัว และวางชั้นบังคับใช้ไว้ด้านล่างสุดทั้งหมด ซึ่งจะคงอยู่เมื่อทุกอย่างด้านบนล้มเหลว

สถานที่ที่ทั้งสามคนได้พบกัน: คุณไม่สามารถปกป้องสิ่งที่คุณยังไม่ได้บันทึกไว้ได้ ทุกการกระทำต้องถูกบันทึก และสิ่งที่จะหยุดการทำงานของเอเจนต์จะต้องอยู่นอกตัวเอเจนต์

ไม่มีสิ่งใดถูกละเมิด

เอージェนต์ทำหน้าที่ของมันได้ดี ระหว่างทาง มันตัดสินใจที่จะไปยุ่งเกี่ยวกับส่วนประกอบบางอย่าง การตั้งค่า หรือบริการบางอย่างที่ไม่มีใครขอให้มันไปยุ่งเกี่ยว มันปฏิบัติตามขอบเขตสิทธิ์ของมันตลอดเวลา ไม่มีการละเมิดกฎใดๆ ดังนั้นจึงไม่มีอะไรเกิดขึ้น

เราได้นำกรณีดังกล่าวไปปรึกษาผู้เชี่ยวชาญสามคนที่เกี่ยวข้องกับเรื่องนี้ โดยคาดหวังว่าจะได้รับความเห็นพ้องต้องกันในแนวทางการแก้ไข แต่เรากลับได้รับคำตอบที่แตกต่างกันสามคำตอบ และสองในนั้นขัดแย้งกันเอง

ความเสี่ยงของ AI ที่มีเอเจนต์มักถูกอธิบายว่าเป็นปัญหาของผู้โจมตี นี่คืออีกเวอร์ชันหนึ่ง ตลอด 20 ปีที่ผ่านมา เราได้กำหนดขอบเขตการอนุญาตให้กับซอฟต์แวร์ที่ทำงานตามคำสั่งอย่างเคร่งครัด ไม่ว่าจะเป็นบัญชีบริการ ตัวรัน CI หรืองานที่กำหนดเวลาไว้ เรากำหนดขอบเขตผิดพลาดบ่อยครั้ง แต่สิ่งที่อยู่ภายในนั้นสามารถคาดเดาได้ มันทำงานอย่างหนึ่ง ในลักษณะเดียวกันทุกครั้ง

สิ่งที่อยู่ภายในขอบเขตนั้นจะเป็นตัวตัดสิน และขอบเขตนั้นก็ยังคงถูกกำหนดไว้เช่นเดิม คือ กำหนดไว้ล่วงหน้าในขั้นตอนการตั้งค่า โดยบุคคลที่ไม่สามารถรู้ได้ว่างานนั้นจะเปลี่ยนแปลงไปอย่างไร

นั่นคือความเสี่ยงของ AI ที่มีตัวแทนซึ่งควรค่าแก่การถกเถียง และเราใช้เวลาหนึ่งชั่วโมงกับเรื่องนี้ในครั้งที่แล้ว SafeDev Talk สีสดสวย เปโดร ฟอร์ตูนา ของ Jscrambler แจ็ค เทรฟอน จากบริษัท Trefon Digital Consulting และ หลุยส์ โรดริเกซ เบอร์โซซา ของ Xygeni ซึ่งจัดโดย Alejandro Estrada.

เราคาดหวังว่าพวกเขาจะเห็นพ้องกันเป็นส่วนใหญ่ แต่พวกเขากลับไม่เห็นด้วย

ความเสี่ยงของ AI ที่มีตัวแทน: ข้อสมมติฐานที่ให้ความรู้สึกสบายใจซึ่งไม่เป็นจริง

กรอบข้อความด้านบนมีคำหนึ่งที่ทำหน้าที่มากกว่าที่ควรจะเป็น: โจมตีไม่มีหรอก นั่นเป็นเพราะต้องการให้สถานการณ์ง่ายขึ้น

เปโดรจัดการมันได้ในตาเดียว

“การเป็นผู้โจมตีหรือไม่นั้นเป็นแนวคิดของมนุษย์ สิ่งที่ทำให้ผู้โจมตีเป็นผู้โจมตีคือการมีเป้าหมายที่แตกต่างออกไป และตัวแทนที่ไม่สอดคล้องกับเป้าหมายก็เป็นสิ่งที่มีเป้าหมายที่แตกต่างออกไปเช่นกัน”

ลองพิจารณาเรื่องนี้ให้ดี เพราะมันทำลายสมมติฐานของการสนทนาเกี่ยวกับความเสี่ยงของ AI ที่มุ่งเน้นผู้กระทำส่วนใหญ่ รวมถึงคำอธิบายที่เราเขียนขึ้นสำหรับงานอีเวนต์ของเราเองด้วย หากสิ่งที่กำหนดผู้โจมตีคือเป้าหมายที่แตกต่างกันมากกว่าเจตนาร้ายแล้ว “ไม่มีผู้โจมตีในเรื่องนี้” ก็เป็นคำปลอบใจที่ไม่มีใครได้รับ ในเชิงโครงสร้างแล้ว มันก็คือความเสี่ยงเดียวกัน สิ่งที่ขาดหายไปคือเจตนา และเจตนาไม่เคยเป็นสิ่งที่ระบบควบคุมของคุณตรวจจับได้ พวกมันตรวจจับผลกระทบ พวกมันทำเช่นนั้นมาโดยตลอด

นี่จึงเป็นเหตุผลว่าทำไมคำศัพท์เฉพาะของอุตสาหกรรมจึงเปลี่ยนแปลงไป เช่น คำศัพท์ของ OWASP 10 อันดับแรกสำหรับการสมัครเรียน LLM ปี 2026 การส่งเสริมบทบาทของหน่วยงานที่มากเกินไปจากอันดับที่หกขึ้นมาเป็นอันดับที่สามนั้น ไม่ใช่การเปลี่ยนแปลงความคิดเห็นมากนัก แต่เป็นการที่บันทึกเหตุการณ์ตามทันสถาปัตยกรรมที่ถูกนำไปใช้งานแล้วมากกว่า

เหตุการณ์ "Hugging Face" แสดงให้เห็นอะไรบ้าง

เหตุการณ์ในเดือนกรกฎาคม ซึ่งโมเดลชายแดนโจมตีบุคคลที่สาม ถูกตีความอย่างกว้างขวางว่าเป็นเรื่องราวของโมเดลที่ก่อกบฏ แต่หลุยส์มองต่างออกไป และในมุมมองของเขา ความรับผิดชอบนั้นตกอยู่ที่คนที่ไม่น่าไว้วางใจ

“ปัญหาไม่ได้อยู่ที่แบบจำลองขอบเขต แบบจำลองขอบเขตได้ทำตามคำสั่งแล้ว ปัญหาอยู่ที่การออกแบบการทดลองต่างหาก”

เป้าหมายนั้นเปิดกว้าง ไม่มีข้อจำกัดใดๆ และแซนด์บ็อกซ์ที่ออกแบบมาเพื่อควบคุมเป้าหมายนั้นกลับมีช่องทางเชื่อมต่อกับอินเทอร์เน็ตผ่านช่องโหว่การปลอมแปลงคำขอฝั่งเซิร์ฟเวอร์ในแคชแพ็กเกจที่เอเจนต์สามารถเข้าถึงได้ ทั้งหมดนี้ล้วนเป็นข้อบกพร่องในการออกแบบcisไอออนที่สร้างขึ้นโดยบุคคล

ซึ่งจะนำไปสู่ประโยคที่จะเปลี่ยนวิธีการจัดเตรียมสิ่งเหล่านี้ของคุณ:

“โมเดลล้ำสมัยต้องถูกมองราวกับว่าเป็นมัลแวร์ เพราะพวกมันสามารถทำงานได้อย่างอิสระและทำลายล้างได้”cisไอออนที่เป็นอันตราย ไม่ได้ตั้งใจ แต่สุดท้ายแล้วมันก็เป็นอันตรายจริงๆ”

ไม่ได้เป็นการดูถูกโมเดลนะครับ แต่เป็นเรื่องของการวางแผนการจัดเตรียมทรัพยากร คุณไม่ควรให้มัลแวร์ใช้ Bash Shell แล้วหวังว่าเป้าหมายจะถูกกำหนดไว้อย่างชัดเจน

มุมมองของเปโดรเกี่ยวกับเหตุการณ์เดียวกันนี้ เน้นไปที่จังหวะเวลามากกว่าการวางแผน:

“ทันทีที่คุณเห็นเจ้าหน้าที่สื่อสารกันโดยใช้ชื่อโฟลเดอร์บนบริการที่พวกเขาไม่ควรใช้ คุณต้องหยุดเจ้าหน้าที่เหล่านั้นทันที คุณไม่จำเป็นต้องรอให้เจ้าหน้าที่เหล่านั้นเจาะระบบ Hugging Face ได้สำเร็จก่อนจึงจะตัดสินใจว่าเป็นการกระทำที่เป็นอันตรายหรือไม่”

มีรายละเอียดจากคำตอบอีกส่วนหนึ่งที่ควรจดจำไว้ ผู้ตอบสนองพยายามใช้เครื่องมือวิเคราะห์ข้อมูลเชิงพาณิชย์เพื่อวิเคราะห์ร่องรอย แต่ไม่สามารถทำได้เนื่องจากติดข้อจำกัดด้านอัตราการใช้งาน ในขณะที่ผู้โจมตีไม่มีข้อจำกัดดังกล่าว “การโจมตีนั้นมีความไม่สม่ำเสมอ”

ประเด็นถกเถียงที่แท้จริงคือ: จำกัดขอบเขตการทำงานของเอเจนต์ หรือฟื้นตัวได้เร็วขึ้น?

ตรงจุดนี้เองที่คณะกรรมการมีความเห็นแตกแยก และเป็นการไม่เห็นด้วยอย่างแท้จริงระหว่างผู้ปฏิบัติงานที่แต่ละคนต่างก็ได้รับตำแหน่งของตนมาด้วยความสามารถ

เปโดรเสนอแนวคิดเรื่องการสลายตัว ประสบการณ์สิบห้าปีในการผลักดันการแยกส่วนภายในเบราว์เซอร์สอนเขาว่า คุณไม่สามารถบังคับใช้สิ่งใดๆ กับระบบแบบโมโนลิธได้ในขณะรันไทม์ ต้องแบ่งสถาปัตยกรรมออกเป็นชิ้นเล็กๆ ที่มีหน้าที่เฉพาะเจาะจง แล้วจึงค่อยเชื่อมต่อจุดควบคุมและจุดตรวจสอบต่างๆ เอเจนต์ก็ไม่ต่างกัน

“ผมคิดว่าคุณต้องแบ่งงานออกเป็นตัวแทนเฉพาะกลุ่มที่ทำหน้าที่เฉพาะเจาะจงเท่านั้น และไม่สำคัญว่าคุณจะมีตัวแทนห้าสิบคนหรือไม่ มันดีกว่าการมีแค่คนเดียว”

แจ็คแย้งในทางตรงกันข้าม โดยเฉพาะอย่างยิ่งสำหรับเอเจนต์การเข้ารหัส คุณอาจคาดหวังว่าประสบการณ์การทำงานด้านเทคโนโลยีในตลาดซื้อขายคริปโตที่อยู่ภายใต้การกำกับดูแล จะทำให้ได้รับข้อจำกัดมากที่สุดในกลุ่ม แต่กลับกลายเป็นว่าได้รับข้อจำกัดน้อยที่สุด

การเปรียบเทียบเบื้องต้นของเขานั้นไม่ใช่แบบจำลองภัยคุกคามเลยแม้แต่น้อย:

“ผมมองการปฏิบัติงานของเจ้าหน้าที่ทั่วไปเหมือนกับการมองพนักงานใหม่ที่เพิ่งเข้ามาทำงาน คนๆ นั้นอาจทำงานได้อย่างสมบูรณ์แบบ หรืออาจทำผิดพลาดก็ได้ ผมไม่เห็นความแตกต่างมากนัก”

สำหรับเอเจนต์ที่ใช้งานเฉพาะด้าน เขาก็เข้มงวดไม่แพ้ใคร ขณะที่กำลังอธิบายเอเจนต์ตรวจสอบแบบอ่านอย่างเดียวที่เขากำลังสร้างอยู่ เขากล่าวอย่างตรงไปตรงมาว่าการตั้งค่าแบบทั่วไปนั้นไม่สามารถยอมรับได้: การติดตั้งลงบนเครื่อง Linux มาตรฐานที่มีสิทธิ์เข้าถึง bash นั้น “เป็นการเปิดช่องทางให้ภัยคุกคามเข้ามาได้ทั้งหมด” แต่สำหรับเอเจนต์ตรวจสอบโค้ดทั่วไปนั้น ตรรกะกลับตรงกันข้าม และเขารู้ว่าจุดยืนนี้ไม่เป็นที่นิยม:

“ยิ่งตัวแทนมีอำนาจมากเท่าไหร่ ก็ยิ่งมีความคิดสร้างสรรค์และมีประสิทธิภาพมากขึ้นเท่านั้น ดังนั้นจึงไม่ใช่เพราะอุตสาหกรรมนี้เจริญรุ่งเรืองเนื่องจากข้อจำกัดและการจำกัดขอบเขต”

ถ้าหากไม่จำกัดอะไรเลย จะเหลืออะไรอยู่บ้าง? ตัวตัดวงจร และเหนือสิ่งอื่นใดคือสแนปช็อตตามเวลา: ถึงแม้จะไม่สามารถป้องกันผลกระทบจากการระเบิดได้ทั้งหมด แต่ก็ทำให้การกู้คืนจากการระเบิดนั้นทำได้ง่ายและรวดเร็ว เขาได้สร้างสิ่งนั้นไว้ในระบบ สีเหลืองอำพันชุดเครื่องมือเอเจนต์ C++ ที่ไม่ต้องพึ่งพาไลบรารีใดๆ ซึ่งเขาเขียนขึ้นในเวลาว่าง โดยมีฟังก์ชันสแนปช็อตอยู่ในลูป (ที่ตั้งโครงการ).

และคำเตือนเกี่ยวกับจุดสิ้นสุดของเส้นทางอีกเส้นหนึ่ง:

“ถ้าเราเริ่มตัดสิ่งต่างๆ ออกไป จะเหลือเครื่องมือเพียงชิ้นเดียว และนักพัฒนาซอฟต์แวร์คนนั้นจะสามารถเปิดและปิดไฟได้”

หลุยส์ได้ตำแหน่งที่สามซึ่งไม่ใช่ทั้งการจำกัดหรือการกู้คืน แต่เป็นการควบคุมจากเบื้องล่าง: สมมติว่าในที่สุดเอเจนต์จะประพฤติตัวเหมือนมัลแวร์ ออกแบบระบบควบคุมเพื่อจำกัดเอเจนต์เฉพาะแต่ละตัว และวางเลเยอร์การบังคับใช้ไว้ข้างใต้ทั้งหมด ซึ่งจะคงอยู่เมื่อทุกอย่างที่อยู่ข้างบนล้มเหลว

สามแนวทางในการแก้ปัญหาเดียวกัน

มีสามตำแหน่ง แต่ละตำแหน่งมีค่าใช้จ่าย ไม่มีตำแหน่งใดฟรี และไม่มีตำแหน่งใดที่ทำให้ตัวแทนปลอดภัยได้ด้วยตัวเอง

เข้าใกล้การเคลื่อนไหวหลักค่าใช้จ่ายของคุณเท่าไหร่
ย่อยสลายเปโดร ฟอร์ตูนาเอเจนต์ขนาดเล็กจำนวนมาก แต่ละตัวมีสิทธิ์การเข้าถึงที่จำกัด บวกกับการตรวจสอบขณะทำงานที่ช่วยหยุดการทำงานของเอเจนต์เหล่านั้นตั้งแต่เนิ่นๆต้องใช้ความพยายามในการออกแบบตั้งแต่เริ่มต้น และจะยิ่งยากขึ้นเมื่อต้องทำงานเขียนโค้ดแบบไม่มีกรอบกำหนด
กู้แจ็ค เทรฟอนรักษาระบบการทำงานไว้ เพิ่มวงจรเบรกเกอร์และสแนปช็อตตามเวลา เพื่อให้การย้อนกลับมีต้นทุนต่ำรัศมีการระเบิดที่กว้างขึ้น และการเดิมพันกับการตรวจจับและแก้ไขให้ทันท่วงที
บรรจุจากด้านล่างหลุยส์ โรดริเกซ เบอร์โซซาสมมติพฤติกรรมของมัลแวร์ จำกัดขอบเขตของแต่ละเอเจนต์ในชุดควบคุม บังคับใช้ในระดับเวิร์กสเตชันและตัวรัน CIโครงสร้างพื้นฐานและเครื่องมือที่โซลูชันปลายทางส่วนใหญ่ยังไม่มีให้

เมื่ออ่านเปรียบเทียบกันแล้ว ความขัดแย้งนั้นแคบกว่าที่คิดไว้มาก ทั้งสามคนยอมรับว่าตัวแทนจะทำบางสิ่งบางอย่างที่ไม่ได้ตั้งใจไว้ พวกเขาแตกต่างกันตรงที่ว่าเงินควรนำไปใช้ในส่วนไหน: ใช้ไปกับงานสถาปัตยกรรมก่อนที่จะเกิดเหตุการณ์นั้นขึ้น ใช้ไปกับการฟื้นฟูหลังจากเกิดเหตุการณ์นั้นขึ้น หรือใช้ไปกับพื้นชั้นล่างของทั้งสองอย่าง

เหตุใดสิทธิ์ขั้นต่ำสุดจึงไม่หมายถึงความเสี่ยงของ AI ที่มีบทบาทเฉพาะตัว

หลักการให้สิทธิ์ขั้นต่ำสุดนั้นตั้งอยู่บนสมมติฐานว่าคุณรู้จักงานนั้นดี คุณจึงกำหนดขอบเขตสิทธิ์ให้เหมาะสมกับงานนั้น ๆ

เอเจนต์จะละเมิดกฎนั้นอย่างเงียบๆ เพราะขอบเขตการอนุญาตของมันถูกกำหนดไว้ตั้งแต่ขั้นตอนการตั้งค่า และภารกิจของมันจะเกิดขึ้นในระหว่างการทำงาน สิ่งที่คุณอนุญาตจริงๆ คือการรวมกันของทุกสิ่งที่มันอาจถูกขอให้ทำ นั่นไม่ใช่หลักการสิทธิ์ขั้นต่ำสุด แต่มันตรงกันข้าม เพียงแต่ว่ามันสวมบทบาทของหลักการสิทธิ์ขั้นต่ำสุดเท่านั้น

หลุยส์นำเสนอแนวคิดใหม่ที่หยิบยืมมาจากแนวคิดที่เก่าแก่กว่าสิ่งเหล่านี้ทั้งหมด:

“ผมคิดถึงกลไกการทำงานของ UNIX ที่เรียกว่า ‘piped’ ซึ่งเป็นการเชื่อมต่อเครื่องมือธรรมดาเข้าด้วยกันเพื่อทำงานที่ซับซ้อน คุณสามารถกำหนดเอเจนต์เฉพาะด้วยการตั้งค่าที่ควบคุมได้ จำกัดสิ่งที่เอเจนต์เฉพาะนั้นสามารถทำได้ และคุณสามารถรวมพวกมันเข้าด้วยกันเพื่อทำงานได้เกือบทุกอย่าง”

และไอเดียการออกแบบข้อที่สองที่ทีมส่วนใหญ่ยังไม่เคยลองใช้: ควรจำกัดการเข้าถึงเครื่องมือแทนที่จะขยายสิทธิ์การใช้งาน ไม่ใช่ bash ที่ส่งมอบระบบทั้งหมด แต่เป็นตัวห่อหุ้มที่จำกัด ซึ่งเป็นเส้นทางเดียวที่สามารถเรียกใช้งานได้ โดยมีเวอร์ชันแบบอ่านอย่างเดียวห่อหุ้มเวอร์ชันทั่วไปไว้ ตัวแทนจะได้รับความสามารถ ไม่ใช่เชลล์

เขายังชี้แจงอย่างชัดเจนว่าอุปสรรคไม่ได้อยู่ที่การออกแบบ แต่อยู่ที่การนำไปใช้งานจริง การควบคุมใหม่ ๆ บนเครื่องของนักพัฒนาซอฟต์แวร์นั้นมีประวัติการถูกหลีกเลี่ยงมาอย่างยาวนาน และประวัติศาสตร์นั้นจะไม่เปลี่ยนแปลงไปเพียงเพราะเครื่องมือที่กล่าวถึงนั้นเป็นตัวแทน

และเกี่ยวกับจุดจบที่เขาคิดว่าจะเป็นอย่างไร:

“ผมคิดว่าในท้ายที่สุดแล้ว เราจะมีตัวแทนอัตโนมัติที่ควบคุมตัวแทนอัตโนมัติอื่นๆ”

แล็ปท็อปกลายเป็นของล้ำค่าที่สุด และระบบ EDR ของคุณก็ยังไม่ทันสังเกตเห็น

เอเจนต์จำเป็นต้องมีสิทธิ์การเข้าถึงแบบต่อเนื่องจึงจะมีประโยชน์ โทเค็นที่ไม่หมดอายุระหว่างการทำงาน ข้อมูลประจำตัวที่แคชไว้ สิทธิ์ในการพุช สิทธิ์ในการเข้าถึงรีจิสทรี และเส้นทางที่ใช้งานได้จริงไปยังระบบ pipelineสิ่งเหล่านั้นล้วนเป็นข้อกำหนด ไม่ใช่ความผิดพลาด ซึ่งหมายความว่ายิ่งเครื่องมือดีขึ้นเท่าไร เครื่องจักรพัฒนาซอฟต์แวร์ก็ยิ่งมีความเข้มข้นมากขึ้นเท่านั้น

ผู้โจมตีสังเกตเห็นก่อน อย่างที่เปโดรกล่าวไว้ พวกเขาไม่ใช่พวกยึดมั่นในอุดมการณ์:

“พวกเขาจัดตั้งองค์กรเหมือนบริษัทเล็กๆ พวกเขาต้องการหารายได้ ดังนั้นพวกเขาจึงมองหาช่องทางที่ทำกำไรได้มากที่สุดเท่าที่จะหาได้ และพวกเขาก็เห็นได้อย่างรวดเร็วว่ามีเงินให้หาได้ในสถานีพัฒนาซอฟต์แวร์”

เราเฝ้าดูการเปลี่ยนแปลงนั้นในทะเบียนรายชื่อทุกสัปดาห์ บทสรุปโค้ดที่เป็นอันตรายซึ่งในปัจจุบัน โปรแกรมเก็บรวบรวมข้อมูลประจำตัวมักจะค้นหาคีย์ของผู้ให้บริการ AI ควบคู่ไปกับคีย์ของระบบคลาวด์และระบบลงทะเบียน

แนวทางการแก้ไขปัญหาของเขานั้นดูไม่หวือหวาแต่ได้ผล: ลบคีย์ทั้งหมดที่ไม่จำเป็นต้องอยู่ในเครื่อง จับคู่คีย์ที่เหลืออยู่กับปัจจัยยืนยันตัวตนที่สอง เช่น OpenID Connect หรือคีย์ฮาร์ดแวร์ เพื่อป้องกันไม่ให้โทเค็นที่ถูกขโมยเพียงอย่างเดียวเป็นหลักฐานยืนยันตัวตน และย้ายสภาพแวดล้อมออกจากเครื่องโฮสต์เท่าที่จะทำได้ ผ่านคอนเทนเนอร์สำหรับการพัฒนาหรือ IDE บนคลาวด์

จากนั้นหลุยส์ก็พูดประเด็นที่ควรทำให้ทุกคนที่คิดว่าระบบรักษาความปลอดภัยปลายทางของตนครอบคลุมเรื่องนี้แล้ว ต้องกังวล:

“ระบบ EDR เชี่ยวชาญด้านมัลแวร์แบบดั้งเดิมและไม่รู้จักเครื่องมือเอเจนต์ และหากใช้งานได้ ก็อาจทำให้เกิดผลลัพธ์ที่ผิดพลาดจำนวนมาก เนื่องจากเอเจนต์กำลังทำงานในสิ่งที่รูปแบบการตรวจจับยังไม่สามารถรับรู้ได้ในปัจจุบัน”

เกิดความล้มเหลวสองอย่างพร้อมกัน: มันมองข้ามสิ่งที่สำคัญและแจ้งเตือนสิ่งที่ไม่สำคัญ คำตอบของเขาคือเลเยอร์การบังคับใช้ภายนอกที่อยู่รอบเวิร์กสเตชันของนักพัฒนาและตัวรัน CI ซึ่งอยู่ต่ำกว่าระบบควบคุม จะจำกัดขอบเขตที่เอเจนต์ที่ไม่พึงประสงค์สามารถเข้าถึงได้ นั่นคือช่องว่าง ไซเกนี Shield ถูกสร้างขึ้นมาโดยมีการบังคับใช้นโยบายที่ปลายทางซึ่งเป็นจุดที่ทำการติดตั้งจริง

แจ็คพูดตรงๆ ว่า: อย่าเก็บ Bitcoin ไว้ในเครื่องคอมพิวเตอร์สำหรับพัฒนาโปรแกรมของคุณ

พื้นชั้นที่ทั้งสามคนเห็นพ้องกัน

สามคำตอบที่แตกต่างกัน แต่มีขั้นต่ำร่วมกันหนึ่งอย่าง

  • ตรวจสอบสินค้าคงคลังก่อน “คุณไม่สามารถปกป้องสิ่งที่คุณไม่รู้จักได้” (ข้อความต้นฉบับไม่ชัดเจน)cisการทำงานของ ion ขึ้นอยู่กับการรู้ว่ามีเอเจนต์ ทักษะ และเซิร์ฟเวอร์ MCP ใดบ้าง และแทบไม่มีการประกาศใดๆ เลย
  • บันทึกทุกการกระทำ แจ็คและหลุยส์เดินทางมาที่นี่จากทิศทางตรงกันข้าม แจ็คต้องการร่องรอยเพราะมันคือสิ่งที่จะทำให้ฟื้นตัวและทำให้องค์กรเติบโต หลุยส์ต้องการร่องรอยเพราะหากไม่มีร่องรอยเหล่านั้น คุณจะไม่สามารถสร้างภาพความเสียหายที่เกิดขึ้นได้ในภายหลัง แนวคิดของแจ็คนั้นน่านำไปใช้: การสอบสวนตัวผู้กระทำ ไม่ว่าจะเป็นมนุษย์หรือตัวแทนนั้นไม่มีประโยชน์ มีเพียงการทำความเข้าใจบริบทให้ดีพอที่จะไม่ทำซ้ำเท่านั้น
  • สิ่งที่ขัดขวางการทำงานของเจ้าหน้าที่ต้องอยู่นอกตัวเจ้าหน้าที่ การตรวจสอบขณะทำงานของเปโดร, ชั้นบังคับใช้ของหลุยส์, ตัวตัดวงจรและสแนปช็อตของแจ็ค กลไกที่แตกต่างกัน แต่มีหลักการเดียวกัน

แจ็คได้เสนอแนวคิดที่ช่วยให้เข้าใจถึงสถานะของอุตสาหกรรมในปัจจุบันได้ดียิ่งขึ้น เขาจำอีเมลสแปมฉบับแรกที่เคยได้รับ ซึ่งบอกเขาว่าเขาได้รับมรดกเป็นเหมืองทองคำในไนจีเรีย นี่เป็นปัญหาเรื่องวุฒิภาวะ และวุฒิภาวะนั้นมักเกิดขึ้นหลังจากความผิดพลาด ไม่ใช่ก่อนหน้านั้น

สิ่งที่ต้องทำก่อนวันศุกร์

เลือกเอเจนต์หนึ่งคน เขียนรายการสองรายการ: สิ่งที่เอเจนต์นั้นได้รับอนุญาตให้ทำ และสิ่งที่เอเจนต์นั้นถูกขอให้ทำจริง ๆ ในสัปดาห์นี้

ช่องว่างระหว่างรายการเหล่านั้นคือรัศมีผลกระทบของคุณ และเป็นมาตรวัดความเสี่ยงของ AI ที่เป็นอันตรายที่มีประโยชน์ที่สุดที่ทีมของคุณสามารถสร้างได้ภายในเวลาบ่ายเดียว ใช้เวลาเพียงบ่ายเดียว ไม่ต้องใช้งบประมาณ และช่วยยุติข้อโต้แย้งข้างต้นสำหรับองค์กรของคุณเอง เพราะทั้งสามตำแหน่งนั้นเป็นคำตอบที่แตกต่างกันสามคำตอบสำหรับคำถามที่ว่าช่องว่างนั้นควรมีขนาดใหญ่แค่ไหน

ทีมส่วนใหญ่ไม่เคยจดบันทึกเรื่องนี้ลงไป

การขอ ชั่วโมงเต็ม สามารถรับชมย้อนหลังได้ รวมถึงประเด็นที่แจ็คพูดถึงว่าทำไมข้อกำหนดเรื่องมนุษย์มีส่วนร่วมในกระบวนการทำงานในยุโรปจึงทำให้ระบบป้องกัน AI บางอย่างไม่สามารถนำไปใช้ได้จริงในทางปฏิบัติ 

และหากการออกกำลังกายcise ส่งคำตอบที่คุณไม่ชอบกลับมา ไซเกนี ค้นหาข้อมูลสินทรัพย์ AI ทั้งหมดในคลังข้อมูลของคุณ รวมถึงเอเจนต์ ทักษะ และเซิร์ฟเวอร์ MCP ที่ไม่มีใครประกาศ และระบุว่าแต่ละรายการสามารถเข้าถึงอะไรได้บ้าง จองตัวอย่าง or เริ่มใช้งานฟรี แล้วเราจะลองรันมันบนเครื่องของคุณ

คำถามที่พบบ่อย

รัศมีของการระเบิดของเอージェนต์ AI คืออะไร?

ทุกสิ่งที่เอเจนต์สามารถเข้าถึงได้หากเกิดข้อผิดพลาด ซึ่งแตกต่างจากสิ่งที่ได้รับมอบหมายให้ทำ สิ่งเหล่านี้ถูกกำหนดโดยสิทธิ์ การรับรอง และเครื่องมือที่มีให้ใช้งานในขณะรันไทม์ ไม่ใช่โดยงานที่ได้รับมอบหมาย ช่องว่างระหว่างสองสิ่งนี้คือสิ่งที่ควรค่าแก่การวัด และทีมส่วนใหญ่ไม่เคยจดบันทึกมันไว้

หากเอเจนต์ไม่เคยละเมิดสิทธิ์ที่ได้รับมอบหมาย การกระทำที่เกินขอบเขตหน้าที่ของตนถือเป็นเหตุการณ์ด้านความปลอดภัยหรือไม่?

นั่นคือประเด็นหลักที่ขัดแย้งกัน คำตอบของเปโดรนั้นโดยพื้นฐานแล้วคือใช่ เพราะผู้โจมตีถูกนิยามด้วยการเบี่ยงเบนเป้าหมายมากกว่าความมุ่งร้าย และตัวแทนที่ไม่สอดคล้องกันก็คือผู้ที่เบี่ยงเบนเป้าหมายไปแล้ว คำตอบของแจ็คใกล้เคียงกับคำว่าไม่ใช่มากกว่า: มันเป็นความล้มเหลวในการปฏิบัติงานเหมือนความผิดพลาดของพนักงานใหม่ และการตอบสนองที่ถูกต้องคือการติดตามและแก้ไขมากกว่าการกำหนดข้อจำกัดที่เข้มงวดมากขึ้น หลุยส์หลีกเลี่ยงคำถามโดยการสมมติกรณีที่เลวร้ายที่สุดตั้งแต่เริ่มต้นและถามว่าส่วนใดที่ยังคงใช้งานได้เมื่อมันเกิดขึ้น

ควรมีการจำกัดการทำงานของเอเจนต์การเขียนโค้ดหรือไม่?

สำหรับเอเจนต์ที่ทำงานเฉพาะด้านและแคบๆ ทั้งสามคนตอบตกลงโดยไม่ลังเล: อ่านอย่างเดียวเท่าที่ทำได้ ไม่ใช้ bash และไม่ใช้เครือข่ายเว้นแต่จำเป็น สำหรับเอเจนต์ที่เขียนโค้ดทั่วไป คณะกรรมการแบ่งออกเป็นสามส่วน: เปโดรจะทำการแยกย่อย แจ็คจะคงความสามารถไว้และบันทึกภาพรวมอย่างเข้มงวด และหลุยส์จะเพิ่มเลเยอร์การบังคับใช้ไว้ด้านล่างของระบบควบคุมโดยไม่คำนึงถึงสิ่งที่เอเจนต์ได้รับอนุญาตให้ทำ

ระบบ EDR ของฉันครอบคลุมความเสี่ยงจาก AI ที่เป็นอันตรายหรือไม่?

อาจจะไม่ดีนัก เครื่องมือตรวจจับปลายทางในปัจจุบันสร้างขึ้นจากรูปแบบมัลแวร์แบบดั้งเดิมและไม่ได้จำลองพฤติกรรมของเอเจนต์ ดังนั้นจึงมักพลาดสิ่งที่สำคัญและแจ้งเตือนสิ่งที่ไม่เกี่ยวข้อง คำตอบของหลุยส์คือเลเยอร์การบังคับใช้ภายนอกที่ออกแบบมาสำหรับสภาพแวดล้อมของนักพัฒนามากกว่าที่จะเป็น EDR อเนกประสงค์

สิ่งแรกที่ควรทำคืออะไร?

สร้างรายการสินค้าคงคลัง ระบุทุกโมเดล เอเจนต์ ทักษะ และเซิร์ฟเวอร์ MCP ในคลังข้อมูลของคุณ รวมถึงสิ่งที่แต่ละรายการสามารถเข้าถึงได้ นี่คือขั้นตอนสำคัญที่ผู้เชี่ยวชาญทั้งสามท่านกล่าวถึง และเป็นขั้นตอนเดียวที่การควบคุมอื่นๆ ทั้งหมดต้องพึ่งพา

sca-tools-software-composition-analysis-tools
จัดลำดับความสำคัญ แก้ไข และรักษาความปลอดภัยความเสี่ยงด้านซอฟต์แวร์ของคุณ
สมัครบัญชีฟรีได้เลย
ไม่ต้องใช้บัตรเครดิต

รักษาความปลอดภัยในการพัฒนาและส่งมอบซอฟต์แวร์ของคุณ

ด้วยชุดผลิตภัณฑ์ Xygeni