ภัยคุกคามด้านความปลอดภัยของ AI

ภัยคุกคามด้านความปลอดภัยของ AI 10 อันดับแรก และวิธีการระบุและวิเคราะห์ภัยคุกคามเหล่านั้น

TL; DR

"ภัยคุกคามด้านความปลอดภัยของ AI" ครอบคลุมสองสิ่งแตกต่างกัน ได้แก่ การโจมตีที่มุ่งเป้าไปที่ระบบ AI และการโจมตีที่ใช้ AI เป็นอาวุธ สิ่งเหล่านี้ต้องการการควบคุมที่แตกต่างกัน เจ้าของที่แตกต่างกัน และหลักฐานที่แตกต่างกัน และรายการส่วนใหญ่มักผสมผสานสิ่งเหล่านี้เข้าด้วยกัน ซึ่งเป็นเหตุผลว่าทำไมจึงยากต่อการนำไปปฏิบัติ ห้าข้อแรกด้านล่างมุ่งเป้าไปที่ AI ของคุณ ส่วนห้าข้อหลังใช้ AI โจมตีห่วงโซ่อุปทานของคุณ

  • ภัยคุกคามต่อระบบ AI ส่วนใหญ่เกิดจากการตั้งค่า ไม่ใช่จากตัวโมเดลเอง ขอบเขตของเครื่องมือ ข้อมูลประจำตัวที่เอเจนต์ใช้ในการทำงาน ไฟล์กฎ และอื่นๆ .mcp/servers.json ทางเข้า ไม่มีส่วนใดสามารถเข้าถึงได้จากปลายทางของโมเดล ซึ่งเป็นเหตุผลว่าทำไมการทดสอบด้วยทีมแดงจึงไม่พบสิ่งผิดปกติใดๆ
  • การโจมตีที่ขับเคลื่อนด้วย AI ส่วนใหญ่เข้ามาทางระบบที่มีความสัมพันธ์กัน ไม่ใช่ผ่านทางระบบรักษาความปลอดภัยของคุณ ชื่อแพ็กเกจปลอมที่ผู้โจมตีลงทะเบียนไว้ เวิร์มที่แพร่กระจายตัวเองโดยใช้ข้อมูลประจำตัวของนักพัฒนา และคีย์ผู้ให้บริการ AI เป็นเป้าหมาย
  • เก้าในสิบคำถามเป็นคำถามเกี่ยวกับสิ่งเฉพาะเจาะจง เอกสารนโยบายไม่ได้ให้คำตอบใดๆ เลย ไม่ว่าจะเป็นเซิร์ฟเวอร์ MCP ตัวไหน เอเจนต์ตัวไหน ขอบเขตไหน ข้อมูลรับรองไหน ไฟล์กฎไหน หรือแพ็กเกจไหน
  • ทั้งสิบข้อมีเงื่อนไขเบื้องต้นร่วมกัน คุณไม่สามารถปกป้องสินทรัพย์ AI ที่คุณไม่เคยทำแผนที่มาก่อนได้ ซึ่งทำให้การค้นพบกลายเป็นขั้นตอนก่อนการควบคุม มากกว่าจะเป็นขั้นตอนหลังจากนั้น

ภัยคุกคามด้านความปลอดภัยของ AI มีกี่ประเภท?

รายการภัยคุกคามด้านความปลอดภัยของ AI ส่วนใหญ่จะผสมผสานทั้งสองอย่างเข้าด้วยกัน ซึ่งเป็นเหตุผลที่ทำให้ยากต่อการดำเนินการแก้ไข

  • ภัยคุกคามต่อระบบ AI จงมอง AI ของคุณเป็นเป้าหมาย หากมีคนดัดแปลงโมเดล บิดเบือนคำสั่งที่มันปฏิบัติตาม หรือใช้สิทธิ์ที่มอบให้ตัวแทนในทางที่ผิด หน้าที่ของผู้ป้องกันคือการควบคุม: ลดขอบเขตที่ AI ที่ถูกบุกรุกสามารถเข้าถึงได้
  • การโจมตีที่ขับเคลื่อนโดย AI จงมอง AI เป็นเครื่องมือของผู้โจมตี เป้าหมายคือซอฟต์แวร์ทั่วไปของคุณ: ส่วนประกอบต่างๆ ข้อมูลประจำตัว ระบบการสร้าง และนักพัฒนา หน้าที่ของผู้ป้องกันคือการตรวจจับอย่างรวดเร็ว เพราะเศรษฐศาสตร์ของการโจมตีได้เปลี่ยนแปลงไปและปริมาณการโจมตีเพิ่มสูงขึ้น

พวกเขาต้องการการควบคุมที่แตกต่างกัน เจ้าของที่แตกต่างกัน และหลักฐานที่แตกต่างกัน ทีมที่ทำการทดสอบเจาะระบบ (red-team) กับแชทบอทแล้ว อาจไม่ได้ดำเนินการใดๆ เกี่ยวกับการละเมิดลิขสิทธิ์ ทีมที่มีการตรวจสอบความสัมพันธ์ของข้อมูลที่ดีเยี่ยม อาจยังคงใช้งานเอเจนต์ที่มีสิทธิ์เขียนไปยังที่เก็บข้อมูลในระบบการผลิตโดยไม่มีการจำกัดขอบเขต ทั้งสองอย่างเป็นภัยคุกคามด้านความปลอดภัยของ AI และไม่มีสิ่งใดครอบคลุมอีกสิ่งหนึ่ง

ภัยคุกคามต่อระบบ AI: 5 ภัยคุกคามที่พบได้บ่อยที่สุด

01. การฉีดแบบทันทีที่ไปถึงตัวรับเครื่องมือ

เนื้อหาที่ไม่น่าเชื่อถือเข้ามา ถูกนำไปรวมไว้ในข้อความแจ้งเตือนของระบบ และเอเจนต์ที่ปลายอีกด้านหนึ่งสามารถเรียกใช้เครื่องมือได้ ข้อความแจ้งเตือนนั้นไม่ใช่ช่องโหว่ แต่เส้นทางจากข้อมูลที่ไม่น่าเชื่อถือไปสู่ความสามารถที่เป็นอันตรายต่างหากที่เป็นช่องโหว่

นี่คือเหตุผลว่าทำไมการกรองข้อความแจ้งเตือนเพียงอย่างเดียวจึงน่าผิดหวัง มันทำให้ปลายด้านหนึ่งของห่วงโซ่แข็งตัว ในขณะที่คำถามที่น่าสนใจคือ มีตัวกั้นอยู่ระหว่างอินพุตและการเรียกใช้เครื่องมือหรือไม่ OWASP Top 10 สำหรับการสมัครเรียน LLM ทำให้การฉีดทันทีเป็นสิ่งสำคัญอันดับต้น ๆ แต่ก็จับคู่กับการควบคุมที่มากเกินไปด้วยเหตุผลนี้เช่นกัน

สิ่งที่มองหา: การป้อนข้อมูลที่ไม่น่าเชื่อถือเข้าสู่ข้อความแจ้งเตือนของระบบ การดึงข้อมูลป้อนบริบทโดยไม่มีการตรวจสอบความถูกต้อง และการเข้าถึงเครื่องมือโดยไม่มีระบบป้องกันใดๆ คั่นกลาง

02. กฎและไฟล์ทักษะที่เป็นอันตราย

ไฟล์กฎเป็นไฟล์ข้อความธรรมดา committed เหมือนเอกสารและได้รับการตรวจสอบเหมือนเอกสาร และมันจะแนะนำผู้ช่วยว่าควรทำอย่างไร อักขระที่มีความกว้างเป็นศูนย์ทำให้มองไม่เห็นบรรทัดใน pull request แตกต่างออกไป แต่ยังคงอ่านได้ชัดเจนสำหรับตัวแทน

ไมเตอร์แอตลาส จัดหมวดหมู่สิ่งนี้เป็นไฟล์กฎช่องโหว่ (Rules File Backdoor) กรณีศึกษา AML.CS0041 ผู้ตรวจสอบอนุมัติรูปแบบการจัดเรียงข้อมูล ตัวแทนอ่านคำสั่งให้นำเข้าจากแพ็กเกจที่ผู้โจมตีควบคุม และไม่ต้องกล่าวถึงเรื่องนี้

สิ่งที่มองหา: ไฟล์กฎ ไฟล์ทักษะ และแม่แบบคำถามจะถูกวิเคราะห์ในรูปแบบโค้ดแทนที่จะเป็นข้อความ โดยมีการตรวจจับอักขระที่มองไม่เห็น

03. การกำหนดค่าเซิร์ฟเวอร์ MCP ที่ไม่ปลอดภัย

การกำหนดค่า MCP เป็นบริเวณที่เอเจนต์รับคำสั่งและเป็นที่ที่ข้อมูลประจำตัวสะสมอยู่ ทั้งสองส่วนล้วนเป็นปัญหา ช่องโหว่ CVE-2025-6514 ซึ่งเปิดเผยในเดือนกรกฎาคม 2025 เป็นช่องโหว่การแทรกคำสั่งระบบปฏิบัติการที่ร้ายแรงใน MCP bridge ที่ใช้งานกันอย่างแพร่หลาย โดยมีคะแนน CVSS 9.6 และอนุญาตให้ใช้คำสั่งตามอำเภอใจบนโฮสต์ไคลเอ็นต์เมื่อเชื่อมต่อกับเซิร์ฟเวอร์ที่ไม่น่าเชื่อถือ

ส่วนที่เป็นข้อมูลประจำตัวนั้นแย่กว่า เพราะมันเป็นแบบไม่เชิงรุก การวิจัยในปี 2026 พบว่ามีข้อมูลลับมากกว่า 24,000 รายการอยู่ในไฟล์การกำหนดค่า MCP บน GitHub สาธารณะ โดยกว่า 2,000 รายการยังคงใช้งานได้อยู่

สิ่งที่มองหา: การตรวจสอบรายชื่อเซิร์ฟเวอร์ MCP ที่ใช้งานอยู่ เวอร์ชัน เครื่องมือที่ระบุไว้ และการตรวจจับความลับที่ทำงานบนไฟล์การกำหนดค่า

04. อำนาจที่มากเกินไป

เอเจนต์ที่ได้รับเครื่องมือมากมายและข้อมูลประจำตัวที่มีอายุการใช้งานยาวนานนั้น เปรียบเสมือนช่องโหว่ที่รอการกระตุ้นอยู่เสมอ ไม่จำเป็นต้องมีการโจมตีใดๆ ก็สามารถสร้างความเสียหายได้ เอเจนต์ที่สับสนและเอเจนต์ที่ถูกบุกรุกต่างก็สร้างความเสียหายในลักษณะเดียวกัน เมื่อทั้งคู่มีสิทธิ์ในการเขียนข้อมูลที่ไม่เคยจำเป็น

นี่คือสิ่งที่ดูไม่น่าสนใจที่สุดในรายการและเป็นสิ่งที่พบได้บ่อยที่สุด นอกจากนี้ยังมีวิธีแก้ไขที่ถูกที่สุด ซึ่งก็คือการลดขอบเขต แต่ก็แทบไม่มีใครใช้วิธีนี้เพราะไม่มีใครเป็นเจ้าของคำถามนั้นอย่างแท้จริง

สิ่งที่มองหา: มีเอเจนต์ใดบ้าง แต่ละเอเจนต์สามารถเรียกใช้สิ่งใดได้บ้าง ภายใต้สิทธิ์ของใคร และมีใครอนุมัติขอบเขตนั้นหรือไม่

05. โมเดล ข้อมูล และการพึ่งพา AI ที่ปนเปื้อน

ระบบ AI นั้นสร้างขึ้นจากแพ็กเกจทั่วไปและไฟล์ที่จัดเก็บไว้ในเซิร์ฟเวอร์ โมเดลต่างๆ ถูกดาวน์โหลดจากแหล่งรวมข้อมูลสาธารณะ ชุดข้อมูลถูกดึงมาจากที่ใดก็ได้ ทั้งสองอย่างล้วนมีปัญหาเรื่องแหล่งที่มาเหมือนกับการพึ่งพาอื่นๆ เพียงแต่มีเครื่องมือและวิธีการตรวจสอบที่น้อยกว่ามาก

สิ่งที่มองหา: แบบจำลอง กรอบการทำงาน และชุดข้อมูลต่างๆ ถือเป็นส่วนประกอบของห่วงโซ่อุปทาน โดยมีการวิเคราะห์องค์ประกอบและการดำเนินการแบบเดียวกัน การติดตาม CVE เช่นเดียวกับส่วนประกอบอื่นๆ ของคุณ

การโจมตีที่ขับเคลื่อนด้วย AI: 5 รูปแบบที่กำลังเปลี่ยนแปลงห่วงโซ่อุปทานของคุณ

06. การนั่งยองๆ บนที่สูง

งานวิจัยที่นำเสนอในงาน USENIX Security ปี 2025 ได้สร้างตัวอย่างโค้ด 2.23 ล้านตัวอย่างจาก 16 โมเดล และพบว่า 19.7% ของแพ็กเกจที่แนะนำนั้นไม่มีอยู่จริง ทำให้เกิดชื่อปลอมที่ไม่ซ้ำกันกว่า 205,000 ชื่อ โดยประมาณ 43% ของชื่อเหล่านั้นปรากฏซ้ำในการรันพรอมต์เดียวกันหลายครั้ง ซึ่งทำให้สามารถนำไปใช้ในการฟาร์มได้

ผู้โจมตีไม่จำเป็นต้องเจาะระบบผู้ดูแลระบบอีกต่อไปแล้ว พวกเขาจะลงทะเบียนชื่อที่ตัวแทนของคุณคิดขึ้นมา และรอการติดตั้ง แพ็กเกจนี้ไม่มีลายเซ็นและไม่มีคำแนะนำใดๆ เนื่องจากเป็นของใหม่และไม่มีใครเคยเห็นมาก่อน

สิ่งที่มองหา: การคัดกรองมัลแวร์ที่พิจารณาจากพฤติกรรมมากกว่าชื่อเสียง โดยนำไปใช้กับทุกส่วนประกอบที่เอเจนต์เพิ่มเข้ามา

07. หนอนห่วงโซ่อุปทานที่แพร่พันธุ์ได้เอง

การขอ หนอน npm เดือนกันยายน 2025 นับเป็นจุดที่เครื่องของนักพัฒนาซอฟต์แวร์กลายเป็นกลไกในการส่งมอบแทนที่จะเป็นเป้าหมาย รูปแบบนี้เกิดขึ้นซ้ำในวงกว้างตลอดปี 2026 ข้อมูลประจำตัวของนักพัฒนาซอฟต์แวร์ที่ถูกบุกรุกแต่ละครั้งจะเผยแพร่แพ็กเกจที่ถูกบุกรุกในรอบถัดไป และรัศมีของผลกระทบจะทวีคูณแทนที่จะเพิ่มขึ้น

สิ่งที่มองหา: กิจกรรมการตีพิมพ์ที่ผิดปกติ ไม่ธรรมดา commit รูปแบบและการใช้ข้อมูลประจำตัวที่ไม่ตรงกับพฤติกรรมปกติของนักพัฒนา

08. การกำหนดเป้าหมายข้อมูลประจำตัว AI โดยรัฐชาติ

ในเดือนมีนาคม 2026 แพ็กเกจที่มีการดาวน์โหลดประมาณ 100 ล้านครั้งต่อสัปดาห์ถูกเจาะระบบเป็นระยะเวลาไม่กี่ชั่วโมง โดยมีเป้าหมายคือคีย์ API ของผู้ให้บริการ AI ช่วงเวลาดังกล่าวถูกกำหนดให้สั้นอย่างจงใจ นานพอที่จะเก็บเกี่ยวข้อมูลได้ แต่สั้นพอที่จะลดโอกาสในการตรวจจับ

ปัจจุบัน ข้อมูลประจำตัว AI กลายเป็นเป้าหมายสำคัญอย่างยิ่ง เนื่องจากใช้ในการซื้อทรัพยากรการประมวลผล การเข้าถึง และตัวตนที่ดูน่าเชื่อถือ การโจมตีที่มุ่งขโมยข้อมูลประจำตัวเหล่านี้เพิ่มขึ้นอย่างมากระหว่างปลายปี 2025 ถึงต้นปี 2026

สิ่งที่มองหา: คีย์ของผู้ให้บริการ AI ถือเป็นความลับที่มีระบบการตรวจจับและการเพิกถอนเช่นเดียวกับข้อมูลประจำตัวบนระบบคลาวด์

09. มัลแวร์ที่สร้างหรือฝังโดยใช้ LLM

ในปี 2026 มีรายงานกรณีที่แบบจำลองภาษาถูกนำมาใช้เป็นอาวุธเพื่อฝังโค้ดที่เป็นอันตรายลงในเวิร์กโฟลว์ของเอเจนต์ ความสำคัญไม่ได้อยู่ที่ว่ามัลแวร์นั้นเป็นของใหม่ แต่เป็นเพราะการระบุผู้สร้างมัลแวร์ไม่ได้เป็นอุปสรรคอีกต่อไป และปริมาณโค้ดที่เป็นอันตรายที่ดูน่าเชื่อถือซึ่งผู้โจมตีสามารถใช้ได้นั้นเพิ่มขึ้นตามไปด้วย

สิ่งที่มองหา: การค้นพบ นั่นไม่ได้ขึ้นอยู่กับว่าคุณเคยเห็นตัวอย่างมาก่อนหรือไม่

10. ทบทวนภาวะกำลังการผลิตที่ลดลง

ข้อนี้ไม่ใช่การโจมตี ซึ่งเป็นเหตุผลว่าทำไมมันถึงอยู่ลำดับสุดท้ายและสำคัญที่สุด เมื่อเอเจนต์สร้างไฟล์ขึ้นมาเป็นพันไฟล์ในหนึ่งสัปดาห์ การตรวจสอบโค้ดจะหยุดเป็นการควบคุมและกลายเป็นเพียงคิวงาน ภัยคุกคามอื่นๆ ในรายการนี้จะง่ายขึ้นเมื่อการตรวจสอบโดยมนุษย์ครั้งสุดท้ายรับมือไม่ไหว

สิ่งที่มองหา: ผลการค้นหาถูกจัดอันดับตามความสามารถในการถูกโจมตีมากกว่าความรุนแรงโดยตรง ดังนั้นจำนวนน้อยที่คุกคามการผลิตจึงไปถึงมือผู้พัฒนาได้

ภัยคุกคามทั้งสิบประการคือแผนที่ การจะรับมือกับแต่ละภัยคุกคามนั้นใช้เวลานานกว่าบทความในบล็อก ดังนั้นเราจึงได้พูดคุยกันอย่างจริงจัง ในเอพิโซดนี้ SafeDev TalksJesús Cuadrado ซีอีโอของ Xygeni นั่งคุยกับ Atanas Nikolov ผู้เชี่ยวชาญด้าน DevSecOps และ SSDLC หัวหน้าทีมเทคนิค ด้านมัลแวร์แบบโพลีมอร์ฟิก การแทรกข้อความแจ้งเตือน การดัดแปลงโมเดล และสิ่งที่สามารถป้องกันสิ่งเหล่านี้ได้จริง ไม่มีรูปแบบ ไม่มีประตู

เหตุใดคุณจึงไม่สามารถปกป้องทรัพย์สิน AI ที่คุณยังไม่ได้ทำแผนที่ไว้ได้?

ลองอ่านทั้งสิบข้ออีกครั้ง แล้วจะสังเกตเห็นรูปแบบได้ไม่ยาก เก้าข้อเป็นคำถามเกี่ยวกับสิ่งเฉพาะเจาะจง เช่น เซิร์ฟเวอร์ MCP ตัวไหน เอเจนต์ตัวไหน ขอบเขตไหน ข้อมูลรับรองไหน ไฟล์กฎไหน และแพ็กเกจไหน

ไม่มีคำถามใดที่สามารถตอบได้จากเอกสารนโยบาย คำตอบต้องมาจากรายการสินค้าคงคลัง และองค์กรส่วนใหญ่ไม่มีรายการสินค้าคงคลังนั้น ปัญญาประดิษฐ์ (AI) เกิดขึ้นจากนักพัฒนาที่ทำงานอย่างรวดเร็ว โดยไม่มีการออกตั๋ว ไม่มีกระบวนการจัดซื้อ หรือการบันทึกในคลังข้อมูลที่ระบุว่าเป็น AI

นั่นทำให้การทำแผนที่กลายเป็นเงื่อนไขเบื้องต้นมากกว่าขั้นตอนแรก โปรแกรมป้องกันภัยคุกคามด้านความปลอดภัยของ AI ที่เริ่มต้นด้วยการควบคุม จะนำไปใช้กับ AI ที่มันรู้จัก ซึ่งเป็นเพียงส่วนย่อยที่มันไม่สามารถประเมินขนาดได้ การค้นหาข้อมูลต้องมาก่อน: โมเดล เฟรมเวิร์ก ชุดข้อมูล จุดสิ้นสุดการอนุมาน เอเจนต์ เซิร์ฟเวอร์ MCP ทักษะ ข้อความแจ้งเตือน และเครื่องมือเขียนโค้ด AI ที่นักพัฒนาของคุณใช้จริง พร้อมความสัมพันธ์ระหว่างกัน เพราะสินทรัพย์เพียงอย่างเดียวบอกอะไรคุณได้น้อยมาก และความเสี่ยงจะกระจุกตัวอยู่ในห่วงโซ่

การขอ กรอบการบริหารความเสี่ยง NIST AI จึงจัดวางแผนที่ไว้ก่อนการวัดและการจัดการด้วยเหตุผลเดียวกัน นั่นคือเป็นฟังก์ชันที่น่าสนใจน้อยที่สุดในเฟรมเวิร์ก และเป็นฟังก์ชันที่ทุกอย่างขึ้นอยู่กับมัน

คุณควรดำเนินการกับภัยคุกคามด้านความปลอดภัยของ AI ใดก่อนเป็นอันดับแรก?

ไม่ใช่ระบบที่ซับซ้อนที่สุด แต่เข้าถึงได้ง่ายที่สุด

  • ในสัปดาห์นี้: นับจำนวนเซิร์ฟเวอร์ MCP ของคุณและตรวจสอบไฟล์การกำหนดค่าด้วยการตรวจจับความลับ ภัยคุกคามหมายเลข 03 มีอัตราส่วนความเสี่ยงต่อความพยายามสูงที่สุดในรายการ และแทบไม่มีใครตรวจสอบเลย
  • เดือนนี้: ค้นหาเอเจนต์ของคุณและจดบันทึกว่าแต่ละตัวสามารถเรียกใช้อะไรได้บ้าง และใช้สิทธิ์ของใคร วิธีนี้จะช่วยจัดการกับภัยคุกคามหมายเลข 04 ซึ่งเป็นภัยคุกคามที่พบบ่อยที่สุดและลดต้นทุนได้ง่ายที่สุด
  • ไตรมาสนี้: ควรติดตั้งการคัดกรองมัลแวร์เชิงพฤติกรรมไว้ด้านหน้าของทุกส่วนประกอบที่เอเจนต์เพิ่มเข้ามา ซึ่งจะครอบคลุมภัยคุกคามหมายเลข 06, 07 และ 09 ในคราวเดียว เนื่องจากทั้งสามภัยคุกคามนี้สามารถหลบเลี่ยงการตรวจสอบตามชื่อเสียงได้เพราะเป็นภัยคุกคามใหม่

อย่างอื่นสามารถรอได้หลังจากสามสิ่งนั้น เพราะอย่างอื่นล้วนตั้งอยู่บนสมมติฐานว่าคุณรู้อยู่แล้วว่าคุณมีอะไรอยู่บ้าง

องค์กรที่จะรับมือกับภัยคุกคามด้านความปลอดภัยจาก AI ได้ดีในปี 2027 จะไม่ใช่องค์กรที่มีการประเมินโมเดลที่ดีที่สุด แต่จะเป็นองค์กรที่สามารถตอบได้ในวันอังคารใดๆ ก็ตาม ว่ามี AI อะไรทำงานอยู่ในซอฟต์แวร์ของตน และ AI นั้นได้รับอนุญาตให้เข้าถึงอะไรได้บ้าง นั่นคือสถานการณ์ในปัจจุบัน ไซเกนี สร้างขึ้นโดยมีเป้าหมายหลักคือ การค้นหาสินทรัพย์ AI ทุกชิ้นอย่างต่อเนื่องในทุกคลังเก็บข้อมูล และ pipelineความเสี่ยงจะถูกประเมินตามกรอบการทำงานที่ผู้ตรวจสอบบัญชีของคุณยอมรับอยู่แล้ว และการตรวจสอบห่วงโซ่อุปทานจะตรวจจับสิ่งที่ยังไม่มีลายเซ็นต์

ภัยคุกคามสิบประการ แบ่งเป็นสองประเภท และมีแผนที่อยู่ด้านล่างทั้งสองประเภท

คำถามที่พบบ่อย

ภัยคุกคามด้านความปลอดภัยของ AI แตกต่างจากภัยคุกคามด้านความปลอดภัยของแอปพลิเคชันทั่วไปจริงหรือไม่?

ส่วนหนึ่งเป็นเช่นนั้น ผลที่ตามมานั้นคุ้นเคยกันดีอยู่แล้ว เช่น การเรียกใช้โค้ด การขโมยข้อมูลประจำตัว การรั่วไหลของข้อมูล สิ่งที่เปลี่ยนไปคือจุดเริ่มต้นและความเร็ว ไฟล์การกำหนดค่าที่ก่อนหน้านี้ไม่มีการทำงานใดๆ ตอนนี้มีคำสั่งที่ทำให้บางสิ่งบางอย่างทำงาน และต้นทุนของผู้โจมตีในการสร้างโค้ดที่เป็นอันตรายที่น่าเชื่อถือก็ลดลง การควบคุมที่มีอยู่ของคุณยังคงใช้ได้ เพียงแต่ว่ามันไม่ได้ครอบคลุมทุกพื้นที่อีกต่อไป

การทดสอบด้วย Red-team สามารถจัดการกับภัยคุกคามส่วนใหญ่เหล่านี้ได้หรือไม่?

มันตอบคำถามบางส่วนของปัญหาเหล่านั้น การทดสอบแบบ Red-teaming ช่วยตอบคำถามว่าโมเดลสามารถถูกโน้มน้าวให้ทำในสิ่งที่ควรปฏิเสธได้หรือไม่ ซึ่งเป็นประโยชน์อย่างแท้จริง มันไม่สามารถมองเห็นขอบเขตของเครื่องมือ ข้อมูลประจำตัว ไฟล์กฎ หรือการกำหนดค่า MCP ได้ เพราะไม่มีสิ่งใดสามารถเข้าถึงได้ผ่านทางเอนด์พอยต์ของโมเดล รายงาน Red-teaming ที่ชัดเจนและเอเจนต์ที่มีสิทธิ์มากเกินไปอย่างอันตรายสามารถอยู่ร่วมกันได้โดยไม่ขัดแย้งกัน

ในบรรดาภัยคุกคามด้านความปลอดภัยของ AI เหล่านี้ ข้อใดที่ถูกประเมินค่าต่ำเกินไปมากที่สุด?

ขอบเขตอำนาจที่มากเกินไปอย่างเห็นได้ชัด มันไม่มี CVE ไม่มีช่องโหว่ให้สาธิต และไม่มีผู้ขายรายใดจำหน่ายผลิตภัณฑ์เฉพาะสำหรับช่องโหว่นี้ ดังนั้นจึงไม่ก่อให้เกิดความเร่งด่วนใดๆ นอกจากนี้ยังเป็นความแตกต่างระหว่างเหตุการณ์ที่จำกัดขอบเขตและเหตุการณ์ที่ไม่จำกัดขอบเขต เพราะขอบเขตเป็นตัวกำหนดว่าสิ่งต่างๆ จะแพร่กระจายไปไกลแค่ไหนหลังจากความผิดพลาดครั้งแรก

การโจมตีที่ขับเคลื่อนด้วย AI เปลี่ยนแปลงสิ่งที่เราควรวัดอย่างไร?

พวกเขาเปลี่ยนตัวชี้วัดที่มีประโยชน์จากความรุนแรงไปเป็นเวลา เมื่อแพ็กเกจที่เป็นอันตรายถูกสร้างขึ้นเร็วกว่าการเผยแพร่ลายเซ็น “จำนวนปัญหาสำคัญที่ยังไม่ได้รับการแก้ไข” จึงมีความสำคัญน้อยกว่า “ความเร็วที่ตรวจพบสิ่งใหม่” วัดช่องว่างระหว่างการที่ส่วนประกอบเข้าสู่โค้ดของคุณกับการได้รับการตรวจสอบ และช่องว่างระหว่างการแจ้งปัญหากับการที่นักพัฒนาสามารถดำเนินการแก้ไขได้

sca-tools-software-composition-analysis-tools
จัดลำดับความสำคัญ แก้ไข และรักษาความปลอดภัยความเสี่ยงด้านซอฟต์แวร์ของคุณ
สมัครบัญชีฟรีได้เลย
ไม่ต้องใช้บัตรเครดิต

รักษาความปลอดภัยในการพัฒนาและส่งมอบซอฟต์แวร์ของคุณ

ด้วยชุดผลิตภัณฑ์ Xygeni