Bảo mật của tác nhân AI không còn phụ thuộc vào những gì mô hình nói nữa. Nó phụ thuộc vào những gì tác nhân đó làm: các công cụ nó gọi, dữ liệu nó đọc, thông tin xác thực nó nắm giữ và các gói phần mềm nó tự cài đặt.
Và hầu hết các nhóm không thể trả lời câu hỏi đầu tiên: chúng ta thực sự đang chạy những tác nhân nào? Chúng nằm trong các kho lưu trữ dưới dạng đồ thị LangChain, máy chủ MCP, SKILL.md các tập tin và công cụ lập trình AI mà các nhà phát triển cá nhân cấu hình vào chiều thứ Sáu. Không ai xem xét chúng, và một kỹ năng độc hại chỉ đơn thuần là văn bản.
TL; DR
Bảo mật tác nhân AI theo bốn bước: quan sát, đánh giá, bảo vệ vòng lặp, bảo vệ các cài đặt.
Bạn không thể bảo mật các tác nhân mà bạn không thể nhìn thấy. Bảo mật tác nhân AI bắt đầu bằng việc lập danh mục mọi tác nhân, máy chủ MCP, kỹ năng, mô hình và công cụ lập trình AI trong mã của bạn.
- Rủi ro trong cách xây dựng các tác nhân: lời nhắc nối tiếp đầu vào của người dùng, các tác nhân gọi công cụ không có guardrailsCác quyền hạn và kỹ năng được ưu tiên quá mức với các chỉ dẫn ẩn. Hầu hết chúng đều hiển thị trong mã nguồn, trước khi triển khai, và được ánh xạ tới... OWASP Top 10 cho các ứng dụng Agent.
- Bảo mật bên trong vòng lặp: Các tác nhân lập trình cần có tính bảo mật bên trong vòng lặp của chúng, vì vậy chúng quét và sửa những gì chúng viết trước khi nó được thực thi. committed, không phải vài tuần sau đó trong một vé.
- Bảo vệ các bản cài đặt: Các tác nhân cũng cài đặt các phần phụ thuộc. Phát hiện phần mềm độc hại hoạt động trước khi có chữ ký sẽ bao quát các gói độc hại bất kể ai cài đặt chúng, dù là nhà phát triển hay tác nhân.
- Một quy trình làm việc: Các phát hiện từ AI cũng trải qua quy trình phân loại, xử lý phiếu yêu cầu và báo cáo tương tự như các phát hiện bảo mật ứng dụng khác.
Bước đầu tiên: Xây dựng danh mục các AI trong kho lưu trữ của bạn, xuất chúng dưới dạng AI-BOM, sau đó kiểm tra mã tác nhân mới trong CI.
Vì sao bảo mật của tác nhân AI lại là một vấn đề khác biệt
Tính năng LLM trả về văn bản, và con người sẽ quyết định phải làm gì với nó. Một tác nhân sẽ tự động hoàn tất chu trình đó: nó lập kế hoạch, gọi các công cụ, đọc các trang web, email và tài liệu, ghi tệp và chạy các lệnh. Mọi khả năng bạn cung cấp cho một tác nhân đều là khả năng mà kẻ tấn công có thể mượn.
OWASP cũng đưa ra sự phân biệt tương tự. OWASP Top 10 cho các ứng dụng Agent năm 2026 (ASI01 đến ASI10) được xây dựng dựa trên OWASP Top 10 cho hồ sơ ứng tuyển chương trình LLMDanh sách LLM bao gồm những gì mô hình nói; danh sách tác nhân bao gồm những gì tác nhân thực hiện.
Hầu hết các tổ chức hiện nay đều sử dụng hai loại tác nhân:
- Các tác nhân bạn tích hợp vào ứng dụng của mình: Các trợ lý hỗ trợ, phi công phụ nội bộ và quy trình làm việc được xây dựng bằng các framework như LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel hoặc LlamaIndex, thường được kết nối với các công cụ thông qua Máy chủ MCP.
- Các tác nhân lập trình AI mà các nhà phát triển của bạn sử dụng: Claude Code, Cursor, GitHub Copilot, Windsurf và các công cụ khác, dùng để viết mã, chỉnh sửa cấu hình và thêm các thư viện phụ thuộc.
Bảo mật cho tác nhân AI phải bao gồm cả hai, vì cả hai đều hoạt động dựa trên quyền hạn của bạn.
Bước 1: Lập danh sách tất cả các tác nhân, máy chủ MCP và kỹ năng.
Bảo mật tác nhân AI bắt đầu bằng một bảng câu hỏi, và các kiểm toán viên hiện đang đặt câu hỏi: chúng ta đang sử dụng loại AI nào? Xygeni AI Security Giải đáp vấn đề từ nguồn gốc: mã nguồn, cấu hình, tệp kê khai và các phụ thuộc.
Nó khám phá các mô hình, tác nhân và máy chủ tác nhân, khung AI, máy chủ MCP và các công cụ, kỹ năng của chúng (SKILL.md, AGENTS.md), lời nhắc, guardrailsNó bao gồm các kho lưu trữ vector, tập dữ liệu, điểm cuối suy luận và các công cụ lập trình AI được cấu hình trong kho lưu trữ của bạn. Nó cũng lập bản đồ cách chúng kết nối: tác nhân nào sử dụng mô hình nào, thực thi công cụ nào và gọi máy chủ MCP nào.
Kết quả là một danh mục AI sống động, có thể xuất khẩu dưới dạng AI-BOM ở định dạng CycloneDX, với hồ sơ quản trị cho mỗi tài sản bao gồm trường danh mục rủi ro theo Đạo luật AI của EU.
Bạn muốn xem trí tuệ nhân tạo (AI) đã được tích hợp trong mã nguồn của mình chưa? Đặt lịch hẹn với kỹ sư. và chúng tôi sẽ xây dựng danh mục AI cho một trong các kho lưu trữ của bạn.
Bước 2: nhận diện các rủi ro trong cách xây dựng các tác nhân
Hầu hết các lỗ hổng bảo mật của agent không phải là hiếm gặp. Chúng thường là lời nhắc được tạo bằng cách nối chuỗi, agent gọi công cụ mà không có cơ chế kiểm soát đầu vào hoặc thông tin xác thực có phạm vi rộng hơn nhiều so với nhu cầu của agent. Tất cả chúng đều để lại dấu vết trong mã, vì vậy bạn có thể phát hiện chúng trong CI trước khi triển khai.
Các rủi ro của tác nhân AI mà bạn có thể phát hiện trong mã lập trình.
Mỗi rủi ro tương ứng với OWASP Top 10 cho hồ sơ ứng tuyển chương trình LLM hoặc các cộng sự đại diện của nó, vì vậy các phát hiện nói cùng một ngôn ngữ với các kiểm toán viên của bạn.
| Nguy cơ | Nó trông như thế nào trong mã code | Lập bản đồ OWASP |
|---|---|---|
| tiêm ngay | Các lời nhắc hệ thống ghép nối nội dung người dùng mà không có sự phân tách vai trò, dấu phân cách hoặc guardrails | LLM01 |
| Tiêm gián tiếp | Các tác nhân gọi công cụ không có đầu vào guardrailshoặc các tác nhân tiếp nhận các trang web, email hoặc tài liệu đã tải về mà không qua xử lý an toàn. | LLM01 |
| Xử lý đầu ra không an toàn | Kết quả đầu ra của mô hình đạt được eval hoặc các điểm nghẽn nguy hiểm khác, được truy vết qua các chức năng và tệp. | LLM05 |
| Danh tính đặc vụ được ưu tiên quá mứcLạm dụng danh tính phi nhân loại | Thông tin xác thực tĩnh có thời hạn dài, thông tin xác thực được chia sẻ mà không giới hạn phạm vi, máy chủ MCP hoặc máy chủ công cụ chạy với quyền quản trị cao. | ASI03 |
| Kỹ năng độc hại hoặc chiếm đoạt tên miền do lỗi chính tảchuỗi cung ứng kỹ năng đại lý | Các chỉ thị độc hại ẩn giấu trong SKILL.md or AGENTS.md, tên kỹ năng giả mạo các kỹ năng hoặc sự tích hợp đã biết | Top 10 kỹ năng của đặc vụ |
| Những bí mật ẩn chứa trong lời nhắc | Thông tin xác thực được lưu trữ bên trong các tệp nhắc nhở. | LLM07 |
Mỗi phát hiện đều đi kèm với danh mục OWASP LLM Top 10, cùng với các thẻ OWASP Agentic Applications và Agentic Skills (nếu có), và các vectơ tấn công của nhóm đỏ liên quan.
Kỹ năng cần được chú ý đặc biệt vì hướng dẫn độc hại trong tệp kỹ năng là văn bản chứ không phải mã, và không có chữ ký nào có thể nhận diện được. Quá trình đánh giá AI tùy chọn sẽ đánh giá ý định của các tệp hướng dẫn kỹ năng và tác nhân bị gắn cờ với thiết lập có phiên bản và xác định, do đó cùng một tệp luôn nhận được cùng một phán quyết. Nó có thể chạy trên mô hình tự lưu trữ của riêng bạn, vì vậy mã và lời nhắc không cần phải rời khỏi môi trường của bạn. Sau đó, điểm số cấp độ kỹ năng sẽ kết hợp các tín hiệu đó thành một câu trả lời duy nhất: an toàn, thận trọng hoặc không nên cài đặt.
Đi sâu hơn: xem buổi thuyết trình của chúng tôi Bán kính vụ nổ: Khi đặc vụ chạm vào thứ bạn không mong muốnVề những gì xảy ra khi quyền hạn của một tác nhân vượt quá phạm vi nhiệm vụ của nó.
Bước 3: tích hợp bảo mật vào vòng lặp của tác nhân lập trình
Các tác nhân lập trình AI viết và commit Việc viết mã diễn ra nhanh hơn bất kỳ ai có thể xem xét nó. Một lỗi được phát hiện trong phiếu yêu cầu hỗ trợ hai tuần sau đó hiếm khi được khắc phục. Việc sửa lỗi phải được thực hiện trong khi tác nhân vẫn đang làm việc.
Máy chủ Xygeni MCP chạy cục bộ và hoạt động với bất kỳ tác nhân lập trình AI nào hỗ trợ MCP, bất kể mô hình nào. Tác nhân có thể quét mã vừa viết, liệt kê các vấn đề mới, nhận phán quyết phân loại AI và yêu cầu sửa lỗi. SAST và SCA kết quả. Quá trình lặp lại cho đến khi thay đổi hoàn tất, trước khi bất cứ điều gì được thực hiện. committed, với sự chấp thuận mà nhóm của bạn đặt ra.
Nó sử dụng cùng các công cụ, chính sách và quy tắc tắt tiếng như của bạn. pipelineVì vậy, tác nhân và CI của bạn sẽ không bao giờ bất đồng quan điểm. Đối với các nhà phát triển làm việc cùng với tác nhân, Plugin IDE Đưa những phát hiện và sửa lỗi tương tự vào trình soạn thảo.
Bước 4: Bảo vệ những gì tác nhân cài đặt
Một tác nhân lập trình AI có thể tự thêm một phần phụ thuộc mà không cần kiểm tra xem một gói hoàn toàn mới với tên quen thuộc có hợp lệ hay không. Kẻ tấn công biết điều này, và các kho lưu trữ mã nguồn mở là nơi chúng chờ đợi.
Phòng thủ phần mềm độc hại Hệ thống gắn cờ các gói phần mềm độc hại trước khi có chữ ký xác nhận, bất kể người cài đặt là ai, nhà phát triển hay người đại diện. Trên máy tính của nhà phát triển, Shield Thực thi chính sách trước khi bất cứ thứ gì chạy: tuổi tối thiểu cho các gói phần mềm mới, phạm vi bảo mật cho các tiện ích mở rộng và plugin của IDE, chặn các chỉ báo độc hại và các khu vực địa lý rủi ro, và cách ly điểm cuối khi cần phải cô lập một máy tính.
Bạn muốn đi sâu hơn?
Lỗi ở trình xử lý và điểm cuối truy cập vào nó là một vấn đề, do một người chịu trách nhiệm. Và nếu bạn đã sử dụng một công cụ DAST khác, Xygeni sẽ nhập kết quả của nó vào cùng một chế độ xem rủi ro mà không yêu cầu bạn thay thế.
Bạn muốn xem cả hai lớp hoạt động cùng nhau không? Hãy xem buổi thuyết trình của chúng tôi Từ mã nguồn đến thời gian chạy: Tại sao SAST + DAST đều là những công cụ thiết yếu cho bảo mật ứng dụng hiện đại.Trong phần này, chúng ta sẽ cùng tìm hiểu cách các phát hiện trong mã nguồn và các bài kiểm tra thời gian chạy xác nhận lẫn nhau.
Một quy trình làm việc duy nhất, không phải một bảng điều khiển khác.
Bảo mật của tác nhân AI thất bại khi nó trở thành một công cụ riêng biệt với hàng đợi riêng. Tại Xygeni, các phát hiện của AI đều trải qua cùng một quy trình. Phân loại AI, vé và báo cáo như phần còn lại của kết quả tìm kiếm. AI Remediation cung cấp hướng dẫn sửa lỗi theo ngữ cảnh cho tất cả mười danh mục OWASP LLM, và ASPM đặt rủi ro AI bên cạnh mã nguồn, sự phụ thuộc và pipeline rủi ro theo một quan điểm.
bảo mật và tuân thủ quy định đối với tác nhân AI
Các cơ quan quản lý, kiểm toán viên và khách hàng ngày càng yêu cầu bạn cung cấp danh sách đầy đủ các hệ thống AI đang sử dụng và cách phân loại rủi ro của chúng. Đạo luật AI của EU và ISO / IEC 42001 Cả hai đều hướng đến mục tiêu đó, và AI-BOM đang trở thành một xu hướng. standard mục trong bảng câu hỏi mua sắm.
Một bản kiểm kê AI với trường phân loại rủi ro cho mỗi tài sản cung cấp cho nhóm quản trị của bạn cơ sở bằng chứng cho công việc đó. Nó hỗ trợ sự sẵn sàng tuân thủ Đạo luật AI của EU; nó không phải là một đánh giá sự phù hợp và không thay thế việc xem xét pháp lý của bạn.
Đối với các đội có quy mô trung bình thì đơn giản hơn:
- Trên mọi pull request: Đảm bảo an ninh API trong CI trên mã đã thay đổi, cộng với các lần quét DAST tăng dần.
- Trước commit: như là một pre-commit Kiểm tra xem các tập tin đã được chuẩn bị xong có hoạt động không.
- Cập nhật hàng đêm hoặc khi hợp nhất: Quét DAST toàn diện.
- Trước mỗi lần phát hành sản phẩm lớn: Kiểm thử thâm nhập bằng AI trên môi trường thử nghiệm để xác thực danh sách công việc tồn đọng và xác nhận mỗi bản vá đã khắc phục được lỗ hổng.
Công cụ quét bảo mật API hoạt động ở mọi nơi, kể cả môi trường không kết nối mạng, và báo cáo cho Xygeni SaaS hoặc máy tính của bạn. on-premiseNền tảng của nó. Kết quả được xuất ra dưới dạng JSON. SARIF 2.1.0, CSV và Markdown cho pull request ý kiến.
Kiểm tra bảo mật API và tuân thủ
Đối với các nhóm trong lĩnh vực ngân hàng, bảo hiểm hoặc khu vực công, kiểm thử bảo mật API cũng là bằng chứng. Mỗi phát hiện đều đi kèm với nhãn tuân thủ. GDPR Điều 32, PCI DSS 4.0 (các yêu cầu 3.4, 6.4.3, 7.1, 7.2 và 8) và NIST SP 800-53 (AC-3, AC-6, IA-2, IA-5), hiển thị trên nền tảng và trong đầu ra JSON và SARIF.
Nếu tổ chức của bạn thuộc phạm vi DORA or NIS2Việc kiểm thử trong thời gian thực cung cấp cho bạn bằng chứng liên tục giữa các lần kiểm thử xâm nhập thủ công mà cơ quan quản lý vẫn yêu cầu.
Cách triển khai bảo mật cho tác nhân AI trong 7 bước
Dưới đây là danh sách kiểm tra thực tế, được sắp xếp theo thứ tự giúp triển khai bảo mật tác nhân AI nhanh nhất trong một nhóm phát triển thực tế.
- Khám phá
Lập danh mục tất cả các tài sản AI trong kho lưu trữ của bạn.
Quét tất cả các kho lưu trữ để tìm các tác nhân, máy chủ MCP, kỹ năng, mô hình, lời nhắc và công cụ lập trình AI, rồi xuất kết quả dưới dạng AI-BOM. Đây là điểm chuẩn của bạn, và là danh sách mà mọi bước tiếp theo đều dựa vào.
- Phân loại
Gán cho mỗi đại lý một chủ sở hữu và một mức độ rủi ro.
Đối với mỗi tác nhân, hãy ghi lại ai sở hữu nó, dữ liệu và công cụ mà nó có thể truy cập, cũng như hạng mục rủi ro theo Đạo luật Trí tuệ Nhân tạo của EU. Một tác nhân không ai sở hữu thì sẽ không ai sửa chữa nó.
- tìm ra
Quét mã tác nhân trong CI trên mọi pull request
Chạy tính năng phát hiện rủi ro bằng AI song song với các lần quét khác. Bắt đầu ở chế độ không chặn để xem kết quả cơ bản, sau đó chặn việc hợp nhất các thao tác khi phát hiện các lỗi nghiêm trọng sau khi các nhóm đã hoàn tất việc khắc phục.
- Phê duyệt
Hãy xem xét lại các kỹ năng trước khi cài đặt chúng.
Quét các tệp hướng dẫn kỹ năng và tác nhân, chẳng hạn như...
SKILL.mdvàAGENTS.mdHãy bật tính năng xem xét ý định của AI và coi phán quyết "không cài đặt" là một bước dừng đột ngột. - hạn chế
Quyền hạn của đại lý giảm giá
Hãy thay thế thông tin đăng nhập tĩnh có thời hạn dài bằng thông tin đăng nhập có phạm vi giới hạn, ngừng chia sẻ thông tin đăng nhập giữa các tác nhân và không bao giờ chạy MCP hoặc máy chủ công cụ với quyền quản trị cao hơn mức cần thiết.
- Sửa lỗi trong vòng lặp
Đưa yếu tố bảo mật vào vòng lặp của tác nhân lập trình.
Kết nối các tác nhân lập trình AI của bạn với máy chủ MCP bảo mật để chúng quét và sửa lỗi mã của chính chúng trước khi mã được triển khai. committed, với các chính sách tương tự như của bạn pipeline.
- Bảo vệ
Hãy bảo vệ những gì được cài đặt trên máy tính của nhà phát triển.
Áp đặt độ tuổi tối thiểu cho các gói phần mềm mới, phát hiện các gói phần mềm độc hại trước khi có chữ ký xác thực, và bao gồm cả các tiện ích mở rộng và plugin của IDE, bất kể người cài đặt là nhà phát triển hay đại lý.
Thì: Đưa mọi phát hiện vào cùng một quy trình phân loại, lập phiếu và báo cáo như phần còn lại của bảo mật ứng dụng, để rủi ro AI không bị xếp vào một hàng chờ riêng biệt.
Bạn không thể tìm được một người đại diện mà bạn chưa từng gặp.
Bảo mật cho tác nhân AI không chỉ đơn thuần là thêm một công cụ quét. Điều quan trọng là phải biết bạn đang sử dụng những tác nhân nào, nhận diện rủi ro trong cách chúng được xây dựng, tích hợp bảo mật vào vòng lặp lập trình của tác nhân và bảo vệ những tác nhân được cài đặt. Hãy bắt đầu với việc kiểm kê: mọi thứ khác đều phụ thuộc vào nó.
Bạn muốn xem tất cả các tác nhân, máy chủ MCP và kỹ năng trong mã của mình? Đặt lịch hẹn với kỹ sư Xây dựng danh mục AI cho các kho lưu trữ của bạn và xem xét các phát hiện của nó. Hoặc bắt đầu miễn phí với AI SAST, SCAPhát hiện bí mật, các plugin IDE và phát hiện phần mềm độc hại trên các gói mã nguồn mở. Không cần thẻ tín dụng.
Câu hỏi thường gặp về bảo mật tác nhân AI
Bảo mật của tác nhân AI khác với bảo mật của LLM như thế nào?
Bảo mật LLM liên quan đến những gì mô hình nói: dữ liệu bị rò rỉ, câu trả lời bị thao túng, đầu ra không an toàn. Bảo mật tác nhân AI liên quan đến những gì tác nhân làm với các công cụ, bộ nhớ, thông tin xác thực và các tác nhân khác. Đó là lý do tại sao OWASP công bố một danh sách Top 10 riêng biệt dành cho các ứng dụng tác nhân (ASI01 đến ASI10) bên cạnh Top 10 của LLM.
Tôi có thể tìm các tác nhân AI và máy chủ MCP trong tổ chức của mình như thế nào?
Bắt đầu từ mã nguồn. Xygeni AI Security phát hiện các tác nhân, máy chủ MCP, kỹ năng, mô hình, lời nhắc và công cụ lập trình AI trong kho lưu trữ của bạn, lập bản đồ cách chúng kết nối và xuất kết quả dưới dạng AI-BOM ở định dạng CycloneDX. Nó chạy trong CI song song với các quá trình quét khác của bạn.
Liệu một kỹ năng độc hại hoặc máy chủ MCP có thể gây nguy hiểm cho các nhà phát triển của tôi không?
Đúng vậy: hướng dẫn của một kỹ năng được viết dưới dạng văn bản thuần túy, và tác nhân sẽ tuân theo chúng với sự cho phép của nhà phát triển. Xygeni gắn cờ các chỉ thị độc hại ẩn và tên kỹ năng giả mạo, có thể đánh giá mục đích của một kỹ năng bằng cách sử dụng đánh giá AI tùy chọn, và chấm điểm mỗi kỹ năng là an toàn, thận trọng hoặc không nên cài đặt. Phòng chống phần mềm độc hại và Shield Bao gồm các gói dịch vụ và tiện ích mở rộng mà các đại lý mang đến.







