امنیت عامل هوش مصنوعی

امنیت عامل هوش مصنوعی: هر عامل را بشناسید، ریسک را شناسایی کنید، از آنچه نصب می‌کند محافظت کنید

امنیت عامل هوش مصنوعی دیگر ربطی به آنچه یک مدل می‌گوید ندارد. بلکه مربوط به کاری است که یک عامل انجام می‌دهد: ابزارهایی که فراخوانی می‌کند، داده‌هایی که می‌خواند، اعتبارنامه‌هایی که در اختیار دارد و بسته‌هایی که خودش نصب می‌کند.

و اکثر تیم‌ها نمی‌توانند به سوال اول پاسخ دهند: ما واقعاً کدام عامل‌ها را اجرا می‌کنیم؟ آن‌ها در مخازنی مانند گراف‌های LangChain، سرورهای MCP، SKILL.md فایل‌ها و ابزارهای کدنویسی هوش مصنوعی که توسعه‌دهندگان شخصی عصر جمعه پیکربندی کرده‌اند. هیچ‌کس آنها را بررسی نکرده است، و یک مهارت مخرب فقط متن ساده است.

TL؛ DR

امنیت عامل هوش مصنوعی در چهار مرحله: آن را ببینید، امتیاز دهید، حلقه را ایمن کنید، از نصب‌ها محافظت کنید

شما نمی‌توانید عامل‌هایی را که نمی‌توانید ببینید، ایمن کنید. امنیت عامل هوش مصنوعی با فهرستی از هر عامل، سرور MCP، مهارت، مدل و ابزار کدنویسی هوش مصنوعی در کد شما آغاز می‌شود.

  • ریسک در نحوه ساخت عامل‌ها: اعلان‌هایی که ورودی کاربر را به هم پیوند می‌دهند، عامل‌های فراخوانی ابزار بدون guardrails، اعتبارنامه‌ها و مهارت‌های با امتیاز بیش از حد و دستورالعمل‌های پنهان. بیشتر آن قبل از استقرار در کد قابل مشاهده است و به ... نگاشت می‌شود. ده مورد برتر OWASP برای برنامه‌های کاربردی عامل‌دار.
  • امنیت درون حلقه: کدنویسان به امنیت در حلقه خود نیاز دارند، بنابراین آنچه را که می‌نویسند قبل از اینکه آسیب ببیند، اسکن و اصلاح می‌کنند. commitتد، نه چند هفته بعد در یک بلیط.
  • از نصب‌ها محافظت کنید: عامل‌ها (agents) وابستگی‌ها را نیز نصب می‌کنند. تشخیص بدافزاری که قبل از وجود امضا عمل می‌کند، بسته‌های مخرب را چه کسی که آنها را نصب می‌کند، چه یک توسعه‌دهنده و چه یک عامل، پوشش می‌دهد.
  • یک گردش کار: یافته‌های هوش مصنوعی از همان مراحل اولویت‌بندی، تیکت‌ها و گزارش‌هایی عبور می‌کنند که بقیه‌ی یافته‌های AppSec شما طی می‌کنند.

قدم اول: یک فهرست از هوش مصنوعی در مخازن خود ایجاد کنید، آن را به عنوان AI-BOM صادر کنید، سپس کد عامل جدید را در CI وارد کنید.

چرا امنیت عامل هوش مصنوعی یک مشکل متفاوت است؟

یک ویژگی LLM متن را برمی‌گرداند و یک انسان تصمیم می‌گیرد که با آن چه کند. یک عامل (agent) این حلقه را به تنهایی می‌بندد: برنامه‌ریزی می‌کند، ابزارها را فراخوانی می‌کند، صفحات وب، ایمیل‌ها و اسناد را می‌خواند، فایل‌ها را می‌نویسد و دستورات را اجرا می‌کند. هر قابلیتی که به یک عامل می‌دهید، قابلیتی است که یک مهاجم می‌تواند آن را قرض بگیرد.

OWASP نیز همین تمایز را قائل شد. ده مورد برتر OWASP برای برنامه‌های کاربردی عامل‌دار در سال ۲۰۲۶ (ASI01 تا ASI10) بر اساس ده مورد برتر OWASP برای برنامه‌های کارشناسی ارشد مدیریت بازرگانیفهرست LLM آنچه را که یک مدل می‌گوید پوشش می‌دهد؛ فهرست عامل‌ها آنچه را که یک عامل انجام می‌دهد.

اکنون اکثر سازمان‌ها دو نوع عامل (یا نماینده) را اداره می‌کنند:

  • عامل‌هایی که در برنامه‌های خود ایجاد می‌کنید: دستیاران پشتیبانی، کمک‌خلبان‌های داخلی و گردش‌های کاری ساخته شده با چارچوب‌هایی مانند LangChain، LangGraph، CrewAI، AutoGen، Semantic Kernel یا LlamaIndex که اغلب از طریق ... به ابزارها متصل می‌شوند. سرورهای MCP.
  • عوامل کدنویسی هوش مصنوعی که توسعه‌دهندگان شما از آنها استفاده می‌کنند: Claude Code، Cursor، GitHub Copilot، Windsurf و دیگران که کد می‌نویسند، پیکربندی را ویرایش می‌کنند و وابستگی‌ها را اضافه می‌کنند.

امنیت عامل هوش مصنوعی باید هر دو را پوشش دهد، زیرا هر دو با مجوزهای شما عمل می‌کنند.

مرحله ۱: فهرستی از تمام نمایندگان، سرور MCP و مهارت‌ها تهیه کنید

امنیت عامل هوش مصنوعی با یک تابلوی پرسش آغاز می‌شود و حسابرسان اکنون می‌پرسند: ما چه هوش مصنوعی را اجرا می‌کنیم؟ امنیت هوش مصنوعی Xygeni از منبع به آن پاسخ می‌دهد: کد، پیکربندی، مانیفست‌ها و وابستگی‌ها.

این مدل‌ها، عامل‌ها و سرورهای عامل، چارچوب‌های هوش مصنوعی، سرورهای MCP و ابزارها، مهارت‌ها (SKILL.md, AGENTS.md) ، دستورالعمل ها ، guardrails، فروشگاه‌های برداری، مجموعه داده‌ها، نقاط پایانی استنتاج و ابزارهای کدنویسی هوش مصنوعی پیکربندی‌شده در مخازن شما. همچنین نحوه اتصال آنها را ترسیم می‌کند: کدام عامل از کدام مدل استفاده می‌کند، کدام ابزارها را اجرا می‌کند و کدام سرورهای MCP را فراخوانی می‌کند.

نتیجه، یک فهرست موجودی هوش مصنوعی زنده است که به صورت AI-BOM در قالب CycloneDX قابل استخراج است و دارای سابقه حاکمیتی برای هر دارایی است که شامل یک فیلد دسته‌بندی ریسک قانون هوش مصنوعی اتحادیه اروپا می‌شود.

می‌خواهید ببینید چه هوش مصنوعی‌هایی از قبل در کد شما وجود دارد؟ یک جلسه با یک مهندس رزرو کنید، و ما موجودی هوش مصنوعی یکی از مخازن شما را خواهیم ساخت.

مرحله ۲: شناسایی ریسک‌های موجود در نحوه ساخت عامل‌ها

بیشتر آسیب‌پذیری‌های عامل، عجیب و غریب نیستند. آن‌ها یک اعلان ساخته شده توسط الحاق رشته، یک عامل فراخوانی ابزار بدون محافظ ورودی یا یک اعتبارنامه با دامنه بسیار بیشتر از نیاز عامل هستند. همه آن‌ها اثر انگشت خود را در کد به جا می‌گذارند، بنابراین می‌توانید آن‌ها را قبل از استقرار در CI شناسایی کنید.

خطرات عامل هوش مصنوعی که می‌توانید در کد متوجه آنها شوید

هر ریسک به ... نگاشت می‌شود. ده مورد برتر OWASP برای برنامه‌های کارشناسی ارشد مدیریت بازرگانی یا همراهان عامل‌محور آن، بنابراین یافته‌ها به همان زبان حسابرسان شما صحبت می‌کنند.

خطردر کد چگونه به نظر می‌رسدنقشه برداری OWASP
تزریق سریعاعلان‌های سیستمی که محتوای کاربر را بدون جداسازی نقش‌ها، جداکننده‌ها یا ... به هم پیوند می‌دهند guardrailsLLM01
تزریق غیرمستقیمعامل‌های فراخوانی ابزار بدون ورودی guardrailsیا عواملی که صفحات وب، ایمیل‌ها یا اسناد بازیابی شده را بدون پاکسازی دریافت می‌کنندLLM01
مدیریت خروجی ناامنرسیدن به خروجی مدل eval یا سایر سینک‌های خطرناک، که در توابع و فایل‌ها ردیابی می‌شوندLLM05
هویت‌های عامل با امتیاز بیش از حدسوءاستفاده از هویت غیرانسانیاعتبارنامه‌های ایستا با طول عمر بالا، اعتبارنامه‌های مشترک بدون محدود کردن دامنه، سرورهای MCP یا ابزار که با امتیازات بالا اجرا می‌شوندASI03
مهارت‌های مخرب یا اشتباهات تایپیزنجیره تامین مهارت عاملدستورالعمل‌های مخرب پنهان در SKILL.md or AGENTS.md، نام‌های مهارتی که تقلیدی از مهارت‌ها یا ادغام‌های شناخته‌شده هستندده مهارت برتر در زمینه هوش عاملیت
اسرار موجود در دستورالعمل‌هااعتبارنامه‌های ذخیره‌شده در فایل‌های اعلانLLM07

هر یافته، دسته‌ی 10 مورد برتر OWASP LLM خود را به همراه برچسب‌های OWASP Agentic Applications و Agentic Skills که در آن‌ها کاربرد دارند و بردارهای حمله‌ی تیم قرمز مربوطه، در بر می‌گیرد.

مهارت‌ها شایسته توجه ویژه هستند زیرا یک دستورالعمل مخرب در یک فایل مهارت، نثر است، نه کد، و هیچ امضایی نمی‌تواند آن را ببیند. یک بررسی هوش مصنوعیِ انتخابی، هدف فایل‌های مهارت و دستورالعمل عاملِ علامت‌گذاری شده را با یک تنظیم نسخه‌بندی شده و قطعی قضاوت می‌کند، بنابراین همان فایل همیشه حکم یکسانی دریافت می‌کند. می‌تواند روی مدل خود-میزبان شما اجرا شود، بنابراین کد و اعلان‌ها نیازی به ترک محیط شما ندارند. سپس یک امتیاز سطح مهارت، آن سیگنال‌ها را در یک پاسخ ترکیب می‌کند: ایمن، احتیاط یا نصب نکنید.

برو عمیق تر جلسه ما را تماشا کنید شعاع انفجار: وقتی مامور به چیزی که شما درخواست نکرده‌اید دست می‌زند، در مورد اینکه چه اتفاقی می‌افتد وقتی مجوزهای یک عامل فراتر از وظیفه‌اش می‌رود.

مرحله ۳: امنیت را درون حلقه عامل کدنویسی قرار دهید

عوامل کدنویسی هوش مصنوعی می‌نویسند و commit کد سریع‌تر از آن چیزی است که هر کسی بتواند آن را بررسی کند. یافته‌ای که دو هفته بعد در تیکت دریافت می‌شود، به ندرت قابل اصلاح است. اصلاح باید زمانی اتفاق بیفتد که عامل هنوز در حال کار است.

سرور Xygeni MCP به صورت محلی اجرا می‌شود و با هر عامل کدنویسی هوش مصنوعی که از MCP پشتیبانی می‌کند، صرف نظر از مدلی که MCP روی آن اجرا می‌شود، کار می‌کند. عامل می‌تواند کدی را که نوشته است اسکن کند، مشکلات جدید را فهرست کند، احکام Triage هوش مصنوعی را دریافت کند و درخواست رفع مشکلات را بدهد. SAST و SCA یافته‌ها. این فرآیند تا زمانی که تغییر به طور کامل انجام شود، تکرار می‌شود، قبل از اینکه هر چیزی ... commitتد، با تاییدیه‌هایی که تیم شما تعیین می‌کند.

از همان موتورها، سیاست‌ها و قوانین بی‌صدا کردن شما استفاده می‌کند pipelineبنابراین، عامل و CI شما هرگز با هم اختلاف نظر ندارند. برای توسعه‌دهندگانی که در کنار عامل کار می‌کنند، افزونه‌های IDE همان یافته‌ها و اصلاحات را در ویرایشگر بیاورید.

مرحله ۴: از آنچه عوامل نصب می‌کنند محافظت کنید

یک عامل کدنویسی هوش مصنوعی می‌تواند خودش یک وابستگی اضافه کند و لحظه‌ای برای بررسی قانونی بودن یک بسته‌ی کاملاً جدید با نامی آشنا صبر نمی‌کند. مهاجمان این را می‌دانند و رجیستری‌های متن‌باز جایی هستند که منتظرشان هستند.

دفاع در برابر بدافزار بسته‌های مخرب را قبل از وجود امضا، توسط هر کسی که آنها را نصب می‌کند، چه توسعه‌دهنده و چه عامل، علامت‌گذاری می‌کند. روی دستگاه توسعه‌دهنده، Shield قبل از اجرای هر چیزی، سیاست‌هایی را اعمال می‌کند: حداقل سن برای بسته‌های جدید، پوشش افزونه‌ها و پلاگین‌های IDE، مسدود کردن نشانگرهای مخرب و مناطق جغرافیایی پرخطر، و ایزوله کردن نقاط انتهایی در زمانی که نیاز به محدود کردن یک ماشین باشد.

می خواهید عمیق تر شوید؟

یک نقص در هندلر و نقطه پایانیِ در معرض خطری که به آن می‌رسد، یک مشکل با یک مالک است. و اگر شما از قبل ابزار DAST دیگری را اجرا می‌کنید، Xygeni نتایج آن را به همان نمای ریسک وارد می‌کند، بدون اینکه از شما بخواهد آن را جایگزین کنید.

می‌خواهید ببینید که هر دو لایه با هم کار می‌کنند؟ جلسه ما را تماشا کنید از کد تا زمان اجرا: چرا SAST + DAST هر دو برای امنیت برنامه‌های مدرن ضروری هستند، که در آن بررسی می‌کنیم که چگونه یافته‌های کد و تست‌های زمان اجرا یکدیگر را تأیید می‌کنند.

یک گردش کار، نه یک کنسول دیگر

امنیت عامل هوش مصنوعی زمانی که به ابزاری جداگانه با صف انتظار مخصوص به خود تبدیل می‌شود، با شکست مواجه می‌شود. در Xygeni، یافته‌های هوش مصنوعی از همان قیف عبور می‌کنند، هوش مصنوعی تریاژ، تیکت‌ها و گزارش‌ها به عنوان بقیه یافته‌های شما. اصلاح هوش مصنوعی، راهنمایی‌های اصلاح آگاهانه از متن را برای هر ده دسته OWASP LLM ارائه می‌دهد، و ASPM ریسک هوش مصنوعی را در کنار کد، وابستگی و ... قرار می‌دهد. pipeline ریسک از یک دیدگاه

امنیت و انطباق عامل هوش مصنوعی

نهادهای نظارتی، حسابرسان و مشتریان به طور فزاینده‌ای درخواست فهرستی از هوش مصنوعی که شما اداره می‌کنید و نحوه طبقه‌بندی ریسک آن را دارند. قانون هوش مصنوعی اتحادیه اروپا و ISO / IEC 42001 هر دو در آن جهت حرکت می‌کنند، و یک AI-BOM در حال تبدیل شدن به یک standard مورد در پرسشنامه‌های تدارکات.

یک فهرست هوش مصنوعی با فیلد دسته‌بندی ریسک برای هر دارایی، به تیم مدیریتی شما پایه شواهد لازم برای آن کار را می‌دهد. این فهرست از آمادگی قانون هوش مصنوعی اتحادیه اروپا پشتیبانی می‌کند؛ این یک ارزیابی انطباق نیست و جایگزین بررسی قانونی شما نمی‌شود.

یا تیم‌های متوسط ​​​​ساده است:

  1. روی هر pull request: امنیت API در CI روی کد تغییر یافته، به علاوه اسکن‌های DAST افزایشی.
  2. قبل از commit: به عنوان یک pre-commit دروازه‌ای روی فایل‌های صحنه‌بندی‌شده.
  3. شبانه یا در حال ادغام: اسکن کامل DAST.
  4. قبل از هر انتشار اصلی: تست نفوذ هوش مصنوعی در برابر مرحله‌بندی برای اعتبارسنجی موارد باقیمانده و تأیید هر اصلاح، این حفره را پر کرد.

اسکنر API Security در هر مکانی، از جمله محیط‌های ایزوله (air-gapped)، اجرا می‌شود و به Xygeni SaaS یا شما گزارش می‌دهد. on-premiseپلتفرم. نتایج به صورت JSON ارائه می‌شوند، شریف ۲.۱.۰، CSV، و Markdown برای pull request نظرات.

تست امنیت API و انطباق با استانداردها

برای تیم‌های فعال در حوزه بانکداری، بیمه یا بخش دولتی، آزمایش امنیت API نیز یک مدرک محسوب می‌شود. هر یافته دارای برچسب انطباق با استانداردها است. ماده ۱۷ GDPR, PCI DSS 4.0 (الزامات ۳.۴، ۶.۴.۳، ۷.۱، ۷.۲ و ۸) و NIST SP 800-53 (AC-3، AC-6، IA-2، IA-5)، که در پلتفرم و در خروجی JSON و SARIF قابل مشاهده است.

اگر سازمان شما تحت تأثیر قرار گیرد دورا or NIS2تست زمان اجرا، شواهد مداومی را بین تست‌های نفوذ دستی که تنظیم‌کننده‌های شما هنوز به آن نیاز دارند، به شما ارائه می‌دهد. 

نحوه پیاده‌سازی امنیت عامل هوش مصنوعی در ۷ مرحله

در اینجا چک لیست عملی، به ترتیبی که باعث می‌شود امنیت عامل هوش مصنوعی در یک تیم توسعه واقعی با سرعت بیشتری کار کند، آورده شده است.

  1. گردش

    تمام دارایی‌های هوش مصنوعی موجود در مخازن خود را فهرست کنید

    تمام مخازن را برای یافتن عوامل، سرورهای MCP، مهارت‌ها، مدل‌ها، دستورالعمل‌ها و ابزارهای کدنویسی هوش مصنوعی اسکن کنید و نتیجه را به عنوان یک AI-BOM صادر کنید. این مبنای کار شماست و لیستی است که هر مرحله در هر مرحله از آن شروع می‌شود.

  2. طبقه بندی کنید

    به هر عامل یک مالک و یک سطح ریسک اختصاص دهید

    برای هر نماینده، مالک آن، داده‌ها و ابزارهایی که می‌تواند به آنها دسترسی پیدا کند و دسته‌بندی ریسک آن بر اساس قانون هوش مصنوعی اتحادیه اروپا را ثبت کنید. نماینده‌ای که هیچ‌کس مالک آن نیست، نماینده‌ای است که هیچ‌کس آن را اصلاح نخواهد کرد.

  3. تشخیص

    کد عامل را در CI در هر مورد اسکن کنید pull request

    تشخیص ریسک هوش مصنوعی را در کنار سایر اسکن‌های خود اجرا کنید. برای دیدن خط پایه، در حالت غیر مسدودکننده شروع کنید، سپس پس از پاکسازی تیم‌ها، یافته‌های بحرانی را با بلوک ادغام کنید.

  4. مرور

    قبل از نصب مهارت‌ها، آنها را مرور کنید

    اسکن فایل‌های مهارت و دستورالعمل‌های عامل مانند SKILL.md و AGENTS.mdبررسی قصد هوش مصنوعی را فعال کنید و حکم «نصب نکنید» را به عنوان یک توقف فوری در نظر بگیرید.

  5. محدود کردن

    مجوزهای عامل کوچک کننده

    اعتبارنامه‌های استاتیک با طول عمر بالا را با اعتبارنامه‌های محدود جایگزین کنید، اشتراک‌گذاری اعتبارنامه‌ها بین عامل‌ها را متوقف کنید و هرگز سرورهای MCP یا ابزار را با امتیازات بالایی که نیازی به آنها ندارند، اجرا نکنید.

  6. در حلقه اصلاح کنید

    امنیت را در حلقه‌ی عامل کدنویسی قرار دهید

    عوامل کدنویسی هوش مصنوعی خود را به یک سرور امنیتی MCP متصل کنید تا آنها کد خود را قبل از اینکه آسیب ببیند، اسکن و اصلاح کنند. commitتد، با همان سیاست‌های شما pipeline.

  7. حفاظت از

    از آنچه روی دستگاه‌های توسعه‌دهندگان قرار می‌گیرد، محافظت کنید

    حداقل سن برای بسته‌های جدید را اعمال کنید، بسته‌های مخرب را قبل از وجود امضا شناسایی کنید، و افزونه‌ها و پلاگین‌های IDE، هر کسی که آنها را نصب می‌کند، چه توسعه‌دهنده و چه عامل، را پوشش دهید.

و سپس: هر یافته را به همان گردش کار اولویت‌بندی، تیکت‌گذاری و گزارش‌دهی که بقیه AppSec شما انجام می‌دهد، هدایت کنید تا ریسک هوش مصنوعی در صف جداگانه‌ای قرار نگیرد.

شما نمی‌توانید نماینده‌ای را که هرگز ندیده‌اید، استخدام کنید

امنیت عامل هوش مصنوعی فقط یک اسکنر بیشتر نیست. این است که بدانید کدام عامل‌ها را اجرا می‌کنید، ریسک نحوه ساخت آنها را تشخیص دهید، امنیت را در حلقه عامل کدنویسی قرار دهید و از عامل‌هایی که نصب می‌کنید محافظت کنید. با موجودی شروع کنید: همه چیز دیگر به آن بستگی دارد.

آیا می‌خواهید تک تک عوامل، سرورهای MCP و مهارت‌های موجود در کد خود را ببینید؟ رزرو جلسه با یک مهندس برای ایجاد فهرست هوش مصنوعی از مخازن شما و بررسی یافته‌های آن. یا رایگان شروع کنید با هوش مصنوعی SAST, SCA، تشخیص اسرار، افزونه‌های IDE و تشخیص بدافزار در بسته‌های متن‌باز. بدون نیاز به کارت اعتباری.

سوالات متداول در مورد امنیت عامل هوش مصنوعی

امنیت عامل هوش مصنوعی چه تفاوتی با امنیت LLM دارد؟

امنیت LLM در مورد چیزی است که یک مدل می‌گوید: داده‌های فاش‌شده، پاسخ‌های دستکاری‌شده، خروجی ناامن. امنیت عامل هوش مصنوعی در مورد کاری است که یک عامل با ابزارها، حافظه، اعتبارنامه‌ها و سایر عامل‌ها انجام می‌دهد. به همین دلیل است که OWASP علاوه بر 10 مورد برتر LLM، 10 مورد برتر جداگانه برای برنامه‌های عامل (ASI01 تا ASI10) منتشر می‌کند.

چگونه می‌توانم عامل‌های هوش مصنوعی و سرورهای MCP را در سازمانم پیدا کنم؟

از کد شروع کنید. Xygeni AI Security عامل‌ها، سرورهای MCP، مهارت‌ها، مدل‌ها، اعلان‌ها و ابزارهای کدنویسی هوش مصنوعی را در مخازن شما کشف می‌کند، نحوه اتصال آنها را ترسیم می‌کند و نتیجه را به عنوان یک AI-BOM با فرمت CycloneDX صادر می‌کند. این برنامه در CI در کنار سایر اسکن‌های شما اجرا می‌شود.

آیا یک مهارت مخرب یا سرور MCP می‌تواند توسعه‌دهندگان من را به خطر بیندازد؟

بله: دستورالعمل‌های یک مهارت به صورت متن ساده هستند و یک عامل با مجوزهای توسعه‌دهنده از آنها پیروی می‌کند. Xygeni دستورالعمل‌های مخرب پنهان و نام‌های مهارت‌های جعل‌شده را علامت‌گذاری می‌کند، می‌تواند با بررسی هوش مصنوعی اختیاری، هدف یک مهارت را قضاوت کند و به هر مهارت امتیاز ایمن، احتیاط یا عدم نصب بدهد. دفاع در برابر بدافزار و Shield بسته‌ها را بپوشانید و عوامل الحاقی را وارد کنید.

ابزارهای-نرم‌افزاری-ترکیب-تحلیل-ترکیب-ابزارها
ریسک‌های نرم‌افزاری خود را اولویت‌بندی، اصلاح و ایمن‌سازی کنید
حساب کاربری رایگان خود را دریافت کنید.
بدون کارت اعتباری مورد نیاز است.

توسعه و تحویل نرم‌افزار خود را ایمن کنید

با مجموعه محصولات Xygeni