אבטחת סוכני בינה מלאכותית

אבטחת סוכני בינה מלאכותית: הכירו כל סוכן, תפסו את הסיכון, שמרו על מה שהוא מתקין

אבטחת סוכני בינה מלאכותית כבר אינה קשורה למה שמודל אומר. היא קשורה למה שסוכן עושה: הכלים שהוא קורא, הנתונים שהוא קורא, האישורים שהוא מחזיק והחבילות שהוא מתקין בעצמו.

ורוב הצוותים לא יכולים לענות על השאלה הראשונה: אילו סוכנים אנחנו באמת מפעילים? הם חיים במאגרים כמו גרפי LangChain, שרתי MCP, SKILL.md קבצים, וכלי קידוד בינה מלאכותית שמפתחים בודדים הגדירו ביום שישי אחר הצהריים. אף אחד לא בדק אותם, ומיומנות זדונית היא פשוט טקסט רגיל

TL; DR

אבטחת סוכני בינה מלאכותית בארבעה שלבים: לראות את זה, לדרג את זה, לאבטח את הלולאה, להגן על ההתקנות

אי אפשר לאבטח סוכנים שלא רואים. אבטחת סוכני בינה מלאכותית מתחילה במלאי של כל סוכן, שרת MCP, מיומנות, מודל וכלי קידוד בינה מלאכותית בקוד שלך.

  • סיכון באופן שבו סוכנים בנויים: הנחיות שמשלבות קלט משתמש, סוכנים הקוראים לכלי ללא guardrails, אישורים ומיומנויות בעלי פריבילגיות יתר עם הוראות נסתרות. רובם גלויים בקוד, לפני הפריסה, וממופים ל- 10 האפליקציות המובילות של OWASP לסוכנויות.
  • אבטחה בתוך הלולאה: סוכני קידוד צריכים אבטחה בתוך הלולאה שלהם, אז הם סורקים ומתקנים את מה שהם כותבים לפני שזה commitטד, לא שבועות לאחר מכן בכרטיס.
  • שמור על ההתקנות: סוכנים מתקינים גם תלויות. זיהוי תוכנות זדוניות שפועל לפני שקיימת חתימה מכסה חבילות זדוניות, מי שמתקין אותן, מפתח או סוכן.
  • תהליך עבודה אחד: ממצאי הבינה המלאכותית עוברים את אותו תהליך מיון, פניות ודוחות כמו שאר ממצאי ה-AppSec שלכם.

הצעד הראשון: בנו מלאי של הבינה המלאכותית במאגרים שלכם, ייצאו אותו כ-AI-BOM, ולאחר מכן אחסנו קוד סוכן חדש ב-CI.

מדוע אבטחת סוכני בינה מלאכותית היא בעיה שונה

תכונת LLM מחזירה טקסט, ובן אדם מחליט מה לעשות איתו. סוכן סוגר את הלולאה הזו בעצמו: הוא מתכנן, קורא לכלי עבודה, קורא דפי אינטרנט, מיילים ומסמכים, כותב קבצים ומריץ פקודות. כל יכולת שאתה נותן לסוכן היא יכולת שתוקף יכול לשאול.

OWASP עשתה את אותה ההבחנה. עשרת האפליקציות המובילות של OWASP לסוכנויות לשנת 2026 (ASI01 עד ASI10) בונה על ה- OWASP Top 10 עבור יישומי LLMרשימת ה-LLM מכסה את מה שמודל אומר; רשימת הסוכנים מכסה את מה שסוכן עושה.

רוב הארגונים מפעילים כיום שני סוגים של סוכנים:

  • סוכנים שאתם בונים באפליקציות שלכם: עוזרי תמיכה, טייסי משנה פנימיים וזרימות עבודה שנבנו עם מסגרות כמו LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel או LlamaIndex, שלעתים קרובות מחוברים לכלים דרך שרתי MCP.
  • סוכני קידוד של בינה מלאכותית שבהם המפתחים שלכם משתמשים: Claude Code,‏ Cursor,‏ GitHub Copilot,‏ Windsurf ואחרים, אשר כותבים קוד, עורכים תצורה ומוסיפים תלויות.

אבטחת סוכני בינה מלאכותית חייבת לכסות את שניהם, משום ששניהם פועלים עם ההרשאות שלך.

שלב 1: עריכת מלאי של כל סוכן, שרת MCP ומיומנות

אבטחת סוכני בינה מלאכותית מתחילה בלוח שאלות, ומבקרים שואלים כעת: איזו בינה מלאכותית אנחנו מפעילים? אבטחת בינה מלאכותית של Xygeni עונה על כך מהמקור: קוד, תצורה, מניפסטים ותלויות.

הוא מגלה מודלים, סוכנים ושרתי סוכנים, מסגרות בינה מלאכותית, שרתי MCP והכלים והמיומנויות שלהם (SKILL.md, AGENTS.md), הנחיות, guardrails, מאגרי וקטורים, מערכי נתונים, נקודות קצה של הסקה וכלי קידוד של בינה מלאכותית שתצורתם נקבעה במאגרים שלך. זה גם ממפה כיצד הם מתחברים: איזה סוכן משתמש באיזה מודל, מבצע אילו כלים ומפעיל אילו שרתי MCP.

התוצאה היא מלאי בינה מלאכותית חי, הניתן לייצוא כ-AI-BOM בפורמט CycloneDX, עם רישום ממשל לכל נכס הכולל שדה קטגוריית סיכון של חוק בינה מלאכותית של האיחוד האירופי.

רוצה לראות איזו בינה מלאכותית כבר נמצאת בקוד שלך? הזמינו פגישה עם מהנדס, ואנחנו נבנה את מלאי הבינה המלאכותית של אחד המאגרים שלכם.

שלב 2: להבין את הסיכונים באופן שבו סוכנים בנויים

רוב פגיעויות הסוכנים אינן אקזוטיות. הן הפקודה שנבנתה על ידי שרשור מחרוזות, סוכן הקורא לכלי ללא מעקה קלט או אישור עם טווח גדול בהרבה ממה שהסוכן צריך. כולן משאירות טביעות אצבע בקוד, כך שניתן לתפוס אותן ב-CI, לפני הפריסה.

סיכוני סוכני בינה מלאכותית שתוכלו לזהות בקוד

כל סיכון ממופה ל- OWASP Top 10 עבור יישומי LLM או סוכני המחקר המשותפים שלה, כך שהממצאים מדברים באותה שפה כמו המבקרים שלכם.

הסיכוןאיך זה נראה בקודמיפוי OWASP
הזרקה מהירההנחיות מערכת שמחברות תוכן משתמש ללא הפרדת תפקידים, מפרידים או guardrailsLLM01
הזרקה עקיפהסוכנים קוראים לכלי ללא קלט guardrails, או סוכנים שקולטים דפי אינטרנט, מיילים או מסמכים שאוחזרו ללא ניקויLLM01
טיפול בפלט לא בטוחפלט המודל מגיע eval או פקקים מסוכנים אחרים, שעקבו אחריהם על פני פונקציות וקבציםLLM05
זהויות סוכן בעלות פריבילגיות יתרניצול לרעה של זהות לא אנושיתאישורים סטטיים ארוכי טווח, אישורים משותפים ללא צמצום טווח, שרתי MCP או כלים הפועלים עם הרשאות מוגברותASI03
מיומנויות זדוניות או שגויות הקלדהשרשרת אספקה ​​של מיומנויות סוכניםהנחיות זדוניות מוסתרות ב SKILL.md or AGENTS.md, שמות מיומנויות המחזות מיומנויות או אינטגרציות ידועות10 הכישורים הסוכניים המובילים
סודות בהנחיותאישורים המאוחסנים בתוך קבצי הפקודהLLM07

כל ממצא נושא את קטגוריית OWASP LLM Top 10 שלו, בתוספת תגיות של יישומים סוכנים ומיומנויות סוכנים של OWASP במידת הצורך, ואת וקטורי ההתקפה של הצוות האדום המעורבים.

מיומנויות ראויות לתשומת לב מיוחדת מכיוון שהוראה זדונית בקובץ מיומנות היא פרוזה, לא קוד, ואף חתימה לא יכולה לראות אותה. סקירת בינה מלאכותית מבוססת opt-in שופטת את כוונתם של קבצי מיומנות והוראות סוכן המסומנים עם הגדרה דטרמיניסטית וגרסאית, כך שאותו קובץ תמיד מקבל את אותה הערכה. הוא יכול לפעול על מודל עצמאי משלכם, כך שקוד והנחיות לא צריכים לעזוב את הסביבה שלכם. ציון רמת מיומנות מאחד את האותות הללו לתשובה אחת: בטוח, זהירות או אל תתקינו.

עבור עמוק יותר: צפו בסשן שלנו רדיוס פיצוץ: כאשר הסוכן נוגע במה שלא ביקשתם, על מה שקורה כאשר ההרשאות של סוכן חורגות מעבר למשימה שלו.

שלב 3: הכנס אבטחה לתוך לולאת סוכן הקידוד

סוכני קידוד בינה מלאכותית כותבים ו commit קוד מהר יותר מכל אחד אחר שיכול לבדוק אותו. ממצא שמגיע בכרטיס שבועיים לאחר מכן כמעט ולא מתוקן. התיקון צריך להתרחש בזמן שהסוכן עדיין עובד.

שרת Xygeni MCP פועל באופן מקומי ועובד עם כל סוכן קידוד בינה מלאכותית התומך ב-MCP, ללא קשר לדגם עליו הוא פועל. הסוכן יכול לסרוק את הקוד שזה עתה כתב, לפרט את הבעיות החדשות, לקבל חוות דעת של מיון בינה מלאכותית ולבקש תיקונים עבור... SAST ו SCA ממצאים. זה חוזר על עצמו עד שהשינוי נקי, לפני שמשהו נעשה commitטד, עם האישורים שהצוות שלך קובע.

הוא משתמש באותם מנועים, מדיניות וכללי השתקה כמו שלך pipeline, כך שהסוכן וה-CI שלך לעולם לא יתנגשו. עבור המפתחים שעובדים לצד הסוכן, ה- תוספי IDE להביא את אותם ממצאים ותיקונים לעורך.

שלב 4: הגנה על מה שסוכנים מתקינים

סוכן קידוד מבוסס בינה מלאכותית יכול להוסיף תלות בפני עצמו, והוא לא יעצור לבדוק האם חבילה חדשה לגמרי עם שם מוכר היא לגיטימית. תוקפים יודעים זאת, והם מחכים ברישומי קוד פתוח.

הגנה מפני תוכנות זדוניות מסמן חבילות זדוניות לפני שקיימת חתימה, מי שמתקין אותן, מפתח או סוכן. במחשב של המפתח, Shield אוכף מדיניות לפני הפעלת כל דבר: גיל מינימלי לחבילות חדשות, כיסוי להרחבות ותוספים של IDE, חסימת אינדיקטורים זדוניים ואזורים גיאוגרפיים מסוכנים, ובידוד נקודות קצה כאשר יש צורך להכיל מכונה.

רוצה להעמיק?

פגם ב-handler ונקודת הקצה החשופה שמגיעה אליו הם בעיה אחת, עם בעלים אחד. ואם כבר מפעילים כלי DAST אחר, Xygeni מייבא את תוצאותיו לאותה תצוגת סיכונים, מבלי לבקש מכם להחליף אותה.

רוצים לראות את שתי השכבות עובדות יחד? צפו בסשן שלנו מקוד לזמן ריצה: למה SAST + שניהם חיוניים ל-AppSecurity מודרני, שם נסקור כיצד ממצאי קוד ובדיקות זמן ריצה מאשרות זה את זה.

זרימת עבודה אחת, לא קונסולה אחרת

אבטחת סוכני בינה מלאכותית נכשלת כאשר היא הופכת לכלי נפרד עם תור משלה. ב-Xygeni, ממצאי בינה מלאכותית עוברים דרך אותו משפך, מיון בינה מלאכותית, כרטיסים ודוחות כמו שאר הממצאים שלך. תיקון בינה מלאכותית מספק הנחיות תיקון מודעות הקשר עבור כל עשר קטגוריות OWASP LLM, ו ASPM מציבה את הסיכון של בינה מלאכותית לצד קוד, תלות ו... pipeline סיכון במבט אחד.

אבטחה ותאימות של סוכני בינה מלאכותית

רגולטורים, מבקרים ולקוחות מבקשים יותר ויותר רשימת מלאי של הבינה המלאכותית שאתם מפעילים וכיצד מסווגים הסיכון שלה. חוק AI של האיחוד האירופי ו ISO / IEC 42001 שניהם דוחפים לכיוון הזה, ו-AI-BOM הופך ל- standard פריט בשאלוני רכש.

מלאי של בינה מלאכותית עם שדה קטגוריית סיכון לכל נכס מספק לצוות הממשל שלכם את בסיס הראיות לעבודה זו. הוא תומך במוכנות לחוק הבינה המלאכותית של האיחוד האירופי; הוא אינו הערכת תאימות, והוא אינו מחליף את הבדיקה המשפטית שלכם.

או צוותים בינוניים זה פשוט:

  1. על כל pull request: אבטחת API ב-CI על הקוד שהשתנה, בתוספת סריקות DAST מצטברות.
  2. לפני commit: בתור pre-commit שער על קבצים מבוימים.
  3. מדי לילה או במיזוג: סריקת DAST מלאה.
  4. לפני כל גרסה גדולה: בדיקות חדירה של בינה מלאכותית מול תהליכים בשלבים כדי לאמת את צבר ההזמנות ולאשר שכל תיקון סגר את החור.

סורק אבטחת ה-API פועל בכל מקום, כולל סביבות עם פערי אוויר, ומדווח ל-Xygeni SaaS או למערכת שלך. on-premiseפלטפורמת s. התוצאות מוצגות כ-JSON, סאריף 2.1.0, CSV, ו-Markdown עבור pull request תגובות.

בדיקות אבטחה ותאימות של API

עבור צוותים בבנקאות, ביטוח או במגזר הציבורי, בדיקות אבטחת API הן גם ראיה. כל ממצא נושא תגי תאימות עבור סעיף 32 של GDPR, PCI DSS 4.0 (דרישות 3.4, 6.4.3, 7.1, 7.2 ו-8) ו- NIST SP 800-53 (AC-3, AC-6, IA-2, IA-5), גלויים בפלטפורמה ובפלט של JSON ו-SARIF.

אם הארגון שלך נופל תחת דורה or 2 שקל, בדיקות זמן ריצה מספקות לך ראיות רציפות בין בדיקות החדירה הידניות שהרגולטורים שלך עדיין דורשים. 

כיצד ליישם אבטחת סוכני בינה מלאכותית ב-7 שלבים

הנה רשימת הבדיקה המעשית, לפי הסדר שיגרום לאבטחת סוכני בינה מלאכותית לעבוד הכי מהר בצוות פיתוח אמיתי.

  1. גילוי

    מלאי של כל נכס בינה מלאכותית במאגרים שלך

    סרוק את כל המאגרים אחר סוכנים, שרתי MCP, מיומנויות, מודלים, הנחיות וכלי קידוד בינה מלאכותית, וייצא את התוצאה כ-AI-BOM. זהו קו הבסיס שלך, והרשימה שממנה עובדים כל שלב אחר.

  2. לסווג

    תן לכל סוכן בעלים ורמת סיכון

    עבור כל סוכן, יש לרשום מי הבעלים שלו, לאילו נתונים וכלים הוא יכול להגיע, ואת קטגוריית הסיכון שלו במסגרת חוק הבינה המלאכותית של האיחוד האירופי. סוכן שאף אחד לא שייך לו הוא סוכן שאף אחד לא יתקן.

  3. לְגַלוֹת

    סרוק את קוד הסוכן ב-CI בכל pull request

    הפעל זיהוי סיכוני בינה מלאכותית לצד הסריקות האחרות שלך. התחל במצב ללא חסימה כדי לראות את קו הבסיס, ולאחר מכן חסום מיזוגים על סמך ממצאים קריטיים לאחר שהצוותים סיימו לנקות.

  4. סקירה

    סקירת מיומנויות לפני שמישהו מתקין אותן

    סריקת קבצי מיומנות והוראות לסוכן כגון SKILL.md ו AGENTS.md, הפעל סקירת כוונת בינה מלאכותית, וטפל בפסק דין "אל תתקין" כעצירה מוחלטת.

  5. להגביל

    כיווץ הרשאות סוכן

    החלף אישורים סטטיים ארוכי טווח באישורים בעלי טווח מוגבל, הפסק שיתוף אישורים בין סוכנים, ואל תפעיל לעולם שרתי MCP או כלים עם הרשאות מוגברות שאינן נחוצות להם.

  6. תקן בלולאה

    הכנס אבטחה לתוך לולאת סוכן הקידוד

    חברו את סוכני קידוד הבינה המלאכותית שלכם לשרת MCP אבטחה כדי שיסרקו ויתקנו את הקוד שלהם לפני שהוא... commitטד, עם אותן מדיניות כמו שלך pipeline.

  7. להגן

    שמור על מה שנוחת על מכונות המפתחים

    לאכוף גיל מינימלי לחבילות חדשות, לזהות חבילות זדוניות לפני שקיימת חתימה, ולכסות הרחבות ותוספים של IDE, בין אם זה מי שמתקין אותם, מפתח או סוכן.

לאחר מכן: נתבו כל ממצא לאותו תהליך עבודה של מיון, תיעוד ודיווח כמו שאר ה-AppSec שלכם, כך שסיכון הבינה המלאכותית לא יגיע לתור בפני עצמו.

אי אפשר להשיג סוכן שמעולם לא פגשת

אבטחת סוכני בינה מלאכותית אינה עוד סורק. מדובר בידיעה אילו סוכנים אתם מפעילים, זיהוי הסיכון באופן שבו הם בנויים, הכנסת אבטחה ללולאת סוכן הקידוד ושמירה על מה שהסוכנים מתקינים. התחילו עם המלאי: כל השאר תלוי בו.

רוצה לראות כל סוכן, שרת MCP ומיומנות בקוד שלך? הזמינו פגישה עם מהנדס לבנות את מלאי הבינה המלאכותית של המאגרים שלכם ולסקור את ממצאיו. או התחל בחינם עם AI SAST, SCA, גילוי סודות, תוספי IDE וגילוי תוכנות זדוניות בחבילות קוד פתוח. אין צורך בכרטיס אשראי.

שאלות נפוצות על אבטחת סוכני בינה מלאכותית

במה שונה אבטחת סוכני בינה מלאכותית מאבטחת תואר שני במשפטים?

אבטחת LLM עוסקת במה שמודל אומר: נתונים שדלפו, תשובות מניפולטיביות, פלט לא בטוח. אבטחת סוכני בינה מלאכותית עוסקת במה שסוכן עושה עם כלים, זיכרון, אישורים וסוכנים אחרים. זו הסיבה ש-OWASP מפרסם רשימה נפרדת של 10 יישומי סוכנים מובילים (ASI01 עד ASI10) בנוסף לעשרת ה-LLM המובילים.

כיצד אוכל למצוא את סוכני הבינה המלאכותית ואת שרתי ה-MCP בארגון שלי?

התחילו מהקוד. Xygeni AI Security מזהה את הסוכנים, שרתי MCP, המיומנויות, המודלים, ההנחיות וכלי קידוד הבינה המלאכותית במאגרים שלכם, ממפה את האופן שבו הם מתחברים ומייצאת את התוצאה כ-AI-BOM בפורמט CycloneDX. היא פועלת ב-CI לצד הסריקות האחרות שלכם.

האם מיומנות זדונית או שרת MCP יכולים לפגוע במפתחים שלי?

כן: הוראות של מיומנות הן טקסט רגיל, וסוכן יעקוב אחריהן עם הרשאות המפתח. Xygeni מסמן הנחיות זדוניות נסתרות ושמות מיומנויות מתחזים, יכול לשפוט את כוונת המיומנות באמצעות סקירת בינה מלאכותית שהצטרפה, ומדרג כל מיומנות כבטוחה, זהירות או אל תתקין. הגנה מפני תוכנות זדוניות ו Shield לכסות את החבילות וההרחבות שסוכני ההרחבות מביאים.

כלי SCA לניתוח קומפוזיציה - תוכנה
תעדוף, תיקון ואבטחת סיכוני התוכנה שלך
קבל את החשבון החינמי שלך.
אין צורך בכרטיס אשראי.

אבטחו את פיתוח ואספקת התוכנה שלכם

עם חבילת המוצרים Xygeni