TL; DR
כל דירקטוריון שואל כעת על סיכוני בינה מלאכותית, ורוב צוותי האבטחה עונים בתארים במקום במספרים. מסגרות הממשל אומרות לך מה לשלוט. הן לא אומרות לך מה לספור. מדדי הסיכון של בינה מלאכותית מגיעים כולם מאותו מקום: הקוד שכבר שולח הארגון שלך.
- לאסטרטגיית בינה מלאכותית סוכנתית יש שלוש שכבות, ורק אחת מהן היא המודל. מה הסוכן כותב, למה הסוכן מחובר, ומה הסוכן מושך. רוב התוכניות מודדות את הראשון ומתעלמות מהשניים האחרים.
- רדיוס הפיצוץ אינו נמצא במודל. זה נמצא בקובץ המיומנות, בתצורת ה-MCP, בהיקף הכלי ובאישורים שתחתם הסוכן פועל. הערכת מודל נקייה וסוכן בעל הרשאות יתר מתקיימים יחד בנוחות.
- תשעה מדדי סיכון של בינה מלאכותית, כל אחד מהם מספר ולא שם תואר. נכסי בינה מלאכותית לא מאושרים, נתיבי הזרקה מהירים שמגיעים לכיור כלים, סודות ב
.mcp/servers.json, תלויות שנוספו על ידי סוכן סומנו לפני שהייתה קיימת חתימה. - אם אינך יכול לייצר את המספר ברבעון זה, המדד אינו הבעיה. המלאי הוא. התחילו עם שלוש ספירות, לא תוכנית.
מה המשמעות של סיכון בינה מלאכותית בפועל כשאתה זה שמספק את התוכנה?
שאלו עשרה אנשים מה המשמעות של סיכון בתחום הבינה המלאכותית, ותקבלו עשר תשובות. הטיה של מודל. הזיות. דליפת נתונים. חשיפה רגולטורית. פינוי מקום עבודה. כולם אמיתיים, כולם שווים תשומת לב, ואף אחד מהם אינו ניתן לדין מצד צוות אבטחה ביום שלישי אחר הצהריים.
יש גרסה מצומצמת יותר של השאלה שצוות אבטחה יכול למעשה להחזיק בה: איזו בינה מלאכותית רצה בתוך התוכנה שאנחנו בונים, לאן היא יכולה להגיע, ומה קורה כשמישהו מתמרן אותה. לגרסה הזו יש תשובה, והתשובה חיה במאגרים שלך pipelineולא במסמך מדיניות.
זוהי הגרסה של סיכון הבינה המלאכותית שעליה עוסק הפוסט הזה. לא בגלל ששאלות הממשל אינן חשובות, אלא בגלל שלא ניתן לענות על שאלות הממשל עד שזו תענה. מסגרת מבקשת ממך לערוך מלאי של מערכות הבינה המלאכותית שלך. היא לא אומרת לך שהמלאי נמצא ב... .mcp/servers.json קובץ שאף אחד לא פתח מאז שהוא נוצר commitטד.
מדוע רוב תוכניות הסיכון של בינה מלאכותית מודדות את הדבר הלא נכון?
שלושה דפוסי כשל, ורוב הארגונים מפעילים לפחות שניים מהם.
- מדידת אימוץ במקום חשיפה. "72% מהמפתחים שלנו משתמשים בכלי בינה מלאכותית" הוא מדד פרודוקטיביות הנושא תג אבטחה. הוא לא אומר דבר על מה שהכלים האלה יכולים להשיג.
- מדידת המודל במקום המערכת. יצירת צוות אדום בנקודת קצה עונה על השאלה האם ניתן לשכנע מודל לומר משהו שאסור לו. זה לא עונה על מה שקורה אחר כך, מכיוון שרדיוס הפיצוץ נמצא בטווח הכלי, באישורים שתחתיהם הסוכן פועל ובקבצי התצורה שמגדירים את שניהם. הערכת מודל נקייה וסוכן בעל פריבילגיות יתר מתקיימים יחד בנוחות רבה.
- מדידת מה שקל לספור. מספר מדיניות בינה מלאכותית שפורסמו. מספר עובדים שהשלימו הכשרה בתחום הבינה המלאכותית. מספרים אלה עולים באופן מהימן ואינם מתואמים עם כלום.
השמיים NIST AI Risk Management Framework מפורש כי מדידה היא אחת מארבעת תפקידיה המרכזיים, לצד ניהול, מיפוי וניהול. המסגרת מבוססת במכוון על תוצאות ולא על הוראות, וזה נכון עבור standard ולא מועיל ביום שלישי. אתה עדיין צריך להחליט מה לספור.
אילו מדדי סיכון של בינה מלאכותית באמת אומרים לכם משהו?
תשעה מדדים. כל אחד מהם הוא מספר, כל אחד משתנה כאשר החשיפה שלך משתנה, וכל אחד מהם יכול להיות מיוצר מקוד ולא מסקר.
| מטרי | למה זה משנה | מאיפה מגיע המספר |
|---|---|---|
| 01סך כל נכסי הבינה המלאכותית שהתגלו, והשינוי מאז החודש שעבר | אינך יכול לדווח על סיכון בינה מלאכותית שמעולם לא ספרת. המגמה חשובה יותר מהמספר המוחלט | גילוי מתמשך של מודלים, מסגרות, מערכי נתונים, נקודות קצה להסקה, סוכנים, שרתי MCP, מיומנויות וכלי קידוד של בינה מלאכותית |
| 02נכסי בינה מלאכותית שלא אושרו כאחוז מהסך הכל | זהו שיעור הבינה המלאכותית בצל שלך. זהו מדד הסיכון המלאכותי המצוטט ביותר עבור דירקטוריון. | מעקב אחר סטטוס אישור לפי נכס ביחס למדיניות שלך |
| 03נכסי בינה מלאכותית ללא בעלים שם | נכס שאף אחד לא מחזיק בו הוא נכס שאף אחד לא יתקן. בדרך כלל המספר המכוער ביותר בקבוצה. | מעקב אחר בעלות מול הנכס |
| 04נתיבי הזרקה מהירים המגיעים לכיור הכלי | קלט לא אמין שמגיע לשורת מערכת משנה רק אם משהו מסוכן נמצא בצד השני | זיהוי סיכוני בינה מלאכותית ממופה ל OWASP Top 10 עבור יישומי LLM |
| 05שרתי MCP בשימוש, וכמה מהם נושאים ממצאים | תצורת MCP היא המקום שבו הסוכן מקבל את הוראותיו. זה גם המקום שבו מצטברים פרטי גישה | תצורת שרת MCP נותחה כארכיון אבטחה |
| 06סודות שנמצאו בקבצי תצורה של בינה מלאכותית | מחקר שנערך בשנת 2026 מצא מעל 24,000 סודות המאוחסנים בקבצי הגדרות של MCP ב-GitHub הציבורי, כאשר יותר מ-2,000 עדיין תקפים. | גילוי סודות על פני קוד, תצורות, קונטיינרים ו pipelines |
| 07תלויות שנוספו על ידי סוכן סומנו לפני שחתימה ציבורית קיימת | סוכנים מושכים חבילות במהירות, והשם שהמודל שלך המצאת הוא משטח התקפה הניתן לחקלאות | התרעה מוקדמת על תוכנות זדוניות, גילוי ראיות ולאחר מכן אימות באמצעות בינה מלאכותית |
| 08שיעור ממצאי הבינה המלאכותית הניתנים להשגה ונמצאים בקוד שפותח באופן פעיל | מפריד בין צבר העבודה שלעולם לא תפנה לבין העבודה שמשנה את החשיפה שלך | משפך קביעת סדרי עדיפויות של בינה מלאכותית |
| 09אחוז היצירות שנכתבו על ידי סוכן pull requests מוזג עם אישור אנושי | מדד הממשל שרגולטור יבקש, וזה שאף אחד לא עוקב אחריו | Pull request אנליזה ושערי אישור |
אם אתם לוקחים רק אחד, קחו מדד 02. היחס בין נכסי הבינה המלאכותית שלא אושרו לבין סך כל נכסי הבינה המלאכותית הוא המספר ששורד את התרגום מצוות אבטחה לביקורת. commitטי, והוא זז כשאתה באמת עושה משהו.
מה צריכה לכסות אסטרטגיית בינה מלאכותית סוכנולוגית?
שלוש שכבות. הטעות שכמעט כולם עושים היא להתחיל מהראשונה ולעצור שם.
- שכבה ראשונה: מה שהסוכן כותב. קוד שנוצר נושא את אותן סיווגי פגיעות כמו קוד אנושי, ומחקרים משנת 2022 מצאו באופן עקבי שחלק ניכר מהתוכניות שנוצרו על ידי בינה מלאכותית מכילות פגמי אבטחה. שכבה זו היא המוכרת ביותר, וזו בדיוק הסיבה שהיא סופגת את כל תשומת הלב.
- שכבה שתיים: לאן מחובר הסוכן. קבצי מיומנות, קבצי כללים, תצורות שרת MCP, טווחי כלים, האישורים שתחתיהם פועל הסוכן. זוהי השכבה שקובעת עד כמה מתקפה מוצלחת עוברת, והיא בלתי נראית לכל דבר שבודק את המודל דרך נקודת הקצה שלו. אטלס מיטרה מקטלג את הקרקע הזו ישירות: מחקר המקרה של קובץ Rules File Backdoor, AML.CS0041, מתאר תווים ברוחב אפס בקובץ כללים שהופכים תיעוד להוראות שסוכן מציית להן בשקט. סוקר שקורא את pull request לא רואה כלום.
- שכבה שלישית: מה הסוכן מושך פנימה. תלויות, מודלים, מערכי נתונים, כלים חיצוניים. מחקר שהוצג בכנס USENIX Security בשנת 2025 יצר 2.23 מיליון דגימות קוד על פני 16 מודלים ומצא ש-19.7% מהחבילות המומלצות לא היו קיימות, מה שיצר יותר מ-205,000 שמות הזויים ייחודיים. תוקפים כבר לא צריכים לסכן את מתחזק הקוד. הם רושמים את השם שהסוכן שלך המציא ומחכים.
אסטרטגיית בינה מלאכותית סוכנתית המכסה רק את השכבה הראשונה מייצרת דוח נקי ופרופיל סיכון בינה מלאכותית ללא שינוי. OWASP Top 10 עבור יישומי LLM משקף זאת במבנה שלו עצמו: סוכנות מוגזמת נמצאת בראש הרשימה לפניcisאלי כי זו בעיית חיווט, לא בעיית דגם.
איך מיישמים את זה בלי להאט את הסוכנים?
האינסטינקט הוא לשלוט בכל דבר. זה נכשל כי כל הנקודה של הסוכן היא תפוקה, ובקרה שחוצה את התפוקה מוסרת תוך רבע.
שלושה עקרונות יישום תקפים:
- מדוד באופן רציף, שער באופן סלקטיבי. ניתן לאסוף את כל תשעת מדדי הסיכון של בינה מלאכותית בכל סריקה מבלי לחסום דבר. שמרו שערים קשיחים (hard gates) לקבוצה הקטנה שבה הכשל אינו ניתן לשחזור: תלות זדונית, סוד חי, מודל לא מאושר המטפל בנתונים מוסדרים.
- הציבו את האבטחה במקום שבו הסוכן כבר נמצא. סוכן המחובר דרך MCP קורא לפלטפורמת האבטחה בזמן שהיא יוצרת, סורקת את מה שזה עתה כתבה, ומבצעת איטרציות על התיקונים עד שהקוד עומד בספים שלך. אין אדם בלולאה בשלב זה, ואין צורך להתקין דבר במקום בו הסוכן פועל. זוהי נקודת ההתערבות היחידה שמתרחבת עם תפוקת הסוכן ולא נגדה.
- שמור את האדם ב pull request. כל דבר שמגיע לקוד הייצור, אדם מאשר. זו לא זהירות, זוהי עמדת התכנון שאליה חוק הבינה המלאכותית של האיחוד האירופי דוחף אותך בכל מקרה, וזה הרבה יותר זול לבנות עכשיו מאשר לשדרג תחת לחץ ביקורת. זהו גם מדד 09, ולכן מדד זה שווה מעקב מהיום הראשון.
השורה שלא מוקצית ברוב הארגונים היא השנייה. קבצי תצורה נופלים בין אבטחת יישומים, המתייחסת אליהם כתשתית, לבין הנדסת פלטפורמה, המתייחסת אליהם כתיעוד. פער זה הוא המקום שבו נופלות ההתקפות המעניינות.
איך מתחילים למדוד את הסיכון של בינה מלאכותית ברבעון הזה?
אל תבנו את התוכנית המלאה. צרפו שלושה מספרים. ספרו את נכסי הבינה המלאכותית שלכם. ספרו כמה מהם אף אחד לא אישר. ספרו כמה סודות נמצאים בקבצי תצורה של בינה מלאכותית. שלושת אלה מתאימים לשקופית אחת; כולם ניתנים להגנה, והם יהיו גרועים יותר ממה שמי שביקש אותם מצפה.
אז תבחרו את הגרועה ביותר ותתקנו אותה לפני ישיבת הדירקטוריון הבאה. זוהי תוכנית סיכונים מתפקדת של בינה מלאכותית. כל השאר הוא פירוט.
הארגונים שיתקשו להתמודד עם סיכוני בינה מלאכותית בשנת 2027 אינם אלה שפעלו במהירות. הם אלה שבילו את שנת 2026 בכתיבת מדיניות בינה מלאכותית ומעולם לא ספרו דבר. מדיניות שאף אחד לא יכול למדוד מולה היא מסמך. מדדי סיכון של בינה מלאכותית הם שהופכים אותה לכלי בקרה.
ראה את המספרים שלך. חבר מאגר ו-Xygeni מחזירה את מלאי הבינה המלאכותית שלך, את הנכסים שלא אושרו, את הסיכונים הממופים למסגרות בהן משתמשים המבקרים שלך, ו-AI-BOM שניתן לייצא. התחל בחינם or הזמן הדגמה.
שאלות נפוצות
מה ההבדל בין סיכון בינה מלאכותית לבטיחות בינה מלאכותית?
בטיחות בינה מלאכותית עוסקת בעיקר במה שמודל עושה: האם הוא מתנהג כמתוכנן, האם התפוקות שלו מזיקות, האם ניתן לתמרן אותו למשהו שהוא צריך לסרב לו. סיכון בינה מלאכותית, בהקשר של אבטחה, עוסק במה שמערכת בינה מלאכותית פרוצה או לא מתפקדת כראוי יכולה להגיע אל תוך הסביבה שלך. השניים חופפים, אך הם בבעלות צוותים שונים ונמדדים באמצעות מכשירים שונים. צוות אבטחה יכול לפעול על סמך השני כיום.
כמה מדדי סיכון של בינה מלאכותית עלינו לדווח לדירקטוריון?
שלושה עד חמישה. לוח לא יכול לפעול על תשעה מספרים, וחפיסה עם תשעה נוטה להסתיר את זה שחשוב. דווחו על ספירת נכסי הבינה המלאכותית הכוללת שלכם, על האחוז שלא אושר, ועל מדד חשיפה אחד כגון ממצאי בינה מלאכותית ניתנים להשגה בפיתוח פעיל. שמרו את השאר לסקירה תפעולית.
האם אנחנו צריכים AI-BOM אם עדיין אין רגולציה שמחייבת אחד כזה?
אין תקנה המחייבת כיום BI-BOM, וזו בדיוק הסיבה שיצירתו זולה כרגע ויקרה בהמשך. קיימים כיום שני פורמטים הניתנים לקריאה על ידי מכונה, ומבקר יקבל כל אחד מהם. הערך אינו תאימות; אלא שהפקת הקובץ כופה עליך את המלאי, והמלאי הוא מה שכל מדד סיכון של בינה מלאכותית תלוי בו.
המפתחים שלנו משתמשים בכלי בינה מלאכותית שמעולם לא אישרנו. מאיפה מתחילים?
ספור לפני שאתה מבצע פיקוח. הכרזה על מדיניות נגד כלים שאתה לא רואה מקדמת את השימוש בסתר והורסת את הנראות שאתה צריך. הפעל תחילה גילוי, פרסם את המספר באופן פנימי ללא ייחוס, והשתמש בו כדי להסכים על רשימה מאושרת המשקפת את מה שאנשים באמת צריכים. אכיפה נוחתת הרבה יותר טוב כשהיא מגיעה בעקבות ראיות מאשר כשהיא קודמת להן.
