TL; DR
"איומי אבטחה של בינה מלאכותית" מכסים שני דברים שונים: התקפות המכוונות נגד מערכות בינה מלאכותית, והתקפות המשתמשות בבינה מלאכותית כנשק. הם זקוקים לבקרות שונות, בעלים שונים וראיות שונות, ורוב הרשימות מערבבות אותן יחד, ולכן קשה כל כך לפעול לפיהן. חמשת הראשונים שלהלן מכוונים לבינה מלאכותית שלכם. חמשת השניים משתמשים בבינה מלאכותית נגד שרשרת האספקה שלכם.
- איומים על מערכות בינה מלאכותית טמונים בעיקר בתצורה, לא במודל. טווח הכלי, האישורים שתחתיהם פועל הסוכן, קובץ כללים,
.mcp/servers.jsonכניסה. אף אחד מהם אינו נגיש מנקודת הקצה של המודל, ולכן שיתוף פעולה אדום לבדו חוזר בצורה נקייה. - התקפות המונעות על ידי בינה מלאכותית מגיעות בעיקר דרך תלויות, לא דרך ההיקף שלך. שמות חבילות הזויים שנרשמו על ידי תוקפים, תולעים שמפיצות את עצמן באמצעות אישורי מפתח, מפתחות ספקי בינה מלאכותית כמטרה.
- תשע מתוך עשר הן שאלות על דברים ספציפיים. אילו שרתי MCP, אילו סוכנים, איזה היקף, אילו אישורים, איזה קובץ כללים, איזו חבילה. מסמך מדיניות לא עונה על אף אחד מאלה.
- לכל אחד מהעשרה יש תנאי מוקדם. אי אפשר להגן על נכס בינה מלאכותית שמעולם לא מיפית, מה שהופך את הגילוי לשלב שלפני הבקרות ולא לזה שאחריו.
מהם שני סוגי איומי אבטחה של בינה מלאכותית?
רוב רשימות איומי האבטחה של בינה מלאכותית מערבבות את השניים, ולכן קשה לפעול נגדם.
- איומים על מערכות בינה מלאכותית התייחסו לבינה המלאכותית שלכם כאל מטרה. מישהו מתמרן מודל, מרעיל את ההוראות שהוא מבצע, או מנצל לרעה את ההרשאות שניתנו לסוכן. תפקידו של המגן הוא בלימה: לצמצם את מה שבינה מלאכותית פגועה יכולה להגיע אליו.
- התקפות מונעות בינה מלאכותית התייחסו לבינה מלאכותית ככלי של התוקף. המטרה היא התוכנה הרגילה שלכם: תלויות, אישורים, מערכות בנייה, מפתחים. תפקידו של המגן הוא זיהוי במהירות, מכיוון שהכלכלה של ההתקפה השתנתה והנפח עלה.
הם זקוקים לבקרות שונות, בעלים שונים וראיות שונות. צוות שסגר את הצ'אטבוט שלו בצוות אדום לא עשה דבר בנוגע ל"סלופסקווט". צוות עם סינון תלות מעולה עדיין עשוי להפעיל סוכן עם גישת כתיבה למאגרי ייצור וללא הגבלת היקף. שניהם איומי אבטחה של בינה מלאכותית. אף אחד מהם לא מכסה את השני.
איומים על מערכות בינה מלאכותית: חמשת האיומים הנפוצים ביותר
01. הזרקה מהירה שמגיעה לכיור הכלי
תוכן לא אמין מגיע, משורשר לתוך הפקודה של המערכת, והסוכן בצד השני יכול להפעיל כלים. הפקודה אינה הפקודה. הנתיב מקלט לא אמין ליכולת מסוכנת הוא.
זו הסיבה שסינון מהיר לבדו מאכזב. הוא מקשה קצה אחד של השרשרת, בעוד שהשאלה המעניינת היא האם מעקה בטיחות נמצא איפשהו בין הקלט לקריאה לכלי. OWASP Top 10 עבור יישומי LLM שומר על הזרקה מהירה בראש הרשימה, אך משלב אותה עם סוכנות מוגזמת בדיוק מסיבה זו.
מה לחפש: קלט לא אמין המגיע לשורת מערכת, אחזור הקשר הזנה ללא חיטוי, וכיורי כלים נגישים ללא מעקה בטיחות ביניהם.
02. חוקים זדוניים וקבצי מיומנויות
קובץ חוקים הוא טקסט רגיל. הוא commitתיעוד כמו זה נבדק ונבדק, והוא מורה לעוזר מה לעשות. תווים ברוחב אפס הופכים שורות לבלתי נראות ב- pull request diff תוך שמירה על קריאות מושלמות לסוכן.
אטלס מיטרה מקטלג זאת כ- Rules File Backdoor, מקרה בוחן AML.CS0041. הבודק מאשר מוסכמה לעיצוב. הסוכן קורא הוראה לייבא מחבילה הנשלטת על ידי תוקף ולא לומר דבר על כך.
מה לחפש: קבצי כללים, קבצי מיומנות ותבניות הנחיות שנותחו כקוד ולא כפרוזה, עם זיהוי תווים בלתי נראים.
03. תצורת שרת MCP לא בטוחה
תצורת MCP הוא המקום שבו סוכן מקבל את פקודותיו והמקום שבו מצטברים אישורים. שני החצאים מהווים בעיה. CVE-2025-6514, שנחשף ביולי 2025, היה הזרקת פקודה קריטית למערכת הפעלה בגשר MCP נפוץ, עם ציון CVSS של 9.6 ואפשר פקודות שרירותיות על מארח הלקוח בעת התחברות לשרת לא מהימן.
מחצית האישורים גרועה יותר משום שהיא פסיבית. מחקר משנת 2026 מצא יותר מ-24,000 סודות הנמצאים בקבצי תצורה של MCP ב-GitHub הציבורי, כאשר למעלה מ-2,000 מהם עדיין תקפים.
מה לחפש: רשימת מלאי של שרתי MCP הנמצאים בשימוש, הגרסאות שלהם, הכלים המוצהרים שלהם וזיהוי סודות הפועל על קבצי תצורה.
04. סוכנות מוגזמת
סוכן שניתנת לו היקף כלים רחב ואישורים ארוכי טווח הוא הסלמה מתמשכת של הרשאות הממתינה לטריגר. אין לנצל דבר כדי שזה יפגע. סוכן מבולבל וסוכן פרוץ גורמים נזק דומה כאשר לשניהם יש גישת כתיבה שמעולם לא הייתה זקוקה לה.
זהו הפריט הכי פחות זוהר ברשימה והנפוץ ביותר. יש לו גם את התיקון הזול ביותר, שהוא צמצום היקף, והתיקון מיושם לעתים רחוקות מכיוון שאף אחד לא אחראי על השאלה.
מה לחפש: אילו סוכנים קיימים, מה כל אחד יכול להפעיל, תחת של מי האישורים, והאם מישהו אישר את ההיקף הזה.
05. מודלים מורעלים, מערכי נתונים ותלויות בינה מלאכותית
מחסנית הבינה המלאכותית בנויה על חבילות רגילות וארטיפקטים מתארחים. מודלים מורדים ממרכזים ציבוריים. מערכי נתונים נמשכים מכל מקום. לשניהם אותה בעיית מקור כמו לכל תלות, עם פחות כלים והרבה פחות בדיקה.
מה לחפש: מודלים, מסגרות ומערכי נתונים המטופלים כרכיבי שרשרת אספקה, עם אותו ניתוח הרכב ואותם מעקב CVE כמו שאר התלויות שלך.
התקפות המונעות על ידי בינה מלאכותית: חמש הפעולות שמעצבים מחדש את שרשרת האספקה שלך
06. כריעה קלה
מחקר שהוצג בכנס USENIX Security בשנת 2025 יצר 2.23 מיליון דגימות קוד ב-16 מודלים ומצא ש-19.7% מהחבילות המומלצות לא היו קיימות, מה שיצר למעלה מ-205,000 שמות הזויים ייחודיים. כ-43% מהשמות הללו חזרו על עצמם בהרצות חוזרות של אותה הפקודה, מה שהופך אותם לניתנים לעיבוד חקלאי.
תוקפים כבר לא צריכים לסכן מתחזק. הם רושמים את השם שהסוכן שלך המציא ומחכים להתקנה. לחבילה אין חתימה ואין הנחיות, כי היא חדשה ואף אחד לא ראה אותה קודם.
מה לחפש: סינון תוכנות זדוניות שעובד על התנהגות ולא על מוניטין, מוחל על כל תלות שסוכן מוסיף.
07. תולעי שרשרת אספקה מתפשטות מעצמן
השמיים ספטמבר 2025 תולעת npm סימנה את הנקודה שבה מכונות המפתח הפכו למנגנון האספקה ולא למטרה. הדפוס חזר על עצמו בקנה מידה גדול עד 2026. כל אישור מפתח שנפגע מפרסם את הסיבוב הבא של חבילות שנפגעו, ורדיוס הפיצוץ מתחבר במקום להוסיף.
מה לחפש: פעילות פרסום חריגה, יוצאת דופן commit דפוסים ושימוש באישורים שאינם תואמים את ההתנהגות הרגילה של המפתח.
08. מיקוד מדינתי של אישורי בינה מלאכותית
במרץ 2026, חבילה עם כ-100 מיליון הורדות שבועיות נפגעה למשך תקופה שנמדדה בשעות, כאשר המטרה הייתה מפתחות API של ספק הבינה המלאכותית. החלון היה קצר במכוון. ארוך מספיק כדי לאסוף, קצר מספיק כדי להפחית את הסיכוי לגילוי.
אישורי בינה מלאכותית הם כיום מטרה מהשורה הראשונה בפני עצמה, משום שהם קונים מחשוב, גישה וזהות סבירה. התקפות שמטרתן לגנוב אותם עלו בחדות בין סוף 2025 לתחילת 2026.
מה לחפש: מפתחות ספקי בינה מלאכותית מטופלים כסודות עם אותם זיהוי וביטול כמו אישורי ענן.
09. תוכנה זדונית שנוצרה או נשתלה באמצעות תואר שני במשפטים
עד שנת 2026, תועדו מקרים של מודל שפה שנוצל כנשק כדי לשתול קוד זדוני בתוך זרימת עבודה של סוכן. המשמעות אינה שהתוכנה הזדונית הייתה חדשה. אלא שהכותב הפסיק להוות צוואר בקבוק, וכמות הקוד הזדוני שנראה סביר הזמין לתוקף עלתה בהתאם.
מה לחפש: זיהוי זה לא תלוי בראיית הדגימה קודם.
10. סקירת קריסת קיבולת
זו אינה התקפה, וזו הסיבה שהיא האחרונה והכי חשובה. כאשר סוכן מייצר אלף קבצים בשבוע, סקירת קוד מפסיקה להיות בקרה והופכת לתור. כל איום אחר ברשימה הזו הופך קל יותר כאשר הבדיקה האנושית האחרונה מוצפת.
מה לחפש: ממצאים מדורגים לפי ניצול ולא לפי חומרה גולמית, כך שהמספר הקטן שמאיים על הייצור אכן מגיע למפתח.
עשרה איומים הם המפה. מה לעשות לגבי כל אחד מהם לוקח יותר זמן מפוסט בבלוג, אז ניהלנו את השיחה כמו שצריך. בפרק הזה של שיחות SafeDevחסוס קואדראדו, מנכ"ל Xygeni, יושב עם אטאנאס ניקולוב, מומחה DevSecOps ו-SSDLC מוביל טכנולוגי, בנושא תוכנות זדוניות פולימורפיות, הזרקה מהירה, שיבוש מודלים, ומה באמת עומד בפניהן. אין טופס, אין שער.
למה אתם לא יכולים להגן על נכסי בינה מלאכותית שלא מיפיתם?
קראו שוב את עשרת השאלות, וקשה לפספס את התבנית. תשע מהן הן שאלות על דברים ספציפיים: אילו שרתי MCP, אילו סוכנים, איזה היקף, אילו אישורים, איזה קובץ חוקים, איזו חבילה.
אף אחת מהשאלות הללו לא יכולה לקבל מענה ממסמך מדיניות. הן נענות ממסמך מלאי, ולרוב הארגונים אין כזה. הבינה המלאכותית הגיעה דרך מפתחים שפעלו במהירות, ללא פנייה, תהליך רכש או ערך במאגר שהכריז על עצמה כבינה מלאכותית.
זה הופך את המיפוי לתנאי מוקדם ולא לשלב הראשון. תוכנית איומי אבטחה של בינה מלאכותית שמתחילה בבקרות תיישם אותן על הבינה המלאכותית שהיא מכירה, שהיא תת-קבוצה שהיא לא יכולה לדרג. גילוי חייב לבוא קודם כל: מודלים, מסגרות, מערכי נתונים, נקודות קצה להסקת מסקנות, סוכנים, שרתי MCP, מיומנויות, הנחיות וכלי קידוד הבינה המלאכותית שבהם המפתחים שלכם משתמשים בפועל, עם הקשרים ביניהם, מכיוון שנכס בפני עצמו אומר לכם מעט מאוד והסיכון מתרכז בשרשרת.
השמיים NIST AI Risk Management Framework ממקם את הפונקציה map לפני measure ו-manage מאותה סיבה. זוהי הפונקציה הכי פחות מעניינת במסגרת וזו שכל השאר תלוי בה.
אילו איומי אבטחה של בינה מלאכותית כדאי לפעול נגדם תחילה?
לא הכי מתוחכם. הכי נגיש.
- השבוע: ספירת שרתי ה-MCP שלכם והרצת זיהוי סודות על קבצי התצורה שלהם. איום 03 הוא בעל יחס החשיפה למאמץ הגבוה ביותר ברשימה, וכמעט אף אחד לא בדק.
- החודש: מצאו את הסוכנים שלכם ורשמו מה כל אחד יכול להפעיל ותחת מי האישורים. זה מטפל באיום 04, שהוא הנפוץ ביותר והזול ביותר להפחתה.
- רבעון זה: הציבו סינון תוכנות זדוניות התנהגותיות לפני כל תלות שסוכן מוסיף. זה מכסה את איומים 06, 07 ו-09 בו זמנית, מכיוון ששלושתם מביסים בדיקות מבוססות מוניטין בכך שהם חדשים.
כל השאר יכול לחכות מאחורי שלושת אלה, כי כל השאר מניח שאתה כבר יודע מה יש לך.
הארגונים שיטפלו היטב באיומי אבטחה של בינה מלאכותית בשנת 2027 לא יהיו אלה עם הערכות המודל הטובות ביותר. הם יהיו אלה שיוכלו לענות, בכל יום שלישי נתון, על מה בינה מלאכותית מפעילה בתוכנה שלהם ולאן היא רשאית להגיע. זוהי העמדה. קסיגני נבנה סביב: גילוי מתמשך של כל נכס בינה מלאכותית במאגרים שונים ו pipelines, דירוג סיכונים מול המסגרות שהמבקרים שלכם כבר מכירים, וסינון שרשרת האספקה שתופס את מה שאין עליו עדיין חתימה.
עשרה איומים, שתי קטגוריות, מפה אחת מתחת לשתיהן.
שאלות נפוצות
האם איומי אבטחה של בינה מלאכותית באמת שונים מאיומי אבטחה של יישומים רגילים?
חלקית. ההשלכות מוכרות: ביצוע קוד, גניבת אישורים, חשיפת נתונים. מה שמשתנה הוא נקודת הכניסה והמהירות. קבצי תצורה שהיו בעבר אדישים נושאים כעת הוראות שמשהו פועל עליהן, ועלות התוקף ביצירת קוד זדוני משכנע ירדה. הבקרות הקיימות שלך עדיין תקפות; הן פשוט כבר לא מכסות את כל פני השטח.
האם שילוב המודלים שלנו בצוותים אדומים מטפל ברוב האיומים הללו?
זה מטפל בחלק מאחד מהם. Red-teaming עונה על השאלה האם ניתן לשכנע מודל לסרב לו, וזה באמת שימושי. הוא לא יכול לראות את טווח הכלי, את האישורים, את קובץ הכללים או את תצורת ה-MCP, מכיוון שאף אחד מאלה אינו נגיש דרך נקודת הקצה של המודל. דוח Red-team נקי וסוכן בעל הרשאות יתר מסוכנות מתקיימים יחד ללא סתירה.
איזה מבין איומי האבטחה של בינה מלאכותית מוערך פחות?
סוכנות מוגזמת, בפער ניכר. אין לה CVE, אין לה ניצול לרעה להדגים, ואין לה ספק שמוכר מוצר ייעודי עבורה, כך שהיא לא מייצרת דחיפות. זהו גם ההבדל בין אירוע מוכל לאירוע שאינו מוכל, כי ההיקף הוא מה שקובע כמה רחוק כל דבר מתקדם לאחר הטעות הראשונה.
כיצד התקפות המונעות על ידי בינה מלאכותית משנות את מה שעלינו למדוד?
הם מעבירים את המדד השימושי מחומרתו לזמן. כאשר חבילות זדוניות נוצרות מהר יותר מפרסום חתימות, "כמה פתרונות קריטיים פתוחים" משנה פחות מאשר "באיזו מהירות משהו חדש מסומן". מדדו את הפער בין תלות שנכנסת לבסיס הקוד שלכם לבין סינונה, ואת הפער בין העלאת ממצא לבין הגעה למפתח שיכול לפעול על פיו.
