TL;DR: הנדסת רתמת סוכנים ומשטח ההתקפה הנסתר שלה
הנדסת רתמת סוכנים היא הפרקטיקה של בניית הכל סביב מודל בינה מלאכותית (הוראות, כלים, הרשאות, זיכרון ולולאות משוב) שהופך אותו לסוכן עובד. רתמה זו, לא המודל, היא המקום שבו טמון כעת רוב הסיכון הביטחוני האמיתי.
- השינוי: צוותים הפסיקו לכוונן את ההנחיות והחלו להנדס רתמות. סוכן = דגם + רתמה.
- הבעיה: הרתמה נמצאת בקבצי טקסט רגיל (כללים, מיומנויות, תצורות MCP) שנבדקים כמו תיעוד, אם בכלל.
- ההוכחות: דלת אחורית של קובץ הכללים ו-CVEs אמיתיים של MCP מראים שתוקפים כבר מכוונים אליה.
- התיקון: התייחסו לרתמה כאל קוד. ערכו אותה, סקרו אותה וסרוק אותה לפני שהיא נשלחת.
כל שיחת אבטחה על בינה מלאכותית בסופו של דבר מגיעה למודל. האם ניתן לפרוץ אותו? האם הוא יזהה? האם הספק מאמן את הנתונים שלנו?
שאלות הוגנות. אבל הן הולכות וגדלות, שאלות שגויות. כאשר סוכן בינה מלאכותית מוחק טבלת ייצור, דוחף דלת אחורית או שולח רשימת לקוחות בדוא"ל לאדם זר, המודל הוא לעיתים רחוקות מה שנכשל. המודל עשה בדיוק את מה שהרתמה שלו אפשרה לו לעשות.
סוכן = דגם + רתמה
במהלך השנה האחרונה, התעשייה שינתה בשקט את מה שמשמעותה של בנייה עם בינה מלאכותית. הנדסה מהירה פינתה את מקומה להנדסת הקשר, והנדסת הקשר פינתה את מקומה למשהו גדול יותר: הנדסת רתמות סוכן.
הרעיון פשוט. מודל בפני עצמו הוא מנוע חשיבה ללא ידיים. הרתמה היא כל מה שנותן לו ידיים ומשימה: ההוראות שהוא מבצע, הכלים שהוא יכול לקרוא להם, ההרשאות שהוא מחזיק, הזיכרון שהוא שומר והבדיקות שתופסות את הטעויות שלו. האתר של מרטין פאולר מתאר הנדסת רתמות כעבודה שמשתמשי סוכני קידוד עושים כיום כדי להפוך סוכנים לאמינים, ו- מסגרת אקדמית שפורסמה השנה מחלק את הרתמה לאחת עשרה תחומי אחריות, החל מגישה לכלי וזיכרון הפרויקט ועד להרשאות ואימות.
התוצאות אמיתיות. צוותים המתמחים בהנדסת רתמות סוכנים מדווחים ששינוי הרתמה בלבד, עם אותו דגם מתחת, יכול לשנות את תוצאות הסוכן באופן דרמטי. זה מעלה נקודה לא נוחה עבור כל מי שעובד באבטחה: אם הרתמה מחליטה כיצד הסוכן מתנהג, הרתמה מחליטה כיצד ניתן לנצל אותה לרעה.
קחו למשל משהו רגיל כמו התקנת תלות. מפתח עוצר כדי לבדוק את שם החבילה. סוכן עם הכלי הנכון ברתמה שלו פשוט מפעיל את הפקודה, ואם החבילה זדונית, שום דבר במודל לא יעצור אותה. זה בדיוק מה שאנחנו מפרקים בפרק הזה של SafeDev Talks: מה משתנה כאשר סוכני בינה מלאכותית מתקינים תלויות בכוחות עצמם, ומדוע הנדסת רתמות סוכנים הפכה בשקט לבעיה בשרשרת האספקה.
איך נראית הנדסת רתמת סוכנים במאגר
פתחו מאגר שבו מפתחים משתמשים בסוכני בינה מלאכותית והרתמה נמצאת ממש שם, בקבצים שכנראה מעולם לא סרקתם:
- קבצי כללים והוראות (
AGENTS.md,.cursorrules, הוראות טייס משנה) שאומרות לסוכן כיצד להתנהג. - קבצי מיומנות שאת היכולות הרב פעמיות של החבילה הזו הסוכן טוען לפי דרישה.
- תצורות שרת MCP שמחברים את הסוכן לכלים, מסדי נתונים וממשקי API.
- הנחיות מערכת ותבניות הנחיות מוטמע בקוד האפליקציה.
- חיווט סוכן: לאילו כלים סוכן יכול להגיע, אילו נתונים הוא יכול לאחזר, והאם קיים מעקה בטיחות בין לבין.
הכל טקסט רגיל. הכל commitמשולב לצד קוד. וכל זה נבדק כפי שתיעוד נבדק: מבט חטוף, אישור, מיזוג. ובכל זאת, כל אחד מהקבצים הללו יכול לכתוב מחדש בשקט את מה שסוכן מקבל הוראה לעשות ואת מה שהוא רשאי לגעת בו.
זוהי התוצאה האמיתית של הנדסת רתמת סוכנים: התצורה החזקה ביותר בתוכנה שלך נבדקת כעת הכי פחות.
התוקפים כבר שמו לב
זו אינה דאגה תיאורטית. לרתמה יש היסטוריית תקריות קצרה אך מעניינת.
- דלת אחורית של קובץ הכללים. במרץ 2025, חוקרים חשפו מתקפה שבה תווי יוניקוד מוסתרים בתוך קובץ כללים הורו לעוזרי קידוד של בינה מלאכותית להכניס קוד אחורי, מבלי להזכיר זאת בתגובתם הנראית לעין. סוקר שקרא את הקובץ לא ראה דבר חריג. כעת הוא מקוטלג כ... מקרה בוחן של MITRE ATLAS AML.CS0041.
- כלי MCP מורעלים. עד שנת 2025, חוקרים הראו שוב ושוב שסוכנים סומכים על תיאורי כלים באופן מרומז, כך ששרת MCP זדוני יכול לכוון סוכן פשוט על ידי תיאור עצמו בצורה הנכונה. באותה שנה, CVE-2025-6514 בלקוח MCP שהורד באופן נרחב אפשר ביצוע פקודות מרחוק בעת התחברות לשרת לא מהימן, מדורג 9.6 ב-CVSS.
- סוכנות מוגזמת. השמיים OWASP Top 10 עבור יישומי LLM מפרט סוכנות מוגזמת כסיכון עיקרי: סוכנים מקבלים יותר כלים, הרשאות או אוטונומיה ממה שהמשימה דורשת. זה לא פגם במודל. זהו תכנון רתמהcisיון.
שימו לב לדפוס. אף אחת מההתקפות הללו לא שוברת את המודל. הן שוברות את הרתמה, והמודל עושה נאמנה את השאר.
למה מחסנית האבטחה שלך לא רואה את זה
הנה החלק המביך. רוב הארגונים כבר משתמשים בכלי AppSec טובים, וכמעט אף אחד מהם לא נבנה עבור שכבה זו.
ניתוח סטטי מבין קוד, אך אינו יודע מהו מודל או מדוע טקסט לא מהימן הזורם לתוך הפקודה של המערכת חשוב. ניתוח קומפוזיציה מבצע מלאי של חבילות, אך אינו מונה שרתי MCP או קבצי מיומנות. סורקים סודיים עלולים לפספס מפתח API הנמצא בקובץ תצורה של סוכן. אף אחד מהכלים הללו אינו פגום. הם פשוט נבנו עבור עולם שבו תצורה לא נתנה פקודות.
אז הנדסת צמת הרשת של הסוכנים מתקדמת במהירות, והאבטחה בודקת את החלק שהיא יכולה לראות: המודל והקוד. הצמת נופלת בין לבין.
חמישה הרגלים לאבטחת הרתמה
הנדסת רתמות של סוכני אבטחה אינה זקוקה לצוות חדש. היא זקוקה לכמה הרגלים שמתייחסים לרתמה כפי שהיא: כוונה ניתנת לביצוע.
| רגל | למה זה משנה | מה לעשות |
|---|---|---|
| 1. ערוך מלאי של כל רתמה | אי אפשר לאבטח סוכנים שאף אחד לא הצהיר עליהם. | מצאו כל מודל, סוכן, שרת MCP, מיומנות והנחיה במאגרים שלכם, מתוך קבצי הקוד וקבצי התצורה עצמם ולא מסקר. |
| 2. סקירת קבצי רתמה כמו קוד | כללים, מיומנויות ותצורות MCP יכולים לכתוב מחדש את מה שסוכן עושה, אך הם נבדקים כמו תיעוד. | תנו להם את אותו הדבר pull request בדיקה כלוגיקה של יישומים, כולל בדיקות לאיתור תווים נסתרים. |
| 3. הצמד את מה שהסוכן טוען | ניתן להצביע מחדש על הפקודה או מודל שאליהם מפנה תווית ניתנת לשינוי ללא שינוי קוד. | הצמד הנחיות ומודלים לגרסאות בלתי ניתנות לשינוי. |
| 4. שימו מעקה בטיחות על כל כיור | מסמכים שאוחזרו, פלט של כלי ותוכן משתמש יכולים כולם לשאת הוראות שהוזרקו למודל. | הציבו מעקה בטיחות בנתיב בכל מקום שבו התוכן יכול להגיע למודל. |
| 5. הרחיקו את אישורי הגישה שלכם מהרתמה | מפתחות ספקי בינה מלאכותית בקבצי הפקודה ובתצורות של סוכנים הם ניצחון קל עבור תוקף. | הסר אותם והמשך לסרוק קבצי רתמה בחיפוש אחר סודות. זהו תיקון קל. |
אבטחת הרתמה, לא רק הדגם
אבטחת בינה מלאכותית של Xygeni מתחיל במקום שבו הנדסת רתמות סוכנים משאירה את טביעת הרגל שלה: במאגרים שלך. היא מגלה את נכסי הבינה המלאכותית בבסיס הקוד שלך (מודלים, סוכנים, שרתי MCP, מיומנויות, הנחיות, guardrails, וכלי קידוד הבינה המלאכותית הנמצאים בשימוש) מקוד, תלויות וקבצי תצורה שהכלים הללו משאירים אחריהם.
לאחר מכן, המערכת מנתחת קבצי מיומנות, קבצי כללים ותצורות MCP כארכיטקטורות אבטחה, ולא כתיעוד, ומזהה סיכונים של מחלקת הזרקת פרומפטים בחיווט סוכנים, כגון תוכן לא מהימן המגיע לפרומפט מערכת או כיור אחזור ללא מעקה בטיחות. סריקת הסודות של Xygeni מסמנת אישורי ספק בינה מלאכותית בהנחיות ובקבצי תצורת סוכנים, והתלויות של מחסנית הבינה המלאכותית שלך מקבלות את אותו זיהוי תוכנות זדוניות כמו כל דבר אחר, לפני שקיימת חתימה.
שאלות נפוצות
מהי הנדסת רתמות סוכנים?
הנדסת רתמות סוכנים (Agent harness engineering) היא תחום של תכנון סביבה סביב מודל בינה מלאכותית (הוראות, כלים, הרשאות, זיכרון, הקשר ולולאות אימות) כך שיתנהג כסוכן אמין. המודל מספק הנמקה; הרתמה מחליטה מה הסוכן יכול לראות ולעשות.
במה שונה הנדסת רתמת סוכנים מהנדסת רצף (Prompt Engineering)?
הנדסת הנחיות (Prompt Engineering) מעצבת הוראה אחת. הנדסת רתמת סוכנים (Agent Harness) מעצבת את כל המערכת בה הסוכן פועל, על פני שלבים, כלים וסשנים רבים. הנחיה היא קובץ אחד ברתמת ה-Prompt.
מדוע הרתמה מהווה סיכון ביטחוני?
מכיוון שהוא שולט במה שסוכן רשאי לעשות, והוא נמצא בקבצי טקסט רגיל שנבדקים לעתים רחוקות כארכיטקטורת אבטחה. פגיעה בקובץ כללים או בתצורת MCP תאפשר שליטה בסוכן, מבלי לגעת במודל.
מי צריך להיות הבעלים של סוכן לרתום אבטחה?
אבטחת יישומים, עבודה עם המהנדסים שבונים ומגדירים סוכנים. הרתמה היא חלק מהתוכנה שאתם מספקים, ולכן היא שייכת לאותם תהליכי סקירה, סריקה ומלאי כמו שאר הקוד שלכם.
