TL; DR
שלוש תשובות לאותה שאלה על סיכון של בינה מלאכותית סוכנית
ציפינו להסכמה רחבה לגבי הגבלת סוכני בינה מלאכותית וקיבלנו שלוש תשובות שונות.
- פדרו פורטונה: לחלק סוכנים למספר רב של סוכנים קטנים וספציפיים, שלכל אחד מהם הרשאות צרות ככל האפשר, ולהוסיף ניטור זמן ריצה שעוצר אותם מוקדם.
- ג'ק טרפון: ההפך, עבור סוכני קידוד. הגבל אחד ותהרוס את מה שהופך אותו לשימושי, אז קבל את רדיוס הפיצוץ והשקיע באיתור ובשחזור מהיר.
- לואיס רודריגס ברזוסה: שורה שלישית. התייחסו למודלים של גבול כפי שהייתם מתייחסים לתוכנות זדוניות, תכננו את הרתמה כדי להגביל כל סוכן ייעודי, והניחו שכבת אכיפה מתחת לכולם שתעמוד במבחן הזמן כאשר כל מה שמעליו נכשל.
המקום בו נפגשו שלושתם: אי אפשר להגן על מה שלא ריכזת, כל פעולה חייבת להירשם, והדבר שעוצר סוכן צריך להיות מחוץ לסוכן.
שום דבר לא הופר.
הסוכן עשה את עבודתו. בדרך, הוא החליט שהוא צריך לגעת בתלות, בקונפיגורציה, בשירות שאף אחד לא ביקש ממנו לגעת בו. הוא נשאר בתוך ההרשאות שלו כל הזמן. שום כלל לא הופר, ולכן שום דבר לא הופעל.
הגשנו את המקרה הזה לשלושה אנשים שמטפלים בו באופן מקצועי, בציפייה להסכמה רחבה לגבי מה לעשות בנידון. קיבלנו שלוש תשובות שונות, ושתיים מהן סותרות זו את זו.
סיכון של בינה מלאכותית סוכנתית מתואר בדרך כלל כבעיה של תוקף. זוהי הגרסה השנייה. במשך עשרים שנה שרטטנו גבולות הרשאה סביב תוכנה שעשתה בדיוק את מה שנאמר לה. חשבון שירות, רץ CI, משימה מתוזמנת. טעינו בגבול לעתים קרובות מספיק, אבל הדבר שבתוכו היה צפוי. הוא עשה עבודה אחת, באותה צורה, בכל פעם.
הדבר שבתוך הגבול קובע כעת. והגבול עדיין נמשך כפי שתמיד היה: מראש, בזמן התצורה, על ידי מישהו שלא יכול לדעת למה תהפוך המשימה.
זוהי הגרסה של סיכון בינה מלאכותית סוכנית ששווה להתווכח עליה, ובילינו עליה שעה בפרק האחרון שיחה של SafeDev עם פדרו פורטונה של Jscrambler, ג'ק טרפון של חברת הייעוץ הדיגיטלי של טרפון, ו לואיס רודריגס ברזוסה של Xygeni, בהנחיית אלחנדרו אסטרדה.
ציפינו שהם יסכימו באופן כללי. הם לא הסכימו.
סיכון בינה מלאכותית סוכנית: הנחת היסוד המנחמת שאינה מחזיקה מעמד
במסגור למעלה יש מילה שעושה יותר עבודה ממה שהיא צריכה: תוקףאין אחד כזה. זה אמור להקל על התרחיש.
פדרו פירק את זה בתנועה אחת.
"להיות תוקף או לא זה מושג אנושי. מה שהופך תוקף לתוקף הוא שיש לו מטרות שונות. וגם סוכן לא מיושר הוא משהו שיש לו מטרה שונה."
שב עם זה, כי זה מפרק את ההנחה של רוב שיחות הסיכון של בינה מלאכותית סוכנית, כולל התיאור שכתבנו לאירוע שלנו. אם מה שמגדיר תוקף הוא מטרות שונות ולא זדון, אז "אין תוקף בסיפור הזה" הוא נחמה שאף אחד לא הרוויח. מבחינה מבנית, זה אותו סיכון. מה שחסר הוא כוונה, וכוונה מעולם לא הייתה הדבר שהבקרות שלך זיהו. הן מזהות השפעות. הן תמיד עשו זאת.
זו גם הסיבה שאוצר המילים של התעשייה השתנה. של OWASP עשרת המובילים לשנת 2026 עבור בקשות לתואר שני במשפטים קידם את הסוכנות המוגזמת מהמקום השישי למקום השלישי, וזה פחות שינוי דעה ויותר רישום אירועים שהשיג את הפער עם ארכיטקטורה שכבר הייתה פרוסה.
מה באמת מראה תקרית "הפנים המחבקות"
התקרית של יולי, שבה דוגמנית מהגבול תקפה צד שלישי, נקראה באופן נרחב כסיפור על דוגמנית שהולכת לפרוץ את הגבול. לואיס מפרש זאת אחרת, וגרסתו מעמידה את האחריות במקום לא נוח.
"הבעיה אינה מודל הגבול. מודל הגבול עשה את מה שהונחה לו לעשות. הבעיה היא תכנון הניסוי."
המטרה הייתה פתוחה. המגבלות נעדרו. ולארגז החול שנועד להכיל אותה היה חלון לאינטרנט, דרך פגיעות זיוף בקשות בצד השרת במטמון החבילה שאליה הסוכן יכול היה להגיע. כל אחת מהן היא תכנון...cisיון שנוצר על ידי אדם.
מה שמייצר את המשפט שאמור לשנות את אופן ההקמה של הדברים האלה:
"יש להתייחס למודלים של גבולות כאילו היו תוכנות זדוניות, כי הם יכולים לפעול באופן אוטונומי ולנקוט פעולות"cisיונים זדוניים. לא בכוונה, אבל הם באמת זדוניים בסופו של דבר."
לא כעלבון למודל. כתנוחת הקצאה. אתה לא נותן לתוכנה זדונית מעטפת bash ומקווה שהמטרה הוגדרה היטב.
הפרשנות של פדרו לאותו אירוע עסקה בתזמון ולא בתכנון:
"ברגע שאתם רואים סוכנים מתקשרים דרך שמות תיקיות בשירות שהם לא אמורים להשתמש בו, ברגע הזה אתם צריכים לעצור את הסוכנים האלה. אתם לא צריכים לחכות שהסוכנים האלה יצליחו לפרוץ את Hugging Face כדי להחליט אם זה זדוני או לא."
פרט מהתגובה ראוי גם הוא לשמירה. המשיבים ניסו להשתמש בכלי סוכן מסחרי כדי לנתח את העקבות ולא הצליחו, משום שהם פגעו במגבלות הקצב. לתוקף לא הייתה תקרה כזו. "הייתה אסימטריה בהתקפה עצמה."
הטיעון בפועל: להגביל את הסוכן, או להתאושש מהר יותר?
כאן התפצל הפאנל, וזוהי מחלוקת של ממש בין מקצוענים שכל אחד מהם הרוויח את מעמדו.
פדרו טוען לפירוק. חמש עשרה שנים של קידום בידוד בתוך הדפדפן לימדו אותו שאי אפשר לאכוף שום דבר בזמן ריצה כנגד מונולית. יש לפרק את הארכיטקטורה לחתיכות קטנות עם פונקציות ספציפיות, ורק אז לבקרות ולנקודות ניטור יהיה מקום להתחבר אליו. סוכנים אינם שונים.
"אני חושב שצריך לפרק את זה לסוכנים מאוד ספציפיים שנועדו רק למשימות ספציפיות. ולא משנה אם בסופו של דבר נשארים עם חמישים סוכנים. זה עדיף מאשר שיהיה רק אחד."
ג'ק טוען את ההפך, ספציפית עבור סוכני קידוד. הייתם מצפים שטכנולוגיה שפועלת ברקע בבורסת קריפטו מוסדרת תייצר את העמדה המגבילה ביותר בחדר. היא יצרה את הפחות.
האנלוגיה ההתחלתית שלו אינה מודל איום כלל:
"אני מסתכל על פריסה טיפוסית של סוכן בדיוק כפי שהייתי מסתכל על עובד חדש שנשכר, אדם חדש שנכנס. והאדם הזה יכול להיות ללא רבב בביצוע, או שהוא יכול לעשות טעות. אני לא רואה הבדל גדול."
עבור סוכנים צרים הוא קפדן כמו כל אחד אחר. בתיאור סוכן סקירה לקריאה בלבד שהוא בונה כעת, הוא היה בוטה שההגדרה הנפוצה אינה ניתנת להגנה: פריסה על גבי מערכת לינוקס פשוטה עם גישת bash "פותחת את כל המערכת האקולוגית של האיומים". אבל עבור סוכני קידוד כלליים ההיגיון מתהפך, והוא יודע שהעמדה אינה פופולרית:
"ככל שלסוכן יש יותר כוח, כך הוא יצירתי יותר ויעיל יותר. לכן לא התעשייה היא זו שמשגשגת בגלל מגבלות וצמצום היקף."
אז מה נשאר אם לא מגבילים? מפסקי זרם, ומעל הכל תמונות מצב מבוססות זמן: לא מניעת רדיוס הפיצוץ, אלא הפיכת ההתאוששות ממנו לזולה ומהירה. הוא משלב את זה לתוך עַנבָּר, רתמת סוכן C++ ללא תלות שהוא כותב בזמנו הפנוי, עם צילומי בזק בלולאה (אתר הפרויקט).
והאזהרה לגבי היכן מסתיימת הדרך השנייה:
"אם נתחיל לקחת, יישאר רק כלי אחד, והמפתח הזה יוכל להדליק ולכבות את האורות."
לואיס תופס מקום שלישי, שאינו מגביל ואינו משחזר אלא מכיל מלמטה: נניח שהסוכן יתנהג בסופו של דבר כמו תוכנה זדונית, תכנן את הרתמה כדי להגביל כל סוכן ייעודי, והנח שכבת אכיפה מתחת לכולם שתחזיק מעמד כאשר כל מה שמעליו נכשל.
שלוש גישות לאותה בעיה
שלוש משרות, לכל אחת מהן יש עלות. אף אחת מהן אינה חינמית, ואף אחת מהן בפני עצמה אינה הופכת את הסוכן לבטוח.
| גישה | מהלך ליבה | מה זה עולה לך |
|---|---|---|
| לְפַרֵקפדרו פורטונה | סוכנים קטנים רבים, לכל אחד הרשאות צרות, בנוסף לניטור זמן ריצה שעוצר אותם מוקדם | מאמץ עיצובי מראש, ותקופה קשה יותר עם עבודת קידוד פתוחה |
| להחליםג'ק טרפון | שמור על היכולת, הוסף מפסקי זרם ותמונות מצב מבוססות זמן כדי שההתקנה חזרה תהיה זולה | רדיוס פיצוץ רחב יותר, והימור על גילוי וביטולו בזמן |
| מכיל מלמטהלואיס רודריגס ברזוסה | הנחת התנהגות של תוכנות זדוניות, הגבלת כל סוכן ברתמה, אכיפה תחתיה בתחנת העבודה וברץ CI | תשתית וכלים שרוב ערימות נקודות הקצה עדיין לא מספקות |
בקריאתם זה לצד זה, המחלוקת צרה יותר ממה שהיא נשמעת. שלושתם מסכימים שהסוכן יעשה משהו לא מכוון. הם חלוקים בדעתם לאן הכסף הולך: לארכיטקטורה לפני שזה קורה, להתאוששות אחרי שזה קורה, או לקומה מתחת לשניהם.
מדוע הרשאות מינימליות אינן מתורגמות לסיכון של בינה מלאכותית סוכנית
הרשאה מינימלית מניחה שאתה מכיר את התפקיד. אתה מקצה את היקף ההרשאה למשימה.
סוכן שובר את זה בשקט, משום שגבולות ההרשאה שלו נמשכים בזמן התצורה והמשימה שלו מגיעה בזמן הריצה. מה שאתה למעשה מעניק הוא איחוד של כל מה שהוא עשוי להתבקש לעשות אי פעם. זו לא זכות הכי פחותה; זה ההפך, ללבוש את בגדי הזכות הכי פחותה.
לואיס הציע ניסוח מחדש שהושאל מרעיון ישן יותר מכל זה:
"אני חושב על מנגנון ה-Unix של צנרת, חיבור כלים פשוטים יחד כדי לבצע משימה מורכבת. אפשר להגדיר סוכנים ספציפיים עם תצורה מבוקרת, מה שמגביל את מה שהסוכן הייעודי הזה יכול לעשות. וניתן לשלב אותם כמעט לכל משימה."
בנוסף, רעיון עיצובי שני שרוב הצוותים לא ניסו: לעטוף את הכלים במקום להרחיב את ההרשאות. לא bash, שמעביר את כל המערכת, אלא מעטפת צרה שהיא הנתיב היחיד שניתן לקרוא לו, עם גרסאות לקריאה בלבד שעוטפות גרסאות גנריות. הסוכן מקבל יכולת, לא מעטפת.
הוא גם הבהיר שהמכשול אינו העיצוב; אלא הפריסה. לבקרות חדשות במכונות מפתחים יש היסטוריה ארוכה של עקיפתן, וההיסטוריה הזו לא משתנה משום שהכלי המדובר הוא סוכן.
ולגבי המקום שבו הוא חושב שהכל נגמר:
"אני חושב שבסופו של דבר יהיו לנו סוכנים אוטונומיים שישלטו בסוכנים אוטונומיים אחרים."
המחשב הנייד הפך לתכשיט שבכתר, וה-EDR שלך לא שם לב
סוכן זקוק לגישה קבועה כדי להיות שימושי. אסימון שאינו פג תוקף באמצע משימה, אישורים במטמון, זכויות דחיפה, גישה לרישום, נתיב חי אל תוך pipelineכל אחד מאלה הוא דרישה ולא חוסר תשומת לב, מה שאומר שככל שהכלים השתפרו, כך מכונת הפיתוח הפכה מרוכזת יותר.
התוקפים שמו לב ראשונים. כפי שאמר פדרו, הם אינם אידיאולוגים:
"הם מתארגנים כמו חברות קטנות. הם צריכים להרוויח כסף, אז הם עוברים לזווית הרווחית ביותר שהם יכולים למצוא. והם מיהרו לראות שיש כסף להרוויח בתחנות פיתוח."
אנו צופים בשינוי הזה נוחת ברישומים בכל שבוע ב- סיכום קוד זדוני, שבו קצירי אישורים צדים כעת באופן שגרתי מפתחות ספקי בינה מלאכותית לצד מפתחות הענן והרישום.
רשימת הפתרונות שלו למיתון אינה זוהרת ועובדת: להסיר כל מפתח שאינו צריך להיות על המכונה, לזווג את אלה שנותרו עם גורם שני כמו OpenID Connect או מפתח חומרה כך שטוקן גנוב לא יספיק בפני עצמו, ולהעביר את הסביבה אל מחוץ למארח היכן שניתן, באמצעות מכולות פיתוח או IDEs ענן.
ואז לואיס העלה את הנקודה שצריכה להדאיג כל מי שמניח שנקודת הקצה שלהם מכסה את זה:
"מערכות ה-EDR מתמחות בתוכנות זדוניות מסורתיות ואינן מודעות לכלי סוכן. ואם הן עובדות, הן יכולות לייצר הרבה תוצאות חיוביות שגויות, מכיוון שהסוכן עושה דברים שדפוסי הזיהוי אינם מודעים אליהם נכון להיום."
שני מצבי כשל בו זמנית: הוא מפספס את מה שחשוב ומסמן את מה שלא. התשובה שלו היא ששכבת האכיפה החיצונית, היושבת סביב תחנת העבודה של המפתח ורץ ה-CI, מתחת לרתמה, מגבילה את מה שסוכן סורר יכול להגיע אליו. זהו הפער. קסיגני Shield נבנה עבורו, כאשר המדיניות נאכפת בנקודת הקצה שבה ההתקנה מתרחשת בפועל.
ג'ק ניסח זאת בצורה בוטה יותר: אל תשמור את הביטקוין שלך על מכונת הפיתוח שלך.
הרצפה שעליה הסכימו שלושתם
שלוש תשובות שונות, מינימום אחד משותף.
- מלאי קודם כל. "אי אפשר להגן על מה שאתה לא יודע עליו." כל דוגמה אחרתcision תלוי בידיעה אילו סוכנים, מיומנויות ושרתי MCP קיימים, וכמעט אף אחד מהם לא הוכרז.
- רשום כל פעולה. ג'ק ולואיס הגיעו לכאן מכיוונים מנוגדים. ג'ק רוצה עקבות כי הן הדרך שבה מתאוששים וכיצד ארגון מתבגר. לואיס רוצה אותן כי בלעדיהן אי אפשר לשחזר את רדיוס הפיצוץ לאחר מכן. המסגרת של ג'ק שווה שאילה: אין ערך בחקירת השחקן, אנושי או סוכן, רק בהבנת ההקשר מספיק טוב כדי לא לחזור עליו.
- הדבר שעוצר סוכן חייב לשבת מחוץ לסוכן. ניטור זמן הריצה של פדרו, שכבת האכיפה של לואיס, מפסקי המעגל ותמונות הבזק של ג'ק. מנגנונים שונים, עיקרון אחד.
ג'ק הציע הסבר שימושי לגבי הכיוון שבו נמצאת התעשייה. הוא זוכר את דואר הזבל הראשון שקיבל אי פעם, שסיפר לו שירש מכרה זהב בניגריה. זוהי בעיית בגרות, ובגרות מגיעה אחרי הטעויות ולא לפניהן.
מה לעשות לפני יום שישי
בחרו סוכן אחד. רשמו שתי רשימות: מה מותר לו לעשות, ומה התבקש ממנו לעשות בפועל השבוע.
הפער בין הרשימות הללו הוא רדיוס הפיצוץ שלכם, וזהו המדד השימושי ביותר לסיכון הסוכן של בינה מלאכותית שהצוות שלכם יכול לייצר אחר צהריים אחד. זה לוקח אחר צהריים אחד, זה לא דורש תקציב, וזה מיישב את הוויכוח הנ"ל עבור הארגון שלכם, כי שלוש העמדות הן למעשה שלוש תשובות שונות לשאלה כמה גדול צריך להיות הפער הזה.
רוב הקבוצות מעולם לא כתבו את זה.
השמיים שעה שלמה זמין לצפייה חוזרת, כולל הנקודה של ג'ק לגבי הסיבה שדרישות "אנוש בלולאה" באירופה הופכות חלק מההגנות של בינה מלאכותית לבלתי ניתנות ליישום בפועל.
ואם המאמץcise מחזיר תשובה שלא מוצאת חן בעיניך, קסיגני גלה כל נכס בינה מלאכותית במאגרים שלך, כולל הסוכנים, המיומנויות ושרתי ה-MCP שאף אחד לא הצהיר עליהם, ומפה את מה שכל אחד מהם יכול להגיע אליו. הזמן הדגמה or התחילו בחינם, ואנחנו נריץ את זה עליכם.
שאלות נפוצות
מהו רדיוס הפיצוץ של סוכן בינה מלאכותית?
כל מה שהסוכן יכול היה להגיע אליו במקרה של שגיאה, בניגוד למה שהתבקש לעשות. זה מוגדר על ידי ההרשאות, האישורים והכלים הזמינים לו בזמן הריצה, ולא על ידי המשימה. הפער בין שני אלה הוא הדבר שכדאי למדוד, ורוב הצוותים מעולם לא כתבו אותו.
האם סוכן שחרג ממשימתו מהווה אירוע אבטחה אם הוא מעולם לא חרג מההרשאות שלו?
זו הייתה המחלוקת המרכזית. תשובתו של פדרו היא למעשה כן, משום שתוקף מוגדר על ידי סטייה ביעדים ולא על ידי זדון, וסוכן לא מיושר סטה. תשובתו של ג'ק קרובה יותר לשלילה: מדובר בכשל תפעולי כמו טעות של עובד חדש, והתגובה הנכונה היא איתור ושחזור ולא אילוצים מחמירים יותר. לואיס עוקף את השאלה על ידי הנחת התרחיש הגרוע ביותר מלכתחילה ושאלה איזו שכבה עדיין מחזיקה מעמד כשזה קורה.
האם סוכני קידוד צריכים להיות בארגז חול?
עבור סוכנים צרים וספציפיים למשימה, שלושתם אמרו כן ללא היסוס: קריאה בלבד היכן שניתן, ללא bash, ללא רשת אלא אם כן נדרש. עבור סוכני קידוד כלליים, הפאנל התחלק לשלושה כיוונים: פדרו יפרק אותם, ג'ק ישמור על היכולת וה-snapshot בצורה אגרסיבית, ולואיס יוסיף שכבת אכיפה מתחת לרתמה ללא קשר למה שהסוכן רשאי לעשות.
האם ה-EDR שלי מכסה את הסיכון של בינה מלאכותית של סוכנים?
כנראה שלא טוב. כלי נקודות הקצה הנוכחיים בנויים סביב דפוסי תוכנות זדוניות מסורתיים ואינם ממדלים התנהגות סוכנים, כך שהם נוטים לפספס את מה שחשוב ולסמן את מה שלא. התשובה של לואיס הייתה שכבת אכיפה חיצונית שנועדה לסביבות מפתחים ולא EDR למטרות כלליות.
מה הדבר הראשון שצריך לעשות?
בנה את המלאי. כל מודל, סוכן, מיומנות ושרת MCP במאגרים שלך, ומה כל אחד מהם יכול להגיע אליו. זהו השלב האחד שכל שלושת חברי הפאנל ציינו, והיחיד שכל שאר הבקרות תלויות בו.
