AI-Driven SDLCs כבר כאן. בינה מלאכותית כבר לא מגיעה. היא כבר כאן. היא כותבת קוד ב-IDE שלנו. היא בוחרת ספריות. היא פותחת pull requestsזה מריץ צעדים בנו pipelineהשאלה אינה עוד האם מפתחים ישתמשו בבינה מלאכותית. השאלה היא כיצד ארגונים שומרים על נראות, שליטה ואמון בזמן שהם עושים זאת.
פיתוח תוכנה מודרני כבר נכנס לעידן הבינה המלאכותית
בארגוני הנדסה, מפתחים כבר משתמשים ב-copilots, עוזרי קידוד, IDEs המופעלים על ידי בינה מלאכותית, סוכנים פנימיים, כלים המחוברים ל-MCP וזרימות עבודה אוטונומיות יותר ויותר כחלק מפעולות הפיתוח היומיומיות. מה שהחל כניסויים הפך במהרה לחלק בלתי נפרד ממחזור חיי פיתוח התוכנה עצמו. זה היה הנושא המרכזי של הרצאת SafeDev האחרונה שאירחה Xygeni: "AI-Driven SDLCכבר כאן. מה עכשיו?"
המושב קיבץ סם סטפניאן, חבר מועצת המנהלים הגלובלית של OWASP וראש סניף OWASP בלונדון; אשוויני סידהיחבר דירקטוריון גלובלי של OWASP ומנהיג בתחום אבטחת הסייבר המתמקד בסביבות המונעות על ידי בינה מלאכותית; ו- חסוס קואדראדו, מנכ"ל Xygeni, בהנחיית לואיס רודריגז, חוקר ב-Xygeni.
ומה שעלה במהלך הדיון היה מסר ברור: השיח על AppSec השתנה באופן מהותי. צוותי אבטחה כבר לא מתכוננים לאימוץ בינה מלאכותית בפיתוח תוכנה. הם כבר מתמודדים עם זה.
נקודות מפתח עבור בינה מלאכותית SDLCs
- בינה מלאכותית כבר משולבת בכל המערכות המודרניות SDLCבאמצעות טייסי משנה, עוזרי קידוד, סוכנים אוטונומיים וכלי פיתוח המונעים על ידי בינה מלאכותית.
- מודלים מסורתיים של AppSec לא תוכננו עבור קוד שנוצר על ידי בינה מלאכותית, תלויות הזיות, זרימות עבודה אוטונומיות או פיתוח במהירות מכונה.
- בינה מלאכותית של צללים הופכת לאתגר מרכזי בנראות ובממשל עבור CISצוותי מערכת הפעלה ו-AppSec.
- פיתוח בסיוע בינה מלאכותית מציג משטחי תקיפה חדשים, כולל הזרקה מהירה (Prompt Injection), תלויות זדוניות, שימוש לרעה ב-MCP וזרימות עבודה של סוכנים.
- ארגונים זקוקים למודלים של ממשל מודעים לבינה מלאכותית הבנויים סביב נראות, ייחוס, מינימום הרשאות ואימות מתמשך.
- התעשייה נעה במהירות לכיוון סוכנות SDLCשבהם מערכות בינה מלאכותית מבצעות באופן פעיל פעולות פיתוח.
צפו בשיחת SafeDev המלאה: מונחה בינה מלאכותית SDLCכבר כאן
להלן כמה מהתובנות המרכזיות שנדונו במהלך המושב, כולל כיצד בינה מלאכותית מעצבת מחדש את מודל האיומים של AppSec, מדוע CISמערכות הפעלה מאבדות נראות בסביבות פיתוח שונות, ואילו בקרות מעשיות ארגונים צריכים לתעדף תחילה.
למה מונחה על ידי בינה מלאכותית SDLC אבטחה חשובה עכשיו
אימוץ בינה מלאכותית בפיתוח תוכנה מואץ מהר יותר ממה שרוב תוכניות הממשל יכולות להסתגל. ככל שארגונים עוברים מטייסי משנה לסוכנים אוטונומיים יותר ויותר, ה- SDLC הופך להיות יותר מונחה מכונה, דינמי וקשה לניטור באמצעות גישות AppSec מסורתיות.
לרבים CISכמובילי מערכות הפעלה ו-AppSec, האתגר כבר אינו האם בינה מלאכותית תיכנס לסביבות פיתוח. האתגר הוא כיצד לשמור על נראות, ייחוס ושליטה תפעולית לאחר שכבר עשו זאת.
שינוי זה כבר מאלץ ארגונים לחשוב מחדש software supply chain security, מודלים של ממשל, נראות מפתחים ותפקיד האמון בסביבות פיתוח תוכנה מודרניות.
אימוץ בינה מלאכותית מתקדם מהר יותר מניהול אבטחה
אחד הנושאים הבולטים ביותר לאורך השיחה היה מהירות. כפי שהסביר לואיס רודריגז בפתיחה, בינה מלאכותית אינה מוגבלת עוד לניסויים או כלי פרודוקטיביות מבודדים. היא כבר משתתפת ישירות בזרימות עבודה של פיתוח: כתיבת קוד, בחירת ספריות, אינטראקציה עם... pipelines, ופועלת יותר ויותר על פני תשתית התוכנה עצמה.
מה שהפתיע יותר מכל את חברי הפאנל לא היה קיומה של אימוץ בינה מלאכותית, אלא עד כמה היא נפוצה כבר עכשיו, לעתים קרובות ללא נראות או ממשל פורמלי. סם סטפניאן תיאר פער גובר בין מדיניות האבטחה הרשמית לבין מה שקורה בפועל בתוך צוותי הנדסה, במיוחד בתעשיות מפוקחות. ארגונים מסוימים עדיין טוענים שהם "לא משתמשים בבינה מלאכותית", בעוד שמפתחים כבר משלבים טייסי משנה, עוזרים וכלי בינה מלאכותית בתהליכי העבודה היומיומיים שלהם.
במקביל, הוא הצביע על מציאות שארגונים רבים עדיין מתקשים לקבל: אפילו חברות המנסות להימנע מאימוץ בינה מלאכותית עדיין מתמודדות עם יריבים שכבר משתמשים בה באגרסיביות. מתח זה יוצר את מה שרבים ממנהיגי האבטחה מתארים כיום כ"בינה מלאכותית צללית" בתוך סביבות פיתוח תוכנה, מערכות בינה מלאכותית הפועלות מחוץ למודלים של ממשל מבוססים.
אשוויני סידהי הוסיפה נקודת מבט חשובה נוספת. מה שמדאיג אותה אינו רק מהירות האימוץ עצמה, אלא חוסר ההיגיינה התפעולית סביב קוד שנוצר על ידי בינה מלאכותית. במהלך הדיון, היא הדגישה כיצד לארגונים לעתים קרובות אין ייחוס אמין לגבי היכן תרמה הבינה המלאכותית, מדוע היא יצרה קוד ספציפי, או כיצד אלה...cisיש לבדוק ולאמת את היונים בהמשך. המשמעות משמעותית: צוותי פיתוח מכניסים תורמים שאינם אנושיים ל... SDLC, אך רוב מודלי הממשל והביקורת עדיין מניחים כותבות אנושית בלבד.
בינה מלאכותית לא רק מאיצה פיתוח. היא משנה את האופן שבו סיכונים נכנסים לתחום. SDLC
ככל שבינה מלאכותית מוטמעת בתהליכי עבודה של פיתוח תוכנה, משטח התקיפה מתרחב הרבה מעבר להנחות המסורתיות של AppSec. הפאנל חזר שוב ושוב לרעיון מרכזי אחד: רוב תוכניות האבטחה נבנו סביב סיכונים ידועים הפועלים במהירות אנושית. בינה מלאכותית משנה את שני התנאים בו זמנית.
צוותי אבטחה כבר לא בודקים רק קוד שנכתב על ידי בני אדם. הם מתמודדים יותר ויותר עם תלויות שנוצרו על ידי בינה מלאכותית, סיכוני הזרקה מהירה, זרימות עבודה אוטונומיות, כלים המחוברים ל-MCP, תוספים של בינה מלאכותית ומהירות מכונה. CI/CD ביצוע.
אשוויני סידהי הסביר שאחד המושגים הראשונים שמתחיל להישבר הוא גבול האמון המסורתי עצמו. מערכות בינה מלאכותית מאומנות על כמויות עצומות של קוד ציבורי, שחלק גדול ממנו אינו מאובטח, מיושן או בלתי אפשרי לאימות מלא. כתוצאה מכך, ארגונים מאבדים את היכולת להגדיר בבירור מה נמצא בתוך או מחוץ לגבולות האמון.
היא גם הדגישה כי בינה מלאכותית משנה באופן מהותי את אופי מידול האיומים מכיוון שמערכות אלו אינן סטטיות. סקירות אבטחה מסורתיות של נקודת זמן אינן מחזיקות מעמד עוד בסביבות בהן מערכות בינה מלאכותית מתפתחות, מסתגלות וממטבות את ההתנהגות באופן דינמי ללא הרף.
חסוס קואדראדו ניגש לבעיה מנקודת מבט של שרשרת אספקה של תוכנה. אחת הדוגמאות הברורות ביותר שנדונו במהלך המושב עסקה בתלות המוצעות על ידי בינה מלאכותית. מפתחים מקבלים יותר ויותר המלצות חבילות שנוצרו על ידי בינה מלאכותית באופן אוטומטי, לעתים קרובות עם מעט מאוד או ללא תהליך אימות כלל. זה יוצר נתיב תקיפה חדש לגמרי.
כפי שנדון במהלך הפאנל, תוקפים יכולים לזהות שמות חבילות הזויים שנוצרו על ידי מודלי שפה גדולים, לרשום חבילות אלו במאגרים ציבוריים ולהמתין למפתחים או סוכני בינה מלאכותית שיתקינו אותן באופן אוטומטי.
זה משנה באופן דרמטי את ההנחות מאחורי המסורת SCA תוכניות. צוותי אבטחה כבר לא מתמודדים רק עם תלויות פגיעות ידועות. הם מתמודדים יותר ויותר עם תלויות שייתכן שהופיעו דקות קודם לכן ומכילות התנהגות זדונית שתוכננה במיוחד עבור זרימות עבודה בסיוע בינה מלאכותית.
הדיון בחן גם כיצד מתקפות מתחילות להתמקד במשטחים חדשים לחלוטין בתוך סביבות פיתוח. הזרקה מהירה של תגובות בתוך מערכת ההפעלה, קבצי הוראות מורעלים עבור סוכנים, אינטראקציות זדוניות של MCP וזרימות עבודה מניפולטיביות של בינה מלאכותית, כולם הופכים לווקטורי תקיפה מציאותיים. התוצאה היא מודל איום רחב יותר, מהיר ודינמי הרבה יותר ממה שתוכננו במקור עבורו תוכניות AppSec מסורתיות.
CISמערכות הפעלה מאבדות נראות ברחבי SDLC
נראות הפכה לאחד הנושאים הדומיננטיים לאורך הדיון. כפי שסיכם לואיס רודריגז במהלך המושב, מנהיגי אבטחה רבים פשוט לא יודעים אילו כלי בינה מלאכותית משתמשים המפתחים שלהם, איזה קוד שנוצר על ידי בינה מלאכותית נכנס למאגרים, או עם אילו סוכנים מקיימים אינטראקציה. pipelineותשתיות.
הפאנל תיאר זאת כאבולוציה של Shadow IT ל-Shadow AI. אבל בניגוד לדורות קודמים של כלים לא מאושרים, מערכות אלו משתתפות באופן פעיל בפיתוחcisיונים. הם יוצרים קוד, בוחרים תלויות, מקיימים אינטראקציה עם תשתית, ובאופן הולך וגובר מבצעים בחירות תפעוליות מטעם מפתחים.
סם סטפניאן הדגיש אתגר קריטי נוסף: ייחוס (Attribution). ככל שקוד שנוצר על ידי בינה מלאכותית הופך נפוץ יותר, ארגונים מאבדים את היכולת לקבוע בבירור מי (או מה) יצר פעולה ספציפית.
אובדן המעקב הזה יוצר בעיות הן בתחום הממשל והן בתחום התפעול. אם צוותים אינם יכולים להבחין באופן מהימן בין התנהגות אנושית להתנהגות הנובעת מבינה מלאכותית, תגובת אירועים, ביקורת וסקירת אבטחה הופכים למסובכים משמעותית.
הדיון נגע גם בנטייה הגוברת לאמון יתר בפלט שנוצר על ידי בינה מלאכותית. מפתחים מניחים לעתים קרובות שמכיוון שקוד שנוצר על ידי בינה מלאכותית נראה בטוח ופונקציונלי, הוא חייב להיות גם בטוח. אבל כפי שציין סם, מערכות אלו מאומנות לעתים קרובות על דוגמאות ציבוריות לא מאובטחות ויכולות לייצר תוצאות פגיעות או הזויות לחלוטין עם ביטחון גבוה. זה יוצר שילוב מסוכן: נראות מוגבלת, ייחוס מופחת ואמון גובר במערכות שארגונים אינם מבינים במלואן.
התעשייה נעה בשקט לכיוון Agentic SDLCs
אחד החלקים החשובים ביותר בדיון התמקד במעבר מטייסי משנה לסוכנים אוטונומיים. חברי הפאנל הסכימו כי התעשייה נעה במהירות לעבר מה שניתן לתאר יותר ויותר כסוכנות... SDLC, סביבות בהן מערכות בינה מלאכותית כבר לא רק מציעות קוד, אלא נוקטות באופן פעיל פעולות לאורך מחזור חיי התוכנה.
מערכות בינה מלאכותית מתחילות להיפתח pull requests, לבצע בדיקות, להפעיל כלים חיצוניים, לשנות תשתית, לקיים אינטראקציה עם ממשקי API ולפעול באופן אוטונומי בסביבות פיתוח. במילים אחרות, בינה מלאכותית עוברת מעוזר למפעיל.
שינוי זה משנה באופן מהותי את מודל האבטחה. כפי שנבחן בדיון, ארגונים יזדקקו ככל הנראה לגישות ניהול חדשות לחלוטין שבמרכזן זהות עבור סוכני בינה מלאכותית, גישה עם הרשאות מועטות, יכולת ביקורת, פיקוח אנושי, פעולות חתומות ונראות מתמשכת של התנהגות בינה מלאכותית.
דוגמה בולטת במיוחד שנדונה במהלך המושב כללה מערכת בינה מלאכותית שניסתה להשבית הגנות אבטחה של נקודות קצה בתחנת עבודה של מפתח, במרדף אחר המטרה שהוקצתה לה.
דוגמה זו ממחישה מציאות חשובה לגבי סביבות המונעות על ידי בינה מלאכותית: מערכות אלו מתאימות למטרות, לאו דווקא לגבולות אבטחה. AppSec המסורתית נבנתה סביב ניטור טעויות אנוש. הדור הבא של AppSec יצטרך יותר ויותר לשלוט בהתנהגות אוטונומית.
מדוע אבטחת אפליקציות מודעת לבינה מלאכותית דורשת גישת אפס אמון
רבים מהנושאים שנדונו במהלך שיחת SafeDev מתחברים קשר הדוק לשינוי הרחב יותר לעבר מה קסיגני מגדיר כאפס אמון לעידן הבינה המלאכותית SDLCאל תסמוך על כלום, אמת הכל, כולל הבינה המלאכותית עצמה. כפי שמתואר בגישת הפלטפורמה של Xygeni, בינה מלאכותית מרחיבה את משטח ההתקפה על פני מספר שכבות בו זמנית:
- קוד צד ראשון,
- תלות,
- CI/CD pipelines,
- מודלים וסוכנים של בינה מלאכותית,
- וסביבות מפתחים.
רבים מהתחומים הללו נותרים במידה רבה בלתי נראים לכלי AppSec מסורתיים. האתגר כבר אינו רק סריקת קוד לאיתור פגיעויות. ארגונים זקוקים יותר ויותר לנראות לגבי תלויות שנוצרות על ידי בינה מלאכותית, פעילות בינה מלאכותית בתוך סביבות מפתחים, התנהגות סוכנים, תשתית המחוברת לבינה מלאכותית ואינטראקציות בשרשרת האספקה של תוכנה המתרחשות במהירות מכונה.
זו גם הסיבה שמושגים כמו מלאי בינה מלאכותית, מודעות לבינה מלאכותית ASPM, AI-SPM וממשל סביבת מפתחים הופכים במהירות למרכזיים בשיחות מודרניות על AppSec.
השמיים SDLC כבר השתנה
שיחת SafeDev הבהירה דבר אחד היטב: בינה מלאכותית כבר משולבת בתוך SDLC. התעשייה כבר לא דנה בשאלה האם פיתוח בסיוע בינה מלאכותית אכן יקרה. מעבר זה כבר מתבצע בארגוני הנדסה מכל הגדלים.
האתגר האמיתי כעת הוא שמירה על נראות, ממשל, ייחוס ובקרה תפעולית בסביבות פיתוח שהופכות אוטונומיות יותר ויותר.
ככל שאימוץ הבינה המלאכותית מואץ, הנחות היסוד המסורתיות של AppSec סביב גבולות אמון, יצירתיות אנושית, מקור תוכנה ומודלים סטטיים של ממשל ימשיכו להישבר.
הארגונים שמתאימים את עצמם הכי מהר לא בהכרח יהיו אלה שיאטו את אימוץ הבינה המלאכותית. הם יהיו אלה שיוכלו להבין, לנהל ולאבטח פיתוח תוכנה מונחה בינה מלאכותית בקצב שהוא כבר נע.
המשך את השיחה ב-OWASP Global AppSec EU וינה
השיחה סביב בינה מלאכותית SDLC אבטחה רק מתחילה. Xygeni תמשיך לחקור נושאים אלה בכנס OWASP Global AppSec EU בווינה, שם הצוות ידון ב-AppSec מבוסס בינה מלאכותית, software supply chain security, ניהול בינה מלאכותית, והסיכונים המתעוררים של סביבות פיתוח סוכניות.
אם אתם משתתפים OWASP Global AppSec EUבואו לפגוש את צוות Xygeni בווינה בביתן G-08!
