מהי הרעלת נתונים?

כל צוות אבטחה מאומן לצפות בקוד כשהוא נשלח. כמעט אף אחד לא מאומן לצפות בנתונים כשהם מגיעים, ואת הנקודה המתה הזו בדיוק מנצלת הרעלת נתונים. עד שמודל מורעל מגיע לייצור, הפגיעות מעולם לא הייתה בסקירת הקוד. היא הייתה במערך נתונים שאף אחד לא ביקר חודשים קודם לכן.

ערך מילון מונחים זה מסביר מהי הרעלת נתונים, כיצד מתקפות הרעלת נתונים מתפתחות בפועל, ומדוע הרעלת נתונים באמצעות בינה מלאכותית הפכה לאחת ה... הסיכונים הצומחים ביותר בעידן הבינה המלאכותית SDLC, ואיך נראית הגנה אמיתית מפני זה.

משמעות הרעלת נתונים #

הרעלת נתונים היא מניפולציה מכוונת של הנתונים המשמשים לאימון, כוונון עדין או עיבוד של מודל בינה מלאכותית, כך שהמודל לומד את הדבר הלא נכון, מתנהג באופן שהתוקף רוצה, או ידליף מידע שהוא לעולם לא אמור לחשוף. במקום לתקוף את המודל לאחר הפריסה, התוקף תוקף את חומר הגלם שממנו בנוי המודל.

הרעיון המרכזי מאחורי הרעלת נתונים הוא פשוט ומטריד: מודל בינה מלאכותית אמין רק כמו הנתונים שמהם הוא למד. אם נתונים אלה פגומים, מוטים או מלכודים עוד לפני שהאימון מתחיל, שום כמות של סקירת קוד, בדיקות או ניטור זמן ריצה במורד הזרם לא תזהה את הפגם הבסיסי, מכיוון שהמודל פועל בדיוק כפי שלימדו אותו (בזדון).

הרעלת נתונים של בינה מלאכותית לעומת פגיעויות תוכנה מסורתיות #

אבטחת יישומים מסורתית מניחה שהסכנה טמונה בקוד: פונקציה פגומה, ספרייה שלא תוקנה, שרת שתצורתו אינה מוגדרת כראוי. הרעלת נתונים של בינה מלאכותית שוברת הנחה זו לחלוטין. אין שורת קוד פגיעה שניתן למצוא, מכיוון שהשחתה התרחשה במערך אימונים, במערך נתונים לכוונון עדין או באינדקס אחזור זמן רב לפני שנכתב קוד כלשהו או שנפרס מודל כלשהו.

זו הסיבה שקשה במיוחד לזהות הרעלת נתונים של בינה מלאכותית עם כלים מדור קודם. SAST סורק קורא קוד. סורק תלויות קורא מניפסטים של חבילות. אף אחד מהם לא קורא קורפוס אימון מרובה ג'יגה-בייט או מסד נתונים וקטורי מלא במסמכים מוטמעים, דבר שנעשה מראש.cisדווקא היכן שהרעלת נתונים באמצעות בינה מלאכותית גורמת נזק. חוקרי אבטחה ונחשפים באחריות. אחרים נמצאים ומוחממים על ידי התוקפים תחילה, וזהו התרחיש שגורם לנזק הרב ביותר.

כיצד פועלות בפועל מתקפות הרעלת נתונים? #

התקפות הרעלת נתונים לובשות בדרך כלל אחת מכמה צורות:

• הרעלת נתוני אימוןתוקף מוסיף דוגמאות מניפולטיביות, מתויגות באופן שגוי או זדוניות למערך הנתונים המשמש לאימון מודל מאפס או לכוונון עדין של מודל קיים, מה שגורם לו ללמוד הטיה נסתרת או התנהגות דלת אחורית.
• היפוך תוויות: גרסה עדינה יותר של האמור לעיל, שבה תוקף משנה רק את התוויות בקבוצת משנה קטנה של דוגמאות אימון, ומעוות בשקט את מה שהמודל לומד לקשר למה.
• RAG והרעלת הקשרבמערכות יצירה מבוססות אחזור-מוגבר, תוקף שותל מסמכים מורעלים בבסיס הידע או במאגר הווקטורים שממנו המודל מאחזר בזמן ריצה, כך שהמודל חוזר בביטחון על מידע שקרי או מניפולטיבי כאילו היה עובדה מאומתת.
• טריגרים של דלת אחוריתתוקף מטמיע דפוס ספציפי בנתוני האימון כך שהמודל מתנהג כרגיל כמעט בכל מקרה, אך מייצר פלט שנבחר על ידי התוקף ברגע שמופיע משפט טריגר או קלט מוסתרים.
• הרעלת שרשרת האספקה: תוקף פוגע במערך נתונים ציבורי או משותף, נקודת ביקורת של מודל שאומנה מראש, או הטמעה pipeline במעלה הזרם, כך שכל צוות במורד הזרם שמושך ממנו יורש את הרעל מבלי לגעת בהתקפה המקורית.

מה שמקשר את כל מתקפות הרעלת הנתונים הללו יחד הוא התזמון. הנזק נגרם עוד לפני שהמודל עונה למשתמש אמיתי, וזו בדיוק הסיבה שהביטוי "לפני שהוא כותב שורת קוד" מתאר את האיום הזה כל כך מוקדם.cisאלי: המודל נפגע ביסודו, לא בפלט שלו.

כיצד תוקפים משחיתים מודל בינה מלאכותית לפני שהוא בכלל כותב שורת קוד? #

לכל מתקפת הרעלת נתונים שתוארה לעיל יש יתרון תזמון זהה: הפגיעה מתרחשת במעלה הזרם, הרבה לפני שמודל מייצר פלט יחיד שמשתמש יראה אי פעם. אין פונקציה פגיעה לתיקון ואין תקלות זדוניות. commit לתפוס בסקירה, כי המודל עדיין לא כתב כלום. הוא רק למד, ומה שהוא למד כבר שגוי.

זה מה שמייחד באופן מהותי את הרעלת הנתונים של בינה מלאכותית מהפגיעויות שצוותי אבטחת יישומים מאומנים לצוד. מודל עם דלת אחורית נראה זהה למודל נקי בהפרש קוד. הוא עובר pull request סקירה. הוא מבצע קומפילציה, פורס ועונה על רוב השאילתות בצורה נכונה, עד שהתנאי הספציפי שתל תוקף מופיע לבסוף במערכת הייצור. עד אז, השאלה כבר אינה "איזה קוד הציג את זה", אלא "אילו נתונים עשו זאת, וכמה רחוק זה חוזר אחורה".

מדוע הרעלת נתונים של בינה מלאכותית היא בראש סדר העדיפויות הולך וגדל? #

הרעלת נתונים של בינה מלאכותית אינה עוד דאגה תיאורטית. היא מוכרת רשמית כ... LLM04: הרעלת נתונים ומודלים בעשרת המובילים של OWASP עבור יישומי LLM, לצד הזרקה מהירה וסיכון שרשרת האספקה ​​כאחד האיומים המגדירים של עידן הבינה המלאכותית הגנרטיבית. שלוש מגמות דוחפות אותה גבוה יותר על הרדאר של כל צוות אבטחה:

• הנזק בלתי נראה עד להפעלה. מודל מורעל יכול לעבור כל בדיקה פונקציונלית ולהתנהג בצורה מושלמת במשך חודשים, עד שתנאי הטריגר הספציפי שתוקף שתל יופיע לבסוף במערכת הייצור.

• דור רב-תכליתי של אחזור נמצא בכל מקום. כל מערכת המאפשרת למודל לשלוף הקשר חי ממסמכים, ויקי, כרטיסים או מסד נתונים וקטורי, כוללת משטח קלט חדש ולא מבוקר, ומשטח זה הוא בדיוק מה שמכוונות אליו התקפות הרעלת נתונים.

• מערכי נתונים הם כעת נכסי שרשרת אספקה. צוותים שולפים באופן שגרתי מודלים, הטמעות ומערכי נתונים ציבוריים שאומנו מראש ממקורות חיצוניים באותו אופן שהם שולפים חבילות קוד פתוח, וכמו חבילה פרוצה, מערך נתונים פרוץ יכול להעביר את ההתקפה בשקט לכל צוות שמשתמש בו.

גילוי והגנה מפני הרעלת נתונים #

מכיוון שהרעלת נתונים מתרחשת במעלה הזרם של המודל עצמו, גם ההגנה צריכה להתחיל במעלה הזרם:

• חפשו מקורות נתונים חריגים, לא רק קוד חריג. זיהוי התנהגותי ואנומליות צריך להתרחב גם למקומות בהם הנתונים נכנסים ל... pipeline, לא לעצור בגבול המאגר.

• הכר כל מערך נתונים ב pipeline. לא ניתן לבצע ביקורת על סיכון הרעלה במערך נתונים שאינך יודע על קיומו. גילוי מתמשך של מערכי נתונים של אימון, הערכה ואחזור הוא קו ההגנה הראשון.

• עקוב אחר השושלת ממערכת הנתונים למודל לפלט. מיפוי הנתיב של מערך נתונים לתוך מודל, וממודל לסוכן, נקודת קצה או כלי קידוד, הוא מה שהופך את המילה "קיבלנו פלט גרוע" ל"אנחנו יודעים בדיוק איזה מערך נתונים הציג אותו".

• לבחון בקפידה מקורות אחזור, לא רק קבוצות אימון. במערכות RAG, מאגר הווקטורים ומאגר הידע זקוקים לאותן בדיקות שלמות כמו נתוני אימון, מכיוון שהרעלת הקשר מתרחשת בזמן השאילתה, לא בזמן האימון.

כיצד Xygeni מסייעת לסגור את פער הרעלת הנתונים? #

הגנה מפני הרעלת נתונים מתחילה בנראות שרוב הארגונים פשוט אין להם. חסיגנימלאי הבינה המלאכותית מגלה באופן רציף כל נכס בינה מלאכותית ברחבי SDLC, כולל מערכי הנתונים שמאחוריו: נתוני אימון, מערכי הערכה ומקורות RAG או אחזור, וממפה אותם לגרף קשרים חי הפועל ממערך הנתונים למודל ועד לנקודת הקצה לסוכן לשרת MCP לכלי קידוד. גרף זה הוא מה שהופך פלט מודל חשוד לשאלה ניתנת למעקב: איזה מערך נתונים הזין את זה, ומאיפה הוא הגיע.

בנוסף למלאי הזה, Xygeni's אבטחת AI מזהה חולשות של וקטורים והטמעה, כולל הקשר מורעל בשליפה וב-RAG pipelines, מיושר ל- 10 התוכניות המובילות של OWASP לתואר ראשון במשפטים. במקום לסמוך על כך שמקורות האימון והאחזור של מודל נקיים, Xygeni מתייחסת אליהם כחלק ממשטח התקיפה, באותו אופן שהיא כבר מתייחסת לקוד, תלויות ו... pipelineש. אם אינך יכול לענות כרגע על "אילו נתונים אימנו את המודל הזה, והאם נוכל להוכיח זאת", זהו בדיוק הפער שכדאי לסגור לפני שאירוע הרעלת נתונים של בינה מלאכותית יכריח את השאלה.

שאלות נפוצות #