חברות הסייבר נעזרות בטכנולוגיות AI, אבל גם התוקפים לא נשארים מאחור

ככל שתחום הסייבר ההגנתי מרחיב את השימוש בכלי בינה מלאכותית, כך המודלים הופכים פגיעים יותר בידי תוקפים המבצעים בהם מניפולציות. עד כמה זה מסוכן ומה התעשיה צריכה לעשות עד שיימצא פתרון?

עולם ה-AI יצטרך לעשות שינוי תודעתי (צילום: Pexels)

מאת אייל בליצר, סגן נשיא בכיר במרכז הגלובלי לחדשנות בתחום הסייבר של Citi

בשנים האחרונות קשה שלא להזכיר בנשימה אחת את עולם הבינה המלאכותית (AI) ואת תחום הסייבר. למעשה, נתקשה לאתר כיום חברת סטארטאפ בתחום הסייבר ההגנתי (Cybersecurity) שמוצריה לא מבוססים על רשתות נוירונים, על מודלים מעולמות עיבוד השפה הטבעית (NLP) או הראייה הממוחשבת (Computer Vision), או על כל טכנולוגיה אחרת שנכללת תחת הקטגוריה של AI.

טכנולוגיה היא נייטרלית מטבעה, אך מודלי AI שנמצאים בבסיסם של פתרונות רבים בתחום ההגנה בסייבר, יכולים לשמש בנקל לא רק גורמים האמונים על הגנה – אלא גם תוקפים זדוניים במרחב הסייבר. יש אף הטוענים כי בכל הקשור לשימוש בטכנולוגיות מבוססות AI במרחב הסייבר, אנחנו כבר נמצאים בעיצומו של מרוץ חימוש שאת השלכותיו עוד קשה לאמוד.

בבסיס המהפכה הטכנולוגית הזו ניצבים מודלים המבוססים על למידת מכונה (Machine Learning) ולמידה עמוקה (Deep Learning) שיכולותיהם נגזרות, בין היתר, מהמידע שמוזן אליהם בתהליך האימון (Training) שלהם. הנחת היסוד היא שהדפוסים והקורלציות (או החריגה מהם) שהמודלים הללו נדרשים לזהות בזמן אמת, אמורים להשתקף גם במידע ששימש לתהליך האימון והטיוב של המודלים.

איסוף המידע עבור מודלי AI עלול להיכשל גם בשוגג (צילום: ברט סיילס, Pexels)

איסוף המידע עבור מודלי AI עלול להיכשל גם בשוגג (צילום: ברט סיילס, Pexels)

אחד האתגרים הניצבים בפני התעשיה מתבטא בקושי לאסוף מידע איכותי, רלוונטי ומייצג עבור אימון מודלי AI. לעיתים, המידע לא נאסף או מעובד בצורה מחושבת וקפדנית, בין אם בזדון ובין אם בשוגג או בשל מגבלה טכנית, כך שהמידע המשמש לאימון המודל אינו מייצג נאמנה את המציאות שהמודל יידרש לנתח בסופו של יום.

לפיכך, המודל המוגמר שיתבסס על מידע זה עשוי להיות לא מייצג ומוטה (Biased) עד לכדי הפיכת המודל ללא שימושי או לחסר אמינות. נוכח העובדה שמודלי AI עומדים, לעיתים ללא ידיעתנו, בבסיס תהליכים המשפיעים במישרין על חייהם של בני אדם, להטיות שיטתיות של המודלים הללו עשויות להיות השפעות חברתיות עמוקות ורוחביות שאינן עומדות במוקד מאמר זה.

האתגר הזה מחריף לנוכח קיומן של תקיפות לעומתיות (Adversarial Attacks). מונח זה מהווה מסגרת רעיונית למספר תת-אתגרים שניצבים בפני מודלי AI, שמקורם במניפולציות של תוקפים מתוחכמים. מניפולציה כזאת יכולה להיות, לדוגמה, שינוי בזדון של המידע המשמש לאימון המודל כדי לחבל ביעילותו או בדיוקו במסגרת תהליכי הסקה (Inference) עתידיים. דוגמה נוספת היא הכנסת קלט תפור לפי מידה למודל המוגמר, שמטרתו לגרום למודל לייצר את הפלט הרצוי בעיני התוקף במהלך תהליך ההסקה לטובת הסטת המודל מייעודו המקורי, או לחילופין, לטובת חשיפה של פרטים רגישים הנוגעים למודל עצמו או למידע ששימש לאימונו.

השינוי התודעתי בתעשיה

בשנים האחרונות התפרסמו מספר מקרים שזכו להד תקשורתי, בהם חוקרים הצליחו להתל במודלים של זיהוי תמונה מבוססי-רשתות נוירונים. הם עשו זאת באמצעות מניפולציות פיזיות אשר עשויות להיתפס כזניחות עבור העין האנושית, אך כמשמעותיות עבור האלגוריתם – כגון שימוש במדבקות או בצבעים מיוחדים על גבי האובייקטים הפיזיים שחמקו מזיהוי מדויק.

האתגרים הללו הופכים מורכבים יותר והעמימות שעוטפת מודלי AI והאוטומציה הנקשרת בהם עשויות להוביל לכך שמניפולציות עלולות להשפיע לשלילה ולמשך זמן רב על תפקודם של מודלים שכבר פועלים בשטח, ובפרט על היכולת לזהות את מקור הבעיה ולעקור אותה מהשורש בזמן. כמו כן, אופי המודלים הללו מייצר אפקט פרפר ייחודי, שכן גם שינויים קלים (במודל עצמו או במידע המוזן אליו) עשויים להוביל, במעלה הדרך, לחריגות דרמטיות מהמטרה המוצהרת של המודלים הללו.

מאמצים ראשוניים להתמודד עם האיומים והאתגרים הנובעים מתקיפות לעומתיות כבר מתנהלים באקדמיה ובתעשיה, וחלקם מצויים עוד בשלבי התהוות. לדוגמא, חברות מסוימות החלו להקים “צוותים אדומים” ייעודיים (AI Red Teams) שמטרתם להבין את החולשות המובנות של מערכות AI, בעוד אחרות פרסמו ספריות קוד פתוח שמטרתן לסייע למפתחים וחוקרים להגן על רשתות נוירונים מפני תקיפות לעומתיות. שיתוף פעולה בין חברות מסחריות, מוסדות אקדמיים, וארגונים ללא מטרות רווח אף הוליד מסגרת רעיונית הממוקדת בתקיפות לעומתיות (Adversarial ML Threat Matrix) למיפוי וניתוח של איומים הניצבים בפני מערכות למידת מכונה.

עד שמאמצים אלה יבשילו, יידרש שינוי תודעתי עמוק בתעשיית הסייבר, שבתורו עשוי להוביל לשינוי מהותי באופן שבו מודלי AI מתוכננים, נבנים ומיושמים במסגרת פתרונות הגנה בסייבר.

בשורה התחתונה, על התעשיה כולה להתחיל להביא בחשבון שיקולים הנוגעים לא רק ליעילותם ודיוקם של מודלי AI, אלא גם לעמידות שלהם (Robustness) בפני הטיות מובנות וכן בפני מניפולציות חיצוניות. הרחבת מערך השיקולים באופן זה עשוי לייצר ערך משמעותי בפרט עבור העולם הבנקאי והפיננסי שבו בולט הצורך להבין בצורה מעמיקה ורציפה את האופן שבו מודלי AI פועלים, מסיקים מסקנות ומשפיעים על קבלת החלטות.

הכתבה בחסות סיטי

מעבדת הפיתוח של סיטי בישראל עוסקת בפיתוח טכנולוגיות פינטק מובילות ומהווה כנס אסטרטגי של סיטי בעולם. העובדים שלנו משפיעים על עיצוב עתיד עולם הבנקאות והפיננסים, באווירה יזמית, ונהנים מפיתוח אישי ומקצועי באוירה של גיוון ותחת הגב הפיננסי של אחד מן הבנקים הגדולים בעולם.
לפרטים נוספים, לחצו.

Avatar

כתב אורח

אנחנו מארחים מפעם לפעם כותבים טכנולוגים אורחים, המפרסמים כתבות בתחומי התמחות שלהם. במידה ואתם מעוניינים לפרסם פוסט בשמכם, פנו אלינו באמצעות טופס יצירת קשר באתר.

הגב

הגב ראשון!

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

wpDiscuz

תגיות לכתבה: