מה קורה כשמערכות AI מצילות חיים קורסות?

לאחרונה התגלה כי מערכת AI, ששימשה לניבוי של מצבים רפואיים מסכני חיים, היתה פגומה. איך זה קורה והאם אפשר למנוע מצבים כאלו בעתיד?

מקור: Unsplash

מאת: ד”ר אילן ששון

לאחרונה התפרסמו ב-Wired ממצאים מטרידים של מחקר אקדמי אשר מצא כי מערכת AI, המשמשת לניבוי מקרים של אלח דם מסכן חיים (Sepsis), נמצאה פגומה. המערכת, המותקנת במאות בתי חולים בארה”ב, פספסה את מרבית המקרים ורשמה לעתים קרובות התראות שווא. המחקר סיכם את ממצאיו בטענה קשה כי מודל הניבוי לאלח הדם מציג תוצאות ירודות ועגומות. עקב נפיצותו הגבוהה, מעורר המחקר דאגה של ממש ברמה הלאומית, שכן המודל מותקן במערכת המשרתת כ-54% מכלל החולים בארה”ב (על פי הצהרת החברה).

תוצאות המחקר מעלות תהיות וספקות של ממש לגבי מהימנות המודל המבוסס AI, אשר אינה עומדת בקנה אחד עם הצהרת החברה שפיתחה אותו.

מדוע מערכות AI קורסות ומאבדות אמינותן?

אירועים מעין אילו המתוארים במחקר מתרחשים למכביר לאחרונה במגוון מערכות שונות בתחומים מגוונים. בעוד ארגונים רבים עסוקים עדיין בבניית עמוד השדרה הטכנולוגי שיתמוך בטרנספורמציית ה-AI אשר תאפשר להן שימוש במודלים מתקדמים של למידת מכונה ושילובם במגוון יישומים, האתגר האמתי מצוי באופן המימוש, ההטמעה, והתפעול השוטף לאורך זמן של המערכות המוצבות לאחר פיתוחן בסביבה העסקית ולאו דווקא בבחירת הארכיטקטורה ובפיתוח האלגוריתמים.

אתגר זה נובע בעיקר מתהליכי הלמידה והאימון של מודלי בינה מלאכותית אשר בפועל אינם מפסיקים ללמוד אף פעם, בהינתן שמוזנים אליהם כשטף מתמשך, נתונים חדשים ועדכניים. הטענה הרווחת בקרב מנהלים, כי בניית המודל מסתיימת בסמוך להצבתו בסביבה עסקית תפעולית, הינה שגוייה במהותה והיא עומדת בבסיס הכישלונות המיוחסים להטמעה של מודלי AI, אשר בפועל פותחו בסביבת מעבדה סטרילית ונקייה עד אשר פגשו את העולם החיצוני, הדינאמי, והבלתי צפוי.

מתוצאות המחקר המדובר ניתן להסיק כי ביצועי מודל ה-AI לניבוי אלח דם לא תוקפו באופן סדיר ותדיר על ידי החברה אשר פיתחה אותו, וייתכן כי לבתי החולים אשר עשו בו שימוש לא התאפשר לבצע ולידיציה וניטור לביצועי המודל על מנת לבדוק את מהימנותו לאורך זמן. כישלון תפעולי זה אינו בלתי נמנע. לשם כך מתחייב שינוי תפיסתי ותודעתי – מערכות AI מחייבות שימוש במנגנוני תחזוקה ובקרה שוטפים ומתמשכים.

עידן הבהלה לזהב הטכנולוגי החדש הקרוי בינה מלאכותית נמצא בעיצומו, בעיקר בשנים האחרונות, והוא מלווה בחבלי הלידה הידועים של כל אימוץ טכנולוגיה חדשנית. מודלים של AI קורסים בשקט יחסי אבל לתוצאות שגויות של מודלים יכולות להיות השפעות הרסניות ורועשות. הנחת העבודה הבסיסית צריכה להיות כי מודלים מתכלים לאורך זמן. שימוש באלגורתימי AI מחייב אימוץ והכרה באי-וודאות הבסיסית והבלתי נמנעת הכרוכה באופן פעולתם. מערכות מבוססות בינה מלאכותית אינן מתקיימות בעולם הדטרמיניסטי.

מודלים של AI דורשים תחזוקה מתמדת

מקור: Unsplash

בלמידת מכונה, מערכת ההפעלה משתנה בכל מחזור פעילות של אימון המודל בעזרת סט של נתונים חדשים ו”טריים”. בהשאלה לעולם התוכנה המסורתי, דבר זה שקול למעשה לגרסה חדשה של המודל אשר נוצרת בכל אימון שלו עם סט נתונים עדכני. מערכות מבוססות AI בסביבה ייצורית תפעולית הינן למעשה גרסאות שונות של עולם הנתונים המוזן אליהם.

לכן, הן בזמן פיתוחן ובעיקר בזמן תפעולן השוטף מערכות AI יש לדאוג לשקיפות אלגוריתמית, ניטור, פיקוח ובקרה תפעולית מתמדת על מנת לוודא את אמינותם ותפקודם. שני אלמנטים קריטיים עומדים בבסיס הטמעה מוצלחת של אפליקציות בינה מלאכותית: שקיפות אלגוריתמית ובקרה תהליכית מתמשכת.

שקיפות אלגוריתמית

מודלים מתקדמים של למידה עמוקה המספקים ביצועים גבוהים ורמת דיוק גבוהה הינם לרוב מבוססי רשתות ניורונים מלאכותיות המוגדרות כ’קופסאות שחורות’. הללו, כשמן כן הן, לא מאפשרות הבנה מלאה של אופן קבלת ההחלטה שלהן. לעומת זאת, מודלים שקופים שמספקים פרשנות ברמה גבוהה נוטים לרוב להפיק ביצועים פחותים משמעותית ביחס למודלי קופסה שחורה.

מרעננים? רוצים להשתדרג? מרעננים? רוצים להשתדרג? עשרות משרות שוות מחכות לכם עכשיו ב-Phillips Israel

בחיים האמתיים, ובמיוחד כשמדובר בהחלטות הרות גורל המשפיעות על חיי אדם, קיים צורך אמיתי הן בביצועים מספקים לאורך זמן והן ברמת דיוק גבוהה וברמת פרשנות גבוהה כדי לאפשר אמון של המשתמשים העושים בו שימוש. לדוגמה, רופא הנעזר במערכת תומכת החלטה לצורך מתן חיזוי להידרדרות חולה, לא יסתפק מן הסתם בתוצאת ניבוי כללית, אלא ידרוש פרשנות הכוללת מאפיינים קליניים חשובים והבנת תרומתם לתוצאת ניבוי פרטנית ספיציפית.

כשמדובר במודלי קופסא שחורה, שקיפות ומתן פרשנות לתוצרים מחייבים שימוש במתודולוגיות וכלים הנופלים תחת הקטגוריה של XAI (explainable AI). לדוגמא אלגורתימים מסוג LIME מאפשרים מתן פרשנות מקומית לפרדיקציה ספציפית על ידי שימוש במודל פשוט בעל יכולת פרשנות גבוהה. אולם, יכולתם של פתרונות אילו לספק פרשנות גלובלית למודל מוטלת בספק, כמו גם רכיב מהותי רנדומלי באופן פעולתם לא מבטיח התכנסות לתוצאה אחידה ועקבית.

מודלים אחרים כגון SHAP אשר עושים שימוש באלמנטים של תורת המשחקים השיתופיים, מנסים לחשב את התרומה היחסית והממוצעת של כל מאפיין בעולם הנתונים על תוצאת הניבוי, זאת על מנת לתת פרשנות מבוססת הנדוס לאחור (reverse engineering ) של רשת נוירונים מורכבת. אולם מן הראוי להדגיש כי קיים ויכוח ער בקרב קהילת מדעני AI ביחס ליעילותן של שיטות אילו, זאת בנוסף לויכוח הפילוסופי לגבי הצורך בם מלכתחילה.

מבין אילו המתנגדים לאפקטיביות האמיתית של אותם אלגורתימים המתיימרים ביכולת “להציץ” לתוך הקופסא השחורה, נטען בציניות כי מי שעושה שימוש ב- XAI לא באמת מבין את אופן פעולתם, ומי שאכן מבין את אופן פעולתם לא עושה בם שימוש. אחרים טוענים כי הצורך בפרשנות למודלים אשר עומדים בקריטריונים סטטיסטים ומתימטיים מחמירים הינו מוטעה במהותו.

כמו כן, אנו רואים עיסוק גובר של רגולטורים וגופים שונים במאמץ להגדיר ולהסדיר כללי שימוש במודלי קופסה שחורה. דרישה רגולטורית זאת לרוב נפוצה יותר בשווקי הפיננסים והבריאות אך מוצאת גם ביטוי ברגולציה האירופאית הנוגעת ל- GDPR בפרק המוקדש לנושא זה תחת הכותרת ‘הזכות לפרשנות’.


בואו לדבר על AI בקבוצה הרשמית של גיקטיים


בקרה תהליכית

נושא זה נקשר לאחרונה לרגולציה האירופאית המתהווה ואשר פורסמה לפני מספר שבועות, המתייחסת לסוגיית השימוש באפליקציות בינה מלאכותית מפוקחות. הטענה הרווחת היא כי בסמוך להצבתם של מערכות מבוססותAI  בסביבה תפעולית, הן חשופות בהגדרה לשחיקה מתמשכת של שולי המודל אשר התאמן על סט נתונים היסטורי ועקב כך מהימנותו הולכת ופוחתת לאורך זמן.

לרוב, הנסיגה בביצועי המודל מיוחסת לשינויים בעולם הנתונים המוזנים למודל. בשל כך נגרמים זמני השבתה לא צפויים של המערכת עקב אי-תפקודה. במקרים רבים התוצאה המיידית של אי-הזמינות הינה חשיפה מהותית לסיכון תפעולי, לדוגמה השבתה של מערכת בנקאית העושה שימוש במודל ניבוי מבוסס AI לצורך דירוג ומתן אשראי ללקוחות הבנק. במקרים אחרים כמו בסביבת דיאגנוסטיקה רפואית, הנתמכת במודל בינה מלאכותית המנבא הדרדרות חולה, מחיר הטעות הנו קריטי ועשוי להשפיע על חיי אדם.

שתי נקודות זמן הן קריטיות בתהליך הטיפול בתקלות, המתגלות עקב דעיכת ביצועי מודל באשר הוא. הראשונה היא זמן הגילוי והשנייה היא זמן הפתרון של התקלה וההשבתה. ארגונים שונים העושים שימוש במודלי AI בסביבות עסקיות קריטיות, נדרשים להגדיר לעצמם עבור כל מודל את זמני ההתאוששות(SLA)  מהשבתות נתונים (Data Downtime).

התיזה המרכזית שיש לאחוז בה ולפעול לאורה מסתכמת באמירה כי כל שינוי קטן ומינורי, עשוי לשנות הכל ובגדול –  Changing anything changes everything. לפיכך, כל חברה אשר עושה שימוש במודל AI בסביבה עסקית משתנה, משיתה על עצמה בהגדרה מחויבות תפעולית ולעיתים אף רגולטורית, הכוללת ניטור מתמשך לבחינת שינויים בביצועי המודל והרגישות שלו לשינויים בהתפלגות הנתונים החדשים המוזנים אליו, כמו גם לרעש ולטעויות אשר יכולים לגרום להטיות שלא עולות בקנה אחד עם המטרה העסקית אשר לשמה נועד המודל.

ארגונים מחויבים להנהיג מדיניות של ‘תמרוץ מצוינות נתונים’. מימוש מהיר, לא מתוכנן ולא מוקפד לגבי איכות הנתונים גורר צבירת חובות טכנולוגיים עתידיים. דיסציפלינות חדשניות הכוללות משילות ומשטר בינה מלאכותית (AI Governance) הן תת-תחום של משטר ארגוני או רגולטורי הממוקד בניהול הביצועים וניהול הסיכונים של מערכות מבוססות בינה מלאכותית. העניין הגובר במשטר AI מיוחס לאסדרה העסקית הגוברת על חברות ציבוריות וחברות פרטיות עם רגולציה תאגידית או ענפית וכן להכרה שמערכות ואפליקציות מבוססות AI עלולות לצאת משליטה בקלות עקב שינויים דינמיים בעולם הנתונים המוזנים לתוכן, ואשר עשויים להשפיע עמוקות על ביצועי הארגון ולחשוף אותו לסיכונים תפעוליים.

האחריות על כולם

שקיפות אלגוריתמית ובקרה תהליכית מתמשכת של מודלי AI הינה בבחינת הכרח נדרש ומחייב לכלל השחקנים בתחום, קרי מדעני נתונים, מפתחים, מנהלי עסקים, מנהלי סיכונים ורגולטורים באשר הם. והכלל המנחה הוא כי הנתונים אשר מזינים מודלים אילו אינם חיים בעולם של דממה סטאטית אלא במציאות הגועשת והדינאמית, אשר בפועל מייצרת אותם.

הכותב הוא מנכ”ל Data Science Group

כתב אורח

אנחנו מארחים מפעם לפעם כותבים טכנולוגים אורחים, המפרסמים כתבות בתחומי התמחות שלהם. במידה ואתם מעוניינים לפרסם פוסט בשמכם, פנו אלינו באמצעות טופס יצירת קשר באתר.

הגב

1 תגובה על "מה קורה כשמערכות AI מצילות חיים קורסות?"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
פולי
Guest

מעניין מאד.
לפי מה שאתה אומר חייבים לבצע QA לכל מודל מאומן.
בכלל AI שתלוי במשוב של משתמשים הוא בעייתי. זה אומר שבפועל המשתמש ההדיוט לוקח חלק בפיתוח הלוגיקה של התוכנה, רק שלא סיפרו לו

wpDiscuz

תגיות לכתבה: