אפליה מבוססת AI: על הצד הפחות חיובי של בינה מלאכותית

לאחרונה צפו כמה מקרים שהעלו לתודעה את נושא האפליה נגד מגזרים עקב שימוש ב-AI ובלמידת מכונה. נושא האפליה ב-AI זכה לוועדות רשמיות שדנו בו, גם כאן בישראל. שוחחנו עם כמה מומחים בתחום שהצביעו על חשוד מיידי בכל הקשור לאשמה באפליה

מקור: Pixabay

ג’נט היל רצתה להוציא כרטיס אשראי של אפל. היא ובעלה עברו את תהליך ההרשמה ביחד והצהירו על נתונים זהים לחלוטין לטובת מסגרת האשראי. כשהשניים אושרו לקבלת כרטיס האשראי – גילתה ג’נט כי בעלה קיבל מסגרת אשראי גבוהה פי 10 מזו שלה. השניים התלוננו, ומכיוון שבעלה הוא לא אחר מאשר סטיב ווזניאק, התלונה שלהם זכתה להתייחסות כמו שצריך – ובאפל תלו את האשם באלגוריתם ה-AI שמעורב בתהליך.

היל לא לבד; מטופלים אפרו-אמריקאים גילו שהם הופלו לרעה על ידי כלי AI ששימש את מערכת הבריאות האמריקאית ויותר מ-200 מיליון מטופלים. מחקר שפורסם במגזין Nature מצא עדויות להטיה גזעית באלגוריתם הנפוץ שהוביל לכך שמטופלים בעלי עור כהה מזוהים כחולים פחות מחולים בעלי עור בהיר, וכתוצאה מכך – הם גם מקבלים טיפול רפואי פחות טוב.

החשוד המיידי: הדאטה

בשנים האחרונות עלתה שוב ושוב לכותרות סוגיית האפליה בעקבות שימוש באלגוריתמים ובינה מלאכותית, מה שהוביל לפרסום של כללי אתיקה ב-AI על ידי האיחוד האירופי, וגם בישראל התכנסה ועדה בנושא. אורי אליאבייב, שישב בועדה, אמר בשיחה עם גיקטיים: “לצד חברות ענק ישנן לא מעט מדינות אשר החלו לחקור את הנושא ולהגדיר מדיניות שתפקידה למסגר בצורה טובה יותר את ההיבטים האתיים בתחום הבינה המלאכותית. מדינת ישראל הבינה גם היא שיש צורך לגבש עמדות בנושא, וכחלק מהוועדות הממשלתיות שקמו, קמה גם ‘הוועדה הלאומית בנושא אתיקה, רגולציה ובינה מלאכותית’ בראשות פרופ׳ קרין נהון, בה לקחתי חלק”.

אליאבייב, יועץ בתחום הבינה המלאכותית ומייסד קהילת Machine & Deep Learning Israel, התייחס לגורם המרכזי לאפליה בשימוש בבינה מלאכותית ואמר כי לדעתו ישנם כמה גורמים המובילים לחוסר הוגנות באלגוריתמים; אחד מהם הוא הדאטה המוזן למערכות עצמן. “אם ישנה הטייה מובנית במאגר הנתונים, גם האלגוריתם עצמו יהיה מוטה – כי הוא ינסה להבין את החוקיות הקיימת שנבנתה על ידי בני האדם”. נקודה בעייתית נוספת, לפי אליאבייב, היא היעדר אמצעים או כלים מוגדרים היטב לבדיקת הטיות באלגוריתמים. הוא אומר כי לעיתים קשה לערוך הדמיה למצב שבו יהיה ניתן לבחון כיצד האלגוריתמים יגיבו במקרים שונים.

סיבה משמעותית נוספת היא היעדר גיוון רחב של אנשים שעוסקים בתחום. “למשל, אם היו יותר נציגים של קבוצות שבדרך כלל מופלות, הם ידעו להרים את הדגל בזמן ויהיו יותר רגישים להשלכות של האלגוריתמים על הקבוצה אותה הם מייצגים בעקיפין”.

לשאלת הפחתת ממדי האפליה הנוצרת לעיתים עקב שימוש ב-AI אמר אליאבייב כי כיום ישנן חברות בינלאומיות שעובדות קשה כדי להשיג דאטה מגוון, אותו יש לשתף עם הקהילה המדעית כדי לעזור לכולם לפתח אלגוריתמים הוגנים יותר. “בנוגע ליכולת שלי להבין את מקרי הקצה, ישנם פיתוחים שמנסים לסייע למפתחים להבין בצורה טובה יותר את נקודות התורפה של המודלים שלהם, אך כלים כאלה עדיין לא נפוצים או ברמה מספיקת טובה”.

הוא מעלה גם את האפשרות של חינוך עובדים בארגון להגדלת ראש ולנסות לחשוב על דרכים אפשריות שבהן האלגוריתם יכול לפגוע בקבוצה מסוימת. אליאבייב מציין גם את האפשרות של הכשרת אנשים מקשת רחבה של אוכלוסיות כדי לשמור על גיוון העוסקים בתחום, לצד הנגשה של הטכנולוגיה לאנשים נוספים.

האם יכול לקרות מצב זהה בישראל – שבו בינה מלאכותית מפלה לרעה אנשים על בסיס שונה (יהודים/ערבים, גברים/נשים, אשכנזים/ספרדים וכו’)?

“מצב שכזה יכול להתרחש גם בישראל, מכיוון שאנחנו מתבססים על פיתוחים ועבודות גלובליות שנעשו בתעשייה. כמובן שאף מפתח ישראלי לא יעשה זאת בכוונה, אלא זה יהיה כשל של הדאטה שהוא יקבל. כך למשל, יכול להיות שמודל רפואי יציג תוצאות פחות מדויקות עבור אוכולסייה ישראלית מסוימת שאיננה פוקדת רבות את בתי החולים, או שאין תיעוד מספיק אודותיה וזאת רק כי אין מספיק דאטה רלוונטי עבורה”.

ישראל נחשבת למובילה עולמית בתחום ה-AI. האם זו גם אשמתם של המפתחים הישראליים?

“ישראל מובילה בתחום, אך כמובן שלא ניתן להאשים את הפתחים הישראליים בכך מאחר שזו בעיה כלל עולמית שחברות ותאגידים שונים מנסים להתמודד איתה. להיפך, במרבית המקרים המפתחים הישראלים מגלים עניין רב בנושא ודנים על כך לא מעט”.

כרטיס האשראי של אפל העלה שוב את נושא האפליה עקב שימוש ב-AI

“מצב דומה יכול לקרות בכל מדינה, גם בישראל”

ד”ר קירה רדינסקי, CTO “דיאגנוסטיקה רובוטיקה” ופרופ’ מבקר בטכניון, מסכימה עם חלק מהאבחנות של אליאבייב ואמרה כי אלגוריתמים של Machine Learning מחפשים תבניות בדאטה: “אם ישנה הטייה בדאטה – האלגוריתם ילמד את ההטייה”.

ד”ר רדינסקי אמרה עוד כי אפשר להתמודד עם הבעיה בכמה דרכים, בהן בחירת מידע מייצג ללמוד עליו (על מנת לוודא שאין הטייה בדאטה שעליו למדנו), ניסוי פרוספקטיבי שבו מנטרים את הביצועים של האלגוריתמים ומוודאים שהוא מתפקד בלי הטייה, או בניית אלגוריתמים שמציגים הסברים על התבניות שלמדו כדי שמומחה יוכל לזהות bias בזמן אמת.

בנוגע להיתכנות של מצב שבו נוצרת אפליה ב-AI בישראל אמרה ד”ר רדינסקי כי מצב דומה יכול להתקיים בכל מדינה. ״תתי-אוכלוסיות שונות בישראל מדווחות על כאב בצורה שונה מבחינה תרבותית. תרבות אחת נוטה לא לדווח על כאב כלל גם כשהכאב חמור. מצב כזה יכול להחמיר את הטריאז’ (תעדוף הטיפול בחולים בהתבסס על חומרת מצבם, א.א.) עבור אותן אוכלוסיות”.

בנוגע למקומה של ישראל בתעשיית ה-AI ושל מפתחים ישראלים בתחום כשזה מגיע לאפליה, אמרה ד”ר רדינסקי כי אינה בטוחה שאנחנו עוד בין המובילים בבינה מלאכותית כפי שישראל מובילה בתחום הסייבר. היא הדגישה כי ישנו מחסור חמור במדעני נתונים עם רקע אקדמי מתאים וכי הבעיה נובעת, בין היתר, בשל מחסור של חברי סגל בתחום באוניברסיטאות.

היי-טק, סטארטאפים וטכנולוגיה - רוצים להקדים את כולם? להורדת אפליקציית גיקטיים לאייפון ולאנדרואיד לחצו כאן

“הצעד הראשון להתמודד עם הבעיה – להיות מודע לה”

טל שוסטר, דוקטורנט ישראלי ב-MIT שהצליח לפתח כלי AI שיודע לחזות סרטן 5 שנים מראש מבלי להפלות בין נשים בעלות צבע עור שונה, התייחס גם הוא לסוגיה. בנוגע לגורם המרכזי שעלול להוביל למקרים של אפליה בשימוש בבינה מלאכותית או למידת מכונה אמר כי אפליה בפיתוח תרופות או טכנולוגיות הוא עניין מטריד, אך חשוב להבין שהיא התחילה הרבה לפני השימוש בלמידת מכונה. “תרופות רבות במשך שנים פותחו ונבדקו על בסיס גברים לבנים בשנות העשרים אך הופצו לאוכלוסיות אחרות. כמו כן, לדוגמה, הסיכוי לפציעה חמורה של נשים מתאונות דרכים גבוה יותר משל גברים בגלל שמכוניות ואמצעי הבטיחות פותחו עבור מבנה גוף של גברים”.

שוסטר הוסיף ואמר כי מודלים של למידת מכונה לומדים על בסיס הדוגמאות שאנו נותנים להם. הגורם המרכזי להטיות הוא, כמו במחקרים היסטוריים, שהמידע והדגימות שמתבססים עליהם לפעמים לא מייצגים את כל האוכלוסיות ולפעמים בונים את המודל בצורה שהוא לומד דברים מאוד ספציפיים לאוכלוסיה אחת, אך לא מוודאים שההסקות שהוא עושה לא נכונות עבור אוכלוסיות אחרות”.

מה אפשר לעשות כדי להפחית את ממדי התופעה? האם אפשר בכלל לעשות משהו?

“אפשר בהחלט להתמודד עם התופעה והצעד הראשון, והכי חשוב, הוא להיות מודע לה. חוקר או מפתח שבונה מודל למידת מכונה שצפוי להיות בשימוש ע”י אוכלוסיות שונות צריך למדוד את הביצועים של המודל עבור כל אחת מאוכלוסיות היעד. אם קיימת אוכלוסיה שהתוצאות של המודל הן לא על פי המצופה לאוכלוסיה מסוימת, יש דרכים להתמודד עם כך. דרך אחת היא לאסוף דוגמאות לימוד נוספות שמייצגות את האוכלוסייה הרלוונטית. דרך אחרת היא להכריח את המודל, באמצעות כלים שונים של למידת מכונה, ללמוד רק עפ”י תכונות כלליות מספיק שיהיו נכונות לכלל האוכלוסיות”.

“במחקר שלנו לבניית מודל סיכון לסרטן השד השתמשנו בדגימות מאוכלוסיות מגוונות בהיבטי גיל, גנטיקה, היסטוריה משפחתית וגזע ובדקנו את הביצועים עבור כל חתך אוכולסייה בנפרד. מודל הסיכון המקובל שהיה קיים לפני כן היה מודל סטטיסטי שפותח בעיקר על בסיס נשים לבנות, ועל כן ביצועיו לאוכלוסיות שונות היו מופחתים משמעותית. לעומת זאת, מודל הסיכון שאנחנו פתחנו נעזר בסריקה האישית של כל נבדק או נבדקת ומנבא סיכון אישי. התוצאות של המודל שלנו היו זהות עבור נשים ממוצא שונה”.

לגבי האפשרות שאנשים יופלו לרעה בעקבות שימוש בבינה מלאכותית או למידת מכונה אמר שוסטר כי אינו מכיר מספיק את האמצעים הרגולטוריים במדינת ישראל כדי לענות האם גורמים ממשלתיים שמשתמשים בבינה מלאכותית מבצעים בקרה למניעת אפליה.

אפליה ב-AI היא משהו שקיים נכון להיום ונראה כי בסופו של דבר יכול להיפתר, כך לפחות לפי המומחים שאיתם שוחחנו בנושא. נראה כי כל השלושה תמימי דעים שבסופו של דבר הבעיה מתחילה בדאטה – ה-Bias המובנה במאגרי המידע שאיתם עובדים בפיתוחי AI ולמידת מכונה לרוב הוא זה שמוביל לאפליה. לכן, נראה כי על ידי יצירת מאגר מידע מקיף ככל האפשר ניתן יהיה להימנע ממקרים מסוג זה.

אושרי אלקסלסי

Your Friendly Neighborhood Geek. יש לכם סיפור טכנולוגי? דברו איתי: Oshry@geektime.co.il

הגב

23 תגובות על "אפליה מבוססת AI: על הצד הפחות חיובי של בינה מלאכותית"

התחבר עם:

Photo and Image Files

Audio and Video Files

Other File Types

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי: חדש | ישן | הכי מדורגים

Guest

שין גימל

אפליה מבוססת AI: על הצד הפחות חיובי של בינה מלאכותית

החשוד המיידי: הדאטה

“מצב דומה יכול לקרות בכל מדינה, גם בישראל”

“הצעד הראשון להתמודד עם הבעיה – להיות מודע לה”

אושרי אלקסלסי

הגב

תגיות לכתבה: