בגלל מחאה: נגנז מאמר שבדק האם AI יכול לזהות פושעים מראש

החוקרים פנו להוצאה לאור שבחנה את המאמר ודרשו ממנה להתנער ממנו וממחקרים דומים לו בעתיד. חוקר ישראלי שחתום על המכתב נגד המאמר: ”הבעיות במאמר יכולות להוביל גופי אכיפת חוק להחלטות מסוכנות”

מקור: Pixabay

השימוש באלגוריתמי בינה מלאכותית לחיזוי תופעות שונות הוא כבר מזמן לא תופעה נדירה, אך השימוש של חוקרים באלגוריתם כדי לנסות ולקבוע רמת “מועדות לפשיעה” של אנשים על בסיס תמונות ומידע מרשויות הצית אש בקרב חוקרים רבים – שמנסים לעצור את פרסום המאמר המחקרי בנושא.

הטענה: שימוש בנתוני מערכת המשפט יוצרים הטייה גזעית

יותר מ-1,700 חוקרים מתחומי הבינה המלאכותית, מדעי הנתונים והסוציולוגיה חתמו על מכתב ובו הם קוראים להוצאת Springer Nature שלא לפרסם מאמר עתידי המנסה לבחון את יכולותיו של אלגוריתם בינה מלאכותית בזיהוי רמות “קרימינליות” (או מועדות לביצוע פשעים) מניתוח תמונות פנים של בני אדם וניתוח נתוני פשיעה.

במכתב קוראים החוקרים שלא לתת לגיטימציה למחקר וכי מדובר בהחלטה שיכולה ליצור תקדים מסוכן, מכיוון שמדובר במחקר שלא ניתן להגדירו כ”מדעי”. בנוסף טוענים החוקרים החתומים על המכתב שנשלח להוצאה לאור כי פרסום של מחקר מסוג זה רק ימשיך להנציח דעות קדומות נגד אנשים שחומי עור ואנשים ממוצאים שאינם “לבנים” במובהק.

על פי המכתב, כמה וכמה מחקרים מראים כיצד מערכת המשפט מוטית לרעה נגד קבוצות אלו, כך שכל אלגוריתם שיאומן על פי נתונים של המערכת יגיע בסופו של דבר עם הטייה מובנית שרק תדגיש ותעמיק את ההבדלים החברתיים המבוססים על הטיות חברתיות וגזענות מובנית.

החוקרים החתומים על המכתב מפצירים בוועדת ביקורת העמיתים (Peer Review) של הוצאת ספרינגר לחזור בה מההצעה לפרסם את המאמר, לצד פרסום הקריטריונים שבהם השתמשו לבחון אותו. בנוסף הם מבקשים מההוצאה לאור לפרסם הצהרה בה הם מתנגדים נחרצות לשימוש בנתונים של מערכות המשפט לטובת חיזוי מועדות לפשיעה ולהכיר בעובדה שעודדו זאת בעבר. החוקרים מציגים גם קריאה כללית למוציאים לאור להימנע מפרסום מאמרים מסוג זה בעתיד.

החוקרים מבקשים להבהיר כי “אין דרך לפתח מערכת שיכולה לנבא או לזהות מועדות לביצוע פשעים שאינה מוטית מבחינה גזעית – כי הקטגוריה ‘מועדות לפשיעה’ היא בעצמה מוטה גזעית. מחקרים מסוג זה – והטענות כי הם מדויקים במידה מסוימת – מבוססים על ההנחה שכל המעצרים וההרשעות יכולים להיות מידע נייטרלי ואובייקטיבי על פעילות פלילית מובנית, כשבפועל הם רחוקים מכך”.

העובדה שהמאמר על המחקר צפוי לראות אור פורסמה באתר של אוניברסיטת האריסבורג שבארצות הברית. בהודעה מטעם האוניברסיטה על המאמר נכתב כי החוקרים טענו ל-80% הצלחה בזיהוי מועדות לפשיעה על ידי שימוש באלגוריתם שפיתחו.

החוקרים ניצחו במאבקם ובספרינגר פרסמו את תגובתם למכתב, בה כתבו כי לא יפרסמו את המאמר: “המאמר הוגש לכנס עתידי ואחרי ביקורת עמיתים מקיפה הוא נדחה”. אוניברסיטת האריסבורג הסירה את ההודעה על פרסום המחקר מהרשת והודיעה כי “הסגל מעדכן את המאמר כדי להתייחס לחששות שהועלו בנושא”.

“הבעיות במאמר יכולות להוביל גופי אכיפת חוק להחלטות מסוכנות”

בין החוקרים החתומים על המכתב נגד המאמר ישנם כמה חוקרים ישראלים. אחד מהם הוא ד”ר ערן טוך מהמחלקה להנדסת תעשייה באוניברסיטת תל אביב. בשיחה עם גיקטיים אומר מסביר ד”ר טוך את ההתנגדות שלו לפרסום המאמר ואמר: “אני חושב שיש בעיות מקצועיות ואתיות במאמר הזה: שימוש במידע שמגיע מבתי סוהר, התעלמות מהעובדה שיש הרבה סממנים תרבותיים על הפנים שלנו, ובעיקר התעלמות מהתהליכים שמובילים אנשים לבתי סוהר”.

הוא הוסיף כי “הבעיות במאמר יכולות להוביל גופי אכיפת חוק להחלטות מסוכנות: לעצור אנשים על סמך איך שהפרצוף שלהם נראה או לערב נושאים כאלו בשחרור בערבות. יש כמה מאמרים כאלו בזמן האחרון, בעיקר מסין. כיוון שהמאמרים האלו נשענים על למידת מכונה, הם מרגישים ‘אובייקטיביים’, אבל הם בסך הכל מבוססים על הקלט והתוויות (labeling) שנותנים להם”.

ד”ר טוך מזכיר קצת את העבר של תחום המחקר, שיישמע מוכר לרובנו: “השימוש בתווי הפנים כדי ללמוד משהו על האדם הוא לא חדש. בשנות השלושים, באירופה ובארה”ב היה מעין פסבדו-מדע שמבוסס על מבנה הגולגולת והפנים (פיזיונומיה, א.א.). זה לא הוביל לשום מקום טוב”.

מתוך: Xiaolin Wu and Xi Zhang, “Automated Inference on Criminality Using Face Images”

האם למיטב ידיעתך יש חוקרים ישראלים ששקלו לקחת חלק במחקר מסוג זה?

“אני לא מכיר חוקרים ישראלים שעובדים בתחומים האלו, אבל חברות ישראליות בהחלט עוסקות בזיהוי פנים וניתוחים ויזואליים שונים. לצערנו, הקווים האתיים בהייטק הישראלי הם מאוד מאוד גמישים. אנו מכירים חברות ישראליות שעזרו למשטרים טוטליטריים לרגל אחרי אזרחים ועיתונאים. צריך לזכור שגם למפתחים יש הרבה השפעה על מה שחברה מסוימת עושה או לא עושה. רואים איך בחברות כמו גוגל ופייסבוק, מהנדסים מפעילים לחץ אפקטיבי כדי לא לחצות גבולות אתיים”.

שאלנו את ד”ר טוך אם ניסוי באלגוריתם מסוג זה בישראל (אם היה עושה הגירה היפוטתית) היה מקטלג אוטומטית אוכלוסיות מסוימות כ”מועדות לפשיעה” ולדבריו הוא “בטוח שאלגוריתם כזה, אם הוא היה מופעל בישראל, פשוט היה מבטא את הסיכוי של אנשים להגיע לכלא, עם כל הגזענות המובנית”.

נושא ההטייה המובנית באלגוריתמי למידה מכונה הוא נושא עליו דובר לא פעם, כשגם אנחנו ניסינו להבין אותו בעזרת כמה גורמים מחקריים מהתחום. שאלנו את ד”ר טוך אם לדעתו בנושא – נראה בעתיד סוף להטייה מובנית באלגוריתמי AI?

“אני לא חושב שיש דרך מתמטית טהורה להגיע לאלגוריתמים הוגנים בצורה מושלמת. עבודה של ג’ון קליינברג (מדען מחשב מהחשובים בעולם) הראתה שיש מתח מובנה בין שני סוגים של הוגנות: הוגנות אישית והוגנות קבוצתית, ואי אפשר לספק את שניהם”.

לא הפעם הראשונה

חשוב לציין כי לא מדובר במקרה ראשון שבו חוקרים טוענים כי פיתחו אלגוריתם היכול לזהות מועדות לפשיעה מניתוח תמונות. מאמר של חוקרים באוניברסיטת ג’יאו טונג בשנגחאי מ-2016 הציג גם הוא אלגוריתם מסוג זו.

המאמר זכה לתגובות נזעמות גם כן, כשמאמרים של חוקרים מאוניברסיטת פרינסטון וחוקרים של גוגל פרסמו מאמר משותף המערער על מסקנותיהם של החוקרים הסינים, והזהירו – כמו ד”ר טוך – כי החוקרים הגיעו למסקנות פסבדו-מדעיות המזכירות תיאוריות גזעניות כמו פיזיונומיה.

אושרי אלקסלסי

Your Friendly Neighborhood Geek. יש לכם סיפור טכנולוגי? דברו איתי: Oshry@geektime.co.il

הגב

14 תגובות על "בגלל מחאה: נגנז מאמר שבדק האם AI יכול לזהות פושעים מראש"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
or i
Guest

כל הכבוד שנגנז. הסטטיסטיקות יכולות להיות נכונות, מכל מיני סיבות, לא בגלל טבע של אוכלוסיה כזו או אחרת.. לתת בסיס שיפוטי מקדים לאדם רק בגלל ששייך לקבוצה מסויימת ולא לבחון את מעשיו בלבד לא רק שעושה עוול לאינדיוידואל, אלא גם ישמר את המצב.. חלקים מהציבור הישראלי לא מספיק חשים אפליה וגזענות ולכן קשה להם להתחבר לזה. כמה שבועות בדרום ארה”ב ליד red necks מצויים, בתור יהודים יוכלו אולי לעשות ממנו בני אדם. אסימון שיכול ליפול רק בעזרת חוויה יומיומית.. סיפורים דהויים מהגלות לא עושים את העבודה כנראה.

הגיון בריא
Guest

חייבים לגנוז את המחקר. עוד עלולים לגלות שם סטיגמות מגדריות, כגון: לנשים כושר גופני נמוך מלגברים. כושים משחקים טוב יותר כדורסל. כושים מוכשרים יותר בספורט האיגרוף. כושים הם אלימים יותר מלבנים. וכו’. עובדות שכולם יודעים רק שאסור לכתוב.

אחד שלא יודע
Guest

“Towards “Minority report

פנים וחוץ
Guest

טוב – כולם יודעים שיש קשר בין צורת הפנים ואישיות וכולם מייחסים חשיבות עצומה למראה הפנים –בוחרים בן/בת זוג עם פנים שאוהבים וכ”ו…
הרבה פעמים זה מטעה( פני מלאך ) ובכל מקרה אין מה להניח שאפשר להסיק מסקנות מרחיקות לכת על מעשיו של אדם רק על פי מראה חיצוני

קייזר סוזה
Guest

מה כל הכבוד? סתימת פיות צבועה. נראה אותם מוחקים חצי מהיצירות של שייקספיר ,למשל הסוחר מונציה (עם שיילוק היהודי תאב הבצע והסוטה). או את טולסטוי האנטישמי (מקווה שקראת).
איש לא אמר שהעולם ייאמץ את מסקנות המחקר, אבל לצנזר מחקרים?? בגלל עולב של גישה כזו, גרמו לאנושות להאמין שהעולם מסתובב סביב השמש

מישהו
Guest

אתה באמת חושב ששיילוק היה צריך להכתב? אוטואנטישמי שכמוך. שיילוק זו דוגמה מעולה ליצירה שנכתבה בעקבות המפגש היחיד של שייקספיר של יהודי (היה אסור ליהודים לגור בבריטניה), הרופא של המכלה אליזבת, שנשפט למוות בעלילה ש”ניסה להרעיל את המלכה”. אגב, מיטיבו של שייקספיר היה זה ששלח את היהודי למוות. אז כן, הייתי מוחק את היצירה עם שייקספיר האנטישמי בעצמו ללא היסוס.

שדכש
Guest

בגדול קייזר.. מישהו סתם לך את הפה, וטוב שכך

מירה
Guest

אבל באמת יש קשר מובהק בין גזעים לבין פשיעה ואישיות סוציופתית.

תסתכלו מה קורה ברוסיה/מזרח אירופה..
כמה נוכלות מגיעה משם

בגלל זה בכל העולם לא נותנים למזרח אירופאים להגר אליהם,
ואפילו לא להכנס אליהם כתיירים ללא ויזה מראש.

רק בישראל המצב הפוך, ודורש תיקון מהיר,
אחרת נהפוך למדינת עולם שלישי

אסף
Guest

מירה
ההסטוריה למדה אותנו שעמוק בפנים כולנו חארות.
במקום שבו יש כלכלה גרוע, פשיעה , רדיפה על ידי שלטונות, תקרת זכוכית נמוכה יותר ביחס לקבוצה שכנה, גם צדיק יתקשה לשמור על מוסר גבוה.

אותי הטכנולוגיה הזו מפחידה.
כי היא לא תעצר רק בלמצוא עברינים .
בסוף היא תגלוש גם לעולם שלנו…
ואז מה? נעשה כולנו ניתוחי פנים בשביל להכנס לאמריקה?

אדאד
Guest

Person of Interest

מממיי
Guest

1984

אייל
Guest

מה הבנתי מהכתבה? – יותר שחורים נמצאים בכלא בגלל סטיגמות קדומות של שופטים. (ציטוט) אכן רמה גבוהה…

היסטוריון בגרוש
Guest
היסטוריון בגרוש

אני חושב שגלילאו מאוד היה מתחבר לכתבה, גם אצלו שיקולים “אתיים” היו אמורים להשפיע על תוצאות המחקר שלו.

שדכש
Guest

דווקא היה סרט טוב חבל לגנוז את הסרט!
אהה רגע מאמר כן..

wpDiscuz

תגיות לכתבה: