פייסבוק הצליחה ללמד את ה-AI ”לשכוח” מידע לא רלוונטי

שיטה חדשה שפיתחו מדענים בחטיבת ה-AI של פייסבוק תאפשר לרשת נוירונים לפעול בצורה אפקטיבית יותר. כך זה עובד

מקור: פייסבוק

מודלי AI מעבדים מידע רב כדי ללמוד ולהשתפר לאורך זמן. כשמדובר במודלים חזקים, הרצים בעזרת כוח עיבוד משמעותי – זו לא בעיה משמעותית. אבל עבור מודלים קטנים יותר, כשזה מגיע לזיהוי המידע הנחוץ מתוך כמות אדירה של מידע שאותו הם מעבדים – זו יכולה להיות בעיה. בחטיבת ה-AI של פייסבוק רוצים לפתור את זה, ע”י אימוץ תכונה אנושית למדי – שכחה.

לשכוח מידע לא רלוונטי, כמו הארוחה של אתמול בערב

ב-Facebook AI החליטו להשתמש במה שאנחנו עושים ביום-יום מבלי בכלל לשים יותר מדי לב, לשכוח ולזכור פרטי מידע חשובים יותר ופחות, כדי לייעל את האופן שבו רשתות נוירונים מעבדות מידע. כך ניתן לחסוך במשאבי עיבוד ובסופו של דבר גם בעלויות.

השיטה החדשה בתחום הלמידה העמוקה (Deep Learning) שפיתחו בפייסבוק, שנועדה לתת לרשתות את היכולת “לשכוח” מידע, נקראת Expire-Span. השיטה, שלפי פייסבוק היא הראשונה מסוגה, נותנת לרשתות הנוירונים את היכולת לחזות תחילה איזה מידע יהיה חשוב לה יותר עבור המשימה שניתנה לה.

לאחר מכן, על בסיס ההקשר של המידע שאותו היא מעבדת, רשת הנוירונים שכוללת את Expire-Span תתחיל להקצות לכל פיסת מידע שהיא מעבדת “תאריך תפוגה” – כן, כמו זה שעל קופסת הקוטג’ שלכם – שאחריו היא ”תשכח” את פרט המידע הזה. למה “תשכח” ולא תשכח באמת? כי פרט המידע קיים, הרשת פשוט תתעלם ממנו בעתיד – כי אין לה צורך בו.

כך עובדת שיטת Expire-Span:


בפייסבוק עושים גם שימוש ב-AI לסינון תכנים בעייתיים


בהתאם לחלוקה שהרשת עושה עם עיבוד המידע הראשוני, מידע שיהיה רלוונטי יותר יזכה כמובן ל”תאריך תפוגה” רחוק יותר, בזמן שמידע הפחות חשוב למשימה שהוטלה על רשת הנוירונים יהפוך ללא רלוונטי מהר יותר עבורה ו”יישכח”. כך יכולה הרשת לפנות לעצמה עוד כוח עיבוד כדי לעבד מידע בסקייל גדול יותר לאורך זמן, מבלי שמי שמפעיל אותה יצטרך להוציא עוד לא מעט כסף על כוח עיבוד נוסף כדי שהרשת תמשיך לפעול באפקטיביות.

“האתגר הגדול ב-AI ששוכח היא שמדובר בפעולה שהיא מאוד מובהקת – או שזה קורה או שלא – אין ביניים. האופטימיזציה של פעולה כזו קשה מאוד, ולכן מערכות רבות מעבדות מידע ללא אבחנה ודורשות משאבי מחשוב רבים”, כותבים אנג’לה פאן וסאינבאייר סוחבאטר – חוקרים בחטיבת ה-AI של פייסבוק.

השניים מסבירים כי גישות רווחות בעבר עסקו בעיקר בכיווץ מידע ישן, כך שהעומס החישובי קטן לאורך זמן – אך לא מצטמצם משמעותית. מנגד, עם Expire-Span המערכת יכולה להתעלם מהמידע אחרי ש”תאריך התפוגה” שלו יחלוף ולאורך זמן אף לטייב את יכולת הבנת הצורך שלה במידע מסוים – כך שבעתיד תדע להקצות “תאריכי תפוגה” מדויקים יותר.

“ה’ריקבון’ הזה של מידע מסוים (המידע שקיבל תאריך תפוגה קצר יותר, א.א.) הוא הכרחי לשמירה על המידע החיוני, מבלי לפגום אותו. והמנגנון הלימודי של Expire-Span מאפשר למודל להתאים את אורך הזמן בהתאם לצורך”, הוסיפו החוקרים.

לחקות תכונות אנושיות, כדי לקבל AI אנושי יותר

בפייסבוק חוזרים ומדגישים כי השיטה החדשה שלהם שואבת השראה מהאופן שבו המוח האנושי מנהל את הזיכרונות שלנו. לדבריהם, על ידי אימוץ שיטות המבוססות על תכונות אנושיות, בעתיד ניתן לאמן AI לבצע עוד ועוד משימות “אנושיות” שבעבר הבינה המלאכותית לא יכלה לאמץ.

הם מדגישים כי השיטה שפיתחו בחטיבת ה-AI של פייסבוק עדיין נמצאת ברמת המחקר, אך הוסיפו כי הם יכולים לראות שימושים עתידיים ל-Expire-Span בעולם האמיתי – בהם הבינה המלאכותית “שוכחת” מידע לא שימושי.

עוד אמרו החוקרים כי האופן שבו Expire-Span עובדת מדמה רק אופן אחד שבו הזיכרונות שלנו עובדים, וכי הם עובדים על דרכים נוספות שבהן השיטה שלהם תוכל לדמות זיכרונות נוספים – בניסיון להגיע ככל האפשר ל-AI הפועלת באופן “אנושי”.

פנקו את הטלגרם שלכם עם ערוץ הטכנולוגיה הגדול בארץ פנקו את הטלגרם שלכם עם ערוץ הטכנולוגיה הגדול בארץ הצטרפו לערוץ גיקטיים בטלגרם

אושרי אלקסלסי

Your Friendly Neighborhood Geek. יש לכם סיפור טכנולוגי? דברו איתי: Oshry@geektime.co.il

הגב

4 תגובות על "פייסבוק הצליחה ללמד את ה-AI ”לשכוח” מידע לא רלוונטי"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
אשטנקר
Guest

פייסבוק כבר לא מה שהייתה מבחינת RnD. החוקרים הטובים עוזבים ונותרו רק פועלי בניין וירטואלים לשחק בPHP

פול
Guest

דחו את המאמר שלהם מICLR 2021.
הייתי לוקח את המאמר בערבון מוגבל, לפחות עד שהם מתקנים את ההסתייגויות.

Ubuntu
Guest

תודיעו כשזה מגיע לtenserflow, רק אז זה יהיה חשוב למתכנתים רגילים

א.א.
Guest

א.א.

wpDiscuz

תגיות לכתבה: