פייסבוק החלה להשתמש ב-AI כדי לסנן תכנים בעייתיים

בחברה פיתחו AI שאמור לסייע בזיהוי ובסינון של תכנים בעייתיים בפטלפורמה שבה מיליארדים מפרסמים תכנים בכל יום. איך אימנו את ה-AI? עם ערמות של פוסטים שעברו על החוקים כמובן

אחד האתגרים הגדולים הקיימים בפייסבוק כיום, לצד הררי הפייק ניוז, הוא ניהול התוכן המועלה לפלטפורמה ובייחוד התכנים שעוברים על כללי הקהילה של החברה כמו פגיעה עצמית, אלימות קשה, רצח, טרור ועוד. לצורך כך מעסיקה החברה על פי דיווחים שונים יותר מ-35 אלף מפקחי תוכן, אולם גם הם קורסים תחת העומס ומקבלים לא פעם החלטות תמוהות. עתה חושפת החברה בשיחה שערכה עם עיתונאים כי תיעזר בפיתוחים שונים בתחום ה-AI ולמידת המכונה, כדי לייעל את התהליך.

מאגר האימון: פוסטים מהעבר

על פי פייסבוק המטרה בשילוב כלי ה-AI הללו היא לסייע בסינון תכנים שעוברים על חוקי הקהילה שלה – ולא להחליף אותם. הכלים הללו מאפשרים לה לחפש באופן פרואקטיבי אחר תכנים בעייתיים, במקום להסתמך, כמו עכשיו, רק על דיווחי משתמשים.

כידוע, כדי ליישם מודל ML מוצלח, יש “להאכיל” אותו בכמה שיותר דוגמאות, שמלמדות ויוצרות אותו. לאחר מכן, יש לאמן אותו ולתת לו פידבק על התוצאות. כריס פלוו, מהנדס מצוות הפיתוח של ה-AI שפיתחו בפייסבוק, אמר לגיקטיים כי החברה אימנה את האלגוריתם החדש בעזרת פוסטים מהעבר שהחלו תכנים המפרים את כללי הקהילה כמו אלימות, רצח ועוד.

עם זאת, הוא מספר, האלגוריתם לא יהיה אוטומטי לחלוטין בשלב הראשון והוא בעיקר יסייע למפקחי התוכן האנושיים. המטרה הסופית היא כמובן תהליך אוטומטי לחלוטין. “כדי שזה יהיה אוטומטי צריך שהיחס (ההצלחה בזיהוי תכנים, א.א.) יהיה קרוב מאוד ליחס ההצלחה של בודק התוכן האנושי – והם (האלגוריתמים, א.א.) עדיין לא שם”, אמר פלו.

עוגיות “חזקות”? | מקור: פייסבוק

משנים את האופן שבו התוכן מסונן

יתרון נוסף לאלגוריתמים החדשים של פייסבוק הוא התיעדוף. בעבר היו מפקחי התוכן מסננים תכנים על פי סדר כרונולוגי של דיווחים, מה שהגיע קודם טופל קודם. כעת, בחברה משתמשים ב-AI כדי לייצר סדר חדש של סינון תכנים – על פי פרמטרים של ויראליות, חומרת הפגיעה (לדוגמה, דיווח על אלימות קשה יזכה לקדימות על פני ביריונות) והסיכוי שהתוכן אכן מפר את כללי הקהילה של פייסבוק.

ה-AI שפיתחו בפייסבוק מסתמך על שני מודלים שפיתחו לטובת סינון התכנים. הראשון הוא WPIE (או whole post integrity embeddings), מדובר במודל שמנתח פוסטים החל מרמת הטקסט, דרך התכנים שמועלים לתוכו כמו תמונות וסרטונים. המודל יכול להשתמש ב-OCR במידת הצורך כדי לפענח עוד טקסט מתוך תמונות, כדי להבין בצורה הטובה ביותר אם אותו פוסט מפר את כללי הקהילה.

אחת הדוגמאות שהציגה פייסבוק כוללת פוסט תמים למכירת “חטיפי אורז” במרקטפלייס של פייסבוק. הכל נראה תקין, אבל לא בדיוק, האלגוריתם של החברה זיהה לבד את המילה “עוצמתי” (potent) – מילה שמתאימה יותר לסמים מאשר לחטיף אורז – ותייג אותו ככזה העובר על חוק הקהילה כדי שמפקח תוכן אנושי יטפל בו.

המודל השני, שחשוב גם לנו הישראלים, הוא XLM-R, מודל ניתוח שפתי שפיתחו בחברה המשתמש בלמידה-עצמית (self-supervised) כדי ללמוד יותר טוב שפות שאינן בהכרח פופולריות בפלטפורמה – כמו עברית. המודל לומד מפוסטים שעברו סינון אנושי בשפות שונות כדי להבין מה יכול להעיד על הפרות בעתיד ובכך משפר את עצמו.

רוצים לקבל את כל הידיעות מהאירוע של אפל? רוצים לקבל את כל הידיעות מהאירוע של אפל? להצטרפות לערוץ הטלגרם שלנו לחץ כאן

אושרי אלקסלסי

Your Friendly Neighborhood Geek. יש לכם סיפור טכנולוגי? דברו איתי: Oshry@geektime.co.il

הגב

3 תגובות על "פייסבוק החלה להשתמש ב-AI כדי לסנן תכנים בעייתיים"

avatar
Photo and Image Files
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
שמוקי
Guest

כל בר דעת יכול להניח שהדאטה לאימון היה “פוסטים מהעבר”. זה לא מספיק ברור? לא חשבתי שהם אימנו את המודל שלהם על MNIST

joe
Guest

קצת PR לפייסוש מה קרה

מישו
Guest

1984

wpDiscuz

תגיות לכתבה: