החוקרים גילו: אפשר להטריל את ה-AI החזק בעולם עם פתקים בכתב יד

מודל CLIP מבית OpenAI אמנם אומן על מאות מיליוני פריטים, אבל נראה שיש לחוקרים עוד עבודה

כל מה שצריך זה פתק | מקור: OpenAI

מיזם OpenAI, שבין מקימיו גם המיליארדר אילון מאסק, אחראי על כמה מהמודלים המרשימים ביותר בעולם. רק בינואר האחרון חשפה החברה פיתוחים חדשים המבוססים על מודל ה-GPT-3 שהושק בקיץ האחרון – היכולים לייצר תמונות, גם ההזויות ביותר, על סמך תיאור מילולי (DALL-E) ולמידה של קונספטים ויזואליים על סמך תיאור מילולי בלבד עבור תיוג תמונות (CLIP). אבל כעת מתברר שגם את מודל ה-AI המתקדם בעולם ניתן להטריל בעזרת דף ועט.

זה תפוח או אייפוד?

במאמר חדש שפורסם בבלוג של חברת ה-AI חושפים החוקרים כי המודל המתקדם שלהם יכול להפסיד בקרב מול חתיכת נייר ועליה כיתוב – במה שזכה לשם “מתקפות טיפוגרפיות”. על פי OpenAI ניתן לרמות את מודל זיהוי ותיוג התמונות העוצמתי שלהם מבוסס ה-GPT-3, שזכה לשם CLIP.

המודל יכול לזהות בוודאות גבוהה בדיוק מה נמצא בתמונה המוצגת בפניו, כמו למשל בדוגמה שהוצגה במאמר (ושהתמונה שלה נמצאת בראש הכתבה) – כשהוא מזהה ב-85.6% את העובדה שבתמונה שלפניו מוצג תפוח מזן גראני סמית’.

אבל מה קורה אם שמים לפני התפוח פתק דביק ועליו כיתוב, במקרה הזה המילה iPod? ובכן, מתברר שהמודל של OpenAI יזהה אותו ב-99.7% בתור… “אייפוד”, תוך כדי זה שהוא מתעלם משאר המאפיינים של “אייפוד” כמו צורה וצבע למשל. במאמר בבלוג החברה נכתב כי “על ידי ניצול היכולת של המודל לקרוא טקסט ברמה גבוהה – גילינו שגם תמונות של טקסט כתוב יכולות לרמות אותו לפעמים”.

החוקרים של OpenAI מציינים כי “מתקפות טיפוגרפיות” כמו אלו שמטרילות את המודל שלהם דומות מאוד לכאלו שבהן ניתן לרמות מודלים חלשים יותר של ראייה ממוחשבת ובהם מכניסים אובייקט נוסף לתמונה או סרטון כדי לגרום להם לשנות את הזיהוי המקורי.

אבל מתברר שזו לא הדרך היחידה לעבוד על המודל של OpenAI, החוקרים הציגו במאמר שפרסמו כי ניתן – לדוגמה – להוסיף המון סימני דולר ($) לתמונה ובכך לגרום לו לזהות עצמים שהוא מזהה בקלות בתור “קופת חיסכון” (Piggy Bank).

רוצים לקבל את כל הידיעות הכי חמות לפני כולם? רוצים לקבל את כל הידיעות הכי חמות לפני כולם? הצטרפו לערוץ גיקטיים בטלגרם

אבל לא רק הטרלות

ב-OpenAI לא הציגו אך ורק את היכולת להטריל את הפיתוח שלהם – אלא גם קצת מהיכולות שלו. המודל – שאומן על בסיס לא פחות מ-400 מיליון צמדי תמונה ותיאורים מילוליים – נפתח על ידי החוקרים, שגילו כי ברשת הנוירונים שלו יש מה שהם כינו “נוירונים מולטי-מודליים” (Multimodal Neurons).

אותם נוירונים מאפשרים ל-CLIP לזהות קונספטים לא רק בתצורה של תמונה, אלא לרוחב כמה תצורות שונות – כמו למשל זיהוי של הקונספט “ספיידרמן” – לא רק בתמונה של תחפושת איש העכביש ועכבישים בכלליות, אלא גם באיורים שלו ובתמונות שבהן מופיע הכיתוב “ספיידרמן”. החוקרים מציינים כי מדובר בדרך המזכירה את האופן שבו המוח האנושי מגיב לגירויים, כשבעבר חוקרים גילו נוירון “האלי ברי” המגיב לשחקנית שגילמה את “אשת החתול” כקונספט, ויכול לזהות לא רק תמונות שלה, אלא גם איורים ותמונות שבהן מופיע הכיתוב “האלי ברי”.

אושרי אלקסלסי

Your Friendly Neighborhood Geek. יש לכם סיפור טכנולוגי? דברו איתי: Oshry@geektime.co.il

הגב

2 תגובות על "החוקרים גילו: אפשר להטריל את ה-AI החזק בעולם עם פתקים בכתב יד"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
אחד שלא יודע
Guest

שיהיה בהצלחה עם הרכבים האוטונומיים…

בוב
Guest

בדיוק.
כדי לבלבל את המכונית האוטונומית, יהיה בכביש שלט שמצביע ימינה ועליו המילה Left, ושלט שמצביע שמאלה ועליו המילה Right.

wpDiscuz

תגיות לכתבה: