כך פיתחנו פיצ'ר שחוזה על איזו תמונה תקליקו הכי הרבה

תמונה אולי שווה אלף תיוגים, אבל גם זה לא מספיק כשרוצים לנבא איזה צילום ימיר הכי הרבה משתמשים. אז תשמעו מה חברת Localize החליטה לעשות

מהי התמונה שאנשים הכי יאהבו, זאת שתגרום להם להקליק? (צילום: Dreamstime)

מאת אילן פריימן, CPO ב-Localize

חיפוש דירה הוא מסע של בחירות, שבמצב האידיאלי מתיישבות בול עם ההעדפות האישיות שלכם. דירת החלומות של כל אחת ואחד מאיתנו נראית אחרת לגמרי, ומשתמשים צריכים לנווט בין אינסוף תמונות, מפרטים ולינגו ייחודי של מתווכים (שעם הזמן לומדים לפצח).

כדי לפשט את תהליך החיפוש עבור משתמשים, החלטנו ב-Localize להתמקד בתמונות – הדבר הראשון שמושך את העין. באתר שלנו מוצגות כ-15 אלף מודעות של נכסים למכירה, ולכל נכס יכולות להיות עד 100 תמונות. כל מי שחיפש אי פעם דירה יודע שלכל מודעה יש מגוון תמונות: תמונות של חדרים, גג, מרפסת או גינה, תמונות של חזית המבנה, תמונות של הנוף הנשקף ממנו, תמונות של אתרים שנמצאים בקרבת הנכס (גינה ציבורית, קניון וכדומה) ועוד. חלקים מסוימים של הנכס אפילו מצולמים מכמה זוויות ובתאורות שונות.

כל התמונות מייצגות את הנכס ומלמדות משהו עליו, אבל מהי התמונה שאנשים הכי יאהבו, זאת שתגרום להם להקליק על המודעה, להעמיק, ולבסוף אולי גם לרכוש או לשכור את הבית? אנחנו החלטנו לפתח פיצ'ר שידע לבחור ולשלוח לכל משתמש את התמונה המדויקת עבורו – זאת שתגרום לו להקליק.

תמונה אחת שווה אלף תיוגים

כאשר ניגשים לבחור תמונה עבור משתמש, צריך לאפיין אותה ולהגדיר אותה כך שיהיה קל חישובית להחליט אם היא טובה באופן כללי ואם היא מתאימה אישית למשתמש. אפיינו את התמונות בדרכים מגוונות: לפי הפריטים המסוימים שקיימים בה – שולחן כסא, שמיים, עציץ; על פי המקום – חדר שינה, חדר אמבטיה, גינה או מרפסת; לפי מאפיינים טכניים כגון סוג המצלמה, הרזולוציה שלה וכדומה; ולפי מגוון הצבעים המופיעים בתמונה – אם היא כהה או מטושטשת וכדומה.

על מנת לזהות את האובייקטים השונים בתמונה, השתמשנו בשירות Vision AI של גוגל. לכל תמונה משויכים כל התיוגים שמתארים אותה והם מתחלקים לקבוצות שונות – חלק מתארים אובייקט כגון ספה, שמיים, עץ, מדרכה וכדומה; חלק מתארים סצנה כגון חדר אוכל, סלון ומטבח; ותיוגים נוספים הם יותר מופשטים, כגון אור יום, פינוק ופנאי.

בשלב הבא היינו צריכים להפיק מדדים חזותיים, ולצורך כך בנינו מערכת שמחלצת מידע מתמונות בכמה דרכים. מדובר במערכת שעובדת בזמן אמת, מעבדת כל תמונה ומחלצת מדדים מהמטא-דאטה של התמונה – כגון רזולוציה ואם היא צולמה במצלמה מקצועית. המערכת גם מחשבת מדדים חזותיים כגון רווית צבע, מידת טשטוש ורמת בהירות, והיא יודעת לאבחן אם מדובר בשרטוט הדירה, לחלץ טקסט מהתמונה ועוד.

אחרי שבחנו את האפשרויות השונות לחילוץ מידע מתמונה, הבנו שתמונה מספרת הרבה יותר מאלף מילים. כלומר, אובייקט מסוים שמופיע בתמונה לא בהכרח יעיד אם היא טובה ומושכת, ואם משתמש יקליק עליה.

הפתרון שמצאנו היה לבנות מערכת לתיוג תמונות שמאפשרת לאנליסטים לעבור בקלות על הרבה דאטה שנאסף מאירועים שנשלחים מהמוצר שלנו ולמצוא קשר בין תיוגים שונים ומשתמשים שונים, לתייג תמונות, לחקור ולענות על השאלה מהי תמונה טובה (כלומר, תמונה שממירה משתמשים לבצע אינטראקציות עם המערכת, כגון שליחת פידבק על דירה מסוימת), מה המשתמשים מחפשים (לדוגמה על בסיס ניתוח אינטראקציות שלהם עם המערכת) ואיך מגדירים זאת בעזרת מידע מהתמונה.

המודל הראשון (או: איך גילינו שאין קשר בין קרמיקה למטבח)

המודל הראשון שבנינו לבחירת התמונה שתישלח למשתמשים בהודעה היה מודל יוריסטי מבוסס על מידע מוצרי. כל תמונה קיבלה אפיון ספציפי בוודאות גבוהה למקום אותו היא מתארת – סלון, חדר שינה, שטח פתוח, גינה, מרפסת, מטבח, חדר אמבטיה, מוסך וכדומה. בהתאם להיצע התמונות בכל מודעה, המשתמש קיבל את התמונה שייצגה את הנכס בצורה המיטבית. כך שאם הופיעה תמונת סלון רחב ידיים, זו התמונה שנשלחה; אם לא, אז תמונת מטבח; וכך הלאה.

בנוסף, על מנת להרחיב את ההיצע ועדיין לשמור על דיוק גבוה באפיון התמונה, המודל מוצא קשר סטטיסטי בין התיוגים, כפי שניתן לראות בגרף. כך לדוגמה ניתן לזהות תמונות של מטבח, גם אם לא ניתן תיוג מפורש של מטבח לתמונה – אלא רק תיוג של תנור, כיור כיריים ושיש.

בגרף מוצגים בכל ציר מדגם של התיוגים ומקדם המתאם ביניהם. מקדם המתאם מייצג את מידת הופעת התיוגים ביחד בכל התמונות. התיוגים מקובצים לקבוצות בעלות שייכות גבוהה, כך שנצפה למצוא את כל התיוגים עם שייכות גבוהה למטבח מקובצים יחדיו, ואת כל התיוגים המתארים גינה מקובצים באזור אחר בגרף.
בדוגמה הבאה ניתן לראות את הקבוצה שמייצגת מטבח. ככל שהריבוע אדום יותר, כך מדובר בקשר חזק יותר. ניתן לראות שלתיוגים Kitchen ו-Countertop יש קשר מאוד חזק, כלומר – הם לרוב מופיעים ביחד בתמונה. לעומת זאת, היינו עשויים לחשוב שלתיוגים Kitchen ו-Ceramic יהיה קשר חזק – אך כפי שמראה הגרף, אין קשר חזק והם לא נוטים להופיע יחד במודעות.

המודל השני (או: כך גילינו מה המשתמשים באמת מעדיפים)

המודל הבא שבנינו לבחירת התמונה שתישלח בהודעה הוא מודל המורכב מכמה שכבות. בשלב זה, אל הלייבלים של התמונות התווסף המידע המלא לגבי המשתמש, טיב הדירה ששולחים לו, היסטוריית הפעולות שלו ושל משתמשים דומים לו – כל אלה מול תמונה ספציפית או דומות לה, ובראש ובראשונה – מידע על הקלקות.

איסוף הדאטה אפשר לנו לבנות מודל אובייקטיבי לכלל המשתמשים, שמבוסס על מידע של הקלקות וחושף מה באמת רוב המשתמשים מעדיפים. בנוסף, איסוף הדאטה עבור כל משתמש באופן ספציפי אפשר עם הזמן בחירה של תמונה אישית עבורו לפי העדפותיו.

השכבה הראשונה של המודל מורכבת ממדד אובייקטיבי המחושב על סמך התיוגים השונים של כלל התמונות ועל סמך נתוני ההקלקות. המודל מוצא קשר בין הקלקות של משתמשים על תמונות לתיוגים מסוימים שקיימים בתמונות אלו, ומדרג תמונות מסיכוי ההקלקה הנמוך ביותר לגבוה ביותר.

השכבה השנייה של המודל נועדה להתאים בצורה מיטבית תמונה לפי ההעדפות האישיות של המשתמש. כל המידע אודות המשתמש משוקלל בתהליך הזה: השכונה שבה הוא מעוניין לגור, סוג הנכס, גינה או מרפסת, טיב מערכת החינוך ועוד. זאת בנוסף למידע שאנו אוספים מהפעילות שלו באתר – ההקלקות, התגובות לנכסים שהוצעו לו עד כה, מה אהב ומה פחות. כל אלו מלמדים אותנו איזו תמונה תייצג את הנכס בצורה המיטבית עבורו.

ועכשיו – ההטמעה

קבוצת ה-Data Science שלנו ביצעה את המחקר, בניית האלגוריתם שבוחר את התמונות, המימוש בפועל וההטמעה עבור המשתמשים ביום יום, וגם את בחינת התוצאות. בבניית המערכת היה לנו חשוב שתהיה אפשרות לחקור, לפתח, לשנות, להטמיע ולבחון את התוצאות של האלגוריתם החדש מול אלגוריתמים אחרים ומול אלגוריתם ישן יותר בזמן אמת – בצורה קלה, נגישה ומהירה ככל האפשר.

כדי לאפשר מערכת מהסוג הזה בנינו תהליך שמקצה מבעוד מועד שני ציונים לכל תמונה. עוד לפני בחירת המודעה או התמונה עבור המשתמש, כל התמונות בכל מודעה מדורגות לפי האלגוריתמים. בנוסף, לכל תמונה מוצמדות תגיות חדשות שיכולות להתאים להעדפות ספציפיות של משתמשים.

התרשים הבא מתאר את המערכת: צד שמאל מתאר את החלק של הדאטה שמחושב עם קבלת כל מודעה על נכס חדש, באופן מנותק משליחת ההודעה. צד ימין מתאר את המערכת בזמן בחירת המודעה והתמונה עבור המשתמש.

לכל התמונות מוצמד ציון לפי אלגוריתם 1 שאנו מעוניינים לבדוק, וציון לפי אלגוריתם 2 שאנו מעוניינים להשוות אליו. רק לבסוף, בזמן שליחת ההודעה, מתבצעת בחירת המודעה והתמונה המותאמת אישית למשתמש.

כל משתמש משויך לאחת משתי קבוצות האלגוריתמים. בעוד שמחצית מהמשתמשים יקבלו תמונות לפי אלגוריתם 1, המחצית השנייה תקבל תמונות לפי אלגוריתם 2. תוצאות שני האלגוריתם כבר נמצאות בדאטה בייס, ולכן נותר רק לבחור את התמונה עם הציון הגבוה ביותר עבור המודעה הנבחרת תוך שקלול העדפות המשתמש.

תוצאות ההקלקות של המשתמשים נאספות מיד ונחקרות. כך ניתן להבין איזה מהאלגוריתמים סיפק ביצועים גבוהים יותר, ולכן אפשר להמשיך לבנות מודל חדש ולהטמיע אלגוריתם חדש במהירות ובקלות, ללא צורך בפיתוח נוסף של התשתית.

הכתבה בחסות Localize

חברת לוקלייז, שהוקמה בשנת 2016, מובילה מהפכה עולמית בתחום הפרופטק והופכת את הליך רכישת הדירה לקל, מהיר, אישי ושקוף יותר עבור כל הצדדים המעורבים – המוכר, הקונה וסוכן הנדל"ן - בעזרת ביג דאטה ובינה מלאכותית.

החברה פועלת בארצות הברית והשלימה באוגוסט האחרון סבב גיוס של 25 מיליון דולר בהובלת קרן פיטנגו, בנוסף ל-45 מיליון דולר שגוייסו קודם לכן.

לקראת סוף 2020 השיקה החברה בארצות הברית את Hunter - שירות מבוסס AI לסוכנויות נדל"ן המאפשר ניהול דיגיטלי מרוכז של כל התהליכים המתבצעים מול הלקוחות. החברה מעסיקה כ-100 עובדים בישראל וכ-40 עובדים נוספים בניו יורק ובקייב.

כתב אורח

אנחנו מארחים מפעם לפעם כותבים טכנולוגים אורחים, המפרסמים כתבות בתחומי התמחות שלהם. במידה ואתם מעוניינים לפרסם פוסט בשמכם, פנו אלינו באמצעות טופס יצירת קשר באתר.

הגב

3 תגובות על "כך פיתחנו פיצ'ר שחוזה על איזו תמונה תקליקו הכי הרבה"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
עמיקם
Guest

מזכיר לי שairbnb בתחילת הדרך הבינו שיש להם בעיית ctr, ופתרו את זה על ידי שליחת צלמים מקצועיים לדירות והעלאת איכות התמונות :)
פתרון על ידי שני מודלים בפידבק מזכיר קצת את הסיפור על האמריקאים עם העט חלל והרוסים עם העפרון

בכל אופן מעניין ובהצלחה!

לני
Guest

פיתחנו "פיצר" … "להקליק"…
אין עברית יותר?

גילי
Guest

יפה מאוד

wpDiscuz

תגיות לכתבה: