ניסוי מבוקר יביא לכם יותר מכירות: איך להפסיק לפחד מ-A/B Testing

המוצר שלכם לא מושלם ועל מנת לשפר אותו אתם חייבים לבצע בדיקות. איך עושים את זה נכון ועד כמה זה עשוי להשפיע על ההצלחה שלכם?

ab testing shutterstock

מאת עילי אבני, מנכ”ל WebScience.pro.

כמה פעמים שמעתם שצריך לשנות משהו באתר שלכם? כמה עצות, הערות וטיפים על מבנה עמוד המוצר קיבלתם מהרגע שהשקתם את אתר המכירות שלכם? המון. אבל מה באמת צריך לשנות באתר כדי להביא יותר מכירות? את זה איש לא יודע. צריך לנסות.

התחושה שלנו היא שהאינטרנט והסמארטפונים היו כאן ממזמן. אבל בניגוד לספרים, שמלווים אותנו כבר מאות שנים, האינטרנט נכנס לשימוש רחב רק בשנות ה-2000 וה-iPhone, ששינה לחלוטין את הדרך בה אנחנו צורכים מידע, הושק רק ב-2007. ומה זה אומר? שהידע שלנו על מה גורם לאנשים לגלוש, מה הם קוראים ובעיקר מה מביא אותם לקנות, מוגבל. הוא מוגבל לא בגלל שאין אנשים שמבינים בתחום. הוא מוגבל מכיוון שהוא נמצא כאן מעט מאוד זמן והוא משתנה תדיר. לכן, כדי להבין משהו על המציאות ועל הלקוחות שלנו באינטרנט, וכדי להפיק משהו מהתובנות האלה, חייבים לערוך ניסויים.

A/B testing: לבדוק מה באמת עובד

למרות השם החדשני והתחושה ההיי-טקית של המונח, A/B testing הוא פשוט ניסוי מבוקר. עוד מימי ג’יימס לינד שהפריד שתי קבוצות של מלחים במאה ה-18 כדי לגלות את הגורם למחלת הצפדינה, השיטה הניסויית די פשוטה. לוקחים את האוכלוסייה, מחלקים לשתי קבוצות. באחת משנים נתון אחד, ובודקים איך היא מגיבה. יש שוני ביניהן? מעולה. אין? לא מזיזים כלום.

האלף בית של ה- A/B

אבל מה לאינטרנט ולספינות מפרש, ואיך לעזאזל מלחים אמורים להביא לנו יותר קונים? ובכן, באינטרנט, הכל יותר פשוט. כיום קיימים מגוון של תוספים אותם ניתן לשתול באתר האינטרנט ולפצל את התנועה בין קבוצת ניסוי לקבוצת ביקורת. חשוב, כמובן, שלא לערוך כמות גדולה של שינויים באתר הנבדק במסגרת הניסוי, אלא לבחור שינוי משמעותי אחד או שניים. המיקוד בכמות קטנה של שינויים מאפשרת לנו לבחון עד כמה השינויים באמת משפיעים על ההמרות ועל המכירות, ועד כמה הם צפויים לתרום לנו לשורה התחתונה.

האם צריך לפתח את כלי הניסוי לבד?

לא. בתחום הניסויים לשיפור יחס ההמרה פועלות מספר חברות גדולות שמציעות כלים מתקדמים שמאפשרים לנהל בצורה קלה ופשוטה את הניסויים במינימום עבודת פיתוח. בין הפתרונות המוצעים ניתן למצוא גם את גוגל שמציעה את האפשרות לערוך ניסויים במסגרת Google Analytics Experiments. האפשרות הזו מאפשרת לבעל האתר לערוך את הניסוי, אך היא לא נותנת מענה לביצוע השינויים באתר ויצירת הוריאציות לצורך הניסוי. במקרה כזה יצטרך בעל האתר לפתח בעצמו את הוריאציות השונות, דבר הדורש השקעה של משאבי פיתוח יקרים שתמיד נמצאים במחסור.

אפשרויות נוספות הן לרכוש מנוי חודשי לשירות במודל SaaS כדוגמת VWO, שנותן מענה שלם יותר לצורך – ומאפשר לא רק לנהל את הניסוי אלא גם לערוך שינויים באתר מבלי להיכנס לקוד עצמו. באמצעות העורך ניתן לבצע שינויים ב-client side של האתר לצורך הניסוי כמו החלפת טקסטים ותמונות, שינוי מיקום או הסתרה של אלמנטים קיימים והוספת רכיבים חדשים לעמוד. כל מה שנדרש זו הטמעה חד פעמית של code snippet בדומה ל-Google Analytics או שירותים רבים אחרים שדומים בצורת ההטמעה שלהם.

לאחר הטמעת הקוד ניתן ליצור סוגים שונים של ניסויים: A/B test באמצעות העורך של הכלי, Split URL test אם רוצים לבחון שני עמודים שונים המחזיקים בכתובות URL שונות ואפילו Multi Variate test לניסויים מורכבים יותר.

כיצד יודעים מה ואיך לשנות?

זה אולי מפתיע, אבל מהניסיון שלנו, תמיד כדאי לצאת לדרך עם ניחוש, או בשפה המדעית- השערה. תהליכים לשיפור יחס המרה הם תהליכים מדעיים הכרוכים בביצוע מחקר מעמיק. תהליך המחקר עשוי לארוך זמן והוא כרוך באיסוף נתונים ממגוון מקורות וניתוחם. הניסיון שלנו מלמד שגם מהניסוי הקטן ביותר אפשר ללמוד הרבה ולכן, בזמן ביצוע המחקר, אנו אוהבים לערוך כמה ניסויים שלרוב תורמים בעצמם להבנה של התנהגות הגולשים באתר ומה שמניע אותם לרכישה. כדי לצאת לדרך עם הניסוי הראשון, ועוד לפני שבוצע מחקר מקיף, אנו מכינים רשימת רעיונות לשיפור יחס ההמרה באתר. מדובר במשימה די פשוטה: אנחנו מתבוננים בעמוד מסוים ומנסים לשער כיצד נוכל לשנות אותו כדי לשפר את יחס ההמרה. ההשערה שלנו יכולה להתבסס על הניסיון שצברנו, מאמרים, מקרי מבחן ועוד.

הרעיון המרכזי הוא לעשות רשימה מסודרת של כל השינויים המוצעים ולבחור אילו מהם נטמיע בניסוי. כיצד בוחרים מה לבדוק? הנה מספר קריטריונים על פיהם ניתן לבחור את השינויים:

1. מה מושך את תשומת לב הגולשים? הכלי הראשון המסייע לנו לתכנן ניסוי הוא “מפות חום”. מדובר באמצעי המאפשר לנו לגלות היכן מתרכזת תשומת הלב של הגולש בעמוד בצורה ויזואלית. מפות החום סורקות את פעולות העכבר והקלקות הגולש, ובאמצעותן אנחנו יכולים להבין אילו אזורים בעמוד פועלים כשורה ואילו לא זוכים להתייחסות מהגולשים.

הרעיון המרכזי במפות חום הינו להבין האם הגולשים מתקדמים באתר לקראת המרה- קנייה או השארת פרטים. כך למשל, בדף הנחיתה של Pair, (כיום Couple) אפליקציית מסרים מיידיים לזוגות, ביצעו מבחן מפת חום על דף הנחיתה. לדף הנחיתה היתה מטרה אחת- העברת הגולשים אל חנויות האפליקציות, על מנת שאלה יורידו את האפליקציה. והנה, מתברר שהגולשים אמנם נמצאים בעמוד, אבל את הקליקים היקרים שלהם הם מבזבזים על תפריט הניווט, ומיעוט של הקליקים מגיעים למקום אליו הם צריכים להגיע- חנויות האפליקציות. המסקנה מהמבחן הזה היתה ברורה- צריך לנקות את הסחות הדעת מהעמוד. אבל אילו הסחות יש להסיר? זו כבר שאלה לניסוי מבוקר.

pair-before

 

pair-heatmap

 

2. עלות השינוי: השיקול השני שלנו בהחלטה מה לבדוק בניסוי יהיה שיקול העלות. תמיד נשאף לבצע שינויים זולים ככל האפשר ולבדוק אותם. הסיבה לכך היא די פרוזאית: ניסוי, מטבע הדברים, יכול ואף רצוי שיכשל מידי פעם. לכן, אם ביצענו שינוי יקר במיוחד, ולאחר מכן גילינו שהוא אינו אפקטיבי, נאלץ לזרוק אותו לפח, ואיתו תרד לטימיון ההשקעה. לכן, עדיף להתמקד בהתחלה במה שקל לשנות: תכנים, תמונות, פונטים, צבעים וכיוב’.

ב-Pair, החליטו לבצע שורה של שינויים שיסירו את הסחות הדעת. כך למשל הורידו את כפתורי השיתוף (פייסבוק, טוויטר וכו’), מחקו את תפריט הניווט והגדילו את הטקסט במילים “Download for free”, כולם שינויים פשוטים, שאינם דורשים תכנות או השקעת משאבים מיותרת. בעוד שהורדת תפריט הניווט הביאה לעלייה של 12% בהמרות, דווקא הגדלת טקסט ה-“Download for free” הורידה את אחוזי ההמרה ב- 42%, והסרת כפתורי השיתוף הורידה גם היא את אחוזי ההמרה ב- 34%. המסקנה- אין לדעת מה תהיה ההשפעה של שינוי כזה או אחר על התנהגות הגולשים באתר. צריך פשוט לבדוק.

3. מספר הווריאציות לניסוי, או כמה שינויים לבדוק? עקרונית, אין גבול לכמות הווריאציות שאתם יכולים לבדוק. המגבלות יהיו בדרך כלל קשורות לעלות של הניסוי- כמה עולה לייצר כל גרסה לדף הנבדק, וכמה זמן תצטרכו כדי להגיע למסקנה אמיתית על המציאות השינוי הצפוי ביחס ההמרה. בהקשר הזה חשוב לציין שככל שתהיינה ווריאציות רבות יותר כך יקח לכם זמן רב יותר להגיע לכמות הנדרשת של נבדקים אשר השתמשו בכל ווריאציה, והניסוי יארך יותר זמן.

4. חדשים מול ותיקים: לאחר שצלחתם את השלבים הראשונים, שווה להפריד בין סוגי הגולשים עליהם מבצעים את הניסוי. באתרים עתירי תנועה, גולשים ותיקים נוטים למצוא את דרכם, גם אם האתר מביא לנטישה המונית של לקוחות חדשים. לכן, כדאי לפעמים להורות למערכת שמבצעת עבורכם את הניסוי לבצע אותו רק על לקוחות חדשים המגיעים לאתר. כך למשל ב-VWO, אחת ממערכות ה- A/B Testing הפופולאריות בעולם, ניתן לבצע בדיקה מהסוג הזה, המאפשרת להבין איך אנשים תופסים את האתר בפעם הראשונה בה הם גולשים אליו.

5. איך לנתח את תוצאות ה-A/B testing? ראשית, ווריאציה טובה תבלוט. לא מדובר בשברירי אחוזים. אם תציבו מספר וריאציות שונות האחת מול השניה, הטובה ביותר, אם יש כזו, תזכה ליחס המרה גבוה יותר מהאחרות באופן ברור. שנית, אם לקחת אתכם חזרה אל שיעורי הסטטיסטיקה באוניברסיטה, חשוב להביט על המובהקות הסטטיסטית (Statistical Significance) של התוצאות. רק תוצאות מובהקות הן תוצאות אליהן ניתן להתייחס ברצינות. כלומר, אם גיליתם שוני והוא אינו מובהק, עיזבו. אין למה להתייחס.

טיפים חשובים, או מה אסור לפספס?

מובייל: אחת הטעויות הנפוצות בתכנון A/B testing הוא לשכוח את המובייל. כלומר, אנחנו בונים ניסוי מבריק, שיבדוק השפעה של שינוי מהותי, אבל שוכחים שהשינוי מתבטא גם בגלישה מסלולרי וטאבלטים. ובכן, בחלק גדול מהאתרים למעלה מ- 50% מהטראפיק מגיע ממכשירים ניידים. כאשר ניגשים לניסוי חייבים לבדוק כיצד הוא מתבטא במכשירים השונים, האם ניתן לבצע בדיקה מבוקרת, ולבצע את ההתאמות הנדרשות.

אופי הגלישה במהלך הניסוי: דבר אחד שחשוב לבדוק הוא שהניסוי לא השתבש בגלל אופי גלישה שהשתנה בשל אירוע נקודתי (הפנייה מאתר תוכן גדול, קמפיין פירסומי חד פעמי ועוד) בתום הניסוי חשוב לגלוש למערכת הסטטיסטית של האתר ולראות שלא היה שינוי מהותי ממהלך החיים הרגיל של האתר. למעשה, התוצאות יהיו נכונות אך ורק לסוג הגלישה שהגיע בזמן הניסוי- לכן, אם ביצענו אותו בתנאים הרגילים, הכל בסדר. אבל אם התנאים השתנו, ובכן, פיספסנו.

אל תשכחו את ה-QA: תהליך ה-A/B testing הוא למעשה גרסה חדשה לאתר. אין דבר מדכא יותר מלבצע מבחן, לקבל תוצאות מובהקות רק בשביל לגלות שאחת הגרסאות הופיעה מול הגולשים כשהיא שבורה לחלוטין. לכן, עם תחילת המבחן חשוב לגלוש לכל הווריאציות השונות, דרך מכשירים שונים ולראות בעיניים שמערכות הניסוי או האתר עצמו לא הרסו משהו בדרך.

חשוב להבין, אי אפשר באמת לצפות את התנהגות הגולשים מבלי לבדוק אותה בצורה מבוקרת, ואם אפשר, מדעית ככל האפשר. אסור שניצור הרים של תפיסות ואידאולוגיות לגבי שיטות העבודה שלנו באינטרנט מבלי שמידי פעם נבקר אותן. ואם יש אפשרות קלה ופשוטה לעשות כן, אז למה לא?

עילי אבני הוא מנכ”ל WebScience.pro המתמחה בשיפור יחס המרה של אתרי אינטרנט וסחר אלקטרוני.

קרדיט תמונה ראשית: a/b testing via shutterstock

 

כתב אורח

אנחנו מארחים מפעם לפעם כותבים טכנולוגים אורחים, המפרסמים כתבות בתחומי התמחות שלהם. במידה ואתם מעוניינים לפרסם פוסט בשמכם, פנו אלינו באמצעות טופס יצירת קשר באתר.

הגב

11 תגובות על "ניסוי מבוקר יביא לכם יותר מכירות: איך להפסיק לפחד מ-A/B Testing"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
ליאור
Guest

יש כלים נוספים חוץ מvmo ? נראה כמו כתבה ממומנת

Yoni
Guest

ממליץ על optimizely

איתי
Guest

דווקא אחל’ה כתבה

דניאל
Guest

נושא מעניין. מה ההבדל בין אייפון ואנדרואיד אם רוצים לבצע ניסוי?

עילי אבני Web Science
Guest

דניאל שלום, בהנחה שאתה מתכוון ל- mobile web ולא ל- native app, אין הבדל מלבד ההבדל בדפדפנים. לגביהם כמובן חשוב לוודא שהניסוי נראה טוב בכולם. אם לא עניתי, אנא חדד את השאלה ואשמח להשיב.

מיטל
Guest

תחום חשוב מאוד, לא מקבל מספיק התייחסות. שאלה- איך עושים את הבדיקה עם התוכנה הזאת לאפליקציות שהם native app?

יהודה
Guest

רק אם בתוך NATIVE תשתילי תשתית ל THEMES ומעקב

עילי אבני Web Science
Guest

מיטל שלום, VWO שיחררו לבטא אפשרות להריץ ניסויים באפליקציות ios. פרטים נוספים כאן, אני יכול לעזור לך לקבל גישה לבטא אם תרצי https://vwo.com/mobile/. בנוסף נתקלתי גם בכלי הזה, אבל לא ניסיתי אותו http://apptimize.com/. בהצלחה!

Erez Lieberman
Guest

כתבה מצוינת, תודה רבה!

חיים אטינגר
Guest

יש עוד תוסף טוב לזה שאפשר להשתמש בו שנקרא hotjar יש שם 30 ימים ניסיון חינם.

עילי אבני Web Science
Guest

חיים שלום, hotjar באמת כלי נהדר, משב רוח רענן בעולם הזה, אבל למיטב ידיעתי ונסיוני אין אפשרות לבצע באמצעותו a/b tests. הוא לא נועד לזה.

wpDiscuz

תגיות לכתבה:

נותרו עוד
00
ימים
:
00
שעות
:
00
דקות
:
00
שניות
לכנס המפתחים הגדול בישראל