בדיקות A/B ללא תנועה: ספר המשחקים הכיווני

סיכום

דפי נחיתה עם תנועה נמוכה הופכים בדיקות A/B מסורתיות לאיטיות, יקרות ובלתי אמינות. אם הדף שלך מקבל רק טפטוף של ביקורים בחודש, תבזבז שבועות בהמתנה לתוצאה שעדיין לא תגיד לך כלום. הפתרון הוא לשנות את ספר המשחקים שלך: לתקן קודם חיכוכים גלויים, להריץ בדיקות רק היכן שהתנועה מתרכזת, ולהתייחס לתוצאות עם מדגם קטן כרמזים כיווניים ולא כהוכחה. מאמר זה עובר על ביקורת מעשית, אסטרטגיית בדיקה עם משתנה אחד, ותוכנית ל-30 יום שמייצרת מומנטום גם ללא מובהקות סטטיסטית. הוא גם מציין את הפשרות הכנות: ייתכן שתפעל על פי חיובי שגוי, אבל תלמד מהר יותר מאשר לחכות לנתונים שלעולם לא מגיעים. השתמש בטבלת ההשוואה כדי לאפס את חשיבת הבדיקות שלך ולהתחיל לבצע כבר היום.

סוף סוף הרצת בדיקה. שכתבת את הכותרת, הפעלת ספליט, וחיכית. שבועיים אחר כך הפלטפורמה מראה פער בין הגרסאות שנראה כמו ניצחון. אבל גודל המדגם זעיר, רווח הסמך רחב, ובפנים אתה יודע: זה לא נתונים. זה הטלת מטבע עם דשבורד. זו מלכודת התנועה הנמוכה. הפתרון הוא לא לבדוק יותר; זה לבדוק אחרת.

המלכודת של הרצת בדיקות שאי אפשר לקרוא

המתמטיקה כאן היא לא באשמתך. זה אילוץ של המערכת. בדיקות A/B עובדות על ידי חלוקת קהל לשתי קבוצות והשוואת התנהגותם. השוואה זו הופכת למשמעותית רק כאשר כל קבוצה גדולה מספיק כדי שהבדלים אמיתיים ייפרדו מהרעש האקראי. בדף שמקבל רק טפטוף של ביקורים בחודש, אפילו שיפור גדול עלול לא להגיע לתוצאה מהימנה לפני שצריך לפרסם משהו.

לפי מילון המונחים של Optimizely, בדיקת A/B היא שיטה להשוואת שתי גרסאות של דף אינטרנט או אפליקציה כדי לקבוע איזו מהן מבצעת טוב יותר. הדגש צריך להיות על "לקבוע". עם גדלי מדגם זעירים, אתה לא קובע כלום. אתה מנחש עם ציון ביטחון מצורף.

הנה הצעד הראשון הלא נוח: להפסיק להריץ בדיקות A/B שאי אפשר לקרוא. זו לא כניעה. זה ניתוב מחדש. בדיקה שלא תגיע למובהקות מהימנה היא בזבוז של זמן, תנועה ותשומת לב. שמור את תקציב הבדיקות שלך לכשיהיו לך מספיק נתונים. בינתיים, השתמש בספר משחקים אחר.

לכו לראות את הסיבות שאנשים עוזבים

התובנה הגדולה ביותר לאתר קטן אינה בתוצאות הבדיקות. היא בהתנהגות של המבקרים בפועל. עם טפטוף של תנועה, אתה יכול לצפות בחלק משמעותי מכל מי שמגיע. זו מותרות שחברות גדולות היו מקנאות בה. נצל אותה.

התחל עם האנליטיקה שלך. מצא את הדפים שמקבלים הכי הרבה תנועה ואת הירידות החדות ביותר. ואז לך עמוק יותר: צפה בהקלטות סשן, חקור מפות חום, ושאל מבקרים אחרונים שאלה כנה אחת: "מה כמעט עצר אותך מלקנות?" התשובות יראו לך חיכוך שהמוח שלך לא יכול להמציא.

הנה דוגמה קונקרטית. דמיין דף נחיתה לכלי לניהול פרויקטים. הדף מקבל זרם קבוע של ביקורים מפוסט בלוג פופולרי. ה-CTA אומר "התחל ניסיון חינם". אתה פותח הקלטות סשן ורואה מבקרים גוללים לסעיף המחירים ואז עוזבים. בטבלת המחירים יש תוכנית בשם "צוות", אבל שום דבר לא מסביר מה המשמעות של "צוות". העמימות הזו היא חיכוך. אתה משנה את שם התוכנית ל"צוות קטן (עד 10)" ומתאים את הטקסט. בלי ספליט. בלי תקופת המתנה. רק תיקון הממוקד במכשול גלוי.

האם זה ניצחון מובטח? לא. זה תיקון בביטחון גבוה המבוסס על תצפית ישירה. כשהסיבה לנטישה גלויה, אתה לא צריך קבוצת ביקורת כדי לדעת שזו בעיה. אתה צריך את האומץ להסיר אותה.

זה היתרון המרכזי של להיות קטן. אתה יכול לדבר עם המשתמשים שלך, לראות אותם בשטח, ולתפוס מה דשבורד לא יכול לכמת. הפעל סקר קצר בדף התודה שלך. שאל משתמשים שלא המרו מה כמעט גרם להם לעזוב. קרא את התשובות. תמצא דפוסים ששום בדיקת A/B לא הייתה חושפת. אנשים טובים מאוד בתיאור איפה הבעיה, גם אם הם לא יכולים להגיד לך איך לתקן אותה. תן להתנהגות שלהם להפנות אותך לאלמנט בדף, והשתמש בשיקול הדעת שלך כדי לתקן את הניסוח.

התייחס לזה כאל משימה של ממש. חסום שעתיים, סגור את האימייל, וקרא הקלטות סשן גולמיות אחת אחת. אל תדלג קדימה. בפעם השנייה שאתה רואה את אותה השהיה, אותו גלילה, אותו סמן מהסס, מצאת דפוס. דפוסים הם הראיות שלך. הנתיב של מבקר בודד הוא אנקדוטה; כמה מבקרים שעושים את אותו דבר הוא רמז. הרמז הזה שווה יותר מאלף שורות של נתונים מצטברים.

שים את הבדיקה איפה שהתנועה שלך נמצאת

לאתר עם תנועה נמוכה יש כמעט תמיד רגעים של תנועה גבוהה. אתה לא חייב לבדוק על דף הבית הדליל שלך. מצא את הדף או הערוץ שבו אנשים באמת מתרכזים והרץ שם את הניסוי שלך.

זה יכול להיות דף נחיתה ממומן שמקבל את רוב תנועת המודעות שלך. זה יכול להיות פוסט בלוג שמדורג בעמוד הראשון. זה יכול להיות קמפיין אימייל שנשלח לרשימת מנויים גדולה. המיקום של הבדיקה חשוב לא פחות מהבדיקה עצמה. אם אתה מריץ בדיקה במקום עם קהל קטן מדי, תראה רעש. אם אתה מריץ אותה היכן שהקהל נמצא, יש לך סיכוי.

התאם את הניסוי לצפיפות התנועה. אימייל קבלת פנים עם שיעור פתיחה גבוה הוא סביבת בדיקה טובה יותר מעמוד אודות שמקבל כמעט ללא ביקורים. דף מוצר המונע על ידי תנועת חיפוש עדיף על דף בית שאף אחד לא נוחת עליו.

לפני שאתה משיק, ודא שהספליט שלך אכן אקראי. כמה כלים או פתרונות ידניים ישלחו בטעות את כל משתמשי הנייד לגרסה אחת. זה הורס את הבדיקה לפני שהיא מתחילה. אם פלטפורמת הניסויים שלך מטפלת באקראיות, סמוך עליה אבל בדוק את החלוקה אחרי יום. אם אתה עושה זאת ידנית, סובב את הווריאנט לפי שעה או לפי יום ולא לפי סוג מבקר. עקביות חשובה פחות מאקראיות.

ושמור על השערה מצומצמת. אל תבדוק "עיצוב טוב יותר". בדוק משתנה אחד: כותרת אחת, הצעה אחת, מספר שדות אחד. ככל שהשינוי מצומצם יותר, כך קל יותר לקרוא אותו גם עם תנועה בינונית. כשאתה מחליט מה לבדוק, לך על המשתנה עם הפוטנציאל הגדול ביותר להשפיע על הפעולה המרכזית שלך, לא על הקל ביותר לשינוי. המסגרת במדריך הזה לתעדוף בדיקות A/B נותנת לך את החישוב המדויק.

התייחס לתוצאות ככיווניות, לא מוחלטות

הנה הפשרה שאף אחד לא כותב על פתק דביק: קפדנות סטטיסטית ומהירות נמצאות בקונפליקט ישיר. רוב המאמרים על שיטות עבודה מומלצות מניחים שאתה יכול להרשות לעצמך את שניהם. אתה לא יכול. אז אתה צריך כלל החלטה שעובד בקנה המידה שלך.

תפסיק לדרוש ביטחון של 95%. הסף הזה נועד לצוותים עם מספיק תנועה כדי להגיע אליו. במקום זאת, התייחס לבדיקת התנועה הנמוכה שלך כאות כיווני. אם גרסה אחת בבירור מובילה והממצא תואם למה שראית בהקלטות ובסקרים, אתה יכול לפעול על פיה—בזהירות. קרא לה השערה חזקה, לא מנצחת מוכחת. ואז אמת מאוחר יותר.

הנה שינוי החשיבה זה לצד זה:

	בדיקת A/B קלאסית	ניסוי בתנועה נמוכה
נקודת התחלה	"אני אוכיח איזו גרסה מנצחת."	"אני אאסוף רמזים על מה שחשוב."
סף החלטה	ביטחון של 95% ומעלה	פער כיווני גדול בתוספת הסכמה איכותית
זמן לפעולה	שבועות או חודשים	ימים
רמת סיכון	נמוכה, כי אתה מחכה	גבוהה יותר, אז אתה מאמת מאוחר יותר

האם זה אומר שלפעמים תפעל על חיובי שגוי? כן. זה המחיר הכנה. אתה מקבל סיכוי קטן לפעול על רעש בתמורה ללמידה מהירה יותר. החלופה—להמתין עד שיהיה לך מספיק תנועה—משמעותה לא לשנות כלום במשך רבעון.

הטריק הוא להגן על עצמך מההטיה שלך. לפני שאתה מסתכל על המספרים, רשום מה תעשה אם התוצאה קרובה: תתעלם ממנה. רשום מה תעשה אם הפער גדול ובכיוון הצפוי: תיישם, אבל שמור את הגרסה הישנה מתועדת. אם התוצאה מפתיעה אותך, התייחס אליה כהזמנה למחקר נוסף, לא כמסקנה. רישום מוקדם זה הוא מה שמבדיל בין החלטה כיוונית לקוף הלוחץ על כפתורים.

למילה "מובהק" יש משמעות טכנית. בסביבה של תנועה נמוכה, לא הגעת להוכחה הזו. אז שנה את השפה שלך. אמור "הכיוון הזה נראה מבטיח" או "הנתונים מרמזים בעדינות." השפה הזו שומרת עליך כנה עם עצמך ועם כל מי שבודק את העבודה. לעיון מעמיק יותר מתי תוצאה אכן מהימנה, קרא כיצד לפרש תוצאות בדיקות A/B מבלי ליפול לרעש.

בדוק את ההצעה, לא את הצבע

בזבוז הזמן הנפוץ ביותר בדפים קטנים הוא בדיקת צבעי כפתורים, גופנים ורווחים. שינויים זעירים אלה בדרך כלל מייצרים השפעות קטנות. השפעות קטנות דורשות גדלי מדגם עצומים כדי לזהות. אין לך אותם. אז תפסיק לבדוק צבע והתחל לבדוק את החלקים המבניים של הדף.

הצעה, מסגור מחיר, הוכחה חברתית, אחריות, אורך טופס וטקסט הצעת הערך המרכזי הם משתנים בעלי השפעה גבוהה. אחריות המוצבת ליד ה-CTA משנה את הסיכון הנתפס. טופס שמצומצם משדות רבים למעטים משנה את שיעור ההשלמה. כותרת שמציינת את התוצאה הספציפית, במקום תועלת מעורפלת, משנה מי מרגיש שהדף מיועד לו. שינויים אלה גדולים מספיק כדי להראות אות אפילו במדגם קטן.

דרך אחת לזהות משתנים בעלי השפעה גבוהה היא לשאול: "אם מבקר קורא רק שורה אחת בעמוד הזה, מה היא צריכה להיות?" השורה הזו היא הכותרת שלך. השקע את אנרגיית הבדיקה שם לפני שתיגע בכפתור. השאלה הבאה: "איזו התנגדות מעלים מבקרים הכי הרבה?" התנגדות זו היא האחריות שלך. כתוב אחת שמתייחסת אליה ישירות. אלה אינן החלטות עיצוב; הן החלטות ערך.

חשוב על זה כך: בדיקות A/B מיועדות לאופטימיזציה של משהו שכבר עובד. אם לדף שלך יש חוסר התאמה יסודי בין מה שאתה מציע למה שהמבקר רוצה, שום בדיקה לא הולכת לתקן את זה. תקן את ההצעה קודם. ואז תבדוק.

זו הטעות הקלאסית של צוותים קטנים: לקפוץ לבדיקות לפני שתיקנו את דליפות ההמרה הבסיסיות. המדריך לטעויות הנפוצות ביותר בבדיקות A/B מכסה את שאר המלכודות כדי שתוכל לדלג עליהן.

30 הימים הבאים שלך

הנה התוכנית, בלי מסגרת של עשרה שלבים.

שבוע ראשון, ביקורת. הוצא את האנליטיקה וזהה את הדפים עם התנועה הגבוהה ביותר ואת הירידות החדות ביותר. צפה בהקלטות סשן. שלח סקר לכל מי שלא קנה. רשום כל מכשול שאתה יכול לראות, לפי סדר גודל.

שבוע שני, תקן את שלושת המכשולים העיקריים ישירות. בלי בדיקות. פשוט שפר את הטקסט, הפריסה, הטופס או ההצעה. הסר את החיכוך שאישרת בעיניך.

שבוע שלישי, בחר את המיקום הבודד עם התנועה הגבוהה ביותר והרץ שם בדיקה מבוקרת אחת. משתנה אחד. הגדר את כלל ההחלטה שלך לפני שאתה מסתכל. תן לזה לרוץ עד שהפער ברור או עד שהזמן נגמר.

שבוע רביעי, החלט. אם התוצאה כיוונית ותואמת לראיות האיכותיות שלך, יישם אותה. אם היא על הגבול, קפל את הלמידה לאיטרציה הבאה. ואז הגדר את הבדיקה הבאה.

גישה זו לא תיתן לך ודאות סטטיסטית נקייה. היא תתן לך מומנטום. תלמד מהר יותר, תשחרר שיפורים מוקדם יותר, ותבנה הרגל של לשאול "מה זה ילמד אותי" לפני שאתה מריץ משהו. ההרגל הזה הוא כלי ההמרה האמיתי.

כשהתנועה שלך תגדל—וזה יקרה—אתה כבר תדע מה לבדוק, איפה לבדוק ואיך לקרוא את התוצאות. תקופת התנועה הנמוכה היא לא זמן לשבת בצד. זה זמן לשחק משחק אחר. שחק את המשחק הזה היטב, והמשחק הגדול יותר יחכה שם.