Δοκιμές A/B Χωρίς Επισκεψιμότητα: Το Κατευθυντικό Εγχειρίδιο

Σύνοψη

Οι σελίδες προορισμού με χαμηλή επισκεψιμότητα καθιστούν τις παραδοσιακές δοκιμές A/B αργές, ακριβές και αναξιόπιστες. Αν η σελίδα σας δέχεται μόνο μια σταγόνα επισκέψεων τον μήνα, θα περάσετε εβδομάδες περιμένοντας ένα αποτέλεσμα που και πάλι δεν θα σας λέει τίποτα. Η λύση είναι να αλλάξετε το εγχειρίδιό σας: διορθώστε πρώτα την ορατή τριβή, κάντε δοκιμές μόνο εκεί που συγκεντρώνεται η επισκεψιμότητα και αντιμετωπίστε τα αποτελέσματα με μικρά δείγματα ως κατευθυντικές ενδείξεις και όχι ως απόδειξη. Αυτό το άρθρο παρουσιάζει έναν πρακτικό έλεγχο, μια στρατηγική δοκιμής με μία μεταβλητή και ένα πλάνο 30 ημερών που δημιουργεί δυναμική ακόμα και χωρίς στατιστική σημαντικότητα. Αναφέρει επίσης τον ειλικρινή συμβιβασμό: μπορεί να ενεργήσετε με βάση ένα ψευδώς θετικό αποτέλεσμα, αλλά θα μάθετε πιο γρήγορα από το να περιμένετε δεδομένα που δεν έρχονται ποτέ. Χρησιμοποιήστε τον πίνακα σύγκρισης για να επαναφέρετε τη νοοτροπία των δοκιμών σας και ξεκινήστε να εκτελείτε σήμερα.

Επιτέλους έτρεξες ένα τεστ. Ξανάγραψες τον τίτλο, ενεργοποίησες ένα split και περίμενες. Δύο εβδομάδες αργότερα η πλατφόρμα δείχνει μια διαφορά μεταξύ των εκδόσεων που μοιάζει με νίκη. Αλλά το μέγεθος του δείγματος είναι μικροσκοπικό, το διάστημα εμπιστοσύνης είναι ευρύ και βαθιά μέσα σου ξέρεις: αυτό δεν είναι δεδομένο. Είναι μια ρίψη κέρματος με ταμπλό. Αυτή είναι η παγίδα της χαμηλής επισκεψιμότητας. Η λύση δεν είναι να δοκιμάσεις πιο σκληρά, αλλά να δοκιμάσεις διαφορετικά.

Η παγίδα του να τρέχεις δοκιμές που δεν μπορείς να διαβάσεις

Τα μαθηματικά εδώ δεν είναι δικό σου λάθος. Είναι περιορισμός του συστήματος. Η δοκιμή A/B λειτουργεί διαιρώντας το κοινό σε δύο ομάδες και συγκρίνοντας τη συμπεριφορά τους. Αυτή η σύγκριση γίνεται ουσιαστική μόνο όταν κάθε ομάδα είναι αρκετά μεγάλη ώστε οι πραγματικές διαφορές να ξεχωρίζουν από τον τυχαίο θόρυβο. Σε μια σελίδα που δέχεται μόνο μια σταγόνα επισκέψεων τον μήνα, ακόμα και μια μεγάλη βελτίωση μπορεί να μην φτάσει σε αξιόπιστο αποτέλεσμα πριν χρειαστεί να δημοσιεύσεις κάτι.

Σύμφωνα με το γλωσσάρι του Optimizely, η δοκιμή A/B είναι μια μέθοδος σύγκρισης δύο εκδόσεων μιας ιστοσελίδας ή εφαρμογής για να προσδιοριστεί ποια αποδίδει καλύτερα. Η έμφαση ανήκει στο «προσδιορίζω». Με μικροσκοπικά δείγματα, δεν προσδιορίζεις τίποτα. Μαντεύεις με ένα σκορ εμπιστοσύνης επισυναπτόμενο.

Να το άβολο πρώτο βήμα: σταμάτα να τρέχεις δοκιμές A/B που δεν μπορείς να διαβάσεις. Αυτό δεν είναι παραχώρηση. Είναι ανακατεύθυνση. Ένα τεστ που δεν θα φτάσει σε αξιόπιστη σημαντικότητα είναι σπατάλη χρόνου, επισκεψιμότητας και προσοχής. Φύλαξε τον προϋπολογισμό των δοκιμών σου για όταν θα έχεις αρκετά δεδομένα. Για τώρα, χρησιμοποίησε ένα διαφορετικό εγχειρίδιο.

Δες από κοντά τους λόγους που φεύγουν οι άνθρωποι

Η μεγαλύτερη αντίληψη για ένα μικρό site δεν είναι στα αποτελέσματα των δοκιμών. Είναι στη συμπεριφορά των πραγματικών επισκεπτών σας. Με μια σταγόνα επισκεψιμότητας, μπορείτε να παρατηρήσετε ένα σημαντικό κλάσμα όλων όσων φτάνουν. Αυτή είναι μια πολυτέλεια που θα ζήλευαν οι μεγάλες εταιρείες. Χρησιμοποιήστε το.

Ξεκινήστε με τα analytics σας. Βρείτε τις σελίδες που έχουν την περισσότερη επισκεψιμότητα και τη μεγαλύτερη πτώση. Στη συνέχεια προχωρήστε βαθύτερα: παρακολουθήστε μαγνητοσκοπημένες συνεδρίες, μελετήστε heatmaps και κάντε στους πρόσφατους επισκέπτες μια ειλικρινή ερώτηση: «Τι παραλίγο να σας σταματήσει από το να αγοράσετε;» Οι απαντήσεις θα σας δείξουν τριβή που το μυαλό σας δεν μπορεί να εφεύρει.

Ορίστε ένα συγκεκριμένο παράδειγμα. Φανταστείτε μια σελίδα προορισμού για ένα εργαλείο διαχείρισης έργων. Η σελίδα λαμβάνει μια σταθερή ροή επισκέψεων από ένα δημοφιλές άρθρο ιστολογίου. Το CTA λέει «Ξεκινήστε Δωρεάν Δοκιμή». Ανοίγετε τις μαγνητοσκοπημένες συνεδρίες και βλέπετε επισκέπτες να κυλούν στην ενότητα τιμών και μετά να φεύγουν. Ο πίνακας τιμών έχει ένα πλάνο που ονομάζεται «Ομάδα», αλλά τίποτα δεν εξηγεί τι σημαίνει «Ομάδα». Αυτή η ασάφεια είναι τριβή. Αλλάζετε το όνομα του πλάνου σε «Μικρή Ομάδα (έως 10)» και προσαρμόζετε το κείμενο. Χωρίς split test. Χωρίς περίοδο αναμονής. Απλά μια διόρθωση που στοχεύει σε ένα ορατό εμπόδιο.

Είναι αυτό εγγυημένη νίκη; Όχι. Είναι μια διόρθωση υψηλής εμπιστοσύνης που βασίζεται σε άμεση παρατήρηση. Όταν η αιτία της εγκατάλειψης είναι ορατή, δεν χρειάζεστε ομάδα ελέγχου για να σας πει ότι είναι πρόβλημα. Χρειάζεστε το θάρρος να την αφαιρέσετε.

Αυτό είναι το βασικό πλεονέκτημα του να είσαι μικρός. Μπορείτε να μιλήσετε με τους χρήστες σας, να τους δείτε στο φυσικό τους περιβάλλον και να πιάσετε ό,τι ένα ταμπλό δεν μπορεί να ποσοτικοποιήσει. Στείλτε μια σύντομη έρευνα στη σελίδα ευχαριστιών σας. Ρωτήστε τους χρήστες που δεν ολοκλήρωσαν τη μετατροπή τι παραλίγο να τους κάνει να φύγουν. Διαβάστε τις απαντήσεις. Θα βρείτε μοτίβα που καμία δοκιμή A/B δεν θα αποκάλυπτε ποτέ. Οι άνθρωποι είναι πολύ καλοί στο να περιγράφουν πού βρίσκεται το πρόβλημα, ακόμα κι αν δεν μπορούν να σας πουν πώς να το λύσετε. Αφήστε τη συμπεριφορά τους να σας δείξει το στοιχείο της σελίδας και χρησιμοποιήστε την κρίση σας για να διορθώσετε τη διατύπωση.

Αντιμετωπίστε το ως μια σοβαρή εργασία. Κλείστε δύο ώρες, κλείστε το email σας και διαβάστε τις ωμές μαγνητοσκοπημένες συνεδρίες μία προς μία. Μην κάνετε fast-forward. Τη δεύτερη φορά που βλέπετε την ίδια παύση, την ίδια κύλιση, τον ίδιο διστακτικό δρομέα, έχετε βρει ένα μοτίβο. Τα μοτίβα είναι τα αποδεικτικά σας στοιχεία. Η διαδρομή ενός μόνο επισκέπτη είναι ανέκδοτο· αρκετοί επισκέπτες που κάνουν το ίδιο πράγμα είναι μια ένδειξη. Αυτή η ένδειξη αξίζει περισσότερο από χίλιες σειρές συγκεντρωτικών δεδομένων.

Βάλτε το τεστ εκεί που είναι η επισκεψιμότητά σας

Ένα site με χαμηλή επισκεψιμότητα έχει σχεδόν πάντα στιγμές υψηλής επισκεψιμότητας. Δεν χρειάζεται να δοκιμάζετε στην αδύναμη αρχική σας σελίδα. Βρείτε τη σελίδα ή το κανάλι όπου οι άνθρωποι πραγματικά συγκεντρώνονται και τρέξτε το πείραμά σας εκεί.

Αυτό θα μπορούσε να είναι μια πληρωμένη σελίδα προορισμού που δέχεται το μεγαλύτερο μέρος της επισκεψιμότητας από διαφημίσεις. Θα μπορούσε να είναι ένα άρθρο ιστολογίου που εμφανίζεται στην πρώτη σελίδα. Θα μπορούσε να είναι μια καμπάνια email που πηγαίνει σε μια αρκετά μεγάλη λίστα συνδρομητών. Η τοποθεσία του τεστ έχει τόση σημασία όσο και το ίδιο το τεστ. Αν τρέξετε ένα τεστ σε μια τοποθεσία με πολύ μικρό κοινό, θα δείτε θόρυβο. Αν το τρέξετε εκεί που είναι το πλήθος, έχετε μια ευκαιρία.

Ταιριάξτε το πείραμα με την πυκνότητα επισκεψιμότητας. Ένα email καλωσορίσματος με υψηλό ποσοστό ανοιγμάτων είναι καλύτερο περιβάλλον δοκιμής από μια σελίδα «Σχετικά» που δέχεται σχεδόν καθόλου επισκέψεις. Μια σελίδα προϊόντος που τροφοδοτείται από επισκεψιμότητα αναζήτησης είναι καλύτερη από μια αρχική σελίδα στην οποία κανείς δεν προσγειώνεται.

Πριν ξεκινήσετε, βεβαιωθείτε ότι το split σας είναι πραγματικά τυχαίο. Ορισμένα εργαλεία ή χειροκίνητες λύσεις μπορεί κατά λάθος να στείλουν όλους τους χρήστες κινητών σε μία έκδοση. Αυτό καταστρέφει το τεστ πριν ξεκινήσει. Αν η πλατφόρμα πειραμάτων σας διαχειρίζεται την τυχαιοποίηση, εμπιστευτείτε την αλλά ελέγξτε την κατανομή μετά από μια μέρα. Αν το κάνετε χειροκίνητα, εναλλάξτε την παραλλαγή ανά ώρα ή ανά ημέρα, αντί για τύπο επισκέπτη. Η συνέπεια έχει λιγότερη σημασία από την τυχαιότητα.

Και κρατήστε την υπόθεση στενή. Μην δοκιμάζετε «καλύτερο σχέδιο». Δοκιμάστε μία μεταβλητή: έναν τίτλο, μια προσφορά, έναν αριθμό πεδίων. Όσο πιο στενή είναι η αλλαγή, τόσο πιο εύκολο είναι να διαβαστεί ακόμα και με μέτρια επισκεψιμότητα. Όταν αποφασίζετε τι να δοκιμάσετε, επιλέξτε τη μεταβλητή με τον μεγαλύτερο δυνητικό αντίκτυπο στην κύρια ενέργειά σας, όχι την πιο εύκολη στην αλλαγή. Το πλαίσιο σε αυτόν τον οδηγό για την ιεράρχηση των δοκιμών A/B σας δίνει τον ακριβή υπολογισμό.

Αντιμετωπίστε τα αποτελέσματα ως κατευθυντικά, όχι οριστικά

Ορίστε ο συμβιβασμός που κανείς δεν γράφει σε ένα sticky note: η στατιστική αυστηρότητα και η ταχύτητα βρίσκονται σε άμεση σύγκρουση. Τα περισσότερα άρθρα βέλτιστων πρακτικών υποθέτουν ότι μπορείτε να αντέξετε και τα δύο. Δεν μπορείτε. Χρειάζεστε λοιπόν έναν κανόνα απόφασης που λειτουργεί στην κλίμακά σας.

Σταματήστε να απαιτείτε 95% εμπιστοσύνη. Αυτό το όριο σχεδιάστηκε για ομάδες με αρκετή επισκεψιμότητα για να το φτάσουν. Αντίθετα, αντιμετωπίστε το τεστ χαμηλής επισκεψιμότητας ως κατευθυντικό σήμα. Αν μια έκδοση είναι σαφώς μπροστά και το εύρημα συμφωνεί με όσα έχετε δει σε μαγνητοσκοπήσεις και έρευνες, μπορείτε να δράσετε βάσει αυτού—προσεκτικά. Πείτε το μια ισχυρή υπόθεση, όχι αποδεδειγμένος νικητής. Και επαληθεύστε αργότερα.

Ορίστε η αλλαγή νοοτροπίας πλάι-πλάι:

	Κλασικό τεστ A/B	Πείραμα χαμηλής επισκεψιμότητας
Αφετηρία	«Θα αποδείξω ποια έκδοση κερδίζει.»	«Θα συγκεντρώσω ενδείξεις για το τι έχει σημασία.»
Όριο απόφασης	Εμπιστοσύνη 95% ή υψηλότερη	Μεγάλο κατευθυντικό χάσμα συν ποιοτική συμφωνία
Χρόνος για δράση	Εβδομάδες ή μήνες	Ημέρες
Επίπεδο ρίσκου	Χαμηλό, γιατί περιμένετε	Υψηλότερο, οπότε επαληθεύετε αργότερα

Σημαίνει αυτό ότι μερικές φορές θα ενεργήσετε βάσει ενός ψευδώς θετικού; Ναι. Αυτό είναι το τίμημα της ειλικρίνειας. Αποδέχεστε μια μικρή πιθανότητα να ενεργήσετε βάσει θορύβου με αντάλλαγμα να μαθαίνετε πιο γρήγορα. Η εναλλακτική—να περιμένετε μέχρι να έχετε αρκετή επισκεψιμότητα—σημαίνει να μην αλλάξετε τίποτα για ένα τρίμηνο.

Το κόλπο είναι να προστατεύσετε τον εαυτό σας από τη δική σας προκατάληψη. Πριν δείτε τους αριθμούς, γράψτε τι θα κάνετε αν το αποτέλεσμα είναι κοντά: θα το αγνοήσετε. Γράψτε τι θα κάνετε αν το χάσμα είναι μεγάλο και στην αναμενόμενη κατεύθυνση: θα το εφαρμόσετε, αλλά θα κρατήσετε τεκμηριωμένη την παλιά έκδοση. Αν το αποτέλεσμα σας εκπλήξει, αντιμετωπίστε το ως αφορμή για περισσότερη έρευνα, όχι ως συμπέρασμα. Αυτή η προ-καταγραφή είναι αυτό που διαχωρίζει μια κατευθυντική απόφαση από έναν πίθηκο που πατάει κουμπιά.

Η λέξη «σημαντικό» έχει τεχνική σημασία. Σε ένα περιβάλλον χαμηλής επισκεψιμότητας, δεν έχετε φτάσει σε αυτή την απόδειξη. Αλλάξτε λοιπόν τη γλώσσα σας. Πείτε «αυτή η κατεύθυνση φαίνεται πολλά υποσχόμενη» ή «τα δεδομένα το υποδεικνύουν απαλά». Αυτή η γλώσσα σας κρατά ειλικρινείς με τον εαυτό σας και με οποιονδήποτε άλλον εξετάζει τη δουλειά. Για μια βαθύτερη ματιά στο πότε ένα αποτέλεσμα είναι πραγματικά αξιόπιστο, διαβάστε πώς να ερμηνεύετε τα αποτελέσματα των δοκιμών A/B χωρίς να πέφτετε στον θόρυβο.

Δοκιμάστε την προσφορά, όχι το βάψιμο

Η πιο συνηθισμένη σπατάλη χρόνου σε μικρές σελίδες είναι να δοκιμάζετε χρώματα κουμπιών, γραμματοσειρές και διάστιχο. Αυτές οι μικρο-αλλαγές συνήθως παράγουν μικρά αποτελέσματα. Τα μικρά αποτελέσματα χρειάζονται τεράστια μεγέθη δείγματος για να ανιχνευθούν. Δεν τα έχετε. Σταματήστε λοιπόν να δοκιμάζετε το βάψιμο και αρχίστε να δοκιμάζετε τα δομικά μέρη της σελίδας.

Η προσφορά, η διατύπωση της τιμής, η κοινωνική απόδειξη, η εγγύηση, το μήκος της φόρμας και το κείμενο της βασικής πρότασης αξίας είναι μεταβλητές υψηλού αντίκτυπου. Μια εγγύηση τοποθετημένη δίπλα στο CTA αλλάζει τον αντιληπτό κίνδυνο. Μια φόρμα που μειώνεται από πολλά πεδία σε λίγα αλλάζει το ποσοστό ολοκλήρωσης. Ένας τίτλος που κατονομάζει το συγκεκριμένο αποτέλεσμα, αντί για ένα αόριστο όφελος, αλλάζει το ποιος αισθάνεται ότι η σελίδα είναι για αυτόν. Αυτές οι αλλαγές είναι αρκετά μεγάλες για να δείξουν σήμα ακόμα και σε μικρό δείγμα.

Ένας τρόπος να εντοπίσετε μεταβλητές υψηλού αντίκτυπου είναι να ρωτήσετε: «Αν ένας επισκέπτης διαβάσει μόνο μία γραμμή σε αυτή τη σελίδα, ποια πρέπει να είναι;» Αυτή η γραμμή είναι ο τίτλος σας. Ξοδέψτε την ενέργεια των δοκιμών σας εκεί πριν αγγίξετε ένα κουμπί. Η επόμενη ερώτηση: «Ποια αντίρρηση εκφράζουν οι επισκέπτες πιο συχνά;» Αυτή η αντίρρηση είναι η εγγύησή σας. Γράψτε μία που να την αντιμετωπίζει άμεσα. Αυτές δεν είναι σχεδιαστικές αποφάσεις· είναι αποφάσεις αξίας.

Σκεφτείτε το έτσι: Η δοκιμή A/B είναι για τη βελτιστοποίηση κάτι που ήδη λειτουργεί. Αν η σελίδα σας έχει μια θεμελιώδη αναντιστοιχία μεταξύ αυτού που προσφέρετε και αυτού που θέλει ο επισκέπτης, κανένα τεστ δεν θα το διορθώσει. Διορθώστε πρώτα την προσφορά. Μετά δοκιμάστε.

Αυτό είναι το κλασικό λάθος των μικρών ομάδων: να πηδούν στις δοκιμές πριν διορθώσουν τις βασικές διαρροές μετατροπής. Ο οδηγός για τα πιο συνηθισμένα λάθη στις δοκιμές A/B καλύπτει τις υπόλοιπες παγίδες για να τις αποφύγετε.

Το επόμενο 30ήμερο σας

Ορίστε το πλάνο, χωρίς να χρειάζεται πλαίσιο δέκα βημάτων.

Εβδομάδα πρώτη, έλεγχος. Ανοίξτε τα analytics και εντοπίστε τις σελίδες με την υψηλότερη επισκεψιμότητα και τις πιο απότομες πτώσεις. Παρακολουθήστε μαγνητοσκοπημένες συνεδρίες. Στείλτε μια έρευνα σε όλους όσοι δεν αγόρασαν. Καταγράψτε κάθε εμπόδιο που μπορείτε να δείτε, με σειρά μεγέθους.

Εβδομάδα δεύτερη, διορθώστε τα τρία κορυφαία εμπόδια άμεσα. Χωρίς δοκιμές. Απλά βελτιώστε το κείμενο, τη διάταξη, τη φόρμα ή την προσφορά. Αφαιρέστε την τριβή που έχετε επιβεβαιώσει με τα ίδια σας τα μάτια.

Εβδομάδα τρίτη, επιλέξτε την ενιαία τοποθεσία με την υψηλότερη επισκεψιμότητα και τρέξτε ένα ελεγχόμενο τεστ εκεί. Μία μεταβλητή. Καθορίστε τον κανόνα απόφασης πριν κοιτάξετε. Αφήστε το να τρέξει μέχρι το χάσμα να είναι σαφές ή μέχρι να τελειώσει ο χρόνος.

Εβδομάδα τέταρτη, αποφασίστε. Αν το αποτέλεσμα είναι κατευθυντικό και ταιριάζει με τα ποιοτικά σας στοιχεία, εφαρμόστε το. Αν είναι οριακό, εντάξτε το μάθημα στην επόμενη επανάληψη. Στη συνέχεια, ετοιμάστε το επόμενο τεστ.

Αυτή η προσέγγιση δεν θα σας δώσει καθαρή στατιστική βεβαιότητα. Θα σας δώσει δυναμική. Θα μαθαίνετε πιο γρήγορα, θα κυκλοφορείτε βελτιώσεις νωρίτερα και θα χτίζετε τη συνήθεια να ρωτάτε «τι θα μου μάθει αυτό» πριν τρέξετε οτιδήποτε. Αυτή η συνήθεια είναι το πραγματικό εργαλείο μετατροπής.

Όταν η επισκεψιμότητά σας αυξηθεί—και θα αυξηθεί—θα ξέρετε ήδη τι να δοκιμάσετε, πού να το δοκιμάσετε και πώς να διαβάσετε τα αποτελέσματα. Η περίοδος χαμηλής επισκεψιμότητας δεν είναι για να κάτσετε έξω. Είναι για να παίξετε ένα διαφορετικό παιχνίδι. Παίξτε το καλά, και το μεγαλύτερο παιχνίδι θα είναι εκεί περιμένοντας.