A/B Test, Directional Test ή απλά δημοσίευση; Ένα πλαίσιο που βασίζεται στον κίνδυνο για μεμονωμένους marketers

Περίληψη

Οι περισσότερες συμβουλές για A/B testing υποθέτουν ότι έχετε απεριόριστη επισκεψιμότητα και μια υπομονετική ομάδα πίσω σας. Στην πραγματικότητα, ένας μεμονωμένος marketer συχνά πρέπει να επιλέξει ανάμεσα σε ένα πλήρες πείραμα, ένα σύντομο κατευθυντικό τεστ και τη δημοσίευση μιας αλλαγής χωρίς κανένα τεστ. Αυτό το άρθρο παρουσιάζει ένα πλαίσιο που βασίζεται στον κίνδυνο για αυτή την απόφαση, επικεντρωμένο στο κόστος του να κάνεις λάθος και το κόστος της αναμονής. Καλύπτει τι να κάνετε όταν ένα αποτέλεσμα είναι «στατιστικά μη σημαντικό» και γιατί αυτό δεν σημαίνει ότι η αλλαγή απέτυχε. Θα μάθετε πότε ένα πρώιμο βλέμμα μπορεί να είναι χρήσιμο, πότε η άμεση δημοσίευση υπερτερεί της αναμονής για απόδειξη και πώς να μετράτε πριν/μετά όταν παραλείπετε το τεστ. Το συμπέρασμα δεν είναι να κάνετε λιγότερα τεστ, αλλά να προσαρμόζετε το επίπεδο τεκμηρίωσης στα πραγματικά διακυβεύματα.

Θα πρέπει να κάνετε ένα A/B test, να κάνετε ένα πιο σύντομο «κατευθυντικό» τεστ ή απλώς να κάνετε την αλλαγή και να παρακολουθήσετε τι θα συμβεί; Αν είστε υπεύθυνος για το ποσοστό μετατροπής του ιστότοπού σας και δεν έχετε μια αφοσιωμένη ομάδα γύρω σας, αυτή είναι πιθανότατα η πιο συχνή επαγγελματική κρίση που καλείστε να κάνετε. Η τυπική συμβουλή λέει να δοκιμάζετε τα πάντα, αλλά αυτή η συμβουλή προϋποθέτει ότι έχετε επισκεψιμότητα για να διαθέσετε, χρόνο για να περιμένετε και μια σαφή μετρική για να παρακολουθείτε. Συχνά δεν έχετε κανένα από αυτά. Αυτό το άρθρο εξετάζει τα τρία επίπεδα τεκμηρίωσης και σας δίνει έναν τρόπο να επιλέξετε ανάμεσά τους μέσα σε λεπτά, όχι ημέρες.

Το πρώτο πράγμα που πρέπει να καταλάβετε είναι ότι το A/B testing δεν αφορά πραγματικά την ίδια την αλλαγή. Αφορά το πόσο είστε διατεθειμένοι να πληρώσετε για να κάνετε λάθος. Σκεφτείτε δύο αλλαγές στον ίδιο ιστότοπο. Διαχειρίζεστε ένα εργαλείο διαχείρισης έργων. Θέλετε να αλλάξετε τον τίτλο της αρχικής σελίδας από «Διαχείριση έργων» σε «Σχεδιάστε έργα στον μισό χρόνο». Επίσης, θέλετε να αλλάξετε τη σελίδα τιμολόγησης ώστε οι επισκέπτες να μπορούν να επιλέξουν ένα ετήσιο πρόγραμμα παράλληλα με το μηνιαίο. Και οι δύο αλλαγές αφορούν τον ίδιο ιστότοπο και θα μπορούσαν να δοκιμαστούν με τον ίδιο τρόπο. Αλλά το κόστος του να κάνετε λάθος είναι πολύ διαφορετικό. Αν ο τίτλος είναι λάθος, ο επισκέπτης βλέπει ένα ελαφρώς λιγότερο αποτελεσματικό μήνυμα για λίγες ημέρες και μπορείτε να βάλετε τον παλιό πίσω χωρίς ταλαιπωρία. Αν η δομή τιμολόγησης είναι λάθος, μπορεί να μπερδέψετε δυνητικούς πελάτες, να γεμίσετε τα εισερχόμενά σας με ερωτήσεις και να δημιουργήσετε μια προσδοκία που δεν αντιστοιχεί στον τρόπο που χρεώνετε. Η επαναφορά δεν είναι δωρεάν. Η ίδια λογική ισχύει για κάθε αλλαγή που εξετάζετε, από τις ετικέτες κουμπιών μέχρι τον επανασχεδιασμό ολόκληρης της σελίδας.

Γι' αυτό κανείς δεν μπορεί να σας δώσει μια καθολική απάντηση στο «πρέπει να δοκιμάσω;». Η απάντηση εξαρτάται από το τι σας κοστίζει ένα ψευδώς θετικό αποτέλεσμα, πόσο σας κοστίζει ένα ψευδώς αρνητικό και τι θυσιάζετε ενώ περιμένετε. Ας δούμε τις τρεις επιλογές λεπτομερώς.

Το Πλήρες Πείραμα: Όταν το Όριο Τεκμηρίωσης Είναι Υψηλό

Φανταστείτε ότι δοκιμάζετε αν πρέπει να αλλάξετε το κουμπί στην κύρια σελίδα εγγραφής από «Ξεκινήστε δωρεάν δοκιμή» σε «Ξεκινήστε». Για έναν μεμονωμένο ιδρυτή, αυτή είναι μια αλλαγή υψηλής ορατότητας που βρίσκεται στην είσοδο του funnel σας. Θα μπορούσε να επηρεάσει τις εγγραφές δοκιμής, οι οποίες τροφοδοτούν τα πάντα παρακάτω. Έχετε μια σταθερή ροή επισκεπτών, αλλά όχι τεράστια. Αυτός είναι ένας καλός υποψήφιος για ένα πλήρες πείραμα.

Ένα πλήρες πείραμα έχει συγκεκριμένη σημασία. Χωρίζετε τυχαία τους επισκέπτες σας, δείχνετε σε μια ομάδα την αρχική έκδοση και στην άλλη την τροποποιημένη έκδοση και συγκρίνετε τη συμπεριφορά σε μια μετρική που επιλέγετε πριν ξεκινήσετε. Όπως ορίζεται στο γλωσσάρι της Optimizely, το A/B testing είναι μια μέθοδος σύγκρισης δύο εκδόσεων μιας ιστοσελίδας ή εφαρμογής για να προσδιοριστεί ποια αποδίδει καλύτερα. Το κλειδί είναι να αφήσετε τα δεδομένα να αποφασίσουν αντί του ενστίκτου σας. Στην πράξη, αυτό σημαίνει να ορίσετε μια σαφή κύρια μετρική — για παράδειγμα, το ποσοστό των επισκεπτών που κάνουν κλικ στη φόρμα εγγραφής — και να αλλάζετε μόνο μία μεταβλητή τη φορά. Αν αλλάξετε και το κουμπί και το γύρω κείμενο, δεν θα ξέρετε ποια προκάλεσε τη διαφορά. Και πρέπει να αποφασίσετε εκ των προτέρων πόσο θα διαρκέσει η δοκιμή και ποια στοιχεία θα σας κάνουν να δράσετε.

Αυτό το τελευταίο βήμα είναι αυτό που οι περισσότεροι παραλείπουν. Θα πρέπει να αποφασίσετε πριν ξεκινήσετε τι επίπεδο εμπιστοσύνης χρειάζεστε και πόσο μεγάλο αποτέλεσμα προσπαθείτε να ανιχνεύσετε. Η στατιστική μηχανή πίσω από το μέγεθος δείγματος και τη διάρκεια είναι ακριβώς αυτό που κάνει ένα A/B test διαφορετικό από μια απλή παρατήρηση. Αν η επισκεψιμότητά σας είναι πολύ χαμηλή για να φτάσετε σε αυτή την απόδειξη σε λογικό χρόνο, το πλήρες πείραμα πιθανότατα θα καταλήξει σε «ασαφές» — και αυτό είναι ένα πραγματικό κόστος. Για μια λεπτομερή ματιά στο πώς να αποφασίσετε πότε έχετε περιμένετε αρκετά, το πρακτικό πλαίσιό μας για το πότε να σταματήσετε ένα A/B test είναι ένας καλός σύντροφος σε αυτό.

Υπάρχει μια ύπουλη παγίδα εδώ. Αν ένα πλήρες πείραμα τελειώσει και το αποτέλεσμα είναι «στατιστικά μη σημαντικό», μπορεί να μπει στον πειρασμό να συμπεράνετε ότι «η αλλαγή δεν έχει σημασία». Αυτό δεν σημαίνει αυτό το αποτέλεσμα. Σημαίνει ότι το τεστ σας δεν ήταν αρκετά ακριβές για να ανιχνεύσει τη διαφορά ή ότι η διαφορά είναι μικρότερη από ό,τι σας ενδιέφερε να βρείτε. Αυτές είναι χρήσιμες πληροφορίες — μπορείτε τώρα να αποφασίσετε να δημοσιεύσετε βάσει άλλων στοιχείων, να κάνετε μεγαλύτερο τεστ ή να επιλέξετε μια πιο ουσιαστική αλλαγή. Αλλά δεν είναι απόδειξη ότι η νέα έκδοση είναι χειρότερη. Αν χρησιμοποιείτε μια πλατφόρμα δοκιμών με τεχνητή νοημοσύνη που κατανέμει δυναμικά την επισκεψιμότητα και δημιουργεί παραλλαγές, το πείραμα μπορεί να φτάσει σε απόφαση πιο γρήγορα, αλλά ισχύει η ίδια λογική: το αποτέλεσμα είναι τόσο αξιόπιστο όσο και η ικανότητά σας να περιμένετε αρκετά στοιχεία.

Υπάρχει επίσης η πειθαρχία της τεκμηρίωσης όσων μαθαίνετε. Ένα τεστ που δεν τεκμηριώνετε είναι μια ιστορία που θα ξαναπείτε με προκατάληψη. Ακόμη και ένα ασαφές τεστ σας διδάσκει κάτι για το μέγεθος του αποτελέσματος που μπορείτε πραγματικά να ανιχνεύσετε στη σελίδα σας, την επισκεψιμότητά σας και την υπομονή των επισκεπτών σας. Καταγράψτε την υπόθεση, την παραλλαγή, τη μετρική και το αποτέλεσμα σε μια πρόταση. Μετά από λίγους μήνες, αυτό το αρχείο γίνεται ένας χάρτης του τι ανταποκρίνεται το κοινό σας και κάνει κάθε μελλοντική απόφαση πιο γρήγορη.

Το Κατευθυντικό Τεστ: Όταν Η Ταχύτητα Είναι Μέρος Της Απάντησης

Τώρα εξετάστε μια αλλαγή χαμηλότερου κινδύνου: την κύρια εικόνα στη σελίδα προορισμού σας. Έχετε δύο επιλογές — ένα στιγμιότυπο οθόνης του πίνακα ελέγχου σας και μια φωτογραφία ενός ατόμου που χρησιμοποιεί το προϊόν σας. Δεν ξέρετε ποια θα συνδεθεί με το κοινό σας. Το μειονέκτημα της επιλογής λάθος εικόνας είναι μικρό. Μπορείτε να την αλλάξετε πίσω σε λίγα λεπτά. Αλλά μπορεί να μην έχετε αρκετή επισκεψιμότητα για να φτάσετε σε ένα αποτέλεσμα επιπέδου εγχειριδίου μέσα σε ένα μήνα. Εδώ ανήκει το κατευθυντικό τεστ.

Ένα κατευθυντικό τεστ εξακολουθεί να είναι μια τυχαιοποιημένη σύγκριση, αλλά χρησιμοποιείτε σκόπιμα χαμηλότερο όριο τεκμηρίωσης. Αποφασίζετε εκ των προτέρων ότι θα δημοσιεύσετε τη νέα εικόνα αν αποδώσει καλύτερα στην κύρια μετρική για το μεγαλύτερο μέρος ενός εβδομαδιαίου διαστήματος ή αν είναι σαφώς μπροστά μέχρι το τέλος μιας καθορισμένης περιόδου. Αντιμετωπίζετε το αποτέλεσμα ως σύσταση, όχι ως ετυμηγορία. Η πειθαρχία έχει τόση σημασία εδώ όσο και σε ένα πλήρες πείραμα. Αν δεν δεσμευτείτε εκ των προτέρων σε έναν κανόνα, θα καταλήξετε να κοιτάτε τα ζωντανά αποτελέσματα και να παίρνετε μια μη προγραμματισμένη απόφαση — και έτσι ξεγελάτε τον εαυτό σας βλέποντας αυτό που θέλετε να δείτε.

Πράγμα που με φέρνει σε μια συμβουλή που θα βρείτε στους περισσότερους οδηγούς A/B testing: «μην κοιτάτε ποτέ τα αποτελέσματά σας πριν ολοκληρωθεί το τεστ». Αυτή η οδηγία είναι σωστή για ένα τυπικό πείραμα που θα αποφασίσει μια μεγάλη κυκλοφορία. Αλλά για έναν μεμονωμένο marketer με μέτρια επισκεψιμότητα, το να κοιτάτε είναι πώς μαθαίνετε γρήγορα. Το πρόβλημα δεν είναι ότι κοιτάξετε τους αριθμούς. Το πρόβλημα είναι ότι αφήνετε το βλέμμα να πάρει μια απόφαση που δεν είχατε προγραμματίσει. Αν αποφασίσετε εκ των προτέρων ποιο μοτίβο θα άλλαζε τη γνώμη σας, τότε αυτό που μοιάζει με «ματιά» είναι στην πραγματικότητα ένας δομημένος τρόπος διαχείρισης της χαμηλής επισκεψιμότητας. Επιλέγετε την ταχύτητα μάθησης έναντι της βεβαιότητας. Αυτός είναι ένας θεμιτός συμβιβασμός, αρκεί να είστε ειλικρινείς για το τι κάνετε και να μην ανακοινώνετε το αποτέλεσμα ως απόδειξη.

Μετά από ένα κατευθυντικό τεστ, μην σταματήσετε τη μέτρηση. Αν δημοσιεύσετε τη νέα κύρια εικόνα, παρακολουθήστε το ποσοστό μετατροπής για τις επόμενες εβδομάδες. Αν υποβαθμιστεί, επαναφέρετε. Αν βελτιωθεί, έχετε κάποια στοιχεία ότι το κατευθυντικό σας σήμα ήταν σωστό. Το κατευθυντικό τεστ είναι ένας τρόπος να πάρετε μια απόφαση γρήγορα, όχι ένας τρόπος να αποφύγετε την ευθύνη. Συνδυάζεται επίσης καλά με το είδος πρακτικού διαχωρισμού που περιγράφεται στον οδηγό μας για το A/B test triage για μεμονωμένους marketers — αν έχετε μια λίστα πιθανών αλλαγών, μπορείτε να χρησιμοποιήσετε κατευθυντικά τεστ για να αποφασίσετε ποιες αξίζουν ένα πλήρες πείραμα.

Απλά Δημοσιεύστε Το: Όταν Η Τρέχουσα Έκδοση Χάνει Ήδη

Μερικές φορές η πιο βασισμένη σε στοιχεία απόφαση είναι να μην κάνετε καθόλου τεστ. Ας υποθέσουμε ότι η φόρμα εγγραφής σας ζητά αριθμό τηλεφώνου. Σε καταγραφές συνεδρίας, βλέπετε αρκετούς επισκέπτες να φτάνουν σε αυτό το πεδίο, να σταματούν και να φεύγουν. Έχετε λάβει email υποστήριξης που ρωτούν αν απαιτείται αριθμός τηλεφώνου. Το πεδίο δεν χρειάζεται για τίποτα. Θα πρέπει να κάνετε A/B test για το αν θα το αφαιρέσετε; Όχι. Η αφαίρεσή του είναι μια διόρθωση, όχι ένα πείραμα. Η τρέχουσα έκδοση έχει ένα γνωστό ελάττωμα και η αλλαγή είναι εύκολα αναστρέψιμη. Η δημοσίευση της επιδιόρθωσης και η παρακολούθηση του ποσοστού ολοκλήρωσης είναι καλύτερη χρήση του χρόνου σας.

Η ίδια λογική ισχύει για ξεπερασμένες σελίδες. Αν η σελίδα προορισμού σας εξακολουθεί να περιγράφει μια λειτουργία που δεν προσφέρετε πλέον, το να δοκιμάσετε την παλιά σελίδα έναντι της νέας είναι παράλογο. Ξοδεύετε επισκεψιμότητα για να αποδείξετε ότι μια έκδοση που δεν θα κρατούσατε ποτέ είναι χειρότερη από αυτήν που θα θέλατε να δημοσιεύσετε. Το ξέρετε ήδη. Το σωστό είναι να δημοσιεύσετε πρώτα την τρέχουσα έκδοση και, μόλις είναι ζωντανή, να κάνετε πειράματα για να τη βελτιστοποιήσετε.

Αυτός είναι ο συμβιβασμός που οι περισσότεροι οδηγοί A/B testing δεν αναφέρουν. Κάθε εβδομάδα που διατηρείτε μια αδύναμη έκδοση ζωντανή ενώ περιμένετε να ολοκληρωθεί ένα τεστ είναι μια εβδομάδα που πληρώνετε κόστος ευκαιρίας. Αν η αλλαγή είναι χαμηλού κινδύνου και εύκολα αναστρέψιμη, η αναμενόμενη αξία της άμεσης δημοσίευσης συχνά υπερτερεί της αξίας της απόδειξης της βελτίωσης αργότερα. Δεν παραλείπετε τη μέτρηση — αντικαθιστάτε ένα τυχαιοποιημένο πείραμα με μια σύγκριση πριν/μετά. Η σύγκριση πριν/μετά είναι πιο αδύναμη απόδειξη, αλλά εξακολουθεί να είναι απόδειξη και είναι καλύτερη από το να ξοδεύετε τέσσερις εβδομάδες χωρίς να παράγετε καμία απόφαση.

Το Τεστ Πριν/Μετά Που Ήδη Τρέχετε

Μόλις δημοσιεύσετε μια αλλαγή χωρίς τεστ, η μέτρηση δεν σταματά. Τώρα τρέχετε ένα πείραμα πριν/μετά, με όλες τις επιφυλάξεις που το συνοδεύουν. Ο καλύτερος τρόπος να το κάνετε λιγότερο θορυβώδες είναι να καθιερώσετε μια βασική μετρική πριν αλλάξετε οτιδήποτε, να δημοσιεύσετε σε ώρα χαμηλής επισκεψιμότητας αν μπορείτε και να κοιτάξετε την τάση για τουλάχιστον μία ολόκληρη εβδομάδα, ώστε να μην αντιδράτε σε μια τυχαία Δευτέρα. Αν η μετρική κινηθεί προς την κατεύθυνση που θέλατε, κρατήστε την αλλαγή. Αν κινηθεί εναντίον σας, επαναφέρετε. Αν δεν κινηθεί καθόλου, έχετε μάθει ότι η αλλαγή ήταν ουδέτερη — που είναι επίσης πληροφορία.

Αυτή είναι η λειτουργία που οι περισσότεροι αγνοούν. Δημοσιεύουν και μετά δεν κοιτάζουν ξανά, και αργότερα δεν είναι σίγουροι αν η αλλαγή βοήθησε ή έβλαψε. Μια σύγκριση πριν/μετά δεν είναι αυστηρή, αλλά είναι πολύ καλύτερη από το τίποτα που συμβαίνει στους περισσότερους ιστότοπους. Αν η επισκεψιμότητά σας είναι πραγματικά πολύ χαμηλή ακόμη και για ένα κατευθυντικό τεστ, η σύγκριση πριν/μετά είναι συχνά το μόνο εργαλείο που έχετε. Μπορείτε ακόμα να λάβετε σήμα από τις καταγραφές συνεδρίας, τα σχόλια υποστήριξης και το πώς εξελίσσεται η μετρική μετά την αλλαγή — κανένα από αυτά δεν απαιτεί τυχαιοποίηση. Αυτό είναι το πεδίο που καλύπτεται στο άρθρο μας για το A/B testing χωρίς επισκεψιμότητα.

Οι Τρεις Προσεγγίσεις Δίπλα-Δίπλα

Εδώ είναι η σύγκριση σε έναν πίνακα.

Προσέγγιση	Καλύτερη όταν	Κίνδυνος αν κάνεις λάθος	Τι παίρνετε	Τι θυσιάζετε
Πλήρες πείραμα	Η αλλαγή επηρεάζει τα έσοδα, την τιμολόγηση ή τις βασικές ροές· έχετε αρκετή επισκεψιμότητα για να φτάσετε σε απόφαση	Χαμηλός (αν ακολουθήσετε τα στατιστικά)· μπορεί να δράσετε βάσει θορύβου μόνο αν τα αγνοήσετε	Μια σίγουρη, επαναλήψιμη απάντηση	Χρόνο, επισκεψιμότητα και την ικανότητα να ενεργήσετε γρήγορα
Κατευθυντικό τεστ	Η αλλαγή είναι χαμηλού κινδύνου, η επισκεψιμότητα είναι μέτρια και χρειάζεστε ένα μαθησιακό σήμα μέσα σε ημέρες	Μέτριος — μπορεί περιστασιακά να δημοσιεύσετε μια χαμένη παραλλαγή	Μια γρήγορη ένδειξη για το τι αξίζει να κάνετε περισσότερο	Απόδειξη και την ικανότητα να αντιληφθείτε διακριτικά αποτελέσματα
Δημοσίευση χωρίς τεστ	Η τρέχουσα έκδοση είναι σαφώς κακή, η αλλαγή είναι διόρθωση ή η αλλαγή είναι εύκολα αναστρέψιμη	Χαμηλός, ειδικά με παρακολούθηση μετά τη δημοσίευση	Ταχύτητα και ορμή	Την ικανότητα να αποδώσετε την αλλαγή σε έναν παράγοντα

Ο πίνακας υποτιμά τη δύναμη της τρίτης γραμμής. Το «Δημοσίευση χωρίς τεστ» επικρίνεται στους κύκλους βελτιστοποίησης μετατροπών, αλλά συχνά είναι η ορθολογική επιλογή για έναν μεμονωμένο marketer με μακρά λίστα εκκρεμοτήτων και περιορισμένη επισκεψιμότητα. Το πραγματικό αμάρτημα είναι να δημοσιεύετε και μετά να μην παρακολουθείτε τι συμβαίνει.

Ένας Τρόπος Επιλογής σε 15 Λεπτά

Αν θέλετε μια πιο γρήγορη διαδικασία από το να απομνημονεύσετε ολόκληρο το πλαίσιο, χρησιμοποιήστε αυτές τις τέσσερις ερωτήσεις.

Πρώτον, αν κάνω λάθος, τι χαλάει; Αν η απάντηση είναι έσοδα, εμπιστοσύνη ή συμμόρφωση, ανεβάστε το όριο τεκμηρίωσης. Αν η απάντηση είναι «όχι πολλά», χαμηλώστε το. Δεύτερον, πόσο μπορώ να περιμένω; Υπολογίστε πόσο θα διαρκούσε ένα πλήρες πείραμα. Αν αυτό είναι περισσότερο από όσο είστε διατεθειμένοι να καθυστερήσετε την αλλαγή, έχετε ήδη περιορίσει την επιλογή σε ένα κατευθυντικό τεστ ή σε δημοσίευση. Τρίτον, τι θα κάνω με την απάντηση; Αν δεν πρόκειται να αλλάξετε τη συμπεριφορά σας βάσει του αποτελέσματος, μην κάνετε το τεστ. Ένα τεστ πρέπει να αλλάζει μια απόφαση. Τέταρτον, μπορώ εύκολα να το αντιστρέψω; Οι αναστρέψιμες αλλαγές είναι φθηνές να δημοσιευτούν· οι μη αναστρέψιμες ή αυτές με υψηλό κόστος επαναφοράς αξίζουν περισσότερη τεκμηρίωση.

Στη συνέχεια επιλέξτε: αν ο κίνδυνος είναι υψηλός και μπορείτε να περιμένετε, κάντε ένα πλήρες πείραμα. Αν ο κίνδυνος είναι χαμηλός και θέλετε ταχύτητα, κάντε ένα κατευθυντικό τεστ. Αν η τρέχουσα έκδοση είναι σαφώς χειρότερη και η αλλαγή είναι διόρθωση, δημοσιεύστε και παρακολουθήστε. Αν βρίσκετε τον εαυτό σας να κάνει τεστ επειδή νιώθετε ότι πρέπει, αντί επειδή θα αλλάξετε μια απόφαση, πιθανόν έχετε πρόβλημα προτεραιοποίησης, όχι πρόβλημα δοκιμών. Το άρθρο μας για το πώς να σταματήσετε να σπαταλάτε χρόνο σε A/B tests που δεν έχουν σημασία είναι μια καλή επόμενη ανάγνωση.

Ας το εφαρμόσουμε στην αρχική ερώτηση. Έχετε έναν νέο τίτλο και μέτρια επισκεψιμότητα. Ο τίτλος είναι αναστρέψιμος, το μειονέκτημα είναι μικρό και δεν θέλετε να περιμένετε έναν μήνα. Με αυτή τη λογική, θα παραλείπατε το πλήρες πείραμα. Θα κάνατε είτε ένα σύντομο κατευθυντικό τεστ αν θέλετε κάποιο σήμα, είτε θα δημοσιεύατε τον τίτλο και θα συγκρίνατε το ποσοστό μετατροπής του επόμενου μήνα με αυτό του τρέχοντος. Και τα δύο είναι υπερασπίσιμα. Αυτό που δεν είναι υπερασπίσιμο είναι να ξοδεύετε τέσσερις εβδομάδες σε ένα «σωστό» τεστ για το οποίο δεν έχετε την επισκεψιμότητα να ολοκληρώσετε και μετά να αποκαλείτε το ασαφές αποτέλεσμα αποτυχία.

Η Παγίδα της Σημαντικότητας που Πρέπει να Προσέχετε

Η στατιστική σημαντικότητα σας λέει αν ένα αποτέλεσμα είναι πιθανόν πραγματικό, όχι αν έχει σημασία. Μια αλλαγή μπορεί να είναι στατιστικά σημαντική και παρόλα αυτά πολύ μικρή για να δικαιολογήσει την προσπάθεια. Από την άλλη πλευρά, ένα κατευθυντικό τεστ μπορεί να δείξει ένα μοτίβο που είναι πραγματικό αλλά πολύ μικρό για να ανιχνευθεί με την επισκεψιμότητά σας. Όταν επιλέγετε ένα χαμηλότερο όριο τεκμηρίωσης, αποδέχεστε τόσο περισσότερα ψευδώς θετικά όσο και περισσότερα ψευδώς αρνητικά. Αυτός είναι ένας συμβιβασμός, όχι μια αποτυχία.

Μια άλλη διάκριση που αξίζει να κρατήσετε είναι η πρακτική έναντι της στατιστικής σημαντικότητας. Μια αλλαγή μπορεί να είναι στατιστικά σημαντική και παρόλα αυτά πολύ μικρή για να έχει σημασία. Ας υποθέσουμε ότι το νέο κουμπί αυξάνει τα κλικ κατά ένα ποσό τόσο μικρό που θα χρειαστούν μήνες για να μεταφραστεί σε μία επιπλέον εγγραφή. Αυτό το αποτέλεσμα είναι πραγματικό, αλλά δεν αξίζει να ξαναχτίσετε τη σελίδα σας γύρω από αυτό. Από την άλλη πλευρά, μια αλλαγή που δεν είναι στατιστικά σημαντική μπορεί να είναι πρακτικά σημαντική αν το μοτίβο είναι σταθερό και το κόστος δράσης είναι σχεδόν μηδενικό. Όταν επιλέγετε μεταξύ των τριών προσεγγίσεων, ρωτήστε αν το μέγεθος του αποτελέσματος που σας ενδιαφέρει μπορεί πραγματικά να ανιχνεύσει το πείραμά σας. Αν όχι, δεν επιλέγετε μεταξύ δοκιμής και δημοσίευσης· επιλέγετε μεταξύ δύο μορφών άγνοιας.

Γι' αυτό το πλαίσιο απόφασης σε αυτό το άρθρο βασίζεται στο κόστος του να κάνετε λάθος. Αν ένα ψευδώς θετικό είναι φθηνό — για παράδειγμα, δημοσιεύετε έναν ελαφρώς χειρότερο τίτλο και τον αλλάζετε πίσω — μπορείτε να αντέξετε ένα χαμηλό όριο τεκμηρίωσης. Αν ένα ψευδώς αρνητικό σημαίνει ότι χάνετε μια ουσιαστική βελτίωση, μπορεί να θέλετε να συνεχίσετε τη δοκιμή περισσότερο. Ως μεμονωμένος marketer, δεν μπορείτε να βελτιστοποιήσετε τα πάντα. Επιλέγετε μια ισορροπία μεταξύ ταχύτητας μάθησης και εμπιστοσύνης. Για μια βαθύτερη ματιά στην ανάγνωση των αριθμών χωρίς να παραπλανηθείτε από τον θόρυβο, δείτε τον οδηγό μας για το πώς να ερμηνεύετε σωστά τα αποτελέσματα A/B test.

Το Πρακτικό Συμπέρασμα

Το νόημα αυτού του πλαισίου δεν είναι να κάνετε λιγότερα τεστ. Είναι να προσαρμόσετε το επίπεδο τεκμηρίωσής σας στα διακυβεύματα. Ένα πλήρες πείραμα είναι ένα ισχυρό εργαλείο όταν η αλλαγή είναι σημαντική και έχετε την υπομονή να περιμένετε. Ένα κατευθυντικό τεστ είναι μια λογική μέση λύση όταν πρέπει να μάθετε πιο γρήγορα από ό,τι επιτρέπει η επισκεψιμότητά σας. Και η δημοσίευση χωρίς τεστ είναι μερικές φορές η πιο ειλικρινής επιλογή όταν η τρέχουσα έκδοση χάνει ήδη — αρκεί να παρακολουθείτε τι συμβαίνει μετά.

Την επόμενη φορά που θα μπείτε στον πειρασμό να ρωτήσετε «πρέπει να κάνω A/B test αυτό;», κάντε μια καλύτερη ερώτηση: «Τι θα μου κόστιζε να κάνω λάθος;» Η απάντηση σας λέει ποια από τις τρεις προσεγγίσεις να χρησιμοποιήσετε και αυτή η απόφαση θα σας εξοικονομήσει περισσότερο χρόνο και επισκεψιμότητα από οποιοδήποτε εργαλείο δοκιμών ποτέ.