Το αποδεδειγμένο σε πελάτες πλαίσιο δοκιμών A/B: 7 βήματα που λειτουργούν σε κάθε λογαριασμό

Περίληψη

Οι εταιρείες εκτελούν δοκιμές A/B υπό αυστηρότερους περιορισμούς από ό,τι οι ομάδες ενός προϊόντος: πολλοί πελάτες, σφιχτές προθεσμίες και διάσπαρτες μετρήσεις. Αυτό το άρθρο σας δίνει ένα επαναλήψιμο πλαίσιο που λειτουργεί σε κάθε λογαριασμό, ξεκινώντας με τον ορισμό ενός αληθινού στόχου μετατροπής. Θα μάθετε πώς να βρίσκετε σημεία τριβής αντί να κυνηγάτε τις απόψεις των ενδιαφερομένων, να γράφετε προβλέψιμες υποθέσεις και να επιλέγετε μεταξύ μονοπαραγοντικών, πολυπαραγοντικών και πειραμάτων με τεχνητή νοημοσύνη. Καλύπτει τον πραγματιστικό προγραμματισμό μεγέθους δείγματος, πώς να αποτρέψετε τους πελάτες από το να σταματήσουν νωρίς μια δοκιμή και πώς να διαβάζετε διφορούμενα αποτελέσματα σαν σύμβουλος. Το τελευταίο βήμα είναι να συσκευάσετε κάθε επιτυχία και αποτυχία σε ένα playbook που κάνει τον επόμενο κύκλο δοκιμών του πελάτη ταχύτερο. Χρησιμοποιήστε αυτή τη δομή για να κόψετε τις χαμένες εβδομάδες και να μετατρέψετε τις δοκιμές σε ανταγωνιστικό πλεονέκτημα για την εταιρεία σας. Όταν αντιμετωπίζετε τις δοκιμές ως σύστημα και όχι ως μια σειρά από μεμονωμένα αιτήματα, σταματάτε να ανακαλύπτετε ξανά τον τροχό σε κάθε λογαριασμό.

Δευτέρα, 9:47 π.μ. Ένας πελάτης στέλνει email ζητώντας ένα «γρήγορο τεστ A/B» στη σελίδα τιμολόγησης. Έχετε τρεις άλλους λογαριασμούς σε εξέλιξη, ο καθένας με διαφορετική ρύθμιση αναλυτικών, διαφορετική αλυσίδα έγκρισης και διαφορετικό ορισμό του «νίκης». Το γρήγορο τεστ θα χρειαστεί τρεις εβδομάδες για να φτάσει σε στατιστική σημαντικότητα. Ήδη το ξέρετε. Έτσι, απλώνετε το χρονοδιάγραμμα, θέτετε προσδοκίες και τρέχετε τη δοκιμή. Μετά ξοδεύετε μισή εβδομάδα για να την υπερασπιστείτε.

Αυτό δεν είναι πρόβλημα δοκιμών. Είναι πρόβλημα συστήματος. Αν πρέπει να επανεφεύρετε το πώς δοκιμάζετε για κάθε πελάτη, δεν είστε συνεργάτης βελτιστοποίησης — είστε εκτελεστής δοκιμών. Ακολουθεί ένα πλαίσιο επτά βημάτων που λειτουργεί σε κάθε πελάτη, κάθε εργαλείο, οποιοδήποτε επίπεδο επισκεψιμότητας. Χρησιμοποιήστε το για να έχετε ταχύτερους, εξυπνότερους κύκλους δοκιμών που σωρεύονται από λογαριασμό σε λογαριασμό.

1. Καθορίστε μια μετρική επιτυχίας πριν αγγίξετε μια μεταβλητή

Το A/B testing, όπως ορίζεται στο γλωσσάρι του Optimizely, χωρίζει τυχαία το κοινό σας και δείχνει σε κάθε ομάδα μια διαφορετική έκδοση μιας σελίδας. Αυτός ο τυχαίος διαχωρισμός δημιουργεί δεδομένα. Αλλά τα δεδομένα έχουν νόημα μόνο αν ξέρετε τι μετράτε. Οι περισσότεροι πελάτες λένε ότι θέλουν «περισσότερες μετατροπές» — αλλά οι μετατροπές θα μπορούσαν να είναι εγγραφές, αγορές, αιτήματα για επίδειξη ή ακόμα και η κύλιση μέχρι το υποσέλιδο. Αν δεν καθορίσετε μία μετρική, κάθε αποτέλεσμα που φέρνετε θα είναι ανοιχτό σε επανερμηνεία.

Ξεκινήστε κάθε συνεργασία με έναν έλεγχο στόχων 15 λεπτών. Ρωτήστε τον πελάτη: «Ποια μεμονωμένη ενέργεια, αν διπλασιαζόταν, θα έκανε αυτό το τρίμηνο επιτυχημένο;» Στη συνέχεια, μετατρέψτε την απάντηση σε κύρια μετρική. Χρησιμοποιήστε την ως κριτήριο επιτυχίας της δοκιμής. Οτιδήποτε άλλο — ποσοστό αναπήδησης, χρόνος στη σελίδα, δευτερεύοντα κλικ — γίνεται προστατευτική μετρική που παρακολουθείτε αλλά δεν βελτιστοποιείτε για αυτήν.

Να είστε ανελέητα συγκεκριμένοι. Αν ο πελάτης λέει «υποψήφιοι (leads)», ορίστε τι είναι ένα lead. Ένα lead μπορεί να είναι μια υποβολή φόρμας, αλλά μπορεί επίσης να είναι ένα τηλεφώνημα, μια ζωντανή συνομιλία ή μια λήψη. Κάθε ορισμός αλλάζει ποιο στοιχείο της σελίδας θα πρέπει να δοκιμάσετε. Ένας στόχος υποβολής φόρμας σας κατευθύνει στο μήκος της φόρμας και στη τριβή. Ένας στόχος τηλεφωνικής κλήσης κάνει τη βελτιστοποίησή σας να επικεντρωθεί στην τοποθέτηση του κουμπιού κλήσης και στα σήματα εμπιστοσύνης. Αν δεν συμφωνήσετε σε αυτό από την αρχή, θα βελτιστοποιήσετε τη λάθος σελίδα.

Παράδειγμα: Ένας πελάτης B2B θέλει «περισσότερα leads». Ρωτάτε τι είναι ένα lead. Λένε «κατάλληλοι υποψήφιοι». Αυτό δεν είναι μετρήσιμο. Το περιορίζετε σε «υποβολές φόρμας με επαγγελματική διεύθυνση email». Τώρα έχετε μια κύρια μετρική. Όταν αργότερα δοκιμάσετε μια νέα κεντρική επικεφαλίδα, θα την κρίνετε μόνο με αυτή τη μετρική. Θα πιάσετε επίσης τις απόπειρες να ανακηρύξετε νίκη με βάση ένα καλύτερο ποσοστό αναπήδησης. Αυτή η σαφήνεια σας γλιτώνει από ώρες συζήτησης.

Μόλις έχετε μια κύρια μετρική, γράψτε τη στο test brief. Το brief θα πρέπει να λέει, σε μία πρόταση, «Αυτή η δοκιμή θα κριθεί με [metric].» Μοιραστείτε το με κάθε ενδιαφερόμενο. Όταν αργότερα ένας VP προτείνει ότι «η εμπλοκή όντως βελτιώθηκε», δείχνετε το brief. Δεν μετακινήσατε τα δοκάρια. Συμφωνήσατε πάνω τους.

Εδώ είναι που διαχωρίζετε το σήμα από το θόρυβο. Το να ξέρετε ποιες δοκιμές έχουν μεγαλύτερη σημασία είναι ο μισός πόλεμος. Το να ξοδεύετε τον προϋπολογισμό σας σε δοκιμές που πιθανότατα θα αυξήσουν τα έσοδα είναι αυτό που κάνει μια εταιρεία αποδοτική.

2. Ψάξτε για τριβές, όχι για προτιμήσεις

Οι πελάτες θα σας δώσουν μια λίστα με «δοκιμές που θέλουμε να τρέξουμε» που στην πραγματικότητα είναι απόψεις. «Το κουμπί πρέπει να είναι πράσινο.» «Η επικεφαλίδα πρέπει να αναφέρει το βραβείο μας.» Δεν τρέχετε αυτές. Τρέχετε δοκιμές που μειώνουν την τριβή ή αυξάνουν την εμπιστοσύνη. Τα playbooks του CRO όλα δείχνουν τους ίδιους μοχλούς: σαφήνεια του call-to-action, μήκος φόρμας, σαφήνεια διάταξης, κοινωνική απόδειξη και σήματα εμπιστοσύνης.

Βρείτε αυτούς τους μοχλούς εξετάζοντας πού σταματούν οι χρήστες του πελάτη σας. Ρυθμίστε εγγραφές συνεδριών ή βασική παρακολούθηση γεγονότων αν δεν την έχουν ήδη. Παρακολουθήστε τουλάχιστον πέντε πραγματικές συνεδρίες χρηστών ανά πελάτη. Μην βασίζεστε στη γνώμη του πελάτη για το «τι θα αρέσει στους χρήστες». Τα δεδομένα νικούν τη γνώμη.

Συνηθισμένες πηγές τριβής για έλεγχο:

• Φόρμες που ζητούν πάρα πολλές ή πολύ λίγες πληροφορίες
• CTA που δεν δηλώνουν ξεκάθαρα την επόμενη ενέργεια (π.χ., «Μάθετε περισσότερα» vs. «Ξεκινήστε δωρεάν δοκιμή»)
• Απουσία ενδείξεων εμπιστοσύνης κοντά στο σημείο δέσμευσης (μαρτυρίες, εγγυήσεις, προσφορές επιστροφής χρημάτων)
• Σελίδες που φορτώνουν αργά στο κινητό
• Διαδρομές με ένα απροσδόκητο επιπλέον βήμα (π.χ., «εγγραφή» και μετά «επιβεβαίωση email» χωρίς προειδοποίηση)

Παράδειγμα: Το checkout ενός πελάτη ηλεκτρονικού εμπορίου έχει μια φόρμα με 6 πεδία και ένα προαιρετικό πλαίσιο ελέγχου «δημιουργία λογαριασμού». Ρυθμίζετε μια εγγραφή συνεδρίας και παρακολουθείτε πέντε χρήστες. Δύο προσπαθούν να διαγράψουν έναν προ-συμπληρωμένο κωδικό κουπονιού επειδή πιστεύουν ότι θα εφαρμόσει έκπτωση. Ένας εγκαταλείπει στο πεδίο τηλεφώνου. Η τριβή δεν είναι το μήκος της φόρμας· είναι το μπερδεμένο πεδίο κουπονιού. Η δοκιμή σας δεν κάνει το κουμπί μεγαλύτερο. Μετακινεί το πεδίο κουπονιού στο τελικό βήμα αναθεώρησης. Αυτή είναι μια δοκιμή που γεννήθηκε από την παρατήρηση, όχι από τη γνώμη.

Για να το κάνετε αυτό σε πολλούς πελάτες, δημιουργήστε ένα κοινό αρχείο καταγραφής τριβών. Κάθε φορά που ένας χρήστης κολλάει σε μια ιστοσελίδα πελάτη, σημειώστε το μοτίβο. Θα δείτε την ίδια τριβή να εμφανίζεται σε μια διαφορετική ιστοσελίδα πελάτη τρεις εβδομάδες αργότερα. Αυτή είναι η ιδιωτική ερευνητική βιβλιοθήκη της εταιρείας σας. Είναι επίσης ένα ισχυρό επιχείρημα για έναν νέο πελάτη: «Έχουμε δει αυτό ακριβώς το πρόβλημα στον τομέα της αγοράς σας.»

Μην σταματάτε στη συμπεριφορά εντός του ιστότοπου. Κοιτάξτε τις διαδρομές εξόδου, τους χάρτες θερμότητας και τα αναλυτικά πεδίων φόρμας. Ο στόχος είναι να βρείτε ένα ξεκάθαρο σημείο όπου οι χρήστες εγκαταλείπουν. Αυτό το σημείο είναι η μεταβλητή της δοκιμής σας. Αν δεν βρείτε μια σαφή πτώση, κάντε μια διαγνωστική δοκιμή: δοκιμάστε ένα ριζικά διαφορετικό CTA, μια πολύ μικρότερη φόρμα ή μια εντελώς διαφορετική πρόταση αξίας. Το αποτέλεσμα, ακόμα και αν είναι μηδενικό, σας λέει πού βρίσκεται η πραγματική αντίσταση του κοινού.

Διατηρείτε το αρχείο τριβών ενημερωμένο. Όταν εντοπίσετε ένα επαναλαμβανόμενο μοτίβο, σημειώστε το στο αρχείο με ένα στιγμιότυπο οθόνης και μια εξήγηση μιας γραμμής. Μετά από λίγους μήνες, θα έχετε έναν κατάλογο αντιρρήσεων χρηστών που ισχύει για κάθε πελάτη που εξυπηρετείτε. Αυτός ο κατάλογος είναι ένα σημείο πώλησης: «Ήδη δοκιμάσαμε αυτήν ακριβώς την αντίρρηση στον κλάδο σας. Να τι μάθαμε.»

3. Γράψτε μια υπόθεση που προβλέπει το γιατί, όχι το τι

Μια καλή δοκιμή απαντά σε μια ερώτηση: «Αν κάνουμε X, τότε θα συμβεί Y, επειδή Z.» Το «επειδή Z» είναι η υπόθεση, και είναι αυτό που κάνει το αποτέλεσμα μεταφέρσιμο. Χωρίς ένα «γιατί», μια δοκιμή που κερδίζει δεν σας λέει τίποτα για τον επόμενο πελάτη.

Διατυπώστε κάθε δοκιμή με αυτή τη δομή «Αν... τότε... επειδή...». Σας αναγκάζει να σκεφτείτε τον μηχανισμό. «Συντομεύστε τη φόρμα από 5 πεδία σε 3» γίνεται «Αν συντομεύσουμε τη φόρμα, τότε το ποσοστό ολοκλήρωσης θα αυξηθεί, επειδή οι χρήστες αντιλαμβάνονται λιγότερη προσπάθεια.» Τώρα ξέρετε γιατί. Μπορείτε να μεταφέρετε αυτόν τον κανόνα σε οποιονδήποτε πελάτη με μακριά φόρμα.

Τώρα η προειδοποίηση. Η κοινή βέλτιστη πρακτική λέει να δοκιμάζετε μία μεταβλητή κάθε φορά. Αυτός ο κανόνας υπάρχει για καλό λόγο: οι απομονωμένες μεταβλητές δίνουν καθαρές αιτιώδεις εξηγήσεις. Αλλά οι εταιρείες σπάνια έχουν την επισκεψιμότητα ή τους μήνες για να τρέξουν είκοσι ξεχωριστές μονοπαραγοντικές δοκιμές. Για λογαριασμούς με χαμηλή επισκεψιμότητα, χρειάζεστε έναν συμβιβασμό. Έχετε τρεις επιλογές.

Προσέγγιση	Καλύτερα όταν	Αντιστάθμισμα
Μονοπαραγοντική δοκιμή	Σελίδα υψηλής επισκεψιμότητας, μία υπόθεση, διαθέσιμος χρόνος	Καθαρότερη αιτιώδης ιστορία, αργή
Πολυπαραγοντική δοκιμή	Μεσαία επισκεψιμότητα, πολλές ανεξάρτητες μεταβλητές	Ταχύτερη, αλλά συγκεχυμένες αλληλεπιδράσεις
Πείραμα με τεχνητή νοημοσύνη	Χαμηλή επισκεψιμότητα, σφιχτή προθεσμία, θέλετε η μηχανή να προσαρμόζεται	Νεότερα εργαλεία, λιγότερος έλεγχος στις παραλλαγές

Η τρίτη επιλογή αξίζει να ληφθεί σοβαρά υπόψη. Το εξηγητικό άρθρο για τα πειράματα ΤΝ της Optimizely περιγράφει συστήματα μηχανικής μάθησης που κατανέμουν την επισκεψιμότητα δυναμικά και δημιουργούν παραλλαγές για εσάς. Αντί να ορίσετε μια σταθερή κατανομή και να περιμένετε, το σύστημα μαθαίνει ποια παραλλαγή κερδίζει και μεταφέρει την επισκεψιμότητα σε αυτήν σε πραγματικό χρόνο. Αυτό μπορεί να συμπιέσει μια δοκιμή δύο εβδομάδων σε λίγες ημέρες — με κόστος κάποιας μεθοδολογικής καθαρότητας. Για μια εταιρεία με προθεσμία, είναι συχνά το σωστό κόστος να πληρώσει.

Δεν είστε σίγουροι ποια διαδρομή ταιριάζει στον πελάτη σας; Αξίζει να κατανοήσετε τους συμβιβασμούς μεταξύ κλασικών δοκιμών και δοκιμών με τεχνητή νοημοσύνη πριν δεσμευτείτε.

Να πώς να αποφασίσετε: αν ο πελάτης έχει άφθονη επισκεψιμότητα και ανοιχτό χρονοδιάγραμμα, χρησιμοποιήστε μια μονοπαραγοντική δοκιμή. Αν έχει μεσαία επισκεψιμότητα και πολλές υποψήφιες αλλαγές, κάντε μια πολυπαραγοντική δοκιμή με τους πιο υποσχόμενους συνδυασμούς. Αν έχει χαμηλή επισκεψιμότητα και σκληρή προθεσμία, επιλέξτε ένα πείραμα με τεχνητή νοημοσύνη που μπορεί να προσαρμοστεί εν κινήσει. Μην αφήσετε μια προτίμηση για την «πραγματική επιστήμη» να σας τυφλώσει στους επιχειρηματικούς περιορισμούς του πελάτη. Η σωστή δοκιμή είναι αυτή που παράγει μια απόφαση που μπορείτε να εφαρμόσετε πριν εξατμιστεί ο προϋπολογισμός. Μια τέλεια ισχυρή δοκιμή που τελειώνει μετά τη λήξη της καμπάνιας του πελάτη είναι άχρηστη.

Παράδειγμα: Ένας πελάτης τοπικών υπηρεσιών έχει μέτρια καθημερινή επισκεψιμότητα. Το να τρέξετε μόνοι σας μια μονοπαραγοντική δοκιμή θα χρειαζόταν μήνες για να ανιχνεύσει μια ουσιαστική διαφορά. Γράφετε μια υπόθεση και στη συνέχεια χρησιμοποιείτε ένα πείραμα τεχνητής νοημοσύνης που κατανέμει δυναμικά την επισκεψιμότητα. Μετά από λίγες ημέρες, το σύστημα δείχνει μια παραλλαγή να προηγείται και διοχετεύει περισσότερη επισκεψιμότητα σε αυτήν. Παίρνετε μια απάντηση εντός του παραθύρου της καμπάνιας του πελάτη. Αποδέχεστε ότι το αποτέλεσμα είναι λιγότερο στατιστικά άρτιο από ό,τι μια κλασική δοκιμή έξι εβδομάδων. Αυτός είναι ένας λογικός συμβιβασμός, όχι υποχώρηση.

Σημειώστε επίσης ότι ο κανόνας «μία μεταβλητή κάθε φορά» μπορεί να χαλαρώσει αν δοκιμάζετε μια ριζικά νέα ενότητα σελίδας αντί για ένα μεμονωμένο κουμπί. Μια δοκιμή ανασχεδιασμού ολόκληρης της σελίδας μπορεί να αλλάξει πολλά στοιχεία, αλλά η υπόθεση παραμένει συνεκτική: «Μια διάταξη χτισμένη γύρω από κείμενο που δίνει έμφαση στα οφέλη θα ξεπεράσει την τρέχουσα διάταξη με λίστα χαρακτηριστικών, επειδή οι χρήστες επιλέγουν βάσει αποτελεσμάτων.» Όσο η υπόθεση ονομάζει τον μηχανισμό, μπορείτε να δοκιμάσετε ένα σύνολο αλλαγών. Απλώς να είστε ειλικρινείς με τον πελάτη ότι δεν θα ξέρετε ποιο στοιχείο προκάλεσε την άνοδο.

4. Προσαρμόστε το μέγεθος της δοκιμής στο ημερολόγιο του πελάτη, όχι στο εγχειρίδιο στατιστικής σας

Η στατιστική σημαντικότητα δεν είναι ένας μαγικός αριθμός που ξεκλειδώνετε την ημέρα 21. Εξαρτάται από το βασικό ποσοστό μετατροπής, την ελάχιστη βελτίωση που πρέπει να δείτε και τον όγκο επισκεψιμότητας που μπορείτε να κατευθύνετε στη δοκιμή. Κάθε οδηγός δοκιμών σε αυτόν τον τομέα επαναλαμβάνει την ίδια προειδοποίηση: τρέξτε τη δοκιμή έως ότου έχετε αρκετό μέγεθος δείγματος και διάρκεια, αλλιώς το συμπέρασμά σας είναι θόρυβος.

Πριν προγραμματίσετε τη δοκιμή, κάντε τα μαθηματικά με απλή γλώσσα. Υπολογίστε το τρέχον ποσοστό μετατροπής του πελάτη και τη μικρότερη βελτίωση που σας ενδιαφέρει. Στη συνέχεια, υπολογίστε πόσους επισκέπτες θα χρειαστείτε για ένα λογικό επίπεδο εμπιστοσύνης. Αν αυτός ο αριθμός δεν επιτευχθεί πριν από την τριμηνιαία ανασκόπηση του πελάτη, έχετε τρεις επιλογές: διευρύνετε την κατανομή επισκεψιμότητας για να στείλετε περισσότερα άτομα στη δοκιμή, αποδεχτείτε ένα μεγαλύτερο ελάχιστο ανιχνεύσιμο αποτέλεσμα που μπορεί να υποστηρίξει η επισκεψιμότητά σας ή μετατρέψτε τη δοκιμή σε ένα πείραμα μάθησης χωρίς υποσχεμένο «νικητή».

Δεν χρειάζεστε διδακτορικό για αυτό. Χρησιμοποιήστε μια αριθμομηχανή μεγέθους δείγματος. Βάλτε το βασικό ποσοστό, το αποτέλεσμα που θέλετε να ανιχνεύσετε και την επιθυμητή εμπιστοσύνη. Το εργαλείο σας λέει πόσους επισκέπτες ανά παραλλαγή χρειάζεστε. Στη συνέχεια, διαιρέστε με την αναμενόμενη ημερήσια επισκεψιμότητα της δοκιμής του πελάτη για να βρείτε τον απαιτούμενο χρόνο εκτέλεσης. Αν αυτός ο χρόνος δεν ταιριάζει στην προθεσμία του πελάτη, προσαρμόστε μία από τις εισόδους πριν εκκινήσετε τη δοκιμή. Αυτή η συζήτηση είναι πολύ φθηνότερη από έναν χαμένο κύκλο τριών εβδομάδων.

Παράδειγμα: Η σελίδα εγγραφής για δωρεάν δοκιμή ενός πελάτη SaaS έχει μέτρια αλλά σταθερή ροή επισκεπτών. Θέλετε να ανιχνεύσετε μια ουσιαστική βελτίωση, και η εκτίμηση μεγέθους δείγματος λέει ότι η δοκιμή θα χρειαστεί πολύ περισσότερους επισκέπτες από ό,τι μπορεί να προσφέρει η επισκεψιμότητα του πελάτη στον διαθέσιμο χρόνο. Ο πελάτης χρειάζεται απάντηση σε έξι εβδομάδες για τη συνεδρίαση του διοικητικού συμβουλίου. Έτσι, διευρύνετε την κατανομή από 50/50 σε 90/10 — αλλά αυτό ακόμα δεν αρκεί. Αντί αυτού, μειώνετε το ελάχιστο ανιχνεύσιμο αποτέλεσμα για να πιάσετε μόνο μεγάλες νίκες. Τώρα η δοκιμή είναι εφικτή εντός του χρονοδιαγράμματος, και έχετε πει στον πελάτη ακριβώς τι μπορεί και τι δεν μπορεί να ανιχνεύσει η δοκιμή. Αυτή είναι η επαγγελματική κίνηση.

Χρειάζεστε επίσης έναν κανόνα διακοπής. Αποφασίστε εκ των προτέρων πόσο θα διαρκέσει η δοκιμή και ποιο όριο σημαντικότητας θα χρησιμοποιήσετε. Ποτέ μην αφήσετε μια ημερομηνία στο ημερολόγιο να είναι ο μόνος λόγος διακοπής. Μάθετε πότε να σταματήσετε ένα πείραμα νωρίς ή να το παρατείνετε — η κρίση σας, όχι μια αυθαίρετη Παρασκευή, πρέπει να λάβει αυτή την απόφαση.

5. Αποτρέψτε τον πελάτη από το να σταματήσει νωρίς τη δοκιμή

Να ένα σκηνικό που έχετε ζήσει: Είναι Τρίτη, και ο πελάτης στέλνει μήνυμα, «Η δοκιμή ανέβηκε σήμερα το πρωί. Ας βγάλουμε τον νικητή τώρα.» Έχετε μία παραλλαγή που προηγείται, αλλά δεν έχετε φτάσει ακόμα στο απαιτούμενο μέγεθος δείγματος. Ο πελάτης σας βλέπει μια νίκη. Εσείς βλέπετε θόρυβο. Αυτός είναι ο πιο συνηθισμένος λόγος αποτυχίας των δοκιμών σε εταιρείες — όχι τα λάθη στα μαθηματικά, αλλά η κακή διαχείριση των ενδιαφερομένων.

Θέστε τους βασικούς κανόνες πριν ξεκινήσει η δοκιμή. Στείλτε ένα test brief μιας σελίδας που αναφέρει: την κύρια μετρική, το προγραμματισμένο μέγεθος δείγματος, την παλαιότερη ημερομηνία που θα εξετάσετε τα αποτελέσματα και το τι σας επιτρέπεται να αλλάξετε κατά τη διάρκεια της δοκιμής. Ζητήστε από τον πελάτη να το εγκρίνει. Όταν κοιτάζει νωρίς, γίνεται μια παραβίαση προσδοκιών στην οποία μπορείτε να αναφερθείτε, όχι μια προσωπική απόρριψη. Δεν πρόκειται για αντίπαλη στάση· πρόκειται για την προστασία της ακεραιότητας του πειράματος.

Επίσης, προστατέψτε το περιβάλλον της δοκιμής. Πείτε στον πελάτη ότι δεν πρέπει να δημοσιευτούν άλλες αλλαγές στον ιστότοπο όσο τρέχει η δοκιμή. Ένα banner που ανακοινώνει διακοπή λειτουργίας στη σελίδα δοκιμής, μια αλλαγή σχεδίου της τελευταίας στιγμής από άλλο πάροχο, ή ακόμα και μια απότομη αύξηση στα μέσα κοινωνικής δικτύωσης μπορεί να μολύνουν τα δεδομένα σας. Από τη στιγμή που κάτι αλλάξει εκτός της δοκιμής, το αποτέλεσμα είναι ύποπτο.

Παράδειγμα: Ο προγραμματιστής ενός πελάτη δημοσιεύει ένα νέο favicon στη μέση της δοκιμής. Δεν θα έπρεπε να έχει σημασία, αλλά και δεν θα έπρεπε να συμβεί. Το καταγράφετε, σημειώνετε τη χρονική σήμανση και ελέγχετε αν τα αποτελέσματα αλλάζουν μετά από αυτό το σημείο. Αν αλλάξουν, επανεκκινείτε τη δοκιμή. Οι πελάτες συχνά δεν καταλαβαίνουν πόσο εύθραυστο είναι αυτό. Η δουλειά σας είναι να το κάνετε σαφές στο test brief, ώστε να το λάβουν σοβαρά.

Μια άλλη συνηθισμένη κίνηση πελάτη είναι «πρέπει να ξεκινήσουμε την καμπάνια την Παρασκευή, μπορείτε να τελειώσετε τη δοκιμή νωρίς;» Αντισταθείτε εκτός αν η καμπάνια επηρεάζει την ίδια τη δοκιμή. Αν τελειώσετε νωρίς, διακινδυνεύετε να πάρετε τη λάθος απόφαση. Αντί αυτού, δείτε αν η καμπάνια μπορεί να καθυστερήσει ελαφρώς ή η δοκιμή να μεταφερθεί σε μια σελίδα που δεν επηρεάζεται από την καμπάνια. Το test brief σας είναι το διαπραγματευτικό σας εργαλείο. Χρησιμοποιήστε το για να αρνηθείτε ευγενικά αλλά σταθερά.

Μία ακόμα συνήθεια: μην ελέγχετε ποτέ τα αποτελέσματα κατά τη διάρκεια της δοκιμής εκτός αν ψάχνετε για τεχνική βλάβη. Ο ανθρώπινος εγκέφαλος είναι τρομερός στις πιθανότητες. Μια σειρά από καλές ημέρες μοιάζει με απόδειξη, αλλά συχνά είναι απλώς θόρυβος. Αν μπείτε στον πειρασμό να κοιτάξετε, ανοίξτε την αριθμομηχανή μεγέθους δείγματος. Υπενθυμίστε στον εαυτό σας πόσα δεδομένα λείπουν ακόμα.

6. Διαβάστε το αποτέλεσμα ως ιστορία, όχι ως ετυμηγορία

Η δοκιμή τελειώνει. Η παραλλαγή κερδίζει ξανά. Αλλά «ποιο κουμπί κέρδισε» είναι το λιγότερο χρήσιμο που μάθατε. Οι χρήσιμες ερωτήσεις είναι: Γιατί κέρδισε; Ισχύει αυτή η εξήγηση για άλλες σελίδες; Τι ανακαλύψαμε για αυτό το κοινό που δεν ξέραμε πριν;

Αυτό είναι το σημείο όπου οι περισσότερες εταιρείες σταματούν. Δημοσιεύουν την κερδισμένη παραλλαγή, στέλνουν στον πελάτη ένα PDF και προχωρούν. Αυτή είναι μια χαμένη ευκαιρία. Ένα μηδενικό αποτέλεσμα — όπου η παραλλαγή δεν νίκησε τον έλεγχο — εξακολουθεί να είναι αποτέλεσμα. Σας λέει ότι το κοινό δεν ενδιαφέρεται για αυτή τη μεταβλητή ή ότι το αρχικό ήταν ήδη αρκετά καλό. Καταγράψτε αυτό το μάθημα και εφαρμόστε το στην επόμενη δοκιμή. Οι οδηγοί βέλτιστων πρακτικών τονίζουν συνεχώς τη σημασία της καταγραφής των μαθημάτων μετά από κάθε πείραμα· αυτό είναι που μετατρέπει τις δοκιμές από μια σειρά μεμονωμένων ενεργειών σε ένα όλο και πιο πολύτιμο κεφάλαιο.

Παράδειγμα: Δοκιμάζετε μια μαρτυρία με φωτογραφία έναντι μιας απλής αναφοράς. Η απλή αναφορά κερδίζει. Ψάχνετε το γιατί. Η εικόνα φαίνεται στημένη· το κοινό του πελάτη είναι δύσπιστο. Το μάθημα δεν είναι «οι μαρτυρίες δεν λειτουργούν». Είναι «αυτό το κοινό θέλει αυθεντική, ανώνυμη απόδειξη, όχι φροντισμένες λήψεις». Τον επόμενο μήνα, ένας διαφορετικός πελάτης ρωτά για την κοινωνική απόδειξη. Ήδη ξέρετε τι να μην του δείξετε. Αυτή είναι η απόδοση επένδυσης (ROI) του να διαβάζετε τα αποτελέσματα σαν ιστορία.

Η ερμηνεία ενός αποτελέσματος δεν είναι απλώς ο έλεγχος μιας τιμής p. Είναι να κοιτάξετε την κατεύθυνση, το μέγεθος και τις διαφορές μεταξύ των τμημάτων. Αν δεν είστε σίγουροι αν μπορείτε να εμπιστευτείτε αυτό που βλέπετε, ανατρέξτε στα βασικά. Ένας οδηγός για το πώς να ερμηνεύετε σωστά τα αποτελέσματα δοκιμών A/B χωρίς να παρασύρεστε από θόρυβο θα σας κρατήσει ειλικρινείς.

Εξετάστε επίσης το τεστ «και λοιπόν;». Μεταφράστε τη μετρική στη γλώσσα του πελάτη. Μια μεγάλη σχετική βελτίωση σε μια μικρή βάση μπορεί να μεταφραστεί σε σχεδόν καθόλου έσοδα, ενώ μια μικρή βελτίωση σε μια σελίδα υψηλής επισκεψιμότητας μπορεί να σημαίνει τεράστια κέρδη. Μην αφήσετε τη σχετική αλλαγή να σας τυφλώσει ως προς την απόλυτη αξία. Ο πελάτης ενδιαφέρεται για τον αριθμό στο τέλος, όχι για το διάστημα εμπιστοσύνης.

Όταν παρουσιάζετε ένα μηδενικό αποτέλεσμα, μην απολογείστε. Παρουσιάστε το ως ένα δεδομένο. «Μάθαμε ότι το μήκος της επικεφαλίδας δεν μεταβάλλει τη μετατροπή για αυτό το κοινό. Αυτό μας γλιτώνει από το να ξανατρέξουμε αυτή τη δοκιμή.» Ένα μηδενικό αποτέλεσμα είναι μια καθαρή απάντηση σε μια ερώτηση. Δεν είναι αποτυχία.

7. Μετατρέψτε κάθε αποτέλεσμα σε επαναλήψιμο κανόνα

Τώρα το τελευταίο βήμα, και αυτό που ξεχωρίζει μια εταιρεία που κάνει δοκιμές από μια εταιρεία που στοιχηματίζει σε αυτές. Μετά από κάθε δοκιμή, γράψτε μια καταχώριση μιας σελίδας στο playbook. Μορφοποιήστε την με συνέπεια: τύπος πελάτη, υπόθεση, αποτέλεσμα, σύσταση. Αποθηκεύστε την κάπου που μπορούν όλοι να την αναζητήσουν. Στη συνέχεια, πριν τρέξετε οποιαδήποτε νέα δοκιμή, αναζητήστε στο playbook για μια παρόμοια κατάσταση. Συχνά θα ανακαλύψετε ότι έχετε ήδη μάθει αυτό που πρόκειται να μάθετε ξανά.

Έτσι η δοκιμή γίνεται ανταγωνιστικό πλεονέκτημα για μια εταιρεία. Το εύρημα του Πελάτη Α ότι «το πεδίο κουπονιού είναι μπερδεμένο» σας γλιτώνει από το να σχεδιάσετε την ίδια ελαττωματική δοκιμή για το checkout του Πελάτη Β. Το ότι «οι μαρτυρίες δεν αλλάζουν τα δεδομένα» για τον Πελάτη Γ σας ελευθερώνει να δοκιμάσετε κάτι άλλο. Το playbook είναι το πραγματικό προϊόν που πουλάτε, όχι οι αναφορές.

Λίστα ελέγχου για μια καταχώριση στο playbook:

• Κλάδος πελάτη και τύπος ιστοτόπου
• Η σελίδα δοκιμής και η μεταβλητή που δοκιμάστηκε
• Η υπόθεση σε μορφή «Αν... τότε... επειδή...»
• Αποτέλεσμα κύριας μετρικής: νίκη, ήττα ή μηδενικό
• Η εξήγηση «γιατί» στην οποία καταλήξατε
• Μία ενέργεια που θα επαναλάβατε σε έναν νέο πελάτη
• Μία ενέργεια που δεν θα ξαναδοκιμάζατε ποτέ

Παράδειγμα: Ένας πελάτης εφαρμογής γυμναστικής δοκιμάζει μια φόρμα δωρεάν δοκιμής με ένα μόνο πεδίο email έναντι μιας φόρμας με όνομα και email. Η έκδοση με ένα πεδίο οδηγεί σε μια μικρή αλλά σταθερή νίκη. Γράφετε την καταχώριση στο playbook: «Για κοινά που ενεργούν παρορμητικά (γυμναστική, φαγητό), ελαχιστοποιήστε τα υποχρεωτικά πεδία νωρίς· συλλέξτε προσωπικές λεπτομέρειες αργότερα.» Έξι εβδομάδες αργότερα, ένας πελάτης με κουτιά γευμάτων ρωτά για τη μακροσκελή φόρμα εγγραφής του. Ανασύρετε την καταχώριση, προτείνετε την ίδια μείωση και τρέχετε τη δοκιμή με σιγουριά επειδή ήδη γνωρίζετε το πιθανό αποτέλεσμα. Αυτό είναι το αποτέλεσμα της σύνθεσης.

Τέλος, κάντε μια μηνιαία «ανασκόπηση μαθημάτων» με την ομάδα σας. Εξετάστε τι έχετε μάθει σε όλους τους πελάτες. Συνδυάστε καταχωρίσεις που δείχνουν στην ίδια υποκείμενη αρχή. Μετατρέψτε αυτές τις αρχές σε κατευθυντήριες γραμμές για μελλοντικές δοκιμές. Για παράδειγμα, αν δύο διαφορετικοί πελάτες είδαν υψηλότερη μετατροπή με μια φόρμα ενός πεδίου, η αρχή «ζητήστε ελάχιστες πληροφορίες μέχρι τη δέσμευση» είναι πιθανώς αληθής σε όλα τα τμήματά τους. Αυτή η αρχή πλέον ενημερώνει τη σύσταση για τη σελίδα προορισμού κάθε νέου πελάτη, ακόμη και πριν τρέξετε μια δοκιμή.

Το πλαίσιο λειτουργεί. Αλλά λειτουργεί μόνο αν πραγματικά χτίσετε το σύστημα. Ξεκινήστε με έναν πελάτη. Εφαρμόστε και τα επτά βήματα. Στη συνέχεια, εφαρμόστε τα στον επόμενο πελάτη και αφήστε το playbook να κάνει όλο και περισσότερη δουλειά. Θα σταματήσετε να ρωτάτε «τι πρέπει να δοκιμάσουμε;» και θα αρχίσετε να ρωτάτε «ποιος γνωστός κανόνας ισχύει εδώ;» Αυτή είναι η διαφορά μεταξύ μιας εταιρείας που τρέχει δοκιμές και μιας εταιρείας που παραδίδει καλύτερα αποτελέσματα.