5 dažniausios A/B testavimo klaidos ir kaip jas ištaisyti

Santrauka

A/B testavimas yra galingas metodas optimizuoti konversijas, tačiau daugelis komandų sabotuoja savo eksperimentus darydamos dažnas klaidas. Šiame straipsnyje aptariamos penkios kritinės klaidos: testų stabdymas per anksti, kelių pakeitimų testavimas vienu metu, statistinio reikšmingumo ignoravimas, rezultatų nesegmentavimas ir testų vykdymas mažo srauto puslapiuose. Kiekviena klaida paaiškinama realiais pavyzdžiais ir praktiniais patarimais, kaip jos išvengti. Sužinosite, kaip apskaičiuoti reikiamą imties dydį, išskirti kintamuosius, teisingai interpretuoti p reikšmes, atpažinti Simpsono paradoksą ir įvertinti, ar puslapis turi pakankamai srauto prasmingam testui. Galų gale turėsite kontrolinį sąrašą, užtikrinantį, kad jūsų kitas A/B testas duos patikimų ir naudingų įžvalgų.

Įvadas

Paleidote A/B testą, palaukėte keletą dienų ir pamatėte daug žadantį padidėjimą. Nekantraudami pasinaudoti, paskelbiate variantą nugalėtoju ir išleidžiate jį į tiesioginį darbą. Po savaitės konversijos krenta. Kas atsitiko? Patekote į klasikinius A/B testavimo spąstus.

A/B testavimas yra konversijų optimizavimo pagrindas, tačiau jį stebėtinai lengva atlikti neteisingai. Šiame straipsnyje išanalizuosime penkias dažniausias klaidas, sukeliančias klaidinančius rezultatus ir eikvojančias išteklius. Kiekviena iš jų turi konkretų sprendimą, kurį galite pritaikyti jau šiandien.

---

1 klaida: Testo stabdymas per anksti

Problema: Vilioja pažvilgti į rezultatus ir paskelbti nugalėtoją, kai tik atsiranda statistinis reikšmingumas. Tačiau ankstyvas žvilgtelėjimas padidina klaidingai teigiamų rezultatų dažnį. Jei tikrinsite savo testą kiekvieną dieną ir sustabdysite tą akimirką, kai p < 0,05, jūsų tikrasis reikšmingumo lygis gali būti arčiau 0,20 arba didesnis.

Pavyzdys: Tarkime, testuojate dvi mygtukų spalvas. Po 200 lankytojų žalias mygtukas rodo 15% padidėjimą su p=0,04. Sustabdote ir įdiegiate žalią. Jei būtumėte leidę testui vykti iki 1000 lankytojų, padidėjimas galėjo išnykti arba tapti neigiamu.

Sprendimas: Prieš pradėdami nustatykite reikiamą imties dydį. Naudokite internetinį imties dydžio skaičiuotuvą – įveskite pradinę konversijų normą, mažiausią aptinkamą efektą ir norimą reikšmingumo lygį (paprastai 0,05) bei galią (0,80). Nežiūrėkite rezultatų, kol nepasiekėte to imties dydžio. Jei turite stebėti, naudokite nuoseklų testavimo metodą arba Bonferroni korekciją.

Įspėjimas: Net ir turint iš anksto nustatytą imties dydį, išoriniai veiksniai (šventės, rinkodaros kampanijos) gali iškreipti rezultatus. Atlikite testus mažiausiai vieną pilną verslo ciklą (pvz., vieną savaitę), kad atsižvelgtumėte į savaitės dienų efektus.

---

2 klaida: Per daug pakeitimų testavimas vienu metu

Problema: Paleidus testą su nauja antrašte, paveikslėliu, raginimu veikti ir išdėstymu vienu metu, negalite pasakyti, kuris pakeitimas lėmė rezultatą. Tai vadinama sudėtiniu testu.

Pavyzdys: Perkurate nukreipimo puslapį su nauju herojaus paveikslėliu, trumpesniu tekstu ir žaliu mygtuku. Konversijos padidėja 20%. Ar tai paveikslėlis? Tekstas? Mygtukas? Neturite jokios idėjos – ir negalite toliau optimizuoti be papildomų testų.

Sprendimas: Testuokite po vieną elementą. Jei norite testuoti kelis pakeitimus, atlikite nuoseklius arba daugiafaktorius testus, tačiau daugeliui komandų praktiškiau yra A/B testuoti vieną kintamąjį viename eksperimente. Pirmenybę teikite pakeitimams, turintiems didžiausią potencialų poveikį. Norėdami sužinoti, kaip pasirinkti, ką testuoti, žr. šį vadovą, kaip prioritizuoti testus.

Įspėjimas: Kai kurie pakeitimai sąveikauja (pvz., antraštė ir paveikslėlis). Apsvarstykite faktorinį planą, jei turite pakankamai srauto, tačiau dėl patikimų rezultatų laikykitės paprastumo.

---

3 klaida: Statistinio reikšmingumo ignoravimas

Problema: Daugelis rinkodaros specialistų paskelbia nugalėtoją pagal žaliavines konversijų normas nepatikrinę, ar skirtumas yra statistiškai reikšmingas. Esant mažiems imties dydžiams, atsitiktiniai svyravimai gali atrodyti kaip dideli skirtumai.

Pavyzdys: Variantas A gauna 5 konversijas iš 100 (5 %), variantas B – 8 iš 100 (8 %). 3 % skirtumas atrodo reikšmingas, tačiau chi kvadrato testas rodo p reikšmę 0,27 – nereikšminga.

Sprendimas: Visada apskaičiuokite p reikšmę arba pasikliautinąjį intervalą prieš darydami išvadas. Naudokite tokią priemonę kaip Optimizely arba Google Optimize, arba atlikite greitą skaičiavimą naudodami statistinio reikšmingumo skaičiuotuvą. Įprasta riba yra p < 0,05 (95 % patikimumas). Taip pat atsižvelkite į pasikliautinuosius intervalus – jie rodo tikėtino padidėjimo diapazoną.

Įspėjimas: Statistinis reikšmingumas negarantuoja praktinio reikšmingumo. 0,5 % padidėjimas gali būti statistiškai reikšmingas, bet nevertas diegimo, jei pakeitimas yra brangus. Sutelkite dėmesį į efekto dydį ir verslo poveikį.

---

4 klaida: Rezultatų nesegmentavimas

Problema: Bendri rezultatai gali paslėpti, kas vyksta skirtinguose segmentuose. Garsusis Simpsono paradoksas gali parodyti laimintį variantą, kuris iš tikrųjų pralaimi kiekviename segmente.

Pavyzdys: Testuojate naują atsiskaitymo eigą. Apskritai, variantas B turi aukštesnę konversijų normą. Tačiau padalinus pagal mobilųjį ir stacionarųjį kompiuterį, variantas A laimi abiejuose. Paradoksas atsiranda todėl, kad srauto sudėtis skiriasi tarp variantų (pvz., daugiau mobiliųjų naudotojų B variante, kurie apskritai konvertuoja dažniau).

Sprendimas: Segmentuokite rezultatus pagal pagrindines dimensijas: įrenginio tipą, srauto šaltinį, naudotojų geografiją, naujus ir grįžtančius lankytojus. Naudokite įrankį, kuris automatiškai išskirsto rezultatus, arba atlikite atskiras analizes. Jei segmentas turi mažą imtį, atkreipkite dėmesį į ribotą statistinę galią.

Įspėjimas: Būkite atsargūs dėl per didelio segmentavimo – daug segmentų padidina klaidingai teigiamų rezultatų tikimybę. Iš anksto apibrėžkite segmentus, kuriuos analizuosite, ir prireikus taikykite daugkartinio testavimo korekcijas.

---

5 klaida: Testavimas mažo srauto puslapiuose

Problema: Atliekant A/B testą puslapyje, kurį kasdien aplanko 100 lankytojų, prireiks mėnesių, kol pasieksite reikšmingumą, ypač esant mažiems efekto dydžiams. Daugelis testų yra apleidžiami arba duoda klaidingai neigiamus rezultatus.

Pavyzdys: Jūsų privatumo politikos puslapį per dieną aplanko 50 lankytojų. Testuojate dvi raginimo veikti vietas, bet po keturių savaičių turite tik 1 400 lankytojų – ir jokio reikšmingo skirtumo. Testas buvo pasmerktas nuo pat pradžių, nes reikalingas imties dydis buvo 10 000.

Sprendimas: Prieš testavimą įvertinkite mažiausią aptinkamą efektą, kuris jums rūpi. Naudokite galios analizę, kad nustatytumėte, ar jūsų puslapis gali pasiekti tą imties dydį per protingą laiką (pvz., 2 savaites). Jei ne, apsvarstykite alternatyvius metodus: atlikite testą didesnio srauto puslapyje, naudokite bandito algoritmus arba praleiskite A/B testavimą tam puslapiui ir remkitės kokybiniais naudotojų tyrimais.

Įspėjimas: Net didelio srauto puslapiai gali būti paveikti sezoniškumo. Venkite testuoti neįprastais laikotarpiais (Juodasis penktadienis, svetainės pertvarkymas), nebent tai yra jūsų hipotezės dalis.

---

Išvados

A/B testavimas nėra apie eksperimentų paleidimą ir tikėjimąsi nugalėtojo. Tai disciplinuotas procesas, reikalaujantis planavimo, kantrybės ir kruopščios analizės. Išvengdami šių penkių klaidų, gausite patikimus rezultatus, kurie iš tiesų pagerins konversijas.

Jūsų veiksmų kontrolinis sąrašas:

• Prieš pradėdami apskaičiuokite imties dydį.
• Testuokite po vieną kintamąjį vienu metu.
• Patikrinkite statistinį reikšmingumą tinkamomis priemonėmis.
• Segmentuokite rezultatus, kad atskleistumėte paslėptus modelius.
• Užtikrinkite pakankamą srautą testui.

Įgyvendinkite šias praktikas, ir jūsų A/B testai nustos būti spėliojimais ir taps patikimu augimo varikliu.