Kuidas õigesti tõlgendada A/B-testi tulemusi ilma mürasse kukkumata

Kokkuvõte

A/B-testimine võib tuua märkimisväärset konversioonikasvu, kuid ainult siis, kui tõlgendate tulemusi õigesti. Paljud turundajad langevad lõksu, kuulutades võitja liiga vara, mis viib statistilisest mürast põhjustatud otsusteni. See artikkel pakub samm-sammult raamistikku, et teha kindlaks, millal teie A/B-testi tulemused on tõeliselt olulised. Õpite arvutama vajalikku valimi suurust, mõistma p-väärtusi ja usaldusintervalle ning vältima levinud lõkse nagu piilumine ja mitmekordsed võrdlused. Neid juhiseid järgides saate teha andmepõhiseid otsuseid enesekindlalt. Olenemata sellest, kas olete algaja või kogenud, aitab see praktiline juhend teil läbi viia usaldusväärsemaid teste.

Teete A/B-testi, näete 15% tõusu pärast 100 külastajat ja kuulutate võidu. Nädal hiljem kaob tõus. Kõlab tuttavalt? See on klassikaline juhtum, kus statistiline müra tõlgendatakse reaalse tulemusena. Ilma nõuetekohase statistilise ranguseta võivad A/B-testid teid eksiteele viia, kulutades aega ja raha. Selles juhendis õpite, kuidas A/B-testi tulemusi õigesti tõlgendada, et saaksite enesekindlalt tuvastada võidukaid variante.

Miks on statistiline olulisus oluline

Statistiline olulisus näitab, kas erinevus teie variantide vahel on tõenäoliselt tingitud tehtud muudatusest, mitte juhuslikust. Ilma selleta riskite valepositiivsete tulemuste põhjal tegutsemisega – kuulutate võitja, kui erinevus on vaid müra. Kuldstandardiks on p-väärtus alla 0,05, mis tähendab, et vähem kui 5% tõenäosusega ilmnes vaadeldud erinevus juhuslikult. Kuid selle saavutamiseks ei piisa ainult madala p-väärtuse ootamisest; peate testi algusest peale korralikult kavandama.

1. samm: määrake valimi suurus enne alustamist

Üks suurimaid vigu on testi käivitamine, teadmata, kui palju külastajaid vajate. Valimi suurus sõltub teie lähtekonversioonimäärast, minimaalsest tuvastatavast efektist ning soovitud statistilisest olulisusest ja võimsusest (tavaliselt 80%). Kasutage veebikalkulaatorit: sisestage oma lähtetase, näiteks 5%, ja minimaalne tuvastatav efekt 20% (st 5%-lt 6%-le). 95% olulisuse ja 80% võimsuse korral vajate umbes 42 000 külastajat variandi kohta. See number võib teid üllatada – kuid testi läbiviimine ainult 1000 külastajaga on peaaegu kasutu. Arvutage see eelnevalt välja ja pühenduge selle arvu saavutamisele enne piilumist.

2. samm: viige test läbi piisavalt kaua

Isegi pärast vajaliku valimi suuruse saavutamist peate testi läbi viima täis äritsükli (tavaliselt üks kuni kaks nädalat), et arvestada nädalapäevade mõjuga. Vältige kiusatust tulemusi iga päev kontrollida; see "piilumine" suurendab teie valepositiivsete tulemuste määra. Seadke selle asemel kalendermeeldetuletus, et analüüsida alles pärast kavandatud lõppkuupäeva.

3. samm: analüüsige p-väärtusi ja usaldusintervalle

Kui test lõppeb, vaadake p-väärtust. Kui see on alla 0,05, on tulemus statistiliselt oluline. Kuid ärge peatuge seal – uurige usaldusintervalle. Näiteks variant A konverteerib 8% (CI: 6%–10%), variant B 10% (CI: 8%–12%). Intervallid kattuvad, mis tähendab, et erinevus ei ole oluline, isegi kui p-väärtus on piiripealne. Alles siis, kui intervallid ei kattu, võite olla kindel, et üks variant on teisest parem.

4. samm: olge levinud lõksude suhtes tähelepanelik

Isegi õigete meetodite korral on lõkse palju. Piilumine on kõige levinum; parandage see, kasutades tööriista, mis peidab vahetulemusi, või pühendudes kindlale kestusele. Mitmekordsed võrdlused – mitme variatsiooni korraga testimine – suurendavad valepositiivse tulemuse võimalust. Rakendage Bonferroni korrektsiooni: jagage oma olulisuse lävi võrdluste arvuga. Teine lõks on varajane peatamine, kuna tulemused tunduvad paljulubavad. Nende vigade sügavamaks mõistmiseks vaadake meie artiklit levinud A/B-testi vead ja kuidas neid parandada.

Näide: realistlik stsenaarium

Oletame, et testite maandumislehe pealkirja. Lähtekonversioon on 4%, soovite tuvastada 25% suurenemist (5%ni), seega vajate 26 000 külastajat variandi kohta. Kahe nädala pärast on teil 30 000 külastajat variandi kohta; uus pealkiri konverteerib 5,2% p-väärtusega 0,03 ja usaldusvahemikega [4,8%, 5,6%] vs. kontroll [3,8%, 4,2%]. Intervallid ei kattu – teil on võitja. Kuid kontrollige alati praktilist olulisust: kas 1,2 protsendipunktine tõus on pingutust väärt? Kui jah, siis rakendage muudatus.

Hoiatused: statistilisest olulisusest kaugemale

Statistiline olulisus ei võrdu praktilise tähtsusega. Väike tõus, mis on statistiliselt oluline, ei pruugi õigustada arenduskulusid. Kaaluge ka Bayesi lähenemisviise, mis annavad teile tõenäosuse, et üks variant on parem. Need võivad olla intuitiivsemad, kuid nõuavad sarnast distsipliini. Lõpuks pidage meeles, et välised tegurid nagu hooajalisus või turunduskampaaniad võivad tulemusi kallutada; võimalusel viige alati läbi eraldatud kontrollgrupp.

Kokkuvõte

A/B-testi tulemuste õige tõlgendamine on oskus, mis eraldab oletamise andmepõhisest kasvust. Valimi suuruse eelarvutamise, testide lõpuni viimise ning p-väärtuste ja usaldusvahemike mõistmise abil saate vältida müra, mis eksitab paljusid. Alustage ühe hästi kavandatud testiga, õppige sellest ja laiendage oksperimenteerimisprogrammi. Abi saamiseks, milliseid teste teha, vaadake meie juhendit kuidas lõpetada aja raiskamine A/B-testidele, mis ei loe. Järjepidev ja range testimine toob aja jooksul kaasa märkimisväärseid täiustusi.