Ako správne interpretovať výsledky A/B testov bez toho, aby ste podľahli šumu

Zhrnutie

A/B testovanie môže priniesť výrazné zvýšenie konverzií, ale iba ak výsledky interpretujete správne. Mnoho marketérov padne do pasce vyhlásenia víťaza príliš skoro, čo vedie k rozhodnutiam založeným na štatistickom šume. Tento článok poskytuje postupný rámec na určenie, kedy sú vaše výsledky A/B testov skutočne významné. Naučíte sa, ako vypočítať požadovanú veľkosť vzorky, porozumieť p-hodnotám a intervalom spoľahlivosti a vyhnúť sa bežným nástrahám, ako je odhadovanie (peeking) a viacnásobné porovnávanie. Dodržiavaním týchto pokynov môžete robiť rozhodnutia založené na dátach s istotou. Či už ste začiatočník alebo skúsený, tento praktický sprievodca vám pomôže spúšťať spoľahlivejšie testy.

Spustíte A/B test, po 100 návštevníkoch vidíte 15% nárast a vyhlásite víťazstvo. O týždeň neskôr nárast zmizne. Znie to povedome? Toto je klasický príklad nesprávnej interpretácie štatistického šumu ako skutočného výsledku. Bez správnej štatistickej presnosti vás A/B testy môžu zviesť na scestie, čo stojí čas a peniaze. V tomto sprievodcovi sa naučíte, ako správne interpretovať výsledky A/B testov, aby ste mohli s istotou identifikovať víťazné varianty.

Prečo je štatistická významnosť dôležitá

Štatistická významnosť vám hovorí, či je rozdiel medzi vašimi variantmi pravdepodobne spôsobený zmenou, ktorú ste urobili, a nie náhodou. Bez nej riskujete, že budete konať na základe falošne pozitívnych výsledkov – vyhlásite víťaza, keď je rozdiel len šum. Zlatým štandardom významnosti je p-hodnota nižšia ako 0,05, čo znamená, že je menej ako 5% pravdepodobnosť, že pozorovaný rozdiel nastal náhodou. Dosiahnutie tohto však vyžaduje viac než len čakanie na nízku p-hodnotu; musíte test správne navrhnúť od začiatku.

Krok 1: Určte veľkosť vzorky pred začiatkom

Jednou z najväčších chýb je spustenie testu bez toho, aby ste vedeli, koľko návštevníkov potrebujete. Veľkosť vzorky závisí od vašej základnej miery konverzie, minimálneho efektu, ktorý chcete zistiť, a požadovanej štatistickej významnosti a sily (zvyčajne 80%). Použite online kalkulačku: zadajte svoju základnú hodnotu, napríklad 5%, a minimálny detekovateľný efekt 20% (teda z 5% na 6%). Pri 95% významnosti a 80% sile budete potrebovať približne 42 000 návštevníkov na variant. Toto číslo vás možno prekvapí – ale spustenie testu len s 1 000 návštevníkmi je takmer zbytočné. Vypočítajte si to vopred a zaväzujte sa dosiahnuť toto číslo pred nazeraním do výsledkov.

Krok 2: Spustite test dostatočne dlho

Aj po dosiahnutí požadovanej veľkosti vzorky musíte test spustiť na celý obchodný cyklus (zvyčajne jeden až dva týždne), aby ste zohľadnili účinky dní v týždni. Vyhnite sa pokušeniu kontrolovať výsledky denne; toto „odhadovanie“ (peeking) zvyšuje mieru falošne pozitívnych výsledkov. Namiesto toho si nastavte pripomienku v kalendári, aby ste analyzovali až po plánovanom dátume ukončenia.

Krok 3: Analyzujte p-hodnoty a intervaly spoľahlivosti

Keď test skončí, pozrite sa na p-hodnotu. Ak je nižšia ako 0,05, výsledok je štatisticky významný. Ale nezastavujte sa pri tom – preskúmajte intervaly spoľahlivosti. Napríklad variant A konvertuje na 8% (CI: 6%–10%), variant B na 10% (CI: 8%–12%). Intervaly sa prekrývajú, čo znamená, že rozdiel nie je významný, aj keď je p-hodnota na hranici. Iba keď sa intervaly neprekrývajú, môžete byť presvedčení, že jeden variant je lepší ako druhý.

Krok 4: Dávajte pozor na bežné nástrahy

Aj pri správnych metódach existujú nástrahy. Odhadovanie (peeking) je najbežnejšie; opravte ho použitím nástroja, ktorý skryje priebežné výsledky, alebo záväzkom k pevnej dĺžke testu. Viacnásobné porovnávanie – testovanie mnohých variantov naraz – zvyšuje šancu na falošne pozitívny výsledok. Použite Bonferroniho korekciu: vydeľte svoju hranicu významnosti počtom porovnaní. Ďalšou pascou je predčasné zastavenie, pretože výsledky vyzerajú sľubne. Pre hlbší ponor do týchto chýb si pozrite náš článok o bežných chybách v A/B testovaní a ako ich opraviť.

Príklad: Realistický scenár

Predpokladajme, že spustíte test na titulku vstupnej stránky. Základná konverzia je 4%, chcete zistiť 25% nárast (na 5%), takže potrebujete 26 000 návštevníkov na variant. Po dvoch týždňoch máte 30 000 na variant; nový titulok konvertuje na 5,2% s p-hodnotou 0,03 a intervalmi spoľahlivosti [4,8%, 5,6%] oproti kontrole [3,8%, 4,2%]. Intervaly sa neprekrývajú – máte víťaza. Vždy však skontrolujte praktickú významnosť: stojí nárast o 1,2 percentuálneho bodu za to? Ak áno, implementujte zmenu.

Upozornenia: Nad rámec štatistickej významnosti

Štatistická významnosť sa nerovná praktickej dôležitosti. Malý nárast, ktorý je štatisticky významný, nemusí ospravedlniť náklady na vývoj. Zvážte aj Bayesovské prístupy, ktoré vám dávajú pravdepodobnosť, že jeden variant je lepší. Môžu byť intuitívnejšie, ale vyžadujú podobnú disciplínu. Nakoniec nezabudnite, že externé faktory ako sezónnosť alebo marketingové kampane môžu skresliť výsledky; vždy spustite kontrolnú skupinu, ak je to možné.

Záver

Správna interpretácia výsledkov A/B testov je zručnosť, ktorá oddeľuje hádanie od rastu založeného na dátach. Predbežným výpočtom veľkosti vzorky, spustením testov do konca a porozumením p-hodnotám a intervalom spoľahlivosti sa môžete vyhnúť šumu, ktorý mnohých zavádza. Začnite s jedným dobre navrhnutým testom, poučte sa z neho a rozšírte svoj experimentálny program. Ak potrebujete pomoc s rozhodnutím, ktoré testy spustiť, pozrite si nášho sprievodcu, ako prestať strácať čas na A/B testoch, ktoré nemajú význam. Konzistentné a dôsledné testovanie sa časom prejaví vo výrazných zlepšeniach.