Kā pareizi interpretēt A/B testu rezultātus, neiekrītot trokšņa slazdā

Kopsavilkums

A/B testēšana var veicināt būtiskus reklāmguvumu pieaugumus, taču tikai tad, ja jūs pareizi interpretējat rezultātus. Daudzi mārketinga speciālisti iekrīt lamatās, pārāk agri pasludinot uzvarētāju, kā rezultātā tiek pieņemti lēmumi, kas balstīti uz statistisko troksni. Šis raksts sniedz soli pa solim izstrādātu sistēmu, lai noteiktu, kad jūsu A/B testu rezultāti ir patiesi nozīmīgi. Jūs uzzināsiet, kā aprēķināt nepieciešamo izlases lielumu, saprast p-vērtības un ticamības intervālus, kā arī izvairīties no izplatītām kļūmēm, piemēram, palūrēšanas un vairākkārtējām salīdzināšanām. Ievērojot šos ieteikumus, jūs varat pieņemt uz datiem balstītus lēmumus ar pārliecību. Neatkarīgi no tā, vai esat iesācējs vai pieredzējis, šis praktiskais ceļvedis palīdzēs veikt uzticamākus testus.

Jūs veicat A/B testu, novērojat 15% pieaugumu pēc 100 apmeklētājiem un pasludināt uzvaru. Pēc nedēļas pieaugums pazūd. Vai tas izklausās pazīstami? Tas ir klasisks gadījums, kad statistikas troksnis tiek nepareizi interpretēts kā reāls rezultāts. Bez pienācīgas statistikas stingrības A/B testi var jūs maldināt, izmaksājot laiku un naudu. Šajā ceļvedī jūs uzzināsiet, kā pareizi interpretēt A/B testu rezultātus, lai pārliecinoši identificētu uzvarētājus variantus.

Kāpēc statistiskā nozīmība ir svarīga

Statistiskā nozīmība norāda, vai atšķirība starp jūsu variantiem, visticamāk, ir saistīta ar veiktajām izmaiņām, nevis nejaušību. Bez tās jūs riskējat rīkoties, pamatojoties uz viltus pozitīviem rezultātiem – pasludināt uzvarētāju, kad atšķirība ir tikai troksnis. Vispārpieņemtais standarts nozīmībai ir p-vērtība, kas ir mazāka par 0,05, kas nozīmē, ka ir mazāk nekā 5% varbūtība, ka novērotā atšķirība radusies nejaušības dēļ. Bet, lai to sasniegtu, nepietiek tikai ar zemu p-vērtību; tests ir jāizstrādā pareizi jau no paša sākuma.

1. solis: Nosakiet izlases lielumu pirms sākšanas

Viena no lielākajām kļūdām ir uzsākt testu, nezinot, cik apmeklētāju jums nepieciešams. Izlases lielums ir atkarīgs no jūsu sākotnējā reklāmguvumu līmeņa, minimālā efekta, ko vēlaties noteikt, un vēlamā statistiskā nozīmīguma līmeņa un jaudas (parasti 80%). Izmantojiet tiešsaistes kalkulatoru: ievadiet savu sākotnējo līmeni, piemēram, 5%, un minimālo nosakāmo efektu 20% (tātad no 5% līdz 6%). Ar 95% nozīmību un 80% jaudu jums būs nepieciešami aptuveni 42 000 apmeklētāju uz katru variantu. Šis skaitlis var jūs pārsteigt – bet testa veikšana tikai ar 1000 apmeklētājiem ir gandrīz bezjēdzīga. Aprēķiniet to iepriekš un apņemieties sasniegt šo skaitli pirms palūrēšanas.

2. solis: Veiciet testu pietiekami ilgi

Pat sasniedzot nepieciešamo izlases lielumu, tests jāveic pilnā biznesa cikla laikā (parasti viena līdz divas nedēļas), lai ņemtu vērā nedēļas dienu ietekmi. Izvairieties no kārdinājuma pārbaudīt rezultātus katru dienu; šāda "palūrēšana" palielina jūsu viltus pozitīvo rezultātu līmeni. Tā vietā iestatiet kalendāra atgādinājumu analizēt tikai pēc plānotā beigu datuma.

3. solis: Analizējiet p-vērtības un ticamības intervālus

Kad tests beidzas, apskatiet p-vērtību. Ja tā ir zemāka par 0,05, rezultāts ir statistiski nozīmīgs. Bet neapstājieties pie tā – pārbaudiet ticamības intervālus. Piemēram, A variants konvertē 8% (TI: 6%–10%), B variants 10% (TI: 8%–12%). Intervāli pārklājas, kas nozīmē, ka atšķirība nav nozīmīga, pat ja p-vērtība ir robežlielumā. Tikai tad, kad intervāli nepārklājas, varat būt pārliecināti, ka viens variants pārspēj otru.

4. solis: Uzmanieties no izplatītām kļūmēm

Pat ar pareizām metodēm ir daudz kļūmju. Palūrēšana ir visbiežākā; to var novērst, izmantojot rīku, kas slēpj starprezultātus, vai apņemoties noteiktā laika periodā. Vairākkārtējas salīdzināšanas – vienlaikus testējot daudzas variācijas – palielina viltus pozitīvu iespējamību. Piemērojiet Bonferroni korekciju: sadaliet nozīmīguma slieksni ar salīdzināšanu skaitu. Vēl viena lamatas ir priekšlaicīga apturēšana, jo rezultāti izskatās daudzsološi. Lai dziļāk izprastu šīs kļūdas, skatiet mūsu rakstu par izplatītām A/B testēšanas kļūdām un to labošanu.

Piemērs: Reālistisks scenārijs

Pieņemsim, ka veicat testu uz galvenās lapas virsraksta. Sākotnējais reklāmguvumu līmenis ir 4%, jūs vēlaties noteikt 25% pieaugumu (līdz 5%), tāpēc jums nepieciešami 26 000 apmeklētāju uz katru variantu. Pēc divām nedēļām jums ir 30 000 apmeklētāju katrā variantā; jaunais virsraksts konvertē 5,2% ar p-vērtību 0,03 un ticamības intervāliem [4,8%, 5,6%] pret kontroles [3,8%, 4,2%]. Intervāli nepārklājas – jums ir uzvarētājs. Bet vienmēr pārbaudiet praktisko nozīmību: vai 1,2 procentpunkta pieaugums ir pūļu vērts? Ja jā, ieviesiet izmaiņas.

Ierobežojumi: ārpus statistiskās nozīmības

Statistiskā nozīmība nav tas pats, kas praktiskais nozīmīgums. Neliels pieaugums, kas ir statistiski nozīmīgs, var neattaisnot izstrādes izmaksas. Apsveriet arī Bajesas pieejas, kas sniedz varbūtību, ka viens variants ir labāks. Tās var būt intuitīvākas, taču prasa līdzīgu disciplīnu. Visbeidzot, atcerieties, ka ārējie faktori, piemēram, sezonalitāte vai mārketinga kampaņas, var izkropļot rezultātus; ja iespējams, vienmēr veiciet kontrolgrupas testu.

Secinājums

Pareizi interpretēt A/B testu rezultātus ir prasme, kas atšķir minējumus no uz datiem balstītas izaugsmes. Iepriekš aprēķinot izlases lielumu, veicot testus līdz pabeigšanai un izprotot p-vērtības un ticamības intervālus, jūs varat izvairīties no trokšņa, kas maldina daudzus. Sāciet ar vienu labi izstrādātu testu, mācieties no tā un paplašiniet savu eksperimentēšanas programmu. Lai saņemtu palīdzību, izlemjot, kurus testus veikt, apskatiet mūsu ceļvedi par kā pārtraukt tērēt laiku A/B testiem, kuriem nav nozīmes. Konsekventa, rūpīga testēšana laika gaitā radīs ievērojamus uzlabojumus.