Kada sustabdyti A/B testą: praktinis sprendimų priėmimo pagrindas

Santrauka

Žinoti, kada sustabdyti A/B testą, yra taip pat svarbu, kaip žinoti, kaip jį atlikti. Daugelis rinkodaros specialistų žvilgčioja į ankstyvus rezultatus ir sustabdo per anksti, o kiti leidžia testams tęstis neribotai, švaistydami srautą ir atidėliodami patobulinimus. Šis straipsnis atsako į tikrus klausimus, su kuriais susiduriate: kiek laiko turėtų trukti testas? Ar galiu pasitikėti ankstyvais duomenimis? Ką daryti, jei rezultatas yra lygiosios? Ir kada sustoti net neturint statistinio reikšmingumo? Sužinosite praktinį sprendimų priėmimo pagrindą, kuris subalansuoja statistinį griežtumą ir verslo pragmatiškumą, įskaitant dažnai nepastebimą praktinio reikšmingumo vaidmenį. Pabaigoje tiksliai žinosite, kada sustabdyti testą, o kada tęsti, taupydami laiką ir priimdami geresnius duomenimis pagrįstus sprendimus.

Paleidote A/B testą. Dienos bėga. Rezultatai pradeda plaukti – viena variacija atrodo pirmaujanti. Ar turėtumėte sustabdyti anksti? Ar laukti stebuklingos p-reikšmės? Greičio ir pasitikėjimo įtampa yra nuolatinis rinkodaros specialistų galvos skausmas. Štai tikri klausimai, kurie neduoda jums miego, atsakyti praktiniais žingsniais, kuriuos galite taikyti šiandien.

K1: Kiek laiko turiu vykdyti savo testą?

Nėra vieno atsakymo, tinkančio visiems, tačiau gera nykščio taisyklė – testą vykdyti bent vieną pilną verslo ciklą. Įprastai el. prekybos svetainei tai reiškia dvi savaites, kad būtų užfiksuoti savaitiniai svyravimai. Naudokite imties dydžio skaičiuoklę, kad įvertintumėte minimalų reikalingų lankytojų skaičių – internete yra daug nemokamų įrankių. Tačiau nepasikliaukite vien skaičiuokle. Srauto modeliai keičiasi, o ankstyvi lankytojai gali neatspindėti visos auditorijos. Dažna klaida – sustoti, kai tik pasiekiamas skaičiuoklės minimumas, tačiau jei tą skaičių pasiekiate per tris dienas, rezultatai greičiausiai vis dar triukšmingi. Leiskite testui tęstis visą planuotą trukmę, nebent turite rimtą priežastį sustoti anksti.

K2: Ar galiu pažiūrėti rezultatus prieš testui pasibaigiant?

Žvilgčioti yra pavojinga, jei sustabdote testą pagal tai, ką matote. Kiekvieną kartą tikrindami padidinate klaidingai teigiamo rezultato tikimybę. Tačiau nežvilgčiojimas neapsaugo nuo veikimo pagal ankstyvus duomenis. Saugesnis požiūris: iš anksto nustatykite sustabdymo taisyklę, pvz., Bajeso sprendimo taisyklę arba iš anksto apibrėžtą mažiausią efekto dydį. Jei turite žvilgčioti, naudokite nuoseklaus testavimo metodą, kuris koreguoja pagal kelis patikrinimus. Daugelis tradicinių A/B testavimo įrankių vis dar įspėja nuo žvilgčiojimo, tačiau naujesni dirbtinio intelekto įrankiai gali padėti tai valdyti. Daugumai rinkodaros specialistų geriausias patarimas – atsispirti pagundai: apibrėžkite savo kriterijus prieš paleidimą ir jų laikykitės.

[Įspėjimas: vienintelis atvejis, kai ankstyvas sustabdymas yra gintinas, yra tada, kai efektas yra toks didelis, kad jis yra praktiškai reikšmingas, net jei nėra statistiškai reikšmingas. Pavyzdžiui, jei variantas padvigubina jūsų konversijos rodiklį, o įgyvendinimo kaina yra maža, galite nuspręsti sustoti anksti. Tačiau tai susiję su rizika, todėl dokumentuokite, kodėl sustojate, ir apsvarstykite tolesnį patvirtinamąjį testą.]

K3: Ką daryti, jei mano testas nerodo aiškaus nugalėtojo?

Lygiosios nereiškia nesėkmės. Tai dažnai reiškia, kad jūsų pakeitimas neturėjo jokio poveikio arba poveikis buvo per mažas, kad būtų aptiktas. Prieš skelbdami, patikrinkite, ar turėjote pakankamą statistinę galią. Jei imties dydis buvo per mažas, testas buvo neįtikinamas – ne neigiamas. Apsvarstykite galimybę atlikti ilgesnį testą arba didesnį pakeitimą. Arba naudokite įžvalgas savo hipotezei patikslinti. Pavyzdžiui, jei jūsų antraštės testas neparodė skirtumo, galbūt tikrasis svertas yra paveikslėlis arba CTA. Kiekvienas testas, net ir be rezultatų, kažko išmoko. Nelaikykite to švaistomomis pastangomis.

K4: Ar turėčiau naudoti dirbtinį intelektą, kad automatiškai sustabdytų mano testus?

Dirbtinio intelekto varomi testavimo įrankiai gali dinamiškai paskirstyti srautą ir anksti sustabdyti testus, kai nugalėtojas yra aiškus. Tai pagreitina procesą, tačiau reikalauja pasitikėjimo algoritmu. Pagrindinis kompromisas tarp klasikinių ir DI eksperimentų: klasikinis A/B testavimas suteikia visišką kontrolę ir skaidrumą, o DI gali būti juodoji dėžė. Jei naudojate DI įrankį, supraskite jo sustabdymo taisykles ir periodiškai jas patvirtinkite. Priešinga nuomonė yra ta, kad automatinis sustabdymas gali sukelti per didelį pasitikėjimą triušmingais rezultatais, jei modelis nebuvo sukalibruotas pagal jūsų srauto modelius.

K5: Kada turėčiau sustabdyti testą, net jei jis nėra statistiškai reikšmingas?

Čia įsijungia praktinis reikšmingumas. Statistinis reikšmingumas parodo, ar efektas yra tikras, tačiau praktinis reikšmingumas parodo, ar jis svarbus. Jei po pilno verslo ciklo variantas rodo 2% padidėjimą, tačiau pasitikėjimo intervalas apima nulį, o jūs galite įgyvendinti pakeitimą be jokių išlaidų, galite nuspręsti jį vis tiek priimti. Priešingas požiūris: daugelis „geriausių praktikų“ reikalauja 95% pasitikėjimo, tačiau iš tikrųjų ši riba yra savavališka. Mažesni pasitikėjimo lygiai (pvz., 80%) gali būti priimtini mažos rizikos pakeitimams, ypač kai klaidos kaina yra maža. Dokumentuokite savo sprendimą ir, jei įmanoma, atlikite tolesnį testą. Šis požiūris pripažįsta, kad A/B testavimas yra verslo sprendimų įrankis, o ne mokslinis leidinys.

K6: Kaip elgtis su keliais tikslais viename teste?

Dažnai stebite antrinius rodiklius, tokius kaip pajamos vienam lankytojui arba laikas puslapyje. Jei jūsų pagrindinis rodiklis yra stabilus, bet antrinis rodiklis rodo didelį padidėjimą, apsvarstykite galimybę sustoti dėl to antrinio pelno – bet tik tuo atveju, jei tas rodiklis atitinka jūsų verslo tikslus. Saugokitės įprastų testavimo klaidų, pavyzdžiui, siekimo kelių rodiklių be koregavimo. Tvirtas požiūris yra iš anksto užregistruoti kelis pagrindinius rodiklius ir naudoti kelių testų koregavimą arba laikytis vieno pagrindinio rodiklio ir antrinius rezultatus traktuoti kaip hipotezes tolesniems testams.

Išvada

Sprendimas, kada sustabdyti A/B testą, nėra vien statistinis klausimas; tai verslo sprendimas. Pagrindas yra: planuokite trukmę ir imties dydį, atsispirkite žvilgčiojimui be nuoseklaus metodo, traktuokite lygiąsias kaip mokymosi galimybes, remkitės praktiniu reikšmingumu, kai statistinis reikšmingumas yra sunkiai pasiekiamas, ir būkite skaidrūs dėl savo sustabdymo taisyklių. Tai darydami nustosite gaišti laiką testams, kurie neturi reikšmės, ir veiksite greičiau tiems, kurie turi. Norėdami giliau pasinerti į tai, kuriems testams teikti pirmenybę, peržiūrėkite mūsų testų, kurie konvertuoja, prioritetų nustatymo vadovą.