A/B test, usmeritveni test ali kar izdati? Okvir na podlagi tveganja za samostojne tržnike

Povzetek

Večina nasvetov o A/B testiranju predpostavlja, da imate neomejen promet in potrpežljivo ekipo za sabo. V resnici mora samostojni tržnik pogosto izbirati med polnim eksperimentom, kratkim usmeritvenim testom in objavo spremembe brez kakršnega koli testa. Ta članek predstavlja okvir na podlagi tveganja za to odločitev, osredotočen na stroške napake in stroške čakanja. Obravnava, kaj storiti, ko rezultat ni statistično pomemben, in zakaj to ni enako kot neuspešna sprememba. Naučili se boste, kdaj je zgodnji vpogled lahko koristen, kdaj objava zdaj pretehta čakanje na dokaze in kako meriti pred/po, ko preskočite test. Bistvo ni v tem, da testirate manj, ampak da svoj standard dokazov prilagodite dejanskim vložkom.

Ali bi morali izvesti A/B test, izvesti krajši »usmeritveni« test ali samo narediti spremembo in opazovati, kaj se zgodi? Če ste odgovorni za stopnjo konverzije na svojem spletišču in okoli sebe nimate namenske ekipe, je to verjetno najpogostejša presoja, ki jo sprejemate. Standardni nasvet pravi, da preizkusite vse, vendar ta nasvet predpostavlja, da imate na voljo promet, čas za čakanje in jasno metriko za opazovanje. Pogosto nimate nobene od teh. Ta članek vas popelje skozi tri standarde dokazov in vam ponudi način, kako med njimi izbrati v minutah, ne dnevih.

Prva stvar, ki jo morate razumeti, je, da A/B testiranje v resnici ne govori o sami spremembi. Govori o tem, koliko ste pripravljeni plačati za napako. Razmislite o dveh spremembah na istem spletišču. Upravljate orodje za vodenje projektov. Naslov domače strani želite spremeniti iz »Upravljajte projekte« v »Načrtujte projekte v polovičnem času.« Prav tako želite spremeniti cenikovno stran, da lahko obiskovalci izberejo letni načrt poleg mesečnega. Obe spremembi se nanašata na isto spletišče in obe bi lahko preizkusili na enak način. Toda strošek napake je zelo različen. Če je naslov napačen, obiskovalec nekaj dni vidi nekoliko manj učinkovito sporočilo, vi pa lahko starega vrnete nazaj brez težav. Če je cenikovna struktura napačna, lahko zmedete potencialne stranke, napolnite nabiralnik podpore z vprašanji in ustvarite pričakovanje, ki ne ustreza temu, kako dejansko zaračunavate. Umik ni brezplačen. Enaka logika velja za vsako spremembo, ki jo upoštevate, od oznak gumbov do celotnih prenov strani.

Zato vam nihče ne more dati univerzalnega odgovora na vprašanje »Ali naj testiram?« Odgovor je odvisen od tega, koliko vas stane lažno pozitivni rezultat, koliko lažno negativni rezultat in česa se odpovedujete med čakanjem. Oglejmo si tri možnosti podrobneje.

Polni eksperiment: Ko je zahteva po dokazih visoka

Predstavljajte si, da preizkušate, ali bi spremenili gumb na glavni strani za prijavo iz »Začni brezplačno preizkusno obdobje« v »Začni.« Za samostojnega ustanovitelja je to zelo opazna sprememba, ki stoji na vhodu v vaš lijak. Lahko vpliva na prijave za preizkus, ki napajajo vse, kar je nižje. Imate enakomeren pretok obiskovalcev, a ne velik. To je dober kandidat za polni eksperiment.

Polni eksperiment ima poseben pomen. Obiskovalce naključno razdelite, eni skupini pokažete izvirno različico, drugi pa spremenjeno, ter primerjate vedenje glede na metriko, ki jo izberete pred začetkom. Kot je opredeljeno v Optimizelyjevem slovarju, je A/B test metodo za primerjavo dveh različic spletne strani ali aplikacije, da ugotovite, katera deluje bolje. Ključno je, da pustite podatkom, da odločajo, namesto svoji intuiciji. V praksi to pomeni, da določite jasno primarno metriko – na primer delež obiskovalcev, ki kliknejo do prijavnega obrazca – in hkrati spreminjate samo eno spremenljivko. Če spremenite tako gumb kot tudi okoliško besedilo, ne boste vedeli, katera sprememba je povzročila razliko. Prav tako se morate vnaprej odločiti, kako dolgo bo test trajal in kateri dokazi bodo spodbudili ukrepanje.

Ta zadnji korak večina ljudi izpusti. Pred začetkom se morate odločiti, kakšno stopnjo zaupanja potrebujete in kako velik učinek poskušate zaznati. Statistični mehanizem, ki stoji za velikostjo vzorca in trajanjem, je tisto, kar A/B test razlikuje od priložnostnega opazovanja. Če je vaš promet prenizek, da bi v razumnem času dosegli ta dokaz, se bo polni eksperiment verjetno končal z »neugotovljeno« – in to je resničen strošek. Za podroben pogled, kako se odločiti, kdaj ste čakali dovolj dolgo, je naš praktični okvir o tem, kdaj ustaviti A/B test, dober spremljevalec temu.

Tu se skriva subtilna past. Če se polni eksperiment konča in je rezultat »statistično neznačilen«, vas lahko zamika zaključek, da sprememba ni pomembna. To pa ni pomen rezultata. Pomeni, da vaš test ni bil dovolj natančen, da bi zaznal razliko, ali pa je razlika manjša, kot ste jo želeli odkriti. To je koristna informacija – zdaj se lahko odločite za objavo na podlagi drugih dokazov, izvedete daljši test ali izberete bolj bistveno spremembo. Vendar to ni dokaz, da je nova različica slabša. Če uporabljate platformo za testiranje, ki jo poganja umetna inteligenca in dinamično razporeja promet ter ustvarja različice, lahko eksperiment hitreje doseže odločitev, vendar velja enaka logika: rezultat je tako zanesljiv, kolikor lahko počakate na dovolj dokazov.

Obstaja tudi disciplina beleženja tega, kar se naučite. Test, ki ga ne dokumentirate, je zgodba, ki jo boste pripovedovali s pristranskostjo. Tudi neugotovljen test vas nauči nekaj o velikosti učinka, ki ga dejansko lahko zaznate na svoji strani, o svojem prometu in potrpežljivosti obiskovalcev. Zapišite hipotezo, različico, metriko in izid v enem stavku. Po nekaj mesecih ta dnevnik postane zemljevid tega, na kaj se vaše občinstvo odziva, in pospeši vsako prihodnjo odločitev.

Usmeritveni test: Ko je hitrost del odgovora

Zdaj razmislite o spremembi z manjšim tveganjem: glavni sliki na vaši pristajalni strani. Na voljo imate dve možnosti – posnetek zaslona nadzorne plošče in fotografijo osebe, ki uporablja vaš izdelek. Ne veste, katera bo nagovorila vaše občinstvo. Slabost izbire napačne slike je majhna. Zamenjate jo lahko v nekaj minutah. Vendar morda nimate dovolj prometa, da bi v enem mesecu dosegli rezultat s stopnjo zaupanja iz učbenika. Tu sodi usmeritveni test.

Usmeritveni test je še vedno naključna primerjava, vendar namerno uporabite nižjo zahtevo po dokazih. Vnaprej se odločite, da boste novo sliko objavili, če bo večino enotedenskega obdobja delovala bolje na primarni metrika ali če bo ob koncu določenega obdobja jasno v prednosti. Rezultat obravnavate kot priporočilo, ne kot sodbo. Disciplina je tukaj prav tako pomembna kot pri polnem eksperimentu. Če se vnaprej ne zavežete pravilu, boste strmeli v žive rezultate in sprejeli nenačrtovano odločitev – in tako se prevarate, da vidite, kar želite videti.

Kar me pripelje do nasveta, ki ga najdete v večini vodnikov za A/B testiranje: »nikoli ne pokukajte v rezultate, preden je test končan.« To navodilo je pravilno za formalni eksperiment, ki bo odločil o velikem zagonu. Toda za samostojnega tržnika s skromnim prometom je kukanje način hitrega učenja. Težava ni v tem, da ste pogledali številke. Težava je v tem, da ste pogledu dovolili, da sprejme odločitev, ki je niste načrtovali. Če se vnaprej odločite, kateri vzorec bi spremenil vaše mnenje, potem je to, kar je videti kot »kukanje«, dejansko strukturiran način obvladovanja nizkega prometa. Izbirate hitrost učenja pred gotovostjo. To je legitimna zamenjava, če ste pošteni do tega, kaj počnete, in rezultata ne razglašate za dokaz.

Po usmeritvenem testu ne nehajte meriti. Če objavite novo glavno sliko, še nekaj tednov spremljajte stopnjo konverzije. Če se poslabša, se vrnite nazaj. Če se izboljša, imate nekaj dokazov, da je bil vaš usmeritveni signal pravilen. Usmeritveni test je način za hitro odločanje, ne način za izogibanje odgovornosti. Prav tako se dobro kombinira z vrsto praktične triaže, opisane v našem vodniku za triažo A/B testov za samostojne tržnike – če imate zaostanek možnih sprememb, lahko z usmeritvenimi testi ugotovite, katere si zaslužijo polni eksperiment.

Kar objavi: Ko trenutna različica že izgublja

Včasih je najbolj na dokazih temelječa odločitev, da sploh ne izvedete testa. Recimo, da vaš prijavni obrazec zahteva telefonsko številko. V posnetkih sej vidite, da več obiskovalcev pride do tega polja, se ustavi in odide. Prejeli ste e-poštna sporočila podpore s vprašanjem, ali je telefonska številka obvezna. Polje ni potrebno za nič. Ali bi morali izvesti A/B test, ali ga odstraniti? Ne. Odstranitev je popravek, ne eksperiment. Trenutna različica ima znano pomanjkljivost in sprememba je enostavno povratna. Objava popravka in spremljanje stopnje dokončanja sta boljša izraba vašega časa.

Enaka logika velja za zastarele strani. Če vaša pristajalna stran še vedno opisuje funkcijo, ki je ne ponujate več, je testiranje stare strani proti novi nesmiselno. Porabljate promet, da bi dokazali, da je različica, ki je ne bi nikoli obdržali, slabša od tiste, ki bi jo želeli objaviti. To že veste. Pravilna poteza je, da najprej objavite trenutno različico, nato pa, ko je v živo, izvedete eksperimente za njeno optimizacijo.

To je zamenjava, ki je večina vodnikov za A/B testiranje ne omenja. Vsak teden, ko šibko različico pustite v živo, medtem ko čakate, da se test konča, je teden, ko plačujete oportunitetne stroške. Če je sprememba nizko tvegana in enostavno povratna, pričakovana vrednost takojšnje objave pogosto pretehta vrednost dokazovanja izboljšave pozneje. Ne izpuščate merjenja – naključni eksperiment nadomeščate s primerjavo pred/po. Primerjava pred/po je šibkejši dokaz, a je še vedno dokaz in je boljša kot poraba štirih tednov brez kakršne koli odločitve.

Primerjava pred/po, ki jo že izvajate

Ko spremembo objavite brez testa, se merjenje ne ustavi. Zdaj izvajate eksperiment pred/po, z vsemi opozorili, ki jih prinaša. Najboljši način, da to postane manj šumno, je, da pred kakršno koli spremembo določite izhodiščno metriko, objavite v času manjšega prometa, če lahko, in opazujete trend vsaj en cel teden, da ne reagirate na naključni ponedeljek. Če se metrika premakne v želeno smer, obdržite spremembo. Če se premakne proti vam, se vrnite nazaj. Če se ne premakne, ste se naučili, da je bila sprememba nevtralna – kar je prav tako informacija.

To je način, ki ga večina ljudi ignorira. Objavijo, nato ne pogledajo več, pozneje pa niso prepričani, ali je sprememba pomagala ali škodila. Primerjava pred/po ni stroga, a je veliko boljša kot nič, kar se dogaja na večini spletišč. Če je vaš promet resnično prenizek tudi za usmeritveni test, je primerjava pred/po pogosto edino orodje, ki ga imate. Še vedno lahko dobite signal iz posnetkov sej, povratnih informacij podpore in tega, kako se metrika giblje po spremembi – nobena od teh ne zahteva naključnega razporejanja. To je področje, ki ga pokriva naš članek o A/B testiranju brez prometa.

Trije pristopi drug ob drugem

Tukaj je primerjava v eni tabeli.

Pristop	Najbolje, ko	Tveganje ob napaki	Kaj dobite	Česa se odpoveste
Polni eksperiment	Sprememba vpliva na prihodke, cene ali osrednje tokove; imate dovolj prometa za odločitev	Nizko (če sledite statistiki); lahko ukrepate na podlagi šuma le, če jih ignorirate	Samozavesten, ponovljiv odgovor	Čas, promet in zmožnost hitrega ukrepanja
Usmeritveni test	Sprememba je nizko tvegana, promet je skromen in potrebujete signal učenja v nekaj dneh	Zmerno – včasih lahko objavite izgubljajočo različico	Hiter namig o tem, kaj se splača narediti več	Dokaz in zmožnost zaznavanja subtilnih učinkov
Objava brez testa	Trenutna različica je očitno slaba, sprememba je popravek ali pa je sprememba enostavno povratna	Nizko, zlasti s spremljanjem po objavi	Hitrost in zagon	Zmožnost pripisovanja spremembe enemu dejavniku

Tabela podcenjuje moč tretje vrstice. »Objava brez testa« je deležna kritik v krogih optimizacije konverzij, vendar je pogosto racionalna izbira za samostojnega tržnika z dolgim zaostankom in omejenim prometom. Pravi greh je objaviti in nato ne opazovati, kaj se zgodi.

15-minutni način izbire

Če želite hitrejši postopek kot pomnjenje celotnega okvira, uporabite ta štiri vprašanja.

Prvič: če se motim, kaj se pokvari? Če je odgovor prihodki, zaupanje ali skladnost, dvignite svojo zahtevo po dokazih. Če je odgovor »nič posebnega«, jo znižajte. Drugič: kako dolgo lahko čakam? Ocenite, kako dolgo bi trajal polni eksperiment. Če je dlje, kot ste pripravljeni odložiti spremembo, ste izbiro že zožili na usmeritveni test ali objavo. Tretjič: kaj bom naredil z odgovorom? Če na podlagi rezultata ne boste spremenili svojega vedenja, ne izvajajte testa. Test bi moral spremeniti odločitev. Četrtič: ali jo lahko enostavno obrnem? Povratne spremembe so poceni za objavo; nepovratne ali drage za umik si zaslužijo več dokazov.

Nato izberite: če je tveganje visoko in lahko čakate, izvedite polni eksperiment. Če je tveganje nizko in želite hitrost, izvedite usmeritveni test. Če je trenutna različica očitno slabša in je sprememba popravek, jo objavite in spremljajte. Če ugotovite, da izvajate teste, ker se vam zdi, da bi jih morali, in ne zato, ker boste spremenili odločitev, imate verjetno težavo s prednostnim razvrščanjem, ne s testiranjem. Naš članek o tem, kako nehati zapravljati čas z A/B testi, ki niso pomembni, je dobro naslednje branje.

Uporabimo to na uvodno vprašanje. Imate nov naslov in skromen promet. Naslov je povraten, slabost je majhna in ne želite čakati mesec dni. Po tej logiki bi preskočili polni eksperiment. Izvedli bi kratek usmeritveni test, če želite nekaj signala, ali pa objavili naslov in primerjali stopnjo konverzije prihodnjega meseca s tem. Oboje je sprejemljivo. Kar ni sprejemljivo, je porabiti štiri tedne za »pravilen« test, za katerega nimate dovolj prometa, da bi ga dokončali, nato pa neugotovljen rezultat označiti za neuspeh.

Past pomembnosti, na katero morate paziti

Statistična pomembnost vam pove, ali je rezultat verjetno resničen, ne pa, ali je pomemben. Sprememba je lahko statistično pomembna in še vedno premajhna, da bi upravičila trud. Na drugi strani lahko usmeritveni test pokaže vzorec, ki je resničen, a premajhen, da bi ga zaznali s svojim prometom. Ko izberete nižjo zahtevo po dokazih, sprejmete tako več lažno pozitivnih kot več lažno negativnih rezultatov. To je zamenjava, ne neuspeh.

Druga razlika, ki jo je vredno nositi s seboj, je praktična proti statistični pomembnosti. Sprememba je lahko statistično pomembna in še vedno premajhna, da bi bila pomembna. Recimo, da novi gumb poveča število klikov za tako majhno količino, da bi potrebovali mesece, da bi se prevedla v eno dodatno prijavo. Ta rezultat je resničen, vendar ni vreden, da bi okoli njega prenovili svojo stran. Po drugi strani je sprememba, ki ni statistično pomembna, lahko še vedno praktično pomembna, če je vzorec dosleden in so stroški ukrepanja blizu nič. Ko izbirate med tremi pristopi, se vprašajte, ali je velikost učinka, ki vas skrbi, nekaj, kar vaš eksperiment dejansko lahko zazna. Če ne, ne izbirate med testiranjem in objavo; izbirate med dvema oblikama nevednosti.

Zato okvir odločanja v tem članku temelji na strošku napake. Če je lažno pozitivni rezultat poceni – na primer objavite nekoliko slabši naslov in ga zamenjate nazaj – si lahko privoščite nizko zahtevo po dokazih. Če lažno negativni rezultat pomeni, da zamudite pomembno izboljšavo, boste morda želeli testirati dlje. Kot samostojni tržnik ne morete optimizirati vsega. Izbirate ravnovesje med hitrostjo učenja in zaupanjem. Za poglobljen pogled na branje številk, ne da bi vas zavajal šum, si oglejte naš vodnik o pravilnem razumevanju rezultatov A/B testov.

Praktična ugotovitev

Bistvo tega okvira ni manj testirati. Gre za to, da svoj standard dokazov prilagodite vložkom. Polni eksperiment je močno orodje, ko je sprememba pomembna in imate potrpljenje za čakanje. Usmeritveni test je smiselna srednja pot, ko se morate učiti hitreje, kot vam promet omogoča. In objava brez testa je včasih najbolj poštena izbira, ko trenutna različica že izgublja – dokler opazujete, kaj se zgodi po objavi.

Naslednjič, ko vas bo zamikalo vprašanje »Ali naj to A/B testiram?«, si zastavite boljše vprašanje: »Koliko bi me stala napaka?« Odgovor vam pove, kateri od treh pristopov uporabiti, in ta odločitev vam bo prihranila več časa in prometa kot katero koli orodje za testiranje.