Test, ki se mu izogibate, je tisti, ki ga najbolj potrebujete

Povzetek

A/B testiranje ne zahteva ekipe podatkovnih znanstvenikov, ogromnega prometa ali polnega koledarja testiranj. Prava ovira je niz udobnih ugovorov, ki jih solo tržniki zamenjujejo za omejitve. Ta članek razbija najpogostejše izgovore – ni prometa, ni časa, AI nadomešča testiranje, zaupanje intuiciji, statistična zapletenost in »še predolgo« – in vsakega spremeni v konkretno dejanje. Naučili se boste, kako izvesti en visoko učinkovit test s tem, kar imate, kdaj se zanesti na AI v primerjavi s klasičnim testiranjem in zakaj je test, ki ga nenehno odlašate, pogosto tisti, ki ga vaše podjetje najbolj potrebuje. Cilj je, da strošek nedejavnosti zbode bolj kot tveganje slabega eksperimenta.

Test, ki se mu izogibate, je tisti, ki ga najbolj potrebujete

Večina nasvetov o A/B testiranju je napisanih za ljudi, ki A/B teste že izvajajo. Zato je edina resnično uporabna stvar, ki vam jo lahko povem, ta: test, ki bi najbolj izboljšal vaše podjetje, je verjetno tisti, ki se mu izogibate, ker se zdi premajhen, preveč negotov ali preveč verjetno, da bo potrdil nekaj, česar raje ne bi vedeli. Ugovori, zaradi katerih solo tržniki nikoli ne odprejo orodja za testiranje, zvenijo razumno, vendar je vsak od njih skrito puščanje konverzij, prikrito kot preudarnost.

A/B testiranje je v svojem jedru navada odločanja. Kot pravi Optimizelyjev slovar izrazov, je to metoda primerjanja dveh različic spletne strani ali aplikacije med seboj, da bi ugotovili, katera deluje bolje. Ne potrebujete podjetniške nadzorne plošče za 50.000 dolarjev. Potrebujete hipotezo, eno spremenljivko in dovolj potrpežljivosti, da številke spregovorijo. In neprijetna resnica je, da ljudje, ki najbolj odlašajo s testiranjem, pogosto prihajajo iz podjetij, ki bi od njega največ pridobila. Če ste kdaj rekli »nismo pripravljeni na A/B testiranje«, ste že sprejeli najdražjo odločitev pri optimizaciji konverzij.

Zato nehajmo prikimavati tem ugovorom in jih začnimo razbijati.

Ugovor	Kaj v resnici odločate
»Nimam dovolj prometa.«	»Ne bom dovolil, da moje stranke glasujejo.«
»Nimam časa.«	»Puščajoči lijak je že v redu, kajne.«
»AI bo naredil testiranje zastarelo.«	»Stroj brez podatkov o mojih strankah jih pozna bolje kot jaz.«
»Zaupam svoji intuiciji.«	»Moje zadnje tri odločitve po intuiciji so bile pravilne, in to ni selektivni spomin.«
»To je preveč tehnično.«	»Vrednost p me bolj straši kot zastala stopnja rasti.«
»Še prezgodaj je.«	»Raje eno leto gradim napačno stvar, kot da bi se naučil v enem tednu.«

Vsak od teh bo v nadaljevanju pošteno obravnavan. Toda poštena obravnava ni enako poštena sodba.

»Nimam dovolj prometa«

Vzemite stran s cenami, ki dobi dvesto obiskov na mesec. Zelo tradicionalni svetovalec za optimizacijo bi vam rekel, da počakajte, dokler ne boste imeli desetkrat več. Imel bi prav, če bi bil vaš cilj odkriti 2-odstotni premik v stopnji konverzije. Ampak stvar je v tem: ne poskušate odkriti 2-odstotnega premika. Poskušate ugotoviti, ali je neznana ponudba vrednosti bistveno boljša ali slabša od trenutne, in te razlike so običajno velike.

Matematika je v vašo korist, ko nehate loviti drobne izboljšave. Spremembo, ki podvoji vašo stopnjo konverzije – na primer pojasnitev, kaj izdelek dejansko počne – je mogoče zaznati z zmernim prometom v nekaj tednih. In če testirate nekaj, kot je oznaka gumba, morda sploh ne potrebujete statistično robustnega vzorca, da opazite, da »Ogled cen« v klikih premaga »Začni«. Le pustiti morate, da test teče dovolj dolgo.

Kako dolgo je dovolj dolgo? Večina orodij za testiranje vključuje kalkulator velikosti vzorca, poleg tega pa lahko najdete tudi samostojne kalkulatorje na spletu. Pravilo palca: želite dovolj konverzij (klikov, prijav, nakupov) v vsaki različici, ne le dovolj obiskov. Če stran dobi 200 obiskov na mesec in ima 2-odstotno konverzijo, je to le 4 konverzije na mesec. Na smiselni vzorec boste čakali kar nekaj časa. Toda če je element, ki ga testirate, naslov, ki neposredno vpliva na osrednjo vrednostno ponudbo, je razlika v stopnji konverzije lahko 15 % proti 5 %, in ta vzorec boste videli prej, kot si mislite.

Druga rešitev za promet je, da vaše spletno mesto ni edini kraj, kjer lahko izvedete eksperiment. Naročniki e-pošte, kliki na plačane oglase in celo objavljena povezava v nišni skupnosti vam dajo nadzorovano občinstvo. A/B testiranje deluje enako dobro na e-pošti, oblikah izdelkov in tokovih aplikacij kot na vstopnih straneh – točko, ki jo Optimizelyjev slovar navaja, ko našteje elemente, ki jih lahko testirate. Ugovor »ni prometa« je skoraj vedno v resnici »ni prometa na mojo domačo stran«, kar je veliko ožji problem.

In tu AI dejansko pomaga. Po Optimizelyjevi opredelitvi AI eksperimentov lahko strojno učenje dinamično razporeja promet k bolje delujoči različici v realnem času, tako da niste obtičali pri strogi delitvi 50/50, ki polovico obiskov zapravi za verjetnega poraženca. To pomeni, da promet, ki ga imate, zadostuje za več. Za solo tržnika je to razlika med »testiranje je nemogoče« in »testiranje je počasnejše, kot bi si želel, a izvedljivo«.

Praktični protiukrep: določite eno merilo uspeha, ki je pomembno za podjetje, izberite en element, ki bi lahko bistveno spremenil to merilo, in se zavežite, da boste test izvajali določeno število dni na podlagi vzorca, ki ga predlaga vaše orodje. Podroben okvir za vedenje, kdaj prenehati, boste našli prav v našem okviru za odločanje o prekinitvi A/B testa.

»Nimam časa«

Pravi problem ni čas; to je dejstvo, da si niste zgradili navade testiranja hipotez. To je majhna navada, ne program. Ne potrebujete koledarja testiranj, načrta ali »zaostanka eksperimentov«. Potrebujete eno hipotezo o ozkem grlu, ki vas dejansko skrbi.

Tukaj je primer časovne matematike. Recimo, da ima vaš obrazec za prijavo sedem polj in sumite, da uničuje dokončanja. Hipoteza je, da bo odstranitev štirih polj povečala prijave. Test traja približno petnajst minut za nastavitev, če uporabljate orodje, ki vam omogoča urejanje različice obrazca. Nato počakate. Medtem ko teče, porabite dve minuti na dan za pregled rezultatov – ali nič minut, če pustite, da vas orodje obvesti. Dejansko »delo« je pet minut, ki jih porabite za artikulacijo hipoteze in merila.

Orodja za A/B testiranje poskrbijo tudi za analizo namesto vas. Izračunajo pomembnost, predlagajo, kdaj prenehati, in celo dokumentirajo rezultat. Glavni časovni zalogaj v starih časih je bilo razčlenjevanje statističnih izpisov, ki ga zdaj avtomatizira večina platform. Če še vedno ročno delate s preglednicami, stvar po nepotrebnem zapletate.

Širša poanta je, da je ugovor glede časa v resnici prikriti ugovor glede stroškov in koristi. Strošek netestiranja je nadaljnje uvajanje nepreverjenih predpostavk. Vsako ugibanje, ki ostane nepreverjeno, je stava brez kvot. Poraba ene ure na mesec za test ni davek na vaš čas; to je donos na odločitev, ki bi jo tako ali tako sprejeli.

In tukaj je trik, da se navada obdrži: povežite svoj test z nečim, kar že počnete. Če vsak ponedeljek zjutraj pregledate Google Analytics, temu termin dodajte petminutno nalogo »preveri test«. Če pišete mesečno e-novico, vključite vrstico o »kaj testiramo«, da se prisilite artikulirati hipotezo. Navada se oprime obstoječih rutin, tako da ne deluje kot še en projekt.

Začnite s preprostim določanjem prednostnih nalog. En test na četrtletje vas postavi pred veliko večino majhnih ekip. Če vas izbira ohromi, je učenje določanja prednosti testov, ki so dejansko pomembni prva veščina, ki jo morate zgraditi – vendar ne dovolite, da vas paraliza analize potisne v to, da preprosto nekaj izberete.

»AI bo naredil A/B testiranje zastarelo«

Da, AI spreminja mehaniko testiranja. Toda »AI bo nadomestil A/B testiranje« je le najnovejši način, kako se izogniti delu, ki nikoli ne izgine: empirični odločitvi. Bodimo natančni glede tega, kaj AI eksperimenti dejansko so, saj hype prehiteva prakso.

A/B testiranje, ki ga poganja AI, uporablja strojno učenje za ustvarjanje različic, odločanje o tem, koliko prometa poslati vsaki različici, in analizo rezultatov v realnem času. To je resnično uporabno. To je hitrejši in bolj prilagodljiv način izvajanja eksperimenta. Raziskave o AI eksperimentih – vključno z Optimizelyjevo lastno dokumentacijo – to opisujejo kot nadgradnjo klasične metode, ne kot zamenjavo. Stroj prevzame ponavljajoče se dele: lahko ustvarja testne različice, izvaja analizo podatkov in celo avtomatizira na uspešnosti temelječe določanje prednosti tega, kaj testirati naprej. Vse to je dragoceno.

Toda tukaj je ulov, ki vam ga hype ne pove: stroj ne pozna konteksta vaše stranke, njene težave ali razloga, zakaj je pristala na vaši strani ob 23. uri. Še vedno je vaša naloga opredeliti poslovno vprašanje. AI eksperiment je le tako dober kot vprašanje, ki mu ga ponudite. In algoritem vam lahko pove, katera različica je zmagala, vendar vam ne pove, zakaj je ta različica zmagala – »zakaj« je tisto, kar morate razumeti, da boste vpogled razširili po vsem spletnem mestu.

Torej kontrarna drža tukaj ni »AI je slab«. Je »AI je orodje znotraj testiranja, ne nadomestilo za testiranje.« Ko slišite ponudnika trditi, da je testiranje mrtvo, ker AI najbolje ve, to prevedite kot »AI najbolje ve, če je vzorec reprezentativen in je merilo smiselno.« To je še vedno test. Ljudje, ki pravijo, da bo AI nadomestil A/B testiranje, vam prodajajo čarobno palico. Ljudje, ki gradijo AI eksperimente, vam prodajajo bolje umerjen test. Razlika je pomembna.

Praktično bi morali uporabiti AI za težko delo: pustite mu, da ustvari nove različice, predlaga, katere teste izvesti naprej na podlagi svojih spoznanj, in dinamično razporeja promet. Toda vi ostajate eksperimentator. Če želite podrobnejšo primerjavo, si oglejte našo podrobno razčlenitev klasično A/B testiranje proti AI eksperimentom.

»Svoje stranke pač poznam«

Najnevarnejši stavek pri optimizaciji konverzij je »naše stranke so drugačne.« Vsak ustanovitelj to verjame in vsak ustanovitelj ima delno prav. Toda »delno prav« ni dobra podlaga za strategijo rasti.

Evo, kaj se dejansko zgodi, ko se zanesete na intuicijo: naredite spremembo, merilo se premakne (ali ne), nato pa okoli tega zgradite zgodbo. Če se je sprememba barve gumba »zdela« prava in so se prijave povečale, to pripišete barvi. V resnici ste naenkrat spremenili tri stvari, tista, ki je bila pomembna, pa je bil naslov, ki ga niste testirali. Eno od osrednjih načel CRO – ki ga poudarja WordStreamov vodnik za optimizacijo stopnje konverzije – je, da morate izolirati spremenljivke, da vidite, kaj dejansko opravlja delo. Vaša intuicija tega ne more; spomni se le vzorca, ki ga želi videti.

Razlog, zakaj je A/B testiranje pomembno, je, da izolira spremenljivke. Spremenite eno stvar, izmerite učinek in spoznate diskretno resnico o svojih strankah. Vaša intuicija je sijajen generator hipotez – pove vam, da »stranke oklevajo pri obrazcu.« Test vam pove, ali je to dejansko res.

Recimo, da vaša intuicija pravi »naše stranke so občutljive na ceno, zato bi morali začeti s ceno.« Test dveh različic vstopne strani – ene, ki začne s ceno, in druge, ki začne z rezultati – vam bo dal dokončen odgovor. Morda boste ugotovili, da različica z rezultati pritegne več kvalificiranih priložnosti in da je vaša intuicija videla svet skozi lečo lastne anksioznosti glede preglednic. Ali pa bo intuicija potrjena. V vsakem primeru ste prepričanje zamenjali z dejstvom.

Obstaja globlji strošek »preprostega poznavanja« vaših strank: ne skalira se. Ko ste solo tržnik, vaša intuicija živi v vaši glavi. V trenutku, ko pripeljete tekstopisca, oblikovalca, agencijo ali celo svojega prihodnjega jaza, ki je pozabil kontekst, ta intuicija izgine. Dokumentiran rezultat testa je po drugi strani trajna prednost. Vaši ekipi (ali vašemu prihodnjemu jazu) natančno pove, kaj se je naučilo, od katerega občinstva, na kateri strani in s kakšno stopnjo zaupanja. Zato je dokumentiranje spoznanj temeljna najboljša praksa pri A/B testiranju – ne le lepo za imeti za arhiv.

Praktični korak: za vsak intuicijski nagon, na katerega boste ukrepali, ga zapišite kot hipotezo. Nato izberite tistega z največjim vplivom in izvedite test. To je razlika med obravnavanjem CRO kot mnenja in obravnavanjem kot discipline.

»To je zame preveč statistično«

Začnite z edino statistiko, ki jo potrebujete: določite cilj, spremenite eno stvar, izvajajte test dovolj dolgo in pustite, da orodje izračuna pomembnost. To ni poenostavljanje; to je celotna igra za solo tržnika.

Bodimo odkriti glede statistične panike. Besede, kot so »p-vrednost«, »moč« in »interval zaupanja«, povzročijo, da ljudem pogled postekleni. Toda tukaj je skrivnost: orodja že opravijo statistiko. Vaša naloga je upoštevati nekaj pravil, ne ročno izračunati hi-kvadrat.

Pravila so preprosta in prihajajo naravnost iz priročnika najboljših praks: postavite jasne cilje, testirajte eno spremenljivko naenkrat, zagotovite zadostno velikost vzorca in trajanje testa za statistično pomembnost ter dokumentirajte, kaj se naučite. Če upoštevate ta štiri pravila, ste že pred večino ljudi, ki se imenujejo »strokovnjaki za rast«.

Največji statistični greh pri solo testiranju ni nerazumevanje intervala zaupanja – to je kukanje. Test preverite po treh dneh, vidite 20-odstotno izboljšanje in zgodaj ustavite. Orodje vam pove, da še ni pomembno, a vseeno ustavite, ker »se zdi prav.« Tako se rodijo lažno pozitivni rezultati in zato obstajajo smernice za velikost vzorca in trajanje. Orodje za testiranje, ki je vredno svojega imena, vas bo nenehno opozarjalo pred zgodnjo ustavitvijo.

Večje tveganje ni statistična nevednost – to je »statistično gledališče«, kjer je test slabo zasnovan, vzorec je premajhen in ekipa v šumu bere pomembnost. Zato je naš članek o pravilnem razumevanju rezultatov A/B testov poln pasti, ki se jim lahko izognete z malo discipline.

Torej naslednjič, ko nekdo reče »za izvedbo testa potrebujete podatkovnega znanstvenika,« se spomnite, da ste »podatkovni znanstvenik« vi, ki sedite za kuhinjsko mizo z orodjem, ki izračuna vse. Vi prinesete vprašanje, spremenljivko in potrpežljivost. Orodje prinese matematiko. To ni zahteva po doktoratu; to je procesna zahteva.

»Za to smo še prezgodaj«

Če ste še pred prihodki ali solo, obstaja skušnjava, da mislite, da je testiranje nekaj, kar počnete, ko »vam uspe.« Toda resnica je nasprotna. A/B testiranje je najbolj dragoceno, ko imate najmanj gotovosti. Na tej stopnji stvar, ki jo je treba testirati, ni mikro-CTA; to je osrednja vrednostna ponudba sama.

Predstavljajte si, da ste zgradili preprosto vstopno stran s svojo ponudbo. Imate dva možna naslova: »Najpreprostejši način za spremljanje dohodkov svobodnjakov« in »Natančno vedite, koliko boste zaslužili naslednji mesec.« Ne potrebujete ogromnega prometa, da vidite, kateri prinese več prijav po e-pošti ali klikov. In odgovor vam bo prihranil mesece gradnje sporočil na napačnem kavlju.

Zgodnje testiranje vas sili, da artikulirate svojo predpostavko o tem, zakaj bi ljudje kupili. To je boleče, vendar je ceneje, kot da to odkrijete, potem ko ste leto dni gradili napačno sporočilo izdelka. WordStreamov seznam tehnik CRO vključuje zmanjšanje trenja v obrazcih in izkoriščanje družbenih dokazov ter signalov zaupanja – oboje je še posebej močno, ko šele začenjate. En sam dobro umeščen komentar stranke ali obrazec s tremi polji namesto s sedmimi bi lahko bila razlika med prijavo in odbojem.

Dejanje: izvozite svoj e-poštni seznam, ustvarite dve različici vstopne strani s preprostim orodjem in vsaki pošljite polovico seznama. Ali še preprosteje, zaženite dve različici oglasa z različnima naslovoma. To je test in ni drag. Raziskave o A/B testiranju potrjujejo, da se lahko uporabi za e-pošto, aplikacije in uporabniške tokove – ne le za domačo stran, ki se je bojite dotakniti.

Poleg tega imajo zgodnji testi pogosto »nepošteno prednost«: vaš majhen vzorec ni šibkost, ampak signal. Z majhnim, visoko angažiranim občinstvom je tudi skromna razlika v odzivu vredna pozornosti, ker je to občinstvo pogosto vaša najbolj primerna stranka. V tem okolju ne iščete 1-odstotne izboljšave; iščete indikator smeri. Ključna beseda je indikacija, ne dokaz. To je v redu. Bolje ste kot pri ugibanju.

Nehajte čakati, začnite testirati

Tukaj je vzorec za vsakim ugovorom: vsi so isti strah, ki nosi različne klobuke. Strah, da bo test propadel, da boste izgubljali čas, da vam bodo številke povedale nekaj neprijetnega. Toda edini pravi neuspeh je nadaljnje ugibanje.

Načrt za izhod je kratek. Izberite eno stran, en element in eno merilo. Zapišite hipotezo. Določite različico. Izvajajte test toliko časa, kot predlaga vaše orodje. Zabeležite rezultat, tudi če je »ni statistično pomembne razlike« (tudi to je rezultat). Nato se odločite za naslednji test.

Ena najbolj zadovoljivih posledic testiranja je, da se disciplina obrestuje. Vsak test vam da podatek o vaših strankah, ki vam ga ne more dati noben članek, noben svetovalec in noben model AI, ker prihaja iz vašega specifičnega konteksta. Po nekaj testih boste začeli sprejemati odločitve hitreje in z več zaupanja, ker ne ugibate več – sklicujete se na zbirko dokazov, ki ste jo zgradili sami.

Sčasoma ta proces spremeni vaše trženje iz niza mnenj v niz eksperimentov. In lepi del je, da ko enkrat začnete, se boste vprašali, zakaj ste sploh kdaj čakali. Test, ki se mu izogibate, je verjetno tisti, ki vam pove, ali vaš izdelek odmeva. Lahko se mu še naprej izogibate ali pa svojim strankam dovolite, da vam povedo resnico.