A/B testiranje brez prometa: usmerjevalni priročnik

Povzetek

Ciljne strani z nizkim prometom naredijo tradicionalno A/B testiranje počasno, drago in nezanesljivo. Če vaša stran dobi le kanček obiskov na mesec, boste tedne čakali na rezultat, ki vam še vedno ne bo povedal ničesar. Rešitev je spremeniti svoj priročnik: najprej odpravite vidno trenje, izvajajte teste le tam, kjer se promet zbira, in rezultate majhnih vzorcev obravnavajte kot smerne namige, ne kot dokaz. Ta članek vas popelje skozi praktični pregled, strategijo testiranja ene spremenljivke in 30-dnevni načrt, ki ustvari zagon tudi brez statistične pomembnosti. Prav tako poimenuje iskren kompromis: morda boste ukrepali na podlagi lažno pozitivnega rezultata, vendar se boste učili hitreje kot s čakanjem na podatke, ki nikoli ne pridejo. S primerjalno tabelo ponastavite svojo miselnost o testiranju in začnite izvajati še danes.

Končno ste izvedli test. Napisali ste nov naslov, vklopili razdelitev in počakali. Dva tedna pozneje platforma pokaže razliko med različicama, ki je videti kot zmaga. Toda velikost vzorca je majhna, interval zaupanja je širok in globoko v sebi veste: to niso podatki. To je met kovanca z armaturno ploščo. To je past nizkega prometa. Rešitev ni testirati močneje; testirati je treba drugače.

Past izvajanja testov, ki jih ne morete prebrati

Matematika tukaj ni vaša krivda. To je omejitev sistema. A/B testiranje deluje tako, da občinstvo razdeli v dve skupini in primerja njuno vedenje. Ta primerjava postane smiselna šele, ko je vsaka skupina dovolj velika, da se resnične razlike ločijo od naključnega šuma. Na strani, ki dobi le kanček obiskov na mesec, lahko tudi velika izboljšava ne doseže zaupanja vrednega rezultata, preden morate nekaj objaviti.

Po Optimizelyjevem slovarju je A/B testiranje metoda primerjanja dveh različic spletne strani ali aplikacije, da bi ugotovili, katera deluje bolje. Poudarek je na besedi „ugotoviti". Pri majhnih vzorcih ne ugotavljate ničesar. Ugibate s priloženo oceno zaupanja.

Tukaj je neprijeten prvi korak: prenehajte izvajati A/B teste, ki jih ne morete prebrati. To ni priznanje poraza. To je preusmeritev. Test, ki ne bo dosegel zaupanja vredne pomembnosti, je izguba časa, prometa in pozornosti. Prihranite proračun za testiranje za čas, ko boste imeli dovolj podatkov. Za zdaj uporabite drugačen priročnik.

Pojdite pogledat, zakaj ljudje odidejo

Največji vpogled za majhno spletno mesto ni v rezultatih testov. Je v vedenju dejanskih obiskovalcev. Ob majhnem prometu lahko opazujete pomemben delež vseh, ki pridejo. To je razkošje, ki bi mu velika podjetja zavidala. Izkoristite ga.

Začnite s svojo analitiko. Poiščite strani, ki dobijo največ prometa in najstrmejši padec obiska. Nato pojdite globlje: oglejte si posnetke sej, preučite zemljevide toplote in nedavnim obiskovalcem zastavite eno iskreno vprašanje: „Kaj vas je skoraj ustavilo pri nakupu?" Odgovori vam bodo pokazali trenje, ki si ga vaši možgani ne morejo izmisliti.

Tukaj je konkreten primer. Predstavljajte si ciljno stran za orodje za upravljanje projektov. Stran dobiva stalen tok obiskov s priljubljene objave v blogu. Poziv k dejanju (CTA) se glasi „Začni brezplačno preizkusno obdobje." Odprete posnetke sej in opazujete obiskovalce, kako se pomikajo do razdelka s cenami, nato pa odidejo. Cenik ima paket z imenom „Ekipa", vendar nič ne pojasnjuje, kaj pomeni „Ekipa". Ta dvoumnost je trenje. Spremenite ime paketa v „Majhna ekipa (do 10)" in prilagodite besedilo. Brez razdelitvenega testa. Brez čakalne dobe. Samo popravek, usmerjen na vidno oviro.

Je to zagotovljena zmaga? Ne. Gre za popravek z visoko stopnjo zaupanja, ki temelji na neposrednem opazovanju. Ko je vzrok za opustitev viden, ne potrebujete kontrolne skupine, da bi vam povedala, da je to težava. Potrebujete pogum, da ga odstranite.

To je ključna prednost biti majhen. S svojimi uporabniki se lahko pogovarjate, jih vidite v naravi in ujamete tisto, česar armaturna plošča ne more izmeriti. Na strani za zahvalo izvedite kratko anketo. Uporabnike, ki niso pretvorili, vprašajte, kaj jih je skoraj prisililo, da so odšli. Preberite odgovore. Našli boste vzorce, ki jih noben A/B test ne bi nikoli razkril. Ljudje zelo dobro opišejo, kje je težava, tudi če vam ne znajo povedati, kako jo odpraviti. Naj njihovo vedenje pokaže na element strani, sami pa presodite, kako popraviti besedilo.

Do tega pristopite kot do prave naloge. Rezervirajte si dve uri, zaprite e-pošto in preberite surove posnetke sej enega za drugim. Ne previjajte naprej. Ko drugič vidite isti premor, isti pomik, isti obotavljajoči kazalec, ste našli vzorec. Vzorci so vaš dokaz. Pot enega obiskovalca je anekdota; več obiskovalcev, ki počnejo isto, je namig. Ta namig je vreden več kot tisoč vrstic združenih podatkov.

Test postavite tja, kjer je vaš promet

Spletno mesto z nizkim prometom ima skoraj vedno trenutke z velikim prometom. Ni vam treba testirati na svoji osiromašeni domači strani. Poiščite stran ali kanal, kjer se ljudje dejansko zbirajo, in tam izvedite svoj eksperiment.

To je lahko plačana ciljna stran, ki dobi večino prometa iz oglasov. Lahko je objava v blogu, ki se uvrsti na prvo stran. Lahko je e-poštna kampanja, ki gre na velik seznam naročnikov. Lokacija testa je prav tako pomembna kot sam test. Če test izvedete na lokaciji s premajhnim občinstvom, boste videli šum. Če ga izvedete tam, kjer je množica, imate priložnost.

Eksperiment prilagodite gostoti prometa. Pozdravno e-poštno sporočilo z visoko stopnjo odprtja je boljše testno okolje kot stran »O nas«, ki dobi skoraj nič obiskov. Stran izdelka, ki jo poganja promet iz iskanja, je boljša kot domača stran, na katero nihče ne pristane.

Preden zaženete, preverite, ali je vaša razdelitev dejansko naključna. Nekatera orodja ali ročne rešitve lahko pomotoma pošljejo vse mobilne uporabnike v eno različico. To uniči test, še preden se začne. Če vaša platforma za eksperimente obravnava naključnost, ji zaupajte, a po enem dnevu preverite razporeditev. Če to počnete ročno, različico menjajte po uri ali dnevu, ne glede na vrsto obiskovalca. Doslednost je manj pomembna kot naključnost.

In hipoteza naj bo ozka. Ne testirajte „boljšega dizajna." Testirajte eno spremenljivko: en sam naslov, eno samo ponudbo, eno samo število polj. Čim ožja je sprememba, tem lažje jo je brati tudi ob zmernem prometu. Ko se odločate, kaj testirati, izberite spremenljivko z največjim možnim vplivom na vaše osrednje dejanje, ne tiste, ki jo je najlažje spremeniti. Ogrodje v tem vodniku za razvrščanje A/B testov vam daje natančen izračun.

Rezultate obravnavajte kot smerne, ne dokončne

Tukaj je kompromis, ki ga nihče ne napiše na listek: statistična strogost in hitrost sta v neposrednem nasprotju. Večina člankov o najboljših praksah predpostavlja, da si lahko privoščite oboje. Ne morete. Zato potrebujete pravilo odločanja, ki deluje v vašem obsegu.

Nehajte zahtevati 95-odstotno zaupanje. Ta prag je bil zasnovan za ekipe z dovolj prometa, da ga dosežejo. Namesto tega obravnavajte svoj test z nizkim prometom kot smerni signal. Če je ena različica jasno v prednosti in ugotovitev sovpada s tem, kar ste videli v posnetkih in anketah, lahko ukrepate na podlagi tega – previdno. Poimenujte to močno hipotezo, ne dokazane zmage. Nato pozneje preverite.

Tukaj je vzporedni premik miselnosti:

	Klasični A/B test	Eksperiment z nizkim prometom
Izhodišče	»Dokazal bom, katera različica zmaga.«	»Zbral bom namige o tem, kaj je pomembno.«
Prag odločitve	Zaupanje 95 % ali več	Velik smerni razmik plus kvalitativno ujemanje
Čas do ukrepanja	Tedni ali meseci	Dnevi
Stopnja tveganja	Nizka, ker počakaš	Višja, zato pozneje preveriš

Ali to pomeni, da boste včasih ukrepali na podlagi lažno pozitivnega rezultata? Da. To je iskrena cena. Sprejmete majhno možnost, da ukrepate na podlagi šuma, v zameno za hitrejše učenje. Alternativa – čakanje, da boste imeli dovolj prometa – pomeni, da četrtino ničesar ne spremenite.

Trik je v tem, da se zaščitite pred lastno pristranskostjo. Preden pogledate številke, zapišite, kaj bi storili, če bi bil rezultat tesen: ignorirali ga boste. Zapišite, kaj bi storili, če bi bil razmik velik in v pričakovani smeri: implementirali boste, a staro različico dokumentirali. Če vas rezultat preseneti, ga obravnavajte kot spodbudo za nadaljnje raziskovanje, ne kot zaključek. Ta predregistracija loči smerno odločitev od opice, ki pritiska na gumbe.

Beseda „pomembno" ima tehnični pomen. V okolju z nizkim prometom tega dokaza niste dosegli. Zato spremenite svoj jezik. Recite „ta smer se zdi obetavna" ali „podatki nežno namigujejo." Ta jezik vas ohranja poštene do sebe in do vseh, ki pregledujejo delo. Za poglobljen pogled na to, kdaj je rezultat dejansko vreden zaupanja, preberite kako interpretirati rezultate A/B testov, ne da bi nasedli šumu.

Testirajte ponudbo, ne barve

Najpogostejša izguba časa na majhnih straneh je testiranje barv gumbov, pisav in razmikov. Te mikrospremembe običajno povzročijo majhne učinke. Majhni učinki potrebujejo ogromne vzorce za odkrivanje. Nimate jih. Zato nehajte testirati barve in začnite testirati strukturne dele strani.

Ponudba, oblikovanje cene, družbeni dokaz, garancija, dolžina obrazca in besedilo osrednje ponudbe vrednosti so spremenljivke z velikim vplivom. Garancija, postavljena poleg vašega CTA, spremeni zaznano tveganje. Obrazec, skrajšan s številnih polj na nekaj, spremeni stopnjo dokončanja. Naslov, ki poimenuje specifičen rezultat, namesto nejasne koristi, spremeni, kdo se počuti, kot da je stran zanj. Te spremembe so dovolj velike, da pokažejo signal tudi v majhnem vzorcu.

Eden od načinov za prepoznavanje spremenljivk z velikim vplivom je vprašanje: „Če obiskovalec na tej strani prebere samo eno vrstico, katera naj bo?" Ta vrstica je vaš naslov. Tja usmerite svojo testno energijo, preden se dotaknete gumba. Naslednje vprašanje: „Kateri ugovor obiskovalci najpogosteje izpostavijo?" Ta ugovor je vaša garancija. Napišite tisto, ki ga neposredno obravnava. To niso oblikovalske odločitve; to so vrednostne odločitve.

Razmišljajte takole: A/B testiranje je za optimizacijo nečesa, kar že deluje. Če ima vaša stran temeljno neusklajenost med tem, kar ponujate, in tem, kar obiskovalec želi, tega noben test ne bo popravil. Najprej popravite ponudbo. Nato testirajte.

To je klasična napaka majhnih ekip: skočiti v testiranje, preden popravijo osnovne puščanja pri pretvorbi. Vodnik po najpogostejših napakah pri A/B testiranju pokriva preostale pasti, da se jim lahko izognete.

Vaših naslednjih 30 dni

Tukaj je načrt, brez desetstopenjskega okvira.

Prvi teden, pregled. Odprite analitiko in prepoznajte strani z največ prometa in najostrejše padce obiska. Oglejte si posnetke sej. Pošljite anketo vsem, ki niso kupili. Naštejte vse ovire, ki jih vidite, po velikosti.

Drugi teden, neposredno odpravite tri največje ovire. Brez testiranja. Samo izboljšajte besedilo, postavitev, obrazec ali ponudbo. Odstranite trenje, ki ste ga potrdili z lastnimi očmi.

Tretji teden, izberite eno samo lokacijo z največ prometa in tam izvedite en nadzorovan test. Eno spremenljivko. Določite svoje pravilo odločanja, preden pogledate. Pustite, da teče, dokler razmik ni jasen ali dokler ne zmanjka časa.

Četrti teden, odločite se. Če je rezultat smeren in se ujema z vašimi kvalitativnimi dokazi, ga implementirajte. Če je mejni, vključite spoznanje v naslednjo ponovitev. Nato pripravite naslednji test.

Ta pristop vam ne bo dal čiste statistične gotovosti. Dal vam bo zagon. Učili se boste hitreje, izboljšave objavljali prej in si zgradili navado, da se pred vsem vprašate „kaj me bo to naučilo". Ta navada je pravo orodje za pretvorbo.

Ko bo vaš promet zrasel – in bo – boste že vedeli, kaj testirati, kje testirati in kako brati rezultate. Obdobje nizkega prometa ni čas, da ostanete ob strani. To je čas za drugačno igro. Igrajte to igro dobro in večja igra vas bo čakala.