A/B testiranje bez prometa: Usmjereni priručnik

Sažetak

Odredišne stranice s malo posjeta čine tradicionalno A/B testiranje sporim, skupim i nepouzdanim. Ako vaša stranica mjesečno dobije tek pokoji posjet, tjednima ćete čekati rezultat koji vam svejedno neće ništa reći. Rješenje je promijeniti priručnik: prvo uklonite vidljivo trenje, testirajte samo tamo gdje je promet koncentriran, a rezultate na malom uzorku tretirajte kao usmjeravajuće naznake, a ne kao dokaz. Ovaj članak vas vodi kroz praktičnu reviziju, strategiju testiranja jedne varijable i 30-dnevni plan koji stvara zamah čak i bez statističke značajnosti. Također imenuje iskrenu razmjenu: možete djelovati na temelju lažno pozitivnih rezultata, ali ćete učiti brže nego čekajući podatke koji nikada ne stižu. Koristite tablicu usporedbe da resetirate način razmišljanja i krenete s provedbom već danas.

Konačno ste proveli test. Prepisali ste naslov, uključili split i čekali. Dva tjedna kasnije platforma prikazuje razliku između verzija koja izgleda kao pobjeda. No uzorak je sitan, interval pouzdanosti širok, a u dubini duše znate: to nisu podaci. To je bacanje novčića s nadzornom pločom. To je zamka malog prometa. Rješenje nije jače testirati; nego testirati drugačije.

Zamka testova koje ne možete pročitati

Matematika ovdje nije vaša greška. To je ograničenje sustava. A/B testiranje funkcionira tako da publiku dijeli u dvije grupe i uspoređuje njihovo ponašanje. To poređenje postaje smisleno tek kada je svaka grupa dovoljno velika da se stvarne razlike odvoje od slučajnog šuma. Na stranici koja mjesečno dobije tek pokoji posjet, čak i veliko poboljšanje možda neće postići pouzdan rezultat prije nego što morate nešto objaviti.

Prema Optimizely rječniku, A/B testiranje je metoda usporedbe dviju verzija web stranice ili aplikacije kako bi se utvrdilo koja je uspješnija. Naglasak je na riječi „utvrditi“. Uz sitne uzorke, vi ne utvrđujete ništa. Pogađate uz pridruženi rezultat pouzdanosti.

Slijedi neugodan prvi korak: prestanite provoditi A/B testove koje ne možete pročitati. To nije priznanje poraza. To je preusmjeravanje. Test koji neće postići pouzdanu značajnost gubljenje je vremena, prometa i pažnje. Sačuvajte proračun za testiranje za trenutak kada budete imali dovoljno podataka. Za sada koristite drugačiji priručnik.

Idite i pogledajte razloge zbog kojih ljudi odlaze

Najveći uvid za malu stranicu nije u rezultatima testova. On je u ponašanju vaših stvarnih posjetitelja. Uz mali promet, možete pratiti značajan dio svih koji dođu. To je luksuz koji bi vam velike tvrtke mogle pozavidjeti. Iskoristite to.

Krenite od svojih analitika. Pronađite stranice koje imaju najviše prometa i najstrmiji pad. Zatim idite dublje: gledajte snimke sesija, proučavajte heatmape i postavite nedavnim posjetiteljima jedno iskreno pitanje: „Što vas je gotovo spriječilo da kupite?“ Odgovori će vam pokazati trenje koje vaš mozak ne može izmisliti.

Evo konkretnog primjera. Zamislite odredišnu stranicu za alat za upravljanje projektima. Stranica dobiva stalan protok posjeta s popularnog blog posta. CTA kaže „Započni besplatnu probu.“ Otvorite snimke sesija i gledate posjetitelje kako se pomiču do odjeljka s cijenama, a zatim odlaze. Tablica s cijenama ima plan pod nazivom „Tim“, ali ništa ne objašnjava što „Tim“ znači. Ta dvosmislenost je trenje. Promijenite naziv plana u „Mali tim (do 10)“ i prilagodite tekst. Bez split testa. Bez razdoblja čekanja. Samo popravak usmjeren na vidljivu prepreku.

Je li to zajamčena pobjeda? Ne. To je popravak s visokom razinom pouzdanosti koji se temelji na izravnom promatranju. Kada je uzrok napuštanja vidljiv, ne trebate kontrolnu grupu da vam kaže da je to problem. Trebate hrabrost da ga uklonite.

To je ključna prednost biti mali. Možete razgovarati sa svojim korisnicima, vidjeti ih u divljini i uhvatiti ono što nadzorna ploča ne može kvantificirati. Provedite kratku anketu na svojoj stranici zahvale. Pitajte korisnike koji se nisu konvertirali što ih je gotovo natjeralo da odu. Pročitajte odgovore. Pronaći ćete obrasce koje nijedno A/B testiranje nikada ne bi otkrilo. Ljudi su vrlo dobri u opisivanju gdje je problem, čak i ako vam ne znaju reći kako ga riješiti. Dopustite njihovom ponašanju da vam pokaže element stranice i upotrijebite svoj sud da popravite tekst.

Shvatite ovo kao pravi zadatak. Blokirajte dva sata, zatvorite e-poštu i čitajte sirove snimke sesija jednu po jednu. Nemojte preskakati. Drugi put kada vidite istu stanku, isto pomicanje, isti pokolebljivi kursor, pronašli ste obrazac. Obrasci su vaš dokaz. Put pojedinačnog posjetitelja je anegdota; nekoliko posjetitelja koji rade istu stvar je trag. Taj trag vrijedi više od tisuću redaka agregiranih podataka.

Postavite test tamo gdje je vaš promet

Stranica s malo prometa gotovo uvijek ima trenutke s velikim prometom. Ne morate testirati na svojoj praznoj naslovnici. Pronađite stranicu ili kanal na kojem se ljudi zapravo okupljaju i tamo provedite eksperiment.

To može biti plaćena odredišna stranica koja dobiva većinu prometa od oglasa. To može biti blog post koji je rangiran na prvoj stranici. To može biti email kampanja koja ide na popis pretplatnika. Lokacija testa jednako je važna kao i sam test. Ako test provedete na mjestu s premalom publikom, vidjet ćete šum. Ako ga provedete ondje gdje je gužva, imate šansu.

Prilagodite eksperiment gustoći prometa. Uvodna e-poruka s visokom stopom otvaranja bolje je okruženje za testiranje od stranice „O nama“ koja ima gotovo nula posjeta. Stranica proizvoda koja dolazi iz organskog pretraživanja bolja je od naslovnice na koju nitko ne stigne.

Prije pokretanja provjerite je li vaša podjela doista nasumična. Neki alati ili ručni zaobilazni načini mogu slučajno poslati sve mobilne korisnike na jednu verziju. To uništava test prije nego što počne. Ako vaša platforma za eksperimente upravlja nasumičnošću, vjerujte joj, ali nakon jednog dana provjerite raspodjelu. Ako to radite ručno, rotirajte varijantu po satu ili danu, a ne prema vrsti posjetitelja. Dosljednost je manje važna od nasumičnosti.

I neka hipoteza bude usko definirana. Ne testirajte „bolji dizajn.“ Testirajte jednu varijablu: jedan naslov, jednu ponudu, jedan broj polja. Što je promjena uža, to ju je lakše očitati čak i uz umjeren promet. Kada odlučujete što testirati, posegnite za varijablom s najvećim potencijalnim utjecajem na vašu ključnu radnju, a ne onom koju je najlakše promijeniti. Okvir u ovom vodiču za prioritizaciju A/B testova daje vam točan izračun.

Rezultate tretirajte kao usmjeravajuće, a ne konačne

Evo razmjene koju nitko ne piše na papirić: statistička strogost i brzina u izravnoj su suprotnosti. Većina članaka o najboljoj praksi pretpostavlja da si možete priuštiti oboje. Ne možete. Zato vam treba pravilo odlučivanja koje funkcionira u vašoj mjeri.

Prestanite zahtijevati 95 % pouzdanosti. Taj je prag dizajniran za timove s dovoljno prometa da ga dosegnu. Umjesto toga, tretirajte svoj test s malo prometa kao usmjeravajući signal. Ako je jedna verzija jasno ispred i nalaz se poklapa s onim što ste vidjeli u snimkama i anketama, možete djelovati na temelju toga—oprezno. Nazovite to snažnom hipotezom, a ne dokazanim pobjednikom. Zatim to kasnije provjerite.

Evo usporedbe promjene načina razmišljanja:

	Klasični A/B test	Eksperiment s malo prometa
Polazište	“Dokazat ću koja verzija pobjeđuje.”	“Sakupit ću naznake o tome što je važno.”
Prag odlučivanja	Pouzdanost od 95% ili više	Veliki usmjeravajući razmak plus kvalitativno slaganje
Vrijeme za djelovanje	Tjedni ili mjeseci	Dani
Razina rizika	Niska, jer čekate	Viša, pa kasnije provjeravate

Znači li to da ćete ponekad djelovati na temelju lažno pozitivnog rezultata? Da. To je iskrena cijena. Prihvaćate malu šansu da djelujete na temelju šuma u zamjenu za brže učenje. Alternativa—čekanje dok ne dobijete dovoljno prometa—znači ne mijenjati ništa cijeli kvartal.

Trik je da se zaštitite od vlastite pristranosti. Prije nego što pogledate brojeve, zapišite što biste učinili ako je rezultat tijesan: ignorirat ćete ga. Zapišite što biste učinili ako je razlika velika i u očekivanom smjeru: implementirat ćete, ali zadržati dokumentiranu staru verziju. Ako vas rezultat iznenadi, tretirajte ga kao poticaj za daljnje istraživanje, a ne kao zaključak. To prethodno registriranje je ono što razlikuje usmjeravajuću odluku od majmuna koji pritišće gumbe.

Riječ „značajno“ ima tehničko značenje. U okruženju s malo prometa niste dosegli taj dokaz. Zato promijenite svoj jezik. Recite „ovaj smjer izgleda obećavajuće“ ili „podaci nježno sugeriraju“. Takav jezik održava vas poštenima prema sebi i prema svima koji pregledavaju rad. Za dublji pogled na to kada je rezultat doista pouzdan, pročitajte kako interpretirati rezultate A/B testiranja bez nasjedanja na šum.

Testirajte ponudu, ne boju

Najčešći gubitak vremena na malim stranicama je testiranje boja gumba, fontova i razmaka. Te mikropromjene obično daju male učinke. Mali učinci zahtijevaju ogromne uzorke da bi se otkrili. Vi ih nemate. Zato prestanite testirati boju i počnite testirati strukturne dijelove stranice.

Ponuda, oblikovanje cijene, društveni dokaz, jamstvo, duljina obrasca i ključna kopija vrijednosne ponude varijable su s velikim utjecajem. Jamstvo postavljeno pored vašeg CTA-a mijenja percipirani rizik. Obrazac smanjen s mnogo polja na nekoliko mijenja stopu dovršetka. Naslov koji imenuje specifičan ishod, umjesto nejasne pogodnosti, mijenja to tko osjeća da je stranica namijenjena baš njemu. Te su promjene dovoljno velike da pokažu signal čak i u malom uzorku.

Jedan od načina da prepoznate varijable s velikim utjecajem jest da se zapitate: „Ako posjetitelj pročita samo jedan redak na ovoj stranici, koji bi to trebao biti?“ Taj redak je vaš naslov. Potrošite energiju za testiranje tamo prije nego što dotaknete gumb. Sljedeće pitanje: „Koji prigovor posjetitelji najčešće iznose?“ Taj je prigovor vaše jamstvo. Napišite ono koje se izravno bavi njime. To nisu dizajnerske odluke; to su odluke o vrijednosti.

Gledajte na to ovako: A/B testiranje služi za optimizaciju nečega što već funkcionira. Ako vaša stranica ima temeljno neslaganje između onoga što nudite i onoga što posjetitelj želi, nijedan test to neće popraviti. Prvo popravite ponudu. Zatim testirajte.

To je klasična greška malih timova: skakanje u testiranje prije nego što su popravili osnovna curenja konverzije. Vodič o najčešćim greškama u A/B testiranju pokriva ostale zamke kako biste ih mogli preskočiti.

Vaših sljedećih 30 dana

Evo plana, nije potreban nikakav okvir od deset koraka.

Prvi tjedan, revizija. Otvorite analitiku i identificirajte stranice s najviše prometa i najstrmijim padovima. Gledajte snimke sesija. Pošaljite anketu svima koji nisu kupili. Popišite svaku prepreku koju vidite, prema veličini.

Drugi tjedan, izravno uklonite tri najveće prepreke. Bez testiranja. Samo poboljšajte tekst, izgled, obrazac ili ponudu. Uklonite trenje koje ste potvrdili vlastitim očima.

Treći tjedan, odaberite jednu lokaciju s najviše prometa i tamo provedite jedan kontrolirani test. Jedna varijabla. Definirajte pravilo odlučivanja prije nego što pogledate. Pustite ga da se vrti dok razlika ne bude jasna ili dok vrijeme ne istekne.

Četvrti tjedan, odlučite. Ako je rezultat usmjeravajući i podudara se s vašim kvalitativnim dokazima, implementirajte ga. Ako je na granici, ugradite saznanje u sljedeću iteraciju. Zatim postavite sljedeći test.

Ovaj pristup neće vam dati čistu statističku sigurnost. Dat će vam zamah. Učit ćete brže, isporučivati poboljšanja ranije i izgraditi naviku da prije pokretanja bilo čega upitate „što će me ovo naučiti“. Ta navika je pravi alat za konverziju.

Kada vaš promet poraste—a hoće—već ćete znati što testirati, gdje testirati i kako čitati rezultate. Razdoblje s malo prometa nije vrijeme da ostanete po strani. To je vrijeme da igrate drugačiju igru. Igrajte tu igru dobro, a veća igra će vas čekati.