A/B testēšana bez trafika: virziena rokasgrāmata

Kopsavilkums

Zema trafika mērķa lapas padara tradicionālo A/B testēšanu lēnu, dārgu un neuzticamu. Ja jūsu lapa saņem tikai nelielu apmeklējumu daudzumu mēnesī, jūs pavadīsiet nedēļas, gaidot rezultātu, kas joprojām neko nepasīs. Risinājums ir mainīt savu pieeju: vispirms novērsiet redzamos šķēršļus, veiciet testus tikai tur, kur koncentrējas trafiks, un uzskatiet mazo izlašu rezultātus par virziena pavedieniem, nevis pierādījumiem. Šis raksts iepazīstina ar praktisku auditu, viena mainīgā testēšanas stratēģiju un 30 dienu plānu, kas rada impulsu pat bez statistiskas nozīmības. Tas arī nosauc godīgo kompromisu: jūs varat rīkoties, pamatojoties uz kļūdaini pozitīvu rezultātu, bet jūs mācīsities ātrāk, nekā gaidot datus, kas nekad nenāk. Izmantojiet salīdzināšanas tabulu, lai mainītu savu testēšanas domāšanu un sāktu rīkoties jau šodien.

Jūs beidzot veicāt testu. Jūs pārrakstījāt virsrakstu, ieslēdzāt sadalījumu un gaidījāt. Pēc divām nedēļām platforma parāda atšķirību starp versijām, kas izskatās pēc uzvaras. Bet izlases lielums ir niecīgs, ticamības intervāls ir plašs, un dziļi sirdī jūs zināt: tie nav dati. Tā ir monētas mešana ar informācijas paneli. Šie ir zema trafika slazdi. Risinājums nav testēt vairāk; tas ir testēt citādi.

Slazdi, veicot testus, kurus nevarat nolasīt

Matemātika šeit nav jūsu vaina. Tā ir sistēmas ierobežojums. A/B testēšana darbojas, sadalot auditoriju divās grupās un salīdzinot to uzvedību. Šis salīdzinājums kļūst nozīmīgs tikai tad, kad katra grupa ir pietiekami liela, lai reālās atšķirības atdalītos no nejaušā trokšņa. Lapā, kas saņem tikai nelielu apmeklējumu daudzumu mēnesī, pat liels uzlabojums var nesasniegt ticamu rezultātu, pirms jums kaut kas jāpublicē.

Saskaņā ar Optimizely glosāriju, A/B testēšana ir metode, kā salīdzināt divas tīmekļa lapas vai lietotnes versijas, lai noteiktu, kura darbojas labāk. Uzsvars ir uz vārdu “noteikt”. Ar niecīgiem izlases lielumiem jūs neko nenosakāt. Jūs minat, pievienojot ticamības rādītāju.

Lūk, neērtais pirmais solis: pārtrauciet veikt A/B testus, kurus nevarat nolasīt. Tas nav piekāpšanās. Tā ir virziena maiņa. Tests, kas nesasniegs ticamu nozīmīgumu, ir laika, trafika un uzmanības izšķērdēšana. Saglabājiet savu testēšanas budžetu brīdim, kad jums būs pietiekami daudz datu. Pagaidām izmantojiet citu pieeju.

Dodieties skatīties, kāpēc cilvēki aiziet

Lielākā atziņa mazai vietnei nav testu rezultātos. Tā ir jūsu faktisko apmeklētāju uzvedībā. Ar nelielu trafiku jūs varat vērot nozīmīgu daļu no visiem, kas ierodas. Tā ir greznība, ko lielie uzņēmumi apskaustu. Izmantojiet to.

Sāciet ar saviem analītikas datiem. Atrodiet lapas, kas saņem visvairāk trafika un kurās ir visstāvākais kritums. Tad ejiet dziļāk: skatieties sesiju ierakstus, pētiet karstuma kartes un uzdodiet nesenajiem apmeklētājiem vienu godīgu jautājumu: “Kas teju lika jums neiegādāties?” Atbildes parādīs šķēršļus, kurus jūsu smadzenes nevar izdomāt.

Šeit ir konkrēts piemērs. Iedomājieties mērķa lapu projekta pārvaldības rīkam. Lapa saņem stabilu apmeklējumu plūsmu no populāra emuāra ieraksta. Aicinājums uz darbību saka “Sāciet bezmaksas izmēģinājumu”. Jūs atverat sesiju ierakstus un redzat, kā apmeklētāji ritina līdz cenu sadaļai un tad aiziet. Cenu tabulā ir plāns “Komanda”, bet nekas nepaskaidro, ko nozīmē “Komanda”. Šī neskaidrība ir šķērslis. Jūs maināt plāna nosaukumu uz “Mazā komanda (līdz 10)” un pielāgojat tekstu. Nav sadalījuma testa. Nav gaidīšanas perioda. Tikai uzlabojums, kas vērsts uz redzamu šķērsli.

Vai tas ir garantēts panākums? Nē. Tas ir augstas ticamības uzlabojums, kas balstīts uz tiešu novērojumu. Kad aiziešanas iemesls ir redzams, jums nav vajadzīga kontroles grupa, lai pateiktu, ka tā ir problēma. Jums ir nepieciešama drosme to novērst.

Tā ir galvenā priekšrocība, ja esi mazs. Jūs varat runāt ar saviem lietotājiem, redzēt viņus “savvaļā” un pamanīt to, ko informācijas panelis nevar izmērīt. Veiciet īsu aptauju savā pateicības lapā. Jautājiet lietotājiem, kuri nekonvertējās, kas teju lika viņiem aiziet. Izlasiet atbildes. Jūs atradīsiet modeļus, ko neviens A/B tests nekad neparādītu. Cilvēki ļoti labi apraksta, kur ir problēma, pat ja viņi nevar pateikt, kā to atrisināt. Ļaujiet viņu uzvedībai norādīt uz lapas elementu, un izmantojiet savu spriedumu, lai labotu formulējumu.

Uztveriet to kā nopietnu uzdevumu. Atvēliet divas stundas, aizveriet e-pastu un izlasiet neapstrādātos sesiju ierakstus pa vienam. Neātriniet. Otrajā reizē, kad redzat to pašu pauzi, to pašu ritināšanu, to pašu vilcināšanās kursoru, jūs esat atradis modeli. Modeļi ir jūsu pierādījumi. Viena apmeklētāja ceļš ir anekdote; vairāki apmeklētāji, kas dara to pašu, ir pavediens. Šis pavediens ir vērtīgāks par tūkstošiem apkopotu datu rindu.

Veiciet testu tur, kur ir jūsu trafiks

Vietnei ar zemu trafiku gandrīz vienmēr ir augsta trafika brīži. Jums nav jātestē uz savas plānās mājaslapas. Atrodiet lapu vai kanālu, kur patiesībā pulcējas cilvēki, un veiciet tur savu eksperimentu.

Tā var būt apmaksāta mērķa lapa, kas saņem lielāko daļu jūsu reklāmas trafika. Tas var būt emuāra ieraksts, kas atrodas meklētājprogrammas pirmajā lapā. Tā var būt e-pasta kampaņa, kas tiek nosūtīta ievērojamam abonentu sarakstam. Testa atrašanās vieta ir tikpat svarīga kā pats tests. Ja veicat testu vietā ar pārāk mazu auditoriju, jūs redzēsiet troksni. Ja veicat to tur, kur ir ļaužu pūlis, jums ir iespēja.

Pielāgojiet eksperimentu trafika blīvumam. Sveiciena e-pasts ar augstu atvēršanas rādītāju ir labāka testa vide nekā “Par mums” lapa, kas saņem gandrīz nekādus apmeklējumus. Produkta lapa, ko virza meklētājprogrammu trafiks, ir labāka nekā mājaslapa, uz kuru neviens nenonāk.

Pirms sākat, pārliecinieties, ka jūsu sadalījums patiešām ir nejaušs. Daži rīki vai manuāli risinājumi var nejauši nosūtīt visus mobilās ierīces lietotājus uz vienu versiju. Tas sabojā testu, pirms tas sākas. Ja jūsu eksperimenta platforma apstrādā randomizāciju, uzticieties tai, bet pēc dienas pārbaudiet sadalījumu. Ja darāt to manuāli, mainiet variantu pa stundām vai dienām, nevis pēc apmeklētāja veida. Konsekvence ir mazāk svarīga nekā nejaušība.

Un turiet hipotēzi šauru. Netestējiet “labāku dizainu”. Testējiet vienu mainīgo: vienu virsrakstu, vienu piedāvājumu, vienu lauku skaitu. Jo šaurākas izmaiņas, jo vieglāk tās nolasīt pat ar mērenu trafiku. Izlemjot, ko testēt, izvēlieties mainīgo ar vislielāko potenciālo ietekmi uz jūsu galveno darbību, nevis to, kuru ir visvieglāk mainīt. Ietvars šajā ceļvedī par A/B testu prioritizēšanu sniedz jums precīzu aprēķinu.

Uztveriet rezultātus kā virziena norādes, nevis galīgus pierādījumus

Lūk, kompromiss, ko neviens neuzraksta uz līmlapiņas: statistiskā stingrība un ātrums ir tiešā konfliktā. Lielākā daļa labākās prakses rakstu pieņem, ka varat atļauties abus. Jūs nevarat. Tāpēc jums ir nepieciešams lēmumu pieņemšanas noteikums, kas darbojas jūsu mērogā.

Pārtrauciet pieprasīt 95% ticamību. Šis slieksnis tika izstrādāts komandām ar pietiekamu trafiku, lai to sasniegtu. Tā vietā uztveriet savu zema trafika testu kā virziena signālu. Ja viena versija ir skaidri priekšā un atklājums saskan ar to, ko redzējāt ierakstos un aptaujās, jūs varat rīkoties—uzmanīgi. Sauciet to par spēcīgu hipotēzi, nevis pierādītu uzvarētāju. Pēc tam pārbaudiet vēlāk.

Lūk, salīdzinājums, kā mainās domāšana:

	Klasiskā A/B testēšana	Zema trafika eksperiments
Sākuma punkts	“Es pierādīšu, kura versija uzvar.”	“Es apkopšu pavedienus par to, kas ir svarīgs.”
Lēmuma slieksnis	Ticamība 95% vai augstāka	Liela virziena atšķirība plus kvalitatīva vienprātība
Laiks līdz rīcībai	Nedēļas vai mēneši	Dienas
Riska līmenis	Zems, jo jūs gaidāt	Augstāks, tāpēc pārbaudāt vēlāk

Vai tas nozīmē, ka dažreiz rīkosieties, pamatojoties uz kļūdaini pozitīvu rezultātu? Jā. Tās ir godīgās izmaksas. Jūs pieņemat nelielu iespēju rīkoties, pamatojoties uz troksni, apmaiņā pret ātrāku mācīšanos. Alternatīva—gaidīt, līdz jums būs pietiekami daudz trafika—nozīmē neko nemainīt ceturksni.

Triks ir aizsargāt sevi no saviem aizspriedumiem. Pirms skatāties uz skaitļiem, pierakstiet, ko darītu, ja rezultāts būtu tuvs: jūs to ignorēsit. Pierakstiet, ko darītu, ja atšķirība būtu liela un gaidītajā virzienā: jūs ieviesīsit, bet dokumentēsit veco versiju. Ja rezultāts jūs pārsteidz, uztveriet to kā pamudinājumu turpmākiem pētījumiem, nevis secinājumu. Šī iepriekšēja reģistrācija ir tas, kas atšķir virziena lēmumu no pērtiķa, kurš spiež pogas.

Vārdam “nozīmīgs” ir tehniska nozīme. Zema trafika vidē jūs neesat sasniedzis šo pierādījumu. Tāpēc mainiet savu valodu. Sakiet “šis virziens izskatās daudzsološs” vai “dati maigi norāda”. Šī valoda uztur jūs godīgu pret sevi un pret ikvienu, kurš pārskata darbu. Lai dziļāk izprastu, kad rezultāts patiešām ir ticams, izlasiet kā interpretēt A/B testu rezultātus, neiekrītot trokšņa slazdā.

Testējiet piedāvājumu, nevis krāsu

Visizplatītākais laika izšķērdēšanas veids mazās lapās ir pogu krāsu, fontu un atstarpju testēšana. Šīs mikro izmaiņas parasti rada mazus efektus. Lai noteiktu mazus efektus, nepieciešami milzīgi izlases lielumi. Jums to nav. Tāpēc pārtrauciet testēt krāsu un sāciet testēt lapas strukturālās daļas.

Piedāvājums, cenas ietvars, sociālais pierādījums, garantija, veidlapas garums un galvenā vērtības piedāvājuma teksts ir augstas ietekmes mainīgie. Garantija, kas novietota blakus jūsu aicinājumam uz darbību, maina uztverto risku. Veidlapa, kas samazināta no daudziem laukiem uz dažiem, maina aizpildīšanas līmeni. Virsraksts, kas nosauc konkrēto rezultātu, nevis neskaidru ieguvumu, maina to, kam šķiet, ka lapa ir paredzēta. Šīs izmaiņas ir pietiekami lielas, lai parādītu signālu pat nelielā izlasē.

Viens veids, kā identificēt augstas ietekmes mainīgos, ir jautāt: “Ja apmeklētājs izlasa tikai vienu rindiņu šajā lapā, kādai tai vajadzētu būt?” Šī rindiņa ir jūsu virsraksts. Veltiet savu testēšanas enerģiju tam, pirms pieskaraties pogai. Nākamais jautājums: “Kādu iebildumu apmeklētāji izsaka visbiežāk?” Šis iebildums ir jūsu garantija. Uzrakstiet tādu, kas to tieši risina. Tie nav dizaina lēmumi; tie ir vērtību lēmumi.

Padomājiet par to šādi: A/B testēšana ir domāta tam, lai optimizētu kaut ko, kas jau darbojas. Ja jūsu lapā ir būtiska neatbilstība starp to, ko piedāvājat, un to, ko apmeklētājs vēlas, neviens tests to nelabos. Vispirms labojiet piedāvājumu. Tad testējiet.

Tā ir klasiskā mazo komandu kļūda: lēkt testēšanā, pirms tās ir novērsušas pamata konversijas noplūdes. Rokasgrāmata par visbiežāk pieļautajām A/B testēšanas kļūdām aptver pārējos slazdus, lai jūs varētu tos izlaist.

Jūsu nākamās 30 dienas

Lūk, plāns, bez desmit soļu sistēmas.

Pirmā nedēļa, audits. Atveriet analītiku un identificējiet savas lapas ar vislielāko trafiku un stāvākajiem kritumiem. Skatieties sesiju ierakstus. Nosūtiet aptauju ikvienam, kurš neiegādājās. Uzskaitiet katru šķērsli, ko redzat, izmēra secībā.

Otrā nedēļa, tieši novērsiet trīs galvenos šķēršļus. Bez testēšanas. Vienkārši uzlabojiet tekstu, izkārtojumu, veidlapu vai piedāvājumu. Noņemiet šķēršļus, kurus esat apstiprinājis ar savām acīm.

Trešā nedēļa, izvēlieties vienu vietu ar vislielāko trafiku un veiciet tur vienu kontrolētu testu. Viens mainīgais. Definējiet savu lēmuma noteikumu pirms skatāties. Ļaujiet tam darboties, līdz atšķirība ir skaidra vai līdz laiks beidzas.

Ceturtā nedēļa, pieņemiet lēmumu. Ja rezultāts ir virziena un saskan ar jūsu kvalitatīvajiem pierādījumiem, ieviesiet to. Ja tas ir uz robežas, iekļaujiet mācību nākamajā iterācijā. Pēc tam izveidojiet nākamo testu.

Šī pieeja nedos jums tīru statistisko pārliecību. Tā dos jums impulsu. Jūs mācīsities ātrāk, izlaidīsiet uzlabojumus ātrāk un izveidosiet ieradumu jautāt “ko tas man iemācīs” pirms kaut ko palaižat. Šis ieradums ir īstais konversijas rīks.

Kad jūsu trafiks augs—un tas augs—jūs jau zināsiet, ko testēt, kur testēt un kā nolasīt rezultātus. Zema trafika periods nav laiks, ko nosēdēt malā. Tas ir laiks spēlēt citu spēli. Spēlējiet šo spēli labi, un lielākā spēle jūs gaidīs.