Triaža A/B testov za samostojnega tržnika: Kdaj testirati, prebrati ali objaviti

Povzetek

Če ste samostojni tržnik, vas vsak A/B test, ki ga zaženete, stane časa in prometa, ki ga nimate. Večina testnih idej si zasluži hitrejšo in cenejšo obravnavo kot formalni eksperiment. Ta vodnik predstavlja okvir odločanja s tremi kategorijami: formalni A/B test za vprašanja z visokimi vložki in dovolj prometa, orientacijsko branje za tesne odločitve, ko so podatki skopi, ter objavo in merjenje za očitne popravke. Naučili se boste, kako razvrstiti vsako idejo, kam sodijo eksperimenti z umetno inteligenco in zakaj je najhitrejša pot do boljše konverzije pogosto ta, da test v celoti preskočite. Nehajte izvajati teste, ki ne morejo prinesti zaključkov, in začnite sprejemati odločitve.

Vaš čakalni seznam testov ima več elementov, kot jih lahko dokončate to četrtletje. Vaš kalkulator prometa pravi, da potrebujete veliko več obiskovalcev, kot jih boste dobili ta mesec, da bi zaznali pomembno razliko, in vi ste edina oseba, ki ji je mar za rezultate. En test ste že zagnali in že tedne teče brez vidnega konca. Nimate podatkovnega znanstvenika, ki bi ga vprašali, ali počakati ali potegniti vtič.

Nehajte. Težava ni vaše orodje za testiranje ali vaše statistično znanje. Težava je, da vsako idejo obravnavate, kot da si zasluži formalni A/B test. Si ga ne.

Uporabite preprosto triažo. Vsak testni kandidat spada v eno od treh kategorij:

• Formalni A/B test. Samo za vprašanja, kjer je napačen odgovor drag in imate dovolj prometa za zanesljiv odgovor.
• Orientacijsko branje. Za tesne odločitve, ko ste lačni podatkov. Dobite namig, ne dokaza.
• Objavi in meri. Za očitne popravke in spremembe z nizkim tveganjem. Spremenite stran, spremljajte analitiko in pojdite naprej.

Odločitev	Formalni A/B test	Orientacijsko branje	Objavi in meri
Kdaj uporabiti	Stran z visokimi vložki in dovolj prometa	Tesna odločitev z malo prometa	Močno predznanje, jasen problem
Potreben promet	Dovolj za doseganje pomembnosti	Kar imate	Nič
Časovni strošek	Tedni do meseci	En do dva tedna	Ure
Kaj dobite	Zanesljiv odgovor	Orientacijski namig	Živa sprememba in podatki
Tveganje	Test s premajhno močjo zapravlja tedne	Napačno branje šuma kot signala	Izguba kontrafaktualnega stanja

Formalni A/B test: kdaj lahko dejansko sklepate

Vodite nišno B2B programsko podjetje. Vaš blog prinaša stalen tok obiskovalcev, stran s cenami pa je glavni vir prihodkov. Razmišljate o prenovi naslova. To je visok vložek: če naredite napačen korak, izgubite mesece prodajnega cevovoda. Če naredite pravega, pridobite mesece prodajnega cevovoda.

Naredite to pravilno. Preden se česar koli dotaknete, zapišite enostavčno hipotezo: »Sprememba naslova iz opisa funkcije v izjavo o koristi bo povečala število zahtevkov za predstavitev.« Izberite natanko en glavni kazalnik: zahtevke za predstavitev na obiskovalca. Vnaprej se odločite, kako dolgo bo test potekal. Uporabite kalkulator velikosti vzorca in če vam pove, da bi potrebovali veliko več prometa, kot ga imate, ustavite. To ni test, ki ga lahko izvedete.

Ko test teče, ne pokukajte vsak dan. Ne ustavite ga zgodaj, ker so številke videti dobre. Določite trajanje, pustite, da teče, nato pa poglejte. To je klasičen pristop, ki ga opisuje Optimizely: naključno razdelite občinstvo, vsaki skupini pokažite drugo različico in pustite, da obnašanje odloči.

Tri zahteve, in vse morajo biti izpolnjene:

1. Napačen odgovor je drag.
2. V razumnem časovnem okviru lahko dosežete statistično pomembnost.
3. Testirate natanko eno spremenljivko.

Če katera koli od teh ni izpolnjena, je formalni test napačna kategorija. Spreminjanje dveh spremenljivk hkrati kontaminira eksperiment – ne boste vedeli, kaj je povzročilo dvig. Testiranje zaradi testiranja porablja edini vir, ki ga ne morete kupiti nazaj: čas.

Če teh pogojev ne morete izpolniti, znižajte test. Prenova naslova je visok vložek; barva gumba ni. Porabite proračun za teste za vprašanja, ki spremenijo obliko vašega podjetja, ne za malenkosti.

Še en razlog za rezervacijo formalnih testov: so počasni. Medtem ko test teče, bi lahko objavili tri očitne izboljšave in jih izmerili. Pravi strošek formalnega testa ni le čas izvajanja; to je vsaka druga sprememba, ki ste jo zadržali med čakanjem.

Prav tako se pred zagonom odločite, kaj boste storili z rezultatom. Če test zmaga, kaj je naslednji korak? Če izgubi, kaj potem? Vnaprejšnja zaveza preprečuje naknadno racionalizacijo.

Orientacijsko branje: ko ste lačni podatkov

Ste samostojni svetovalec s skromno spletno stranjo. Za domačo stran imate dve možnosti naslova. Nimate dovolj prometa, da bi v enem mesecu dosegli pomembnost, vendar se izbira še vedno zdi pomembna. Tipičen nasvet je »samo A/B testiraj« – in ta nasvet je za vašo situacijo napačen.

Izvedite orientacijsko branje. Določite trden časovni okvir: en teden, največ dva. Promet razdelite 50/50. Na koncu poglejte, kateri naslov je dobil več klikov. To uporabite kot vnos za svojo presojo, ne kot obsodbo.

Trik je, da pred ogledom zapišete svoje predznanje: »Verjamem, da bo naslov, ki poudarja koristi, uspešnejši.« Če se podatki strinjajo, ga z zaupanjem objavite. Če si nasprotujejo, vprašajte zakaj. Če je odločitev preveč tesna, izberite tistega, ki se ujema z vašimi drugimi raziskavami. Ne iščete gotovosti. Iščete potisk.

Kako dolgo naj traja orientacijsko branje? Dovolj dolgo, da vidite vzorec, dovolj kratko, da ne izgubite meseca. Če ista različica zmaguje vsak dan, je to signal. Če se zmagovalec dnevno spreminja, je to šum. Izberite različico, ki se zdi prava, in pojdite naprej.

Za dnevno spremljanje rezultatov uporabite preprosto preglednico. Sili vas, da dejansko pogledate vzorec, namesto da čakate na konec.

To ni formalno A/B testiranje. Ne pretvarjajte se, da je. Ne dodajajte pragov pomembnosti orientacijskemu branju. Ne poročajte deležniku »testirali smo to«. Recite »naredili smo hitro preverbo in smer je videti obetavna.« Pretiravanje o orientacijskem branju je način, kako končate z lažnim zaupanjem in slabšimi odločitvami naslednji mesec.

Če potrebujete podrobnejši sistem za testiranje z malo prometa, orientacijski priročnik vodi skozi celotno metodo.

Objavi in meri: ko je testiranje napačna odločitev

Vaša stran za plačilo ima obvezno polje »ime podjetja«. Prejeli ste več podpornih e-poštnih sporočil od strank, ki ne vedo, kaj naj vnesejo. Vaša stopnja konverzije trpi. Kaj testirate?

Odstranite polje. Ne testirajte ga.

To se sliši preveč očitno, da bi bilo treba povedati, vendar je najpogostejši samouničevalni vzorec med samostojnimi tržniki spreminjanje očitnih popravkov v eksperimente. Skrajšate dolg obrazec na minimum, ker veste, da trenje ubija konverzije. Premaknete znake zaupanja nad pregib, ker so vaši intervjuji s strankami polni ugovorov glede zaupanja. Spremenite oznako gumba, ki očitno zmede obiskovalce. Nobena od teh stvari ne potrebuje testa. Potrebujejo objavo.

Po objavi merite. Teden dni spremljajte dokončanja obrazcev v svoji analitiki. Če se številka premakne v pravo smer, jo obdržite. Če se premakne v napačno smer, jo povrnite. Zdaj imate izhodišče in podatkovno točko. To je dovolj.

Nasprotna resnica: testiranje ni vrlina. Test s premajhno močjo, ki teče tedne in se konča z »nekonkluzivno«, vas stane časa, ki bi ga lahko porabili za objavo očitne izboljšave. Prav tako vas nauči čakati na dovoljenje orodja, ko so vaši lastni dokazi že močni.

Kaj je »očitno«? Imate več virov dokazov: povratne informacije uporabnikov, podporna e-poštna sporočila, analitiko, ki kaže, kje ljudje odhajajo, lastne oči na strani. Ko jih več kaže v isto smer, ne potrebujete eksperimenta za potrditev. Potrebujete objavo.

En opozorilo: če je sprememba poceni za testiranje in imate promet, jo kar testirajte. Pravilo ni »nikoli ne testirajte očitnih stvari«. Pravilo je »ne testirajte očitnih stvari, če bi test trajal dlje kot popravek«.

Ustvarite preprost sistem za sledenje objavljenim spremembam. Preglednica z datumom, spremembo, kazalnikom in rezultatom. To vsako objavo spremeni v majhen eksperiment. Sčasoma boste zgradili dnevnik odločitev.

Preden karkoli dodate na čakalni seznam, se vprašajte: »Ali že vem odgovor?« Če da, objavite. Če ne in ne morete izvesti pravega testa, berite orientacijsko. Samo resnično negotova in visoko tvegana vprašanja si zaslužijo formalni eksperiment. Če imate težave pri prepoznavanju idej, ki so vredne vašega časa, vam bo pomagal ta vodnik za prednostno razvrščanje testov, ki dejansko prinašajo konverzije.

Past eksperimentov z umetno inteligenco: hitrejše napake, ne hitrejši odgovori

Slišali ste že za A/B testiranje, ki ga poganja umetna inteligenca. Dinamično razporeja promet, ustvarja različice in analizira rezultate v realnem času. Sliši se kot podatkovni znanstvenik v škatli – točno tisto, kar potrebujete kot enoosebni marketinški oddelek.

Tu je ulov: umetna inteligenca ne ustvarja prometa. Prerazporeja promet, ki ga že imate. Če je vaš promet majhen, je eksperiment z umetno inteligenco še vedno orientacijsko branje, le z večjim motorjem za seboj in glasnejšim glasom, ki ga imenuje pomembnega. Lahko najde lažne zmagovalce hitreje, kot jih lahko preverite.

Nadgradnja je resnična za ekipe z obsegom. Če imate dovolj sej, da 50/50 razdelitev še vedno daje vsaki različici spodoben obseg, vam lahko eksperiment z umetno inteligenco pomaga hitro raziskati številne različice. Če imate pičel promet, se osredotočite na ročni pristop. Umetna inteligenca ne bo izdelala podatkov.

Ko uporabljate eksperiment z umetno inteligenco, postavite varnostne ograje. Glavni kazalnik določite sami. Določite pravilo zaustavitve. Pred zagonom se odločite, kako izgleda smiselna izboljšava. Ne dovolite, da orodje izbere, kaj šteje kot uspeh. Upoštevajte tudi, kaj umetna inteligenca optimizira. Če optimizira za klike, lahko žrtvuje kazalnik, ki je pomemben, na primer prijave ali prihodke. Cilj morate določiti vi. Eksperiment z umetno inteligenco je orodje, ne upravitelj.

In nikoli ne dovolite, da beseda »AI« nadomesti osnove: eno jasno vprašanje, razumen časovni okvir in prag za ukrepanje. Večji kot je apetit eksperimenta po podatkih, več bo zahteval od vas. Če že tako trpite zaradi pomanjkanja prometa, je vsaka seja, ki jo daste različici, seja, ki se ne uči iz kontrolne skupine. Ta kompromis je pomemben.

Če že izvajate test in niste prepričani, ali ga ustaviti, preberite kdaj ustaviti A/B test, preden zapravite še en teden.

Sestavite vse skupaj

Vzemite svoj čakalni seznam testov. Pojdite skozi vsako postavko in jo označite.

• Formalni test.
• Orientacijsko branje.
• Objavi in meri.

Ukinite tiste, ki ne sodijo. Teste smete ukinjati. Cilj ni izvesti več testov; cilj je sprejemati boljše odločitve s prometom, ki ga že imate.

Ta seznam pregledajte vsako četrtletje. Vaše spletno mesto se spreminja, vaše občinstvo se spreminja in vaš promet lahko raste. Ko se to zgodi, ponovno ocenite teste, ki ste jih ukinili. Test, ki je bil pred šestimi meseci nemogoč, je morda zdaj pripravljen.

Prednost samostojnega tržnika ni statistična prefinjenost. Je hitrost. Objavite očiten popravek, izvedite orientacijsko branje pri tesni odločitvi in porabite proračun za formalno testiranje samo za vprašanja, ki vas lahko dejansko opečejo. To storite in vaše A/B testiranje preneha biti opravek in postane orodje za odločanje.