Okvir A/B testiranja, odporen na stranke: 7 korakov, ki delujejo pri vsaki stranki

Povzetek

Agencije izvajajo A/B teste pod strožjimi pogoji kot ekipe z enim samim izdelkom: več strank, tesni roki in razpršene metrike. Ta članek vam ponuja ponovljiv okvir, ki deluje na vsakem računu, začenši z opredelitvijo enega pravega konverzijskega cilja. Naučili se boste, kako najti točke trenja namesto da lovite mnenja deležnikov, pisati napovedne hipoteze in izbirati med univariatnimi, multivariatnimi in eksperimenti, ki jih poganja umetna inteligenca. Pokriva pragmatično načrtovanje velikosti vzorca, kako preprečiti strankam, da bi test predčasno ustavile, in kako brati dvoumne rezultate kot svetovalec. Zadnji korak je, da vsako zmago in neuspeh spakirate v priročnik, ki pospeši cikel testiranja naslednje stranke. Uporabite to strukturo, da skrajšate zapravljene tedne in spremenite testiranje v konkurenčno prednost za vašo agencijo. Ko testiranje obravnavate kot sistem in ne kot vrsto enkratnih zahtev, nehate znova izumljati toplo vodo na vsakem računu.

Ponedeljek, 9:47. Stranka po e-pošti zaprosi za "hiter A/B test" na svoji cenovni strani. Imate tri druge račune v teku, vsak z drugačno analitiko, drugačno verigo odobritev in drugačno definicijo "zmage". Hitri test bo potreboval tri tedne, da doseže statistično pomembnost. To že veste. Zato podaljšate časovnico, postavite pričakovanja in izvedete test. Potem polovico tedna porabite za njegovo zagovarjanje.

To ni problem testiranja. To je sistemski problem. Če morate za vsako stranko znova izumljati, kako testirati, niste partner za optimizacijo – ste izvajalec testov. Sledi sedemstopenjski okvir, ki deluje pri kateri koli stranki, z orodjem in pri kateri koli ravni prometa. Uporabite ga za hitrejše in pametnejše cikle testiranja, ki se kopičijo od računa do računa.

1. Določite metriko uspeha, preden se dotaknete katere koli spremenljivke

A/B testiranje, kot je opredeljeno v slovarju Optimizely, naključno razdeli vaše občinstvo in vsaki skupini prikaže drugačno različico strani. Ta naključna delitev ustvari podatke. Toda podatki so smiselni le, če veste, kaj merite. Večina strank reče, da si želi "več konverzij" — toda konverzije so lahko prijave, nakupi, zahteve za demo ali celo drsenje do noge strani. Če ne določite ene metrike, bo vsak rezultat, ki ga prinesete, odprt za reinterpretacijo.

Vsako sodelovanje začnite s 15-minutno revizijo ciljev. Stranko vprašajte: "Katero posamezno dejanje bi, če bi se podvojilo, naredilo to četrtletje uspešno?" Nato ta odgovor spremenite v primarno metriko. Uporabite jo kot merilo uspeha testa. Vse ostalo — stopnja obiskov ene strani, čas na strani, sekundarni kliki — postane varovalna metrika, ki jo spremljate, vendar je ne optimizirate.

Bodite neusmiljeno natančni. Če stranka reče "potencialne stranke", opredelite, kaj je potencialna stranka. Potencialna stranka je lahko oddaja obrazca, lahko pa tudi telefonski klic, klepet v živo ali prenos. Vsaka definicija spremeni, kateri element strani morate testirati. Cilj oddaje obrazca vas usmeri k dolžini obrazca in trenju. Cilj telefonskega klica naredi vašo optimizacijo osredotočeno na umestitev klica in znake zaupanja. Če se o tem ne uskladite na začetku, boste optimizirali napačno stran.

Primer: Stranka B2B želi "več potencialnih strank". Vprašate, kaj je potencialna stranka. Rečejo "kvalificirani potencialni kupci". To ni sledljivo. Zožite na "oddaje obrazca s službenim e-poštnim naslovom". Zdaj imate primarno metriko. Ko kasneje testirate nov naslov v glavi strani, ga boste ocenjevali samo po tej metrik. Ujeli boste tudi poskuse razglasitve zmage na podlagi boljše stopnje obiskov ene strani. Ta jasnost vam prihrani ure razprav.

Ko imate primarno metriko, jo zapišite v povzetek testa. Povzetek mora v enem stavku povedati: "Ta test bo ocenjen na podlagi [metrike]." Delite ga z vsemi deležniki. Ko kasneje podpredsednik predlaga, da se je "sodelovanje izboljšalo", pokažete na povzetek. Niste premaknili ciljev. Strinjali ste se o njih.

Tu ločite signal od šuma. Vedeti, kateri testi so najpomembnejši, je polovica bitke. Poraba proračuna za teste, ki najverjetneje prinesejo prihodek, je tisto, kar naredi agencijo učinkovito.

2. Iščite trenje, ne preference

Stranke vam bodo izročile seznam "testov, ki jih želimo izvesti", ki so v resnici mnenja. "Gumb bi moral biti zelen." "Naslov bi moral omeniti našo nagrado." Teh ne izvajate. Izvajate teste, ki zmanjšujejo trenje ali povečujejo zaupanje. Priročniki CRO kažejo na iste vzvode: jasnost poziva k dejanju, dolžino obrazca, jasnost postavitve, družbeni dokaz in znake zaupanja.

Te vzvode poiščite tako, da preučite, kje uporabniki vaše stranke odnehajo. Nastavite posnetke sej ali osnovno sledenje dogodkov, če ga še nimajo. Oglejte si vsaj pet resničnih uporabniških sej na stranko. Ne zanašajte se na mnenje stranke o tem, "kaj bo uporabnikom všeč". Podatki premagajo mnenja.

Pogosti viri trenja za revizijo:

• Obrazci, ki zahtevajo preveč ali premalo informacij
• Pozivi k dejanju, ki jasno ne povedo naslednjega koraka (npr. "Več o tem" v primerjavi s "Začni brezplačno preizkusno obdobje")
• Manjkajoči znaki zaupanja blizu točke odločitve (priporočila, garancije, ponudbe z vračilom denarja)
• Strani, ki se na mobilnih napravah nalagajo počasi
• Poti s presenetljivim dodatnim korakom (npr. "prijava" in nato "preverjanje e-pošte" brez opozorila)

Primer: Na strani za zaključek nakupa pri e-trgovinski stranki je obrazec s 6 polji in neobveznim potrditvenim poljem "ustvari račun". Nastavite posnetek seje in si ogledate pet uporabnikov. Dva poskušata izbrisati vnaprej izpolnjeno kodo kupona, ker mislita, da bo prinesla popust. Eden odneha pri polju za telefonsko številko. Trenje ni dolžina obrazca; je zmedeno polje za kupon. Vaš test ne poveča gumba. Premakne polje za kupon na zadnji korak pregleda. To je test, rojen iz opazovanja, ne iz mnenja.

Za to pri več strankah zgradite skupni dnevnik trenja. Kadar koli uporabnik obtiči na spletišču ene stranke, zabeležite vzorec. Isto trenje boste videli na spletišču druge stranke čez tri tedne. To je zasebna raziskovalna knjižnica vaše agencije. Je tudi močna ponudba novi stranki: "Ta točen problem smo že videli v vašem tržnem segmentu."

Ne ustavite se pri vedenju na spletišču. Preučite izhodne poti, zemljevide toplote in analitiko polj obrazca. Cilj je najti eno jasno točko, kjer uporabniki odhajajo. Ta točka je vaša testna spremenljivka. Če ne najdete jasnega odhoda, izvedite diagnostični test: poskusite z bistveno drugačnim pozivom k dejanju, veliko krajšim obrazcem ali radikalno drugačno ponudbo vrednosti. Rezultat, tudi ničelni, vam pove, kje je pravi odpor občinstva.

Dnevnik trenja redno posodabljajte. Ko opazite ponavljajoči se vzorec, ga zabeležite v dnevnik s posnetkom zaslona in enovrstično razlago. Po nekaj mesecih boste imeli katalog ugovorov uporabnikov, ki velja za vsako stranko, ki jo oskrbujete. Ta katalog je prodajna točka: "Ta točen ugovor smo že testirali v vaši panogi. Tukaj je, kaj smo se naučili."

3. Napišite hipotezo, ki napoveduje zakaj, ne kaj

Dober test odgovori na vprašanje: "Če naredimo X, se bo zgodilo Y, ker Z." "Ker Z" je hipoteza in tisto, zaradi česar je rezultat prenosljiv. Brez "zakaj" vam zmagovalni test ne pove ničesar o naslednji stranki.

Vsak test oblikujte s strukturo "Če ... potem ... ker ...". To vas prisili, da razmišljate o mehanizmu. "Skrajšajte obrazec s 5 polj na 3" postane "Če skrajšamo obrazec, se bo stopnja dokončanja zvišala, ker uporabniki zaznajo manj truda." Zdaj veste, zakaj. To pravilo lahko prenesete na katero koli stranko z dolgim obrazcem.

Zdaj opozorilo. Običajna najboljša praksa pravi, da testirajte eno spremenljivko naenkrat. To pravilo obstaja z dobrim razlogom: izolirane spremenljivke dajejo jasne vzročne razlage. Toda agencije redko imajo promet ali mesece za izvedbo dvajsetih ločenih univariatnih testov. Za račune z nizkim prometom potrebujete kompromis. Imate tri možnosti.

Pristop	Najboljši, ko	Kompromis
Univariatni test	Stran z visokim prometom, ena hipoteza, na voljo čas	Najčistejša vzročna zgodba, počasen
Multivariatni test	Srednji promet, več neodvisnih spremenljivk	Hitrejši, a zmedene interakcije
Eksperiment z umetno inteligenco	Nizek promet, tesen rok, želja po prilagajanju stroja	Novejša orodja, manj nadzora nad različicami

To tretjo možnost je vredno jemati resno. Optimizelyjev pojasnjevalnik eksperimentov z umetno inteligenco opisuje sisteme strojnega učenja, ki dinamično razporejajo promet in za vas ustvarjajo različice. Namesto da bi nastavili fiksno delitev in čakali, se sistem nauči, katera različica zmaguje, in promet v realnem času preusmerja k njej. To lahko stisne dvotedenski test na nekaj dni – za ceno nekaj metodološke čistosti. Za agencijo, ki ima rok, je to pogosto prava cena.

Niste prepričani, katera pot ustreza vaši stranki? Kompromisi med klasičnim in z umetno inteligenco vodenim testiranjem so vredni razumevanja, preden se zavežete.

Kako se odločiti: če ima stranka veliko prometa in odprt časovni okvir, uporabite univariatni test. Če ima srednji promet in več kandidatnih sprememb, izvedite multivariatni test z najobetavnejšimi kombinacijami. Če ima nizek promet in trd rok, izberite eksperiment z umetno inteligenco, ki se lahko prilagaja med izvajanjem. Ne dovolite, da vam preferenca do "prave znanosti" zamegli poslovne omejitve stranke. Pravi test je tisti, ki prinese odločitev, na podlagi katere lahko ukrepate, preden proračun izhlapi. Popolnoma zasnovan test, ki se konča po koncu kampanje stranke, je brez vrednosti.

Primer: Lokalna storitvena stranka ima skromen dnevni promet. Izvajanje univariatnega testa bi za odkrivanje pomembne razlike trajalo mesece. Napišete hipotezo in nato uporabite eksperiment z umetno inteligenco, ki dinamično razporeja promet. Po nekaj dneh sistem pokaže, da ena različica vodi, in k njej usmeri več prometa. Odgovor dobite v okviru kampanje stranke. Sprejmete, da je rezultat statistično manj brezhiben kot šesttedenski klasični test. To je racionalna menjava, ne kompromis.

Upoštevajte tudi, da je pravilo "ena spremenljivka naenkrat" mogoče sprostiti, če testirate radikalno nov del strani in ne posameznega gumba. Test preoblikovanja celotne strani lahko spremeni več elementov, vendar je hipoteza še vedno skladna: "Postavitev, zgrajena na besedilu, ki najprej izpostavi koristi, bo prekašala trenutno postavitev s seznamom funkcij, ker uporabniki izbirajo na podlagi rezultatov." Dokler hipoteza imenuje mehanizem, lahko testirate sveženj sprememb. Bodite le iskreni do stranke, da ne boste vedeli, kateri element je povzročil dvig.

4. Prilagodite velikost testa koledarju stranke, ne učbeniku statistike

Statistična pomembnost ni magična številka, ki jo odklenete 21. dan. Odvisna je od vaše osnovne stopnje konverzije, najmanjšega dviga, ki ga morate videti, in količine prometa, ki ga lahko usmerite v test. Vsak vodnik o testiranju na tem področju ponavlja isto opozorilo: izvajajte test, dokler nimate dovolj velikega vzorca in trajanja, sicer je vaš zaključek šum.

Preden načrtujete test, naredite matematiko v preprostem jeziku. Ocenite trenutno stopnjo konverzije stranke in najmanjšo izboljšavo, ki vam je pomembna. Nato ocenite, koliko obiskovalcev boste potrebovali za razumno raven zaupanja. Če to število ne bo doseženo pred četrtletnim pregledom stranke, imate tri možnosti: razširite delitev prometa, da pošljete več ljudi v test, sprejmete večji najmanjši zaznavni učinek, ki ga vaš promet lahko podpira, ali spremenite test v učni eksperiment brez obljubljenega "zmagovalca".

Za to ne potrebujete doktorata. Uporabite kalkulator velikosti vzorca. Vnesite osnovno stopnjo, učinek, ki ga želite zaznati, in želeno zaupanje. Orodje vam pove, koliko obiskovalcev na različico potrebujete. Nato delite s pričakovanim dnevnim prometom testa stranke, da dobite zahtevani čas izvajanja. Če ta čas ne ustreza roku stranke, prilagodite enega od vnosov, preden test sploh zaženete. Ta pogovor je veliko cenejši od zapravljenega tritedenskega cikla.

Primer: Stran prijave za preskusno različico stranke SaaS ima skromen, a stalen pretok obiskovalcev. Želite zaznati pomembno izboljšavo, vaša ocena velikosti vzorca pa pravi, da bo test potreboval veliko več obiskovalcev, kot jih lahko zagotovi promet stranke v razpoložljivem času. Stranka potrebuje odgovor v šestih tednih za sestanek upravnega odbora. Zato razširite delitev s 50/50 na 90/10 – a to še vedno ne bo dovolj. Namesto tega znižate najmanjši zaznavni učinek, da zajamete le velike zmage. Zdaj je test izvedljiv v časovnem okviru in stranki ste natančno povedali, kaj test lahko in česa ne more zaznati. To je profesionalna poteza.

Potrebujete tudi pravilo zaustavitve. Vnaprej se odločite, kako dolgo bo test trajal in kateri prag pomembnosti boste uporabili. Nikoli ne dovolite, da je koledarski datum edini razlog za ustavitev. Vedite, kdaj zgodaj ustaviti eksperiment ali ga podaljšati – vaša presoja, ne poljuben petek, bi morala odločiti.

5. Preprečite stranki, da bi test predčasno ustavila

Tu je prizor, ki ste ga že doživeli: Torek je in stranka sporoči: "Test je danes zjutraj objavljen. Pošljimo zmagovalca." Imate eno različico, ki vodi, a dosegli ste le zahtevano velikost vzorca. Vaša stranka vidi zmago. Vi vidite šum. To je najpogostejši razlog, da testi agencij propadejo – ne slaba matematika, ampak slabo upravljanje deležnikov.

Postavite osnovna pravila, preden se test začne. Pošljite enostranski povzetek testa, ki navaja: primarno metriko, načrtovano velikost vzorca, najzgodnejši datum, ko boste pogledali rezultate, in kaj lahko med izvajanjem spreminjate. Pridobite podpis stranke. Ko pokuka, postane to kršitev pričakovanj, na katero lahko pokažete, ne osebna zavrnitev. To ni o tem, da bi bili sprti; gre za zaščito celovitosti eksperimenta.

Prav tako zaščitite okolje testa. Stranki povejte, da med izvajanjem testa ne smejo biti objavljene nobene druge spremembe spletišča. Pasica, ki naznanja izpad na testni strani, zadnji trenutek spremenjen dizajn drugega ponudnika ali celo skok na družbenih omrežjih lahko onesnažijo vaše podatke. V trenutku, ko se zunaj testa nekaj spremeni, je odčitek sumljiv.

Primer: Razvijalec stranke sredi testa objavi novo ikono zavihka. To ne bi smelo biti pomembno, a tudi ne bi smelo se zgoditi. To zabeležite, zabeležite časovni žig in preverite, ali se rezultati po tem spremenijo. Če se, ponovno zaženete test. Stranke pogosto ne razumejo, kako občutljivo je to. Vaša naloga je, da to jasno zapišete v povzetek testa, da bodo to vzeli resno.

Pogost premik stranke je: "Kampanjo moramo zagnati v petek, ali lahko test končate prej?" Uprite se, razen če kampanja moti sam test. Če končate prej, tvegate napačno odločitev. Namesto tega preverite, ali je mogoče kampanjo rahlo zamakniti ali test prestaviti na stran, na katero kampanja ne vpliva. Vaš povzetek testa je pogajalsko orodje. Uporabite ga za vljudno, a odločno zavrnitev.

Še ena navada: nikoli ne preverjajte rezultatov med testom, razen če iščete tehnično napako. Človeški možgani so slabi pri verjetnosti. Niz dobrih dni deluje kot dokaz, a je pogosto le šum. Če vas zamika, da bi pokukali, raje odprite kalkulator velikosti vzorca. Spomnite se, koliko podatkov še manjka.

6. Preberite rezultat kot zgodbo, ne kot sodbo

Test se konča. Različica spet zmaga. Toda "kateri gumb je zmagal" je najmanj uporabna stvar, ki ste se je naučili. Koristna vprašanja so: Zakaj je zmagal? Ali ta razlaga velja za druge strani? Kaj smo odkrili o tem občinstvu, česar prej nismo vedeli?

Tu se večina agencij ustavi. Pošljejo zmagovalno različico, stranki pošljejo PDF in gredo naprej. To je zamujena priložnost. Ničelni rezultat – ko različica ni premagala kontrolne – je še vedno rezultat. Pove vam, da občinstvu ta spremenljivka ni pomembna ali da je bila izvirna različica že dovolj dobra. Zabeležite to spoznanje in ga uporabite pri naslednjem testu. Vodniki najboljših praks dosledno poudarjajo dokumentiranje spoznanj po vsakem eksperimentu; to testiranje iz niza enkratnih dogodkov spremeni v kopičenje premoženja.

Primer: Testirate priporočilo s fotografijo proti navadnemu citatu. Zmagа navadni citat. Poglobite se v zakaj. Slika deluje nastavljena; občinstvo stranke je skeptično. Nauček ni "priporočila ne delujejo." Je "to občinstvo želi pristne, nepripisane dokaze, ne olepšanih posnetkov." Naslednji mesec druga stranka povpraša o družbenem dokazu. Že veste, česa jim ne smete pokazati. To je donosnost naložbe v branje rezultatov kot zgodbe.

Razlaga rezultata ni le preverjanje p-vrednosti. Gre za opazovanje smeri, velikosti in segmentnih razlik. Če niste prepričani, ali lahko zaupate temu, kar vidite, se vrnite k osnovam. Vodnik o tem, kako pravilno interpretirati rezultate A/B testov, ne da bi nasedli šumu, vas bo ohranil poštene.

Upoštevajte tudi test "kaj pa zdaj". Prevedite metriko v jezik stranke. Velik relativni dvig na drobni osnovi lahko pomeni skoraj nič prihodka, medtem ko lahko majhen dvig na strani z velikim prometom pomeni ogromne dobičke. Ne dovolite, da vas relativna sprememba zaslepi glede absolutne vrednosti. Stranki je pomembna številka na dnu, ne interval zaupanja.

Ko predstavite ničelni rezultat, se ne opravičujte. Predstavite ga kot podatkovno točko. "Naučili smo se, da dolžina naslova ne vpliva na konverzijo za to občinstvo. To nas reši ponovnega izvajanja tega testa." Ničelni rezultat je čist odgovor na vprašanje. Ni neuspeh.

7. Vsak rezultat spremenite v ponovljivo pravilo

Zdaj zadnji korak, tisti, ki loči agencijo, ki testira, od agencije, ki se nanj stavi. Po vsakem testu napišite enostranski vnos v priročnik. Oblikujte ga dosledno: vrsta stranke, hipoteza, rezultat, priporočilo. Shranite ga nekam, kjer ga lahko vsi iščejo. Nato pred vsakim novim testom poiščite po priročniku podobno situacijo. Pogosto boste ugotovili, da ste se že naučili tistega, kar se boste ravno zdaj znova učili.

Tako testiranje postane konkurenčna prednost agencije. Ugotovitev stranke A, da je "polje za kupon zmedeno", vas reši oblikovanja enako pomanjkljivega testa za zaključek nakupa stranke B. Ugotovitev stranke C, da "priporočila ne premaknejo igle", vam omogoči testiranje česa drugega. Priročnik je premoženje, ki ga v resnici prodajate, ne poročila.

Kontrolni seznam za vnos v priročnik:

• Panoga stranke in vrsta spletišča
• Testna stran in testirana spremenljivka
• Hipoteza v obliki "Če ... potem ... ker ..."
• Rezultat primarne metrike: zmaga, izguba ali ničelno
• Razlaga "zakaj", na katero ste se oprli
• Eno dejanje, ki bi ga ponovili pri novi stranki
• Eno dejanje, ki ga ne bi nikoli več poskusili

Primer: Stranka z aplikacijo za fitnes testira obrazec za brezplačno preskusno različico z enim samim poljem za e-pošto v primerjavi z obrazcem z imenom in e-pošto. Različica z enim poljem prinese majhno, a dosledno zmago. Napišete vnos v priročnik: "Za občinstva, ki se odločajo impulzivno (fitnes, hrana), čim bolj zmanjšajte zahtevana polja na začetku; osebne podatke zberite kasneje." Čez šest tednov stranka z obroki povpraša o njihovem dolgem prijavnem obrazcu. Potegnete vnos iz priročnika, priporočite enako zmanjšanje in test izvedete z zaupanjem, ker že poznate verjeten rezultat. To je učinek kopičenja.

Nazadnje enkrat mesečno opravite "pregled spoznanj" s svojo ekipo. Preglejte, kaj ste se naučili pri vseh strankah. Združite vnose, ki kažejo na isto osnovno načelo. Ta načela spremenite v smernice za prihodnje teste. Na primer, če sta dve različni stranki opazili višjo konverzijo z obrazcem z enim poljem, je načelo "zahtevajte minimalne informacije do zaveze" verjetno resnično v njunih segmentih. To načelo zdaj vpliva na priporočilo vstopne strani za vsako novo stranko, še preden izvedete test.

Okvir deluje. A deluje le, če sistem res zgradite. Začnite z eno stranko. Uporabite vseh sedem korakov. Nato jih uporabite pri naslednji stranki in pustite, da priročnik opravi vedno več dela. Nehali boste spraševati "kaj bi morali testirati?" in začeli spraševati "katero znano pravilo velja tukaj?" To je razlika med agencijo, ki izvaja teste, in agencijo, ki pošilja boljše rezultate.