A/B-testimine ilma liikluseta: suunav tegevusjuhend

Kokkuvõte

Madala liiklusega sihtlehed muudavad traditsioonilise A/B-testimise aeglaseks, kalliks ja ebausaldusväärseks. Kui teie leht saab kuus vaid tilga kaupa külastusi, kulutate nädalaid oodates tulemust, mis ei ütle teile ikkagi midagi. Lahendus on oma tegevusjuhendi muutmine: kõrvaldage esmalt nähtav hõõrdumine, viige teste läbi ainult seal, kus liiklus koondub, ja käsitage väikeste valimite tulemusi suunavate vihjetena, mitte tõestusena. See artikkel annab ülevaate praktilisest auditist, ühe muutuja testimise strateegiast ja 30-päevasest plaanist, mis loob hoo isegi ilma statistilise olulisuseta. Samuti nimetab see ausa kompromissi: võite tegutseda valepositiivse tulemuse põhjal, kuid õpite kiiremini kui ootaksite andmeid, mida kunagi ei tule. Kasutage võrdlustabelit, et oma testimismõtteviis lähtestada ja täna tegutsema hakata.

Lõpuks viisite läbi testi. Kirjutasite pealkirja ümber, lülitasite sisse jaotuse ja ootasite. Kaks nädalat hiljem näitab platvorm versioonide vahel erinevust, mis näeb välja nagu võit. Kuid valimi suurus on pisike, usaldusvahemik on lai ja sügaval sisimas teate: see pole andmed. See on mündivise armatuurlaual. See on madala liikluse lõks. Lahendus pole rohkem testida; see on teistmoodi testida.

Lõks: testide käivitamine, mida te ei saa lugeda

Matemaatika siin pole teie süü. See on süsteemi piirang. A/B-testimine töötab nii, et publik jagatakse kahte rühma ja võrreldakse nende käitumist. See võrdlus muutub tähenduslikuks alles siis, kui kumbki rühm on piisavalt suur, et tegelikud erinevused eristuksid juhuslikust mürast. Lehel, mis saab kuus vaid tilga kaupa külastusi, ei pruugi isegi suur paranemine jõuda usaldusväärse tulemuseni enne, kui peate midagi välja saatma.

Optimizely sõnastiku kohaselt on A/B-testimine meetod veebilehe või rakenduse kahe versiooni võrdlemiseks, et teha kindlaks, kumb toimib paremini. Rõhk peaks olema sõnal "kindlaks tegema". Pisikeste valimite puhul ei tee te midagi kindlaks. Te arvate, ainult et arvamuse küljes on usaldusskoor.

Siin on ebamugav esimene samm: lõpetage A/B-testide käivitamine, mida te ei saa lugeda. See pole järeleandmine. See on ümbersuunamine. Test, mis ei saavuta usaldusväärset olulisust, on aja, liikluse ja tähelepanu raiskamine. Hoidke oma testimiseelarve ajaks, kui teil on piisavalt andmeid. Praegu kasutage teistsugust tegevusjuhendit.

Minge vaadake, miks inimesed lahkuvad

Väikese saidi puhul pole kõige suurem õppetund testitulemustes. See on teie tegelike külastajate käitumises. Kui liiklust on tilga kaupa, saate vaadata märkimisväärset osa kõigist saabujatest. See on luksus, mida suured ettevõtted kadestaksid. Kasutage seda.

Alustage oma analüüsist. Leidke lehed, mis saavad kõige rohkem liiklust ja kus on kõige järsem langus. Seejärel minge sügavamale: vaadake sessioonisalvestusi, uurige kuumakaarte ja esitage hiljutistele külastajatele üks aus küsimus: "Mis oleks peaaegu takistanud teil ostmast?" Vastused näitavad teile hõõrdumist, mida teie aju välja mõelda ei suuda.

Siin on konkreetne näide. Kujutage ette projektihaldustööriista sihtlehte. Leht saab pidevalt külastusi ühelt populaarselt blogipostituselt. Tegevuskutse ütleb "Alusta tasuta prooviversiooni". Avate sessioonisalvestused ja vaatate, kuidas külastajad kerivad hinnakirja juurde ja lahkuvad. Hinnatabelis on plaan nimega "Meeskond", kuid miski ei selgita, mida "Meeskond" tähendab. See ebaselgus on hõõrdumine. Muudate plaaninime "Väike meeskond (kuni 10)" ja kohandate teksti. Pole jaotustesti, pole ooteaega. Lihtsalt nähtava takistuse kõrvaldamine.

Kas see on garanteeritud võit? Ei. See on otsese vaatluse põhjal suure usaldusväärsusega parandus. Kui mahajätmise põhjus on nähtav, ei vaja te kontrollrühma, et öelda, et see on probleem. Vajate julgust see eemaldada.

See on väikese olemise peamine eelis. Saate rääkida oma kasutajatega, näha neid looduses ja tabada seda, mida armatuurlaud ei suuda kvantifitseerida. Viige oma tänulehel läbi lühike küsitlus. Küsige kasutajatelt, kes ei konverteerinud, mis oleks peaaegu pannud nad lahkuma. Lugege vastuseid. Leiate mustreid, mida ükski A/B-test kunagi ei paljastaks. Inimesed oskavad väga hästi kirjeldada, kus probleem on, isegi kui nad ei oska öelda, kuidas seda parandada. Laske nende käitumisel osutada lehe elemendile ja kasutage oma otsustusvõimet sõnastuse parandamiseks.

Käsitage seda korraliku ülesandena. Planeerige kaks tundi, sulgege meil ja lugege tooreid sessioonisalvestusi ükshaaval. Ärge kerige kiiresti. Teine kord, kui näete sama pausi, sama kerimist, sama kõhklevat kursorit, olete leidnud mustri. Mustrid on teie tõendusmaterjal. Ühe külastaja teekond on anekdoot; mitu külastajat, kes teevad sama asja, on vihje. See vihje on väärt rohkem kui tuhat rida koondandmeid.

Pange test sinna, kus teie liiklus on

Madala liiklusega saidil on peaaegu alati kõrge liiklusega hetki. Te ei pea testima oma hõredal esilehel. Leidke leht või kanal, kus inimesed tegelikult koondduvad, ja viige oma katse seal läbi.

See võib olla tasuline sihtleht, mis saab suurema osa teie reklaamiliiklusest. See võib olla blogipostitus, mis on esilehel. See võib olla meilikampaania, mis läheb märkimisväärsele tellijate nimekirjale. Testi asukoht on sama oluline kui test ise. Kui viite testi läbi kohas, kus publik on liiga väike, näete müra. Kui viite selle läbi seal, kus rahvas on, on teil võimalus.

Viige katse vastavusse liiklustihedusega. Tervitusmeil, millel on tugev avamismäär, on parem testimiskeskkond kui leht "Meist", mis saab peaaegu mitte ühtegi külastust. Otsinguliiklusega toetatud tooteleht on parem kui esileht, kuhu keegi ei satu.

Enne käivitamist veenduge, et teie jaotus on tõesti juhuslik. Mõned tööriistad või käsitsi lahendused saadavad kogemata kõik mobiilikasutajad ühte versiooni. See rikub testi enne selle algust. Kui teie katsaplatvorm haldab randomiseerimist, usaldage seda, kuid kontrollige jaotust päeva pärast. Kui teete seda käsitsi, vahetage varianti tunni või päeva kaupa, mitte külastaja tüübi järgi. Järjepidevus on vähem oluline kui juhuslikkus.

Ja hoidke hüpotees kitsas. Ärge testige "paremat disaini". Testige ühte muutujat: ühte pealkirja, ühte pakkumist, ühte väljade arvu. Mida kitsam muudatus, seda lihtsam on lugeda isegi mõõduka liikluse korral. Kui otsustate, mida testida, valige muutuja, millel on suurim potentsiaalne mõju teie põhitegevusele, mitte see, mida on kõige lihtsam muuta. Raamistik selles A/B-testide prioriseerimise juhendis annab teile täpse arvutuskäigu.

Käsitage tulemusi suunavana, mitte lõplikuna

Siin on kompromiss, mida keegi memole ei kirjuta: statistiline rangus ja kiirus on otseses vastuolus. Enamik headest tavadest eeldab, et saate endale mõlemat lubada. Te ei saa. Seega vajate otsustusreeglit, mis töötab teie mastaabis.

Lõpetage 95% usaldusnõude esitamine. See künnis loodi meeskondadele, kellel on piisavalt liiklust selle saavutamiseks. Selle asemel käsitage oma madala liiklusega testi suunava signaalina. Kui üks versioon on selgelt ees ja leid ühtib sellega, mida olete salvestistes ja küsitlustes näinud, võite selle põhjal tegutseda – ettevaatlikult. Nimetage seda tugevaks hüpoteesiks, mitte tõestatud võitjaks. Seejärel kontrollige hiljem.

Siin on kõrvuti mõtteviisi muutus:

	Klassikaline A/B-test	Madala liiklusega katse
Lähtepunkt	"Ma tõestan, kumb versioon võidab."	"Ma kogun vihjeid selle kohta, mis on oluline."
Otsustuskünnis	95% või kõrgem usaldus	Suur suunaline erinevus pluss kvalitatiivne nõusolek
Tegutsemisaeg	Nädalad või kuud	Päevad
Riskitase	Madal, sest ootate	Kõrgem, seega kontrollite hiljem

Kas see tähendab, et mõnikord tegutsete valepositiivse tulemuse põhjal? Jah. See on aus hind. Võtate väikese riski tegutseda müra põhjal, et õppida kiiremini. Alternatiiv – ootamine, kuni teil on piisavalt liiklust – tähendab veerand aastat mitte midagi muuta.

Nipp on kaitsta end omaenda eelarvamuste eest. Enne kui numbreid vaatate, kirjutage üles, mida teeksite, kui tulemus on lähedane: te ignoreerite seda. Kirjutage üles, mida teeksite, kui erinevus on suur ja oodatud suunas: viite selle ellu, kuid dokumenteerite vana versiooni. Kui tulemus üllatab teid, käsitage seda täiendava uurimise ajendina, mitte järeldusena. See eelregistreerimine eristab suunalist otsust ahvist, kes nuppe vajutab.

Sõnal "oluline" on tehniline tähendus. Madala liiklusega keskkonnas pole te selleni jõudnud. Nii et muutke oma keelekasutust. Öelge "see suund tundub paljulubav" või "andmed viitavad õrnalt". See keelekasutus hoiab teid ausana iseenda ja kõigi teiste ees, kes tööd üle vaatavad. Põhjalikumaks vaatamiseks, millal tulemus on tegelikult usaldusväärne, lugege kuidas tõlgendada A/B-testi tulemusi ilma müra ohvriks langemata.

Testige pakkumist, mitte värvi

Kõige levinum aja raiskamine väikestel lehtedel on nuppude värvide, fontide ja vahekauguste testimine. Need mikro-muudatused annavad tavaliselt väikeseid efekte. Väikeste efektide tuvastamiseks on vaja tohutuid valimeid. Teil pole neid. Nii et lõpetage värvi testimine ja alustage lehe struktuuriosade testimist.

Pakkumine, hinnakujundus, sotsiaalne tõestus, garantii, vormi pikkus ja põhiväärtuspakkumise tekst on suure mõjuga muutujad. Garantii teie tegevuskutse kõrval muudab tajutavat riski. Vormi vähendamine paljudelt väljadelt mõnele muudab täitmismäära. Pealkiri, mis nimetab konkreetse tulemuse, mitte ähmase kasu, muudab seda, kes tunneb, et leht on neile mõeldud. Need muudatused on piisavalt suured, et näidata signaali isegi väikese valimi korral.

Üks viis suure mõjuga muutujate tuvastamiseks on küsida: "Kui külastaja loeb sellel lehel ainult ühte rida, mis see peaks olema?" See rida on teie pealkiri. Kulutage oma testimisenergia seal enne, kui nuppu puudutate. Järgmine küsimus: "Millist vastuväidet külastajad kõige rohkem esitavad?" See vastuväide on teie garantii. Kirjutage selline, mis selle otse käsitleb. Need pole disainiotsused; need on väärtusotsused.

Mõelge sellele nii: A/B-testimine on mõeldud millegi optimeerimiseks, mis juba töötab. Kui teie lehel on põhiline ebakõla selle vahel, mida pakute, ja selle vahel, mida külastaja tahab, ei paranda seda ükski test. Parandage kõigepealt pakkumine. Seejärel testige.

See on väikeste meeskondade klassikaline viga: testima hüpatakse enne, kui on parandatud põhilised konversioonilekked. Juhend kõige levinumate A/B-testimise vigade kohta katab ülejäänud lõksud, et saaksite neist mööda minna.

Teie järgmised 30 päeva

Siin on plaan, ilma kümne sammuta raamistikuta.

Esimene nädal, audit. Avage analüüs ja tuvastage oma kõrgeima liiklusega lehed ja kõige järsemad langused. Vaadake sessioonisalvestusi. Saatke küsitlus kõigile, kes ei ostnud. Loetlege kõik nähtavad takistused suuruse järjekorras.

Teine nädal, parandage kolm peamist takistust otse. Ilma testimiseta. Lihtsalt parandage teksti, paigutust, vormi või pakkumist. Eemaldage hõõrdumine, mille olete oma silmaga kinnitanud.

Kolmas nädal, valige üks kõrgeima liiklusega koht ja viige seal läbi üks kontrollitud test. Üks muutuja. Määrake oma otsustusreegel enne vaatamist. Laske sellel joosta, kuni erinevus on selge või kuni aeg saab otsa.

Neljas nädal, otsustage. Kui tulemus on suunav ja ühtib teie kvalitatiivsete tõenditega, viige see ellu. Kui see on piiripealne, lülitage õppetund järgmisse iteratsiooni. Seejärel seadistage järgmine test.

See lähenemine ei anna teile puhast statistilist kindlust. See annab teile hoo. Õpite kiiremini, saadate täiustused varem välja ja kujundate harjumuse küsida "mida see mulle õpetab" enne millegi käivitamist. See harjumus on tegelik konversioonitööriist.

Kui teie liiklus kasvab – ja see kasvab – teate juba, mida testida, kus testida ja kuidas tulemusi lugeda. Madala liikluse periood pole aeg kõrvale jääda. See on aeg teistsugust mängu mängida. Mängige seda mängu hästi ja suurem mäng ootab seal.