Test, mida väldid, on just see, mida sul kõige rohkem vaja on

Kokkuvõte

A/B-testimine ei nõua andmeteaduse meeskonda, mäekõrgust liiklust ega täit testimiskalendrit. Tegelik takistus on rida mugavaid vastuväiteid, mida üksikturundajad peavad piiranguteks. See artikkel lammutab levinumad vabandused – puuduv liiklus, puuduv aeg, AI asendab testimist, oma kõhutunde usaldamine, statistiline keerukus ja liiga varajane staadium – ning muudab igaühe konkreetseks tegevuseks. Sa õpid, kuidas teha üks suure mõjuga test sellega, mis sul on, millal toetuda AI-le versus klassikalisele testimisele ja miks on see test, mida sa pidevalt edasi lükkad, sageli just see, mida su ettevõte kõige rohkem vajab. Eesmärk on muuta tegevusetuse hind valusamaks kui halva eksperimendi risk.

Test, mida väldid, on just see, mida vajad kõige rohkem

Enamik A/B-testimise nõuandeid on kirjutatud inimestele, kes juba teevad A/B-teste. Seetõttu on ainus tõeliselt kasulik asi, mida ma sulle öelda saan, järgmine: test, mis parandaks kõige rohkem su ettevõtet, on tõenäoliselt see, mida sa väldid, sest see tundub liiga väike, liiga ebakindel või liiga tõenäoliselt kinnitavat midagi, mida sa pigem ei teaks. Vastuväited, mis hoiavad üksikturundajaid testimisvahendit üldse avamast, kõlavad ratsionaalselt, kuid igaüks neist on varjatud konversioonileke, mis on maskeeritud ettevaatlikkusena.

A/B-testimine on oma tuumalt otsuste harjumus. Nagu Optimizely sõnastik ütleb, on see meetod, kus võrreldakse kahte veebilehe või rakenduse versiooni omavahel, et teha kindlaks, kumb toimib paremini. Sul pole vaja 50 000-dollarilist ettevõtte armatuurlauda. Sul on vaja hüpoteesi, ühte muutujat ja piisavalt kannatlikkust, et lased numbritel rääkida. Ja ebamugav tõde on see, et inimesed, kes testimist kõige rohkem edasi lükkavad, on sageli need, kelle ettevõtted sellest kõige rohkem kasu saaksid. Kui oled kunagi öelnud: "me pole A/B-testimiseks valmis", oled juba teinud kõige kallima otsuse konversiooni optimeerimises.

Nii et lõpetagem nende vastuväidete juures noogutamine ja hakakem neid lammutama.

Vastuväide	Mida sa tegelikult otsustad
"Mul pole piisavalt liiklust."	"Ma ei lase oma klientidel hääletada."
"Mul pole aega."	"Lekkiv lehter on vist okei."
"AI muudab testimise vananenuks."	"Masin, millel pole minu klientide kohta andmeid, tunneb neid paremini kui mina."
"Ma usaldan oma kõhutunnet."	"Minu viimased kolm kõhutunde otsust olid õiged ja see pole valikuline mälu."
"See on liiga tehniline."	"p-väärtus hirmutab mind rohkem kui seiskunud kasvumäär."
"Me oleme liiga varajases staadiumis."	"Ma pigem ehitan aasta jooksul vale asja, kui õpin nädalaga."

Igaüks neist saab allpool õiglase käsitluse. Kuid õiglane ärakuulamine ei ole sama, mis õiglane otsus.

"Mul pole piisavalt liiklust"

Võtke hinnaleht, mis saab kakssada külastust kuus. Väga traditsiooniline optimeerimiskonsultant ütleks teile, et oodake, kuni teil on see number kümnekordne. Tal oleks õigus, kui teie eesmärk oleks tuvastada 2% nihe konversioonimääras. Aga asi on selles: te ei püüa tuvastada 2% nihet. Te püüate teada saada, kas võõras väärtuspakkumine on praegusest oluliselt parem või halvem, ja need erinevused on tavaliselt suured.

Matemaatika töötab teie kasuks, kui lõpetate pisikeste tõusude tagaajamise. Muudatust, mis kahekordistab teie konversioonimäära – näiteks selgitades, mida toode tegelikult teeb – saab tuvastada tagasihoidliku liiklusega mõne nädala jooksul. Ja kui testite midagi sellist nagu nupu silt, ei pruugi te isegi vajada statistiliselt kindlat valimit, et märgata, et "Vaata hindu" lööb "Alusta" klikkides. Peate lihtsalt laskma testil piisavalt kaua kesta.

Kui pikk on piisavalt pikk? Enamik testimisvahendeid sisaldab valimi suuruse kalkulaatorit ja veebist leiate ka eraldiseisvaid kalkulaatoreid. Rusikareegel: te soovite igas variandis piisavalt konversioone (klikke, registreerumisi, oste), mitte ainult piisavalt külastusi. Kui leht saab 200 külastust kuus ja konverteerib 2%, on see ainult 4 konversiooni kuus. Peate ootama mõnda aega, et näha tähenduslikku mustrit. Aga kui testitav element on pealkiri, mis mõjutab otseselt põhilist väärtuspakkumist, võib konversioonimäära erinevus olla 15% versus 5% ja te näete seda mustrit varem, kui arvate.

Teine liikluse päästerõngas on see, et teie veebisait pole ainus koht, kus saate katsetada. E-posti tellijad, makstud reklaamide klikid ja isegi postitatud link nišikogukonnas annavad teile kontrollitud vaatajaskonna. A/B-testimine töötab sama hästi e-kirjade, tootedisaini ja rakenduse voogude puhul kui sihtlehtedel – see on punkt, mida Optimizely sõnastik toob välja, loetledes elemente, mida saate testida. "Liikluse puudumise" vastuväide on peaaegu alati tegelikult "liikluse puudumine minu kodulehele", mis on palju kitsam probleem.

Ja siin tuleb AI tegelikult appi. Optimizely AI-eksperimentide raamistiku kohaselt suudab masinõpe dünaamiliselt jaotada liiklust paremini toimivale variandile reaalajas, nii et te ei jää kinni rangest 50/50 jagamisest, mis raiskab pooled külastused tõenäoliselt kaotajale. See tähendab, et teie olemasolev liiklus ulatub kaugemale. Üksikturundaja jaoks on see erinevus "testimine on võimatu" ja "testimine on aeglasem, kui ma tahaksin, kuid tehtav" vahel.

Praktiline vastumeede: määratlege üks edu mõõdik, mis on ettevõtte jaoks oluline, valige üks element, mis võiks seda mõõdikut oluliselt muuta, ja kohustuge testi käivitama teatud arvu päevade jooksul, lähtudes oma tööriista soovitatud valimist. Üksikasjalik raamistik selle kohta, millal lõpetada, on täpselt see, mida leiate meie millal lõpetada A/B-testi otsustusraamistik artiklist.

"Mul pole aega"

Tegelik probleem pole aeg; see on see, et te pole välja arendanud hüpoteeside testimise harjumust. See on pisike harjumus, mitte programm. Teil pole vaja testimiskalendrit, teekaarti ega "eksperimentide järjekorda". Teil on vaja ühte hüpoteesi kitsaskoha kohta, mis teile tegelikult korda läheb.

Siin on näide aja matemaatikast. Oletame, et teie registreerimisvormis on seitse välja ja kahtlustate, et see tapab lõpetamisi. Hüpotees on, et nelja välja eemaldamine suurendab registreerumisi. Testi seadistamine võtab umbes viisteist minutit, kui kasutate tööriista, mis võimaldab vormivarianti redigeerida. Siis ootate. Selle käigus kulutate kaks minutit päevas tulemuste pilguga vaatamiseks – või null minutit, kui lasete tööriistal end teavitada. Tegelik "töö" on viis minutit, mille kulutate hüpoteesi ja mõõdiku sõnastamisele.

A/B-testimise tööriistad teevad ka analüüsi teie eest. Nad arvutavad olulisuse, soovitavad, millal lõpetada, ja dokumenteerivad tulemuse. Vanasti oli peamine ajakulu statistilise väljundi parsimine, ja nüüd on see enamiku platvormide poolt automatiseeritud. Kui teete endiselt tabelduslehti käsitsi, siis teete asja liiga keeruliseks.

Suurem punkt on see, et aja vastuväide on tegelikult varjatud kulude-tulude vastuväide. Testimata jätmise hind on valideerimata eelduste jätkuv kasutamine. Iga oletus, mis jääb testimata, on panus ilma koefitsientideta. Kulutada tund kuus testile ei ole maks teie ajale; see on tulu otsusest, mille te niikuinii tegite.

Ja siin on nipp, et see püsiks: siduge oma test millegagi, mida te juba teete. Kui vaatate igal esmaspäeva hommikul oma Google Analyticsit, lisage sellele kohale viie minuti pikkune "kontrolli testi" ülesanne. Kui kirjutate igakuist uudiskirja, lisage rida "mida me testimme", et sundida end hüpoteesi sõnastama. Harjumus kleepub olemasolevate rutiinide külge, nii et see ei tundu teise projektina.

Alustage lihtsa prioriseerimisega. Üks test kvartalis viib teid ette enamikust väikestest meeskondadest. Kui tunnete end valikute ees halvatuna, on õppimine, kuidas prioriseerida teste, mis tegelikult loevad esimene oskus, mida arendada – kuid ärge laske analüüsihalvatusel end sundida lihtsalt midagi valima.

"AI muudab A/B-testimise vananenuks"

Jah, AI muudab testimise mehaanikat. Kuid "AI asendab A/B-testimise" on lihtsalt viimane viis vältida seda osa, mis kunagi ei kao: empiiriline otsus. Olgem täpsed, mis AI-eksperimendid tegelikult on, sest hüpe ületab praktika.

AI-toega A/B-testimine kasutab masinõpet variantide genereerimiseks, otsustamaks, kui palju liiklust igale variandile saata, ja tulemuste reaalajas analüüsimiseks. See on tõeliselt kasulik. See on kiirem ja kohanemisvõimelisem viis eksperimendi läbiviimiseks. AI-eksperimentide uurimine – sealhulgas Optimizely enda dokumentatsioon – kirjeldab seda klassikalise meetodi uuendusena, mitte asendajana. Masin võtab üle korduvad osad: see suudab genereerida testivariante, teha andmeanalüüsi ja isegi automatiseerida tulemuspõhist prioriseerimist, mida järgmiseks testida. See kõik on väärtuslik.

Kuid siin on konks, mida hüpe teile ei räägi: masin ei tea teie kliendi konteksti, valupunkti ega põhjust, miks nad teie lehele kell 23 õhtul sattusid. Äriküsimuse määratlemine on endiselt teie töö. AI-eksperiment on sama hea kui küsimus, mida te sellele söödate. Ja algoritm võib teile öelda, milline variant võitis, kuid see ei ütle, miks see variant võitis – "miks" on see, mida peate mõistma, et seda teadmist oma saidil skaleerida.

Nii et vastupidine seisukoht siin ei ole "AI on halb". See on "AI on tööriist testimise sees, mitte testimise asendaja." Kui kuulete müüjat väitvat, et testimine on surnud, sest AI teab kõige paremini, tõlkige see järgmiselt: "AI teab kõige paremini, eeldusel, et valim on esinduslik ja mõõdik on tähenduslik." See on ikkagi test. Inimesed, kes ütlevad, et AI asendab A/B-testimise, müüvad teile võlukeppi. Inimesed, kes ehitavad AI-eksperimente, müüvad teile paremini kalibreeritud testi. Erinevus loeb.

Praktiliselt peaksite kasutama AI-d raskete tööde tegemiseks: laske sellel genereerida uusi variante, soovitada, milliseid teste järgmisena teha, ja jaotada liiklust dünaamiliselt. Kuid te jääte eksperimendi läbiviijaks. Kui soovite täielikumat võrdlust, vaadake meie üksikasjalikku jaotust klassikaline A/B-testimine vs AI-eksperimendid.

"Ma lihtsalt tunnen oma kliente"

Kõige ohtlikum lause konversiooni optimeerimises on "meie kliendid on teistsugused." Iga asutaja usub seda ja iga asutaja on osaliselt õigus. Kuid "osaliselt õigus" ei ole hea alus kasvustrateegiale.

Siin on see, mis tegelikult juhtub, kui toetute intuitsioonile: teete muudatuse, mõõdik liigub (või mitte) ja siis ehitate selle ümber loo. Kui nupu värvi muutus "tundus" õige ja registreerumised kasvasid, omistate selle värvile. Tegelikkuses muutsite korraga kolme asja ja see, mis oluline oli, oli pealkiri, mida te ei testinud. Üks CRO põhiprintsiipe – mida rõhutatakse WordStreami konversioonimäära optimeerimise juhendis – on see, et peaksite isoleerima muutujaid, et näha, mis tegelikult tööd teeb. Teie kõhutunne ei suuda seda teha; see mäletab lihtsalt mustrit, mida tahab näha.

A/B-testimine on oluline seetõttu, et see isoleerib muutujad. Muutke ühte asja, mõõtke mõju ja saage teada diskreetne tõde oma klientide kohta. Teie kõhutunne on hiilgav hüpoteeside generaator – see ütleb teile, et "kliendid kõhklevad vormi juures." Test ütleb teile, kas see on tegelikult tõsi.

Oletame, et teie kõhutunne ütleb: "meie kliendid on hinnatundlikud, seega peaksime alustama hinnast." Kahe sihtlehe versiooni test – üks hinnaga alustamine, teine tulemustega alustamine – annab teile lõpliku vastuse. Võite avastada, et tulemuste versioon toob rohkem kvalifitseeritud müügivihjeid ja teie kõhutunne nägi maailma läbi oma tabeliärevuse prisma. Või kinnitatakse kõhutunnet. Igal juhul olete asendanud uskumuse faktiga.

"Lihtsalt klientide tundmisel" on sügavam hind: see ei skaleeru. Kui olete üksikturundaja, elab teie intuitsioon teie peas. Hetkel, kui toote sisse koopiakirjutaja, disaineri, agentuuri või isegi oma tulevase mina, kes on konteksti unustanud, kaob see intuitsioon. Dokumenteeritud testitulemus on seevastu püsiv vara. See ütleb teie meeskonnale (või teie tulevasele minale) täpselt, mida õpiti, milliselt sihtrühmalt, millisel lehel ja millise usaldusnivooga. Seetõttu on õppimiste dokumenteerimine A/B-testimise põhiline parim tava – mitte ainult meeldiv lisa arhiivi jaoks.

Praktiline samm: iga kõhutunde instinkti kohta, mille järgi kavatsete tegutseda, kirjutage see hüpoteesina üles. Seejärel valige üks kõige suurema mõjuvõimsusega ja viige läbi test. See on erinevus CRO kohtlemisel arvamusena ja distsipliinina.

"See on minu jaoks liiga statistiline"

Alustage ainsa statistikaga, mida vajate: määratlege eesmärk, muutke ühte asja, laske testil piisavalt kaua kesta ja laske tööriistal olulisus arvutada. See pole lihtsustamine; see on kogu mäng üksikturundaja jaoks.

Olgem otsekohesed statistilise paanika osas. Sõnad nagu "p-väärtus", "võimsus" ja "usaldusvahemik" panevad inimeste silmad särama. Kuid siin on saladus: tööriistad teevad statistika juba ära. Teie töö on järgida mõnda reeglit, mitte arvutada käsitsi hii-ruut.

Reeglid on lihtsad ja pärinevad otse parimate tavade mänguraamatust: seadke selged eesmärgid, testige korraga ühte muutujat, tagage piisav valimi suurus ja testi kestus statistilise olulisuse jaoks ning dokumenteerige, mida õpite. Kui järgite neid nelja reeglit, olete juba ees enamikust inimestest, kes nimetavad end "kasvuekspertideks".

Suurim statistiline patt üksiktestimises ei ole usaldusvahemiku valestimõistmine – see on piilumine. Kontrollite testi kolme päeva pärast, näete 20% tõusu ja lõpetate varakult. Tööriist ütleb teile, et see pole veel oluline, kuid te lõpetate ikkagi, sest "see tundub õige". Nii sünnivad valepositiivsed tulemused ja seetõttu on olemas valimi suuruse ja kestuse juhised. Korralik testimisvahend hoiatab teid pidevalt varajase lõpetamise eest.

Suurem risk pole statistiline teadmatus – see on "statistiline teater", kus test on halvasti kavandatud, valim liiga väike ja meeskond loeb olulisust mürast. Seetõttu on meie artikkel A/B-testi tulemuste õige tõlgendamine täis lõkse, mida saate väikese distsipliiniga vältida.

Nii et järgmine kord, kui keegi ütleb: "testi läbiviimiseks on vaja andmeteadlast", pidage meeles, et "andmeteadlane" olete teie, istudes köögilaua taga tööriistaga, mis arvutab kõik välja. Teie toote küsimuse, muutuja ja kannatlikkuse. Tööriist toob matemaatika. See pole doktorikraadi nõue; see on protsessi nõue.

"Me oleme selle jaoks liiga varajases staadiumis"

Kui olete enne tulu või üksi, on kiusatus arvata, et testimine on midagi, mida teete pärast "edu saavutamist". Kuid tõsi on vastupidine. A/B-testimine on kõige väärtuslikum siis, kui teil on kõige vähem kindlust. Selles etapis pole testitav asi mikro-CTA; see on põhiline väärtuspakkumine ise.

Kujutage ette, et olete loonud lihtsa sihtlehe oma pakkumisega. Teil on kaks võimalikku pealkirja: "Lihtsaim viis vabakutselise sissetuleku jälgimiseks" ja "Tea täpselt, kui palju järgmisel kuul teenid." Te ei vaja tohutut liiklust, et näha, kumb saab rohkem meili registreerumisi või klikke. Ja vastus säästab teid kuude kaupa sõnumite ehitamisest vale konksu ümber.

Varajase staadiumi testimine sunnib teid sõnastama oma eelduse, miks inimesed ostaksid. See on valus, kuid odavam kui selle avastamine pärast aastat vale tootesõnumite ehitamist. WordStreami CRO-tehnikate loend sisaldab hõõrdumise vähendamist vormides ja sotsiaalse tõestuse ning usaldussignaalide kasutamist – mõlemad on eriti tõhusad, kui alles alustate. Üks hästi paigutatud iseloomustus või kolmeväljaline vorm seitsmeväljalise asemel võib olla erinevus registreerumise ja põrke vahel.

Tegevus: eksportige oma meililist, looge lihtsa tööriistaga kaks sihtlehe varianti ja saatke pool listi kummalegi. Või isegi lihtsamalt, käivitage kaks reklaamivarianti erinevate pealkirjadega. See on test ja see pole kallis. A/B-testimise uurimine kinnitab, et seda saab rakendada meilidele, rakendustele ja kasutajavoogudele – mitte ainult kodulehele, mida kardate puudutada.

Veelgi enam, varajastel testidel on sageli "ebaaus eelis": teie väike valim pole nõrkus, see on signaal. Väikese, väga pühendunud vaatajaskonnaga tasub tähelepanu pöörata isegi tagasihoidlikule erinevusele vastustes, sest see vaatajaskond on sageli teie parim sobiv klient. Te ei otsi selles keskkonnas 1% tõusu; otsite suuna indikaatorit. Võtmesõna on osutus, mitte tõestus. See on okei. Teil on parem kui oletus.

Lõpeta ootamine, alusta testimist

Siin on muster iga vastuväite taga: need on kõik sama hirm erinevate mütsidega. Hirm, et test ebaõnnestub, et raiskate aega, et numbrid ütlevad teile midagi ebamugavat. Kuid ainus tõeline ebaõnnestumine on jätkata oletamist.

Väljapääsu teekaart on lühike. Valige üks leht, üks element ja üks mõõdik. Kirjutage hüpotees. Määratlege variant. Käivitage test tööriista soovitatud kestuseks. Salvestage tulemus, isegi kui see on "statistiliselt olulist erinevust pole" (see on ka tulemus). Seejärel otsustage järgmine test.

Üks rahuldustpakkuvamaid testimise tagajärgi on see, et distsipliin koguneb. Iga test annab teile andmepunkti oma klientide kohta, mida ükski artikkel, nõustaja ega AI-mudel teile kätte ei saa, sest see pärineb teie konkreetsest kontekstist. Pärast mõnda testi hakkate tegema kiiremaid ja enesekindlamaid otsuseid, sest te ei arva enam – viitate tõendite kogumile, mille olete ise üles ehitanud.

Aja jooksul muudab see protsess teie turunduse arvamuste seeriast eksperimentide seeriaks. Ja ilus osa on see, et kui alustate, imestate, miks te kunagi ootasite. Test, mida väldite, on tõenäoliselt see, mis ütleb teile, kas teie toode resoneerib. Võite seda jätkuvalt vältida või lasete oma klientidel öelda tõtt.