Testas, kurio vengiate, yra tas, kurio jums labiausiai reikia

Santrauka

A/B testavimui nereikia duomenų mokslo komandos, didžiulio srauto ar pilno testavimo kalendoriaus. Tikroji kliūtis – patogūs prieštaravimai, kuriuos vieniši rinkodaros specialistai klaidingai laiko apribojimais. Šis straipsnis išardo dažniausius pasiteisinimus – nėra srauto, nėra laiko, AI pakeičia testavimą, pasitikėjimas nuojauta, statistinis sudėtingumas ir per anksti – ir paverčia kiekvieną jų konkrečiu veiksmu. Sužinosite, kaip atlikti vieną didelio poveikio testą su tuo, ką turite, kada remtis AI, o kada klasikiniu testavimu, ir kodėl testas, kurį nuolat atidedate, dažnai yra tas, kurio jūsų verslui labiausiai reikia. Tikslas – priversti neveikimo kainą skaudėti labiau nei rizika dėl blogo eksperimento.

Testas, kurio vengiate, yra tas, kurio jums labiausiai reikia

Dauguma A/B testavimo patarimų yra parašyti žmonėms, kurie jau atlieka A/B testus. Todėl vienintelis tikrai naudingas dalykas, kurį galiu jums pasakyti, yra tai: testas, kuris labiausiai pagerintų jūsų verslą, greičiausiai yra tas, kurio vengiate, nes jis atrodo per mažas, per neaiškus arba pernelyg tikėtina, kad patvirtins kažką, ką norėtumėte nežinoti. Prieštaravimai, kurie neleidžia vienišiems rinkodaros specialistams net atidaryti testavimo įrankio, skamba racionaliai, bet kiekvienas iš jų yra paslėptas konversijų nuotėkis, užmaskuotas kaip apdairumas.

A/B testavimas iš esmės yra sprendimų priėmimo įprotis. Kaip teigiama „Optimizely“ žodynėlyje, tai metodas, kai lyginamos dvi tinklalapio ar programėlės versijos tarpusavyje, siekiant nustatyti, kuri veikia geriau. Jums nereikia 50 000 USD įmonės valdymo skydelio. Jums reikia hipotezės, vieno kintamojo ir pakankamai kantrybės, kad leistumėte skaičiams kalbėti. Ir nepatogi tiesa yra ta, kad žmonės, kurie labiausiai delsia testuoti, dažnai yra tie, kurių verslams tai būtų naudingiausia. Jei kada nors sakėte „mes nesame pasiruošę A/B testavimui“, jau priėmėte brangiausią sprendimą konversijų optimizavime.

Taigi nustokime linksėti šiems prieštaravimams ir pradėkime juos ardyti.

Prieštaravimas	Ką iš tikrųjų nusprendžiate
„Neturiu pakankamai srauto.“	„Neleisiu savo klientams balsuoti.“
„Neturiu laiko.“	„Besandaruojantis piltuvas, matyt, yra gerai.“
„AI padarys testavimą pasenusiu.“	„Mašina, neturinti duomenų apie mano klientus, pažįsta juos geriau nei aš.“
„Pasitikiu savo nuojauta.“	„Mano paskutiniai trys sprendimai pagal nuojautą buvo teisingi, ir tai nėra selektyvi atmintis.“
„Tai per daug techniška.“	„p reikšmė mane gąsdina labiau nei sustojęs augimo tempas.“
„Mums per anksti.“	„Verčiau metus kurti netinkamą dalyką nei mokytis per savaitę.“

Kiekvienas iš jų bus išklausytas toliau. Tačiau išklausymas nėra tas pats, kas teisingas verdiktas.

„Neturiu pakankamai srauto“

Paimkite kainų puslapį, kuris sulaukia dviejų šimtų apsilankymų per mėnesį. Labai tradicinis optimizavimo konsultantas pasakytų palaukti, kol turėsite dešimt kartų daugiau. Jis būtų teisus, jei jūsų tikslas būtų aptikti 2 % konversijų rodiklio pokytį. Bet štai kas svarbu: jūs nesistengiate aptikti 2 % pokyčio. Jūs bandote išsiaiškinti, ar nepažįstamas vertės pasiūlymas yra iš esmės geresnis ar blogesnis už dabartinį, o tie skirtumai paprastai būna dideli.

Matematika veikia jūsų naudai, kai nustojate vaikytis mažyčių pagerėjimų. Pokytis, kuris padvigubina jūsų konversijų rodiklį – pavyzdžiui, paaiškinant, ką produktas iš tikrųjų daro – gali būti aptiktas su nedideliu srautu per kelias savaites. O jei testuojate tokį dalyką kaip mygtuko etiketė, jums gali net nereikėti statistiškai patikimos imties, kad pastebėtumėte, jog „Peržiūrėti kainas“ sutriuškina „Pradėti“ pagal paspaudimus. Tiesiog reikia leisti testui trukti pakankamai ilgai.

Kiek ilgai yra pakankamai ilgai? Dauguma testavimo įrankių turi imties dydžio skaičiuotuvą, o atskirų skaičiuotuvų taip pat galima rasti internete. Nykščio taisyklė: jums reikia pakankamai konversijų (paspaudimų, registracijų, pirkimų) kiekviename variante, o ne tik pakankamai apsilankymų. Jei puslapis sulaukia 200 apsilankymų per mėnesį ir konvertuoja 2 %, tai tik 4 konversijos per mėnesį. Teks palaukti, kol pamatysite prasmingą modelį. Bet jei elementas, kurį testuojate, yra antraštė, tiesiogiai veikianti pagrindinę vertės pasiūlymo dalį, konversijų rodiklio skirtumas gali būti 15 % prieš 5 %, ir tą modelį pamatysite greičiau, nei manote.

Kitas srauto išsigelbėjimo kelias yra tai, kad jūsų svetainė nėra vienintelė vieta, kur galite atlikti eksperimentą. El. pašto prenumeratoriai, mokamų skelbimų paspaudimai ar net įdėta nuoroda nišinėje bendruomenėje suteikia jums kontroliuojamą auditoriją. A/B testavimas vienodai gerai veikia el. laiškams, produktų dizainui ir programėlių srautams kaip ir nukreipimo puslapiams – tai punktas, kurį „Optimizely“ žodynėlis pabrėžia, išvardydamas elementus, kuriuos galite testuoti. „Nėra srauto“ prieštaravimas beveik visada iš tikrųjų reiškia „nėra srauto į mano pagrindinį puslapį“, o tai yra daug siauresnė problema.

Ir čia AI iš tikrųjų padeda. Pagal „Optimizely“ AI eksperimentų apibrėžimą, mašininis mokymasis gali dinamiškai paskirstyti srautą geriau veikiančiam variantui realiuoju laiku, todėl nesate įstrigę prie griežto 50/50 padalijimo, kuris švaisto pusę jūsų apsilankymų tikėtinam pralaimėtojui. Tai reiškia, kad turimas srautas duoda daugiau naudos. Vienišam rinkodaros specialistui tai yra skirtumas tarp „testavimas neįmanomas“ ir „testavimas lėtesnis, nei norėčiau, bet įmanomas“.

Praktinis atsakas: apibrėžkite vieną sėkmės metriką, kuri yra svarbi verslui, pasirinkite vieną elementą, kuris galėtų iš esmės pakeisti tą metriką, ir įsipareigokite vykdyti testą nustatytą dienų skaičių pagal jūsų įrankio siūlomą imtį. Išsamų algoritmą, kada sustoti, rasite mūsų sprendimo, kada sustabdyti A/B testą, sistemoje.

„Neturiu laiko“

Tikroji problema ne laikas; tai, kad nesate susiformavę hipotezių tikrinimo įpročio. Tai mažytis įprotis, o ne programa. Jums nereikia testavimo kalendoriaus, kelio žemėlapio ar „eksperimentų sąrašo“. Jums reikia vienos hipotezės apie kliūtį, kuri jums iš tikrųjų rūpi.

Štai laiko matematikos pavyzdys. Tarkime, jūsų registracijos forma turi septynis laukus ir įtariate, kad ji žudo užpildymą. Hipotezė yra ta, kad pašalinus keturis laukus registracijų padaugės. Testas užtruks apie penkiolika minučių, jei naudojate įrankį, leidžiantį redaguoti formos variantą. Tada laukiate. Kol jis vyksta, skirkite dvi minutes per dieną rezultatų peržiūrai – arba nulį minučių, jei leidžiate įrankiui jus informuoti. Tikrasis „darbas“ yra penkios minutės, kurias skiriate hipotezės ir metrikos formulavimui.

A/B testavimo įrankiai taip pat atlieka analizę už jus. Jie apskaičiuoja reikšmingumą, siūlo, kada sustoti, ir netgi dokumentuoja rezultatą. Senais laikais pagrindinis laiko švaistymas buvo statistinių duomenų analizė, o dabar tai automatizuota daugumoje platformų. Jei vis dar rankiniu būdu dirbate su skaičiuoklėmis, pernelyg viską komplikuojate.

Pagrindinis dalykas yra tai, kad laiko prieštaravimas iš tikrųjų yra sąnaudų ir naudos prieštaravimas po kauke. Netestavimo kaina yra nuolatinis nepatvirtintų prielaidų diegimas. Kiekvienas spėjimas, kuris lieka netestuotas, yra statymas be šansų. Valanda per mėnesį, skirta testui, nėra mokestis jūsų laikui; tai grąža už sprendimą, kurį vis tiek ketinote priimti.

Štai gudrybė, kaip tai įtvirtinti: susiekite testą su tuo, ką jau darote. Jei kiekvieną pirmadienio rytą peržiūrite „Google Analytics“, įtraukite penkių minučių užduotį „patikrinti testą“ į tą laiko tarpą. Jei rašote mėnesinį naujienlaiškį, įtraukite eilutę apie „ką testuojame“, kad priverstumėte save suformuluoti hipotezę. Įprotis prigyja prie esamų rutinų, todėl jis nejaučiamas kaip dar vienas projektas.

Pradėkite nuo paprasto prioritetų nustatymo. Vienas testas per ketvirtį pralenkia didžiąją daugumą mažų komandų. Jei jaučiatės paralyžiuoti pasirinkimo, mokymasis prioritizuoti testus, kurie iš tikrųjų svarbūs yra pirmasis įgūdis, kurį reikia lavinti – bet neleiskite analizės paralyžiui priversti jus tik kažką pasirinkti.

„AI padarys A/B testavimą pasenusiu“

Taip, AI keičia testavimo mechaniką. Tačiau „AI pakeis A/B testavimą“ yra tik naujausias būdas išvengti tos dalies, kuri niekada neišnyksta: empirinio sprendimo. Būkime tikslūs, kas iš tikrųjų yra AI eksperimentai, nes ažiotažas lenkia praktiką.

AI pagrįstas A/B testavimas naudoja mašininį mokymąsi generuoti variantus, nuspręsti, kiek srauto siųsti kiekvienam variantui, ir analizuoti rezultatus realiuoju laiku. Tai tikrai naudinga. Tai greitesnis, labiau prisitaikantis eksperimento būdas. Tyrimai apie AI eksperimentus – įskaitant pačios „Optimizely“ dokumentaciją – apibūdina tai kaip klasikinio metodo atnaujinimą, o ne pakaitalą. Mašina perima pasikartojančias dalis: ji gali generuoti testų variantus, atlikti duomenų analizę ir netgi automatizuoti veikimu pagrįstą prioritetų nustatymą, ką testuoti toliau. Visa tai vertinga.

Bet štai kas, ko ažiotažas nepasako: mašina nežino jūsų kliento konteksto, skausmo taško ar priežasties, kodėl jis atsidūrė jūsų puslapyje 23 valandą. Vis tiek jūsų darbas apibrėžti verslo klausimą. AI eksperimentas yra tik tiek geras, kiek klausimas, kurį jam pateikiate. Ir algoritmas gali pasakyti, kuris variantas laimėjo, bet nepasakys, kodėl tas variantas laimėjo – „kodėl“ yra tai, ką reikia suprasti, kad įžvalgą pritaikytumėte visoje svetainėje.

Taigi prieštaraujanti pozicija čia yra ne „AI yra blogai“. Tai „AI yra įrankis testavimo viduje, o ne testavimo pakaitalas“. Kai išgirstate pardavėją teigiant, kad testavimas miręs, nes AI žino geriausiai, išverskite tai kaip „AI žino geriausiai, jei imtis yra reprezentatyvi, o metrika prasminga“. Tai vis tiek testas. Žmonės, kurie sako, kad AI pakeis A/B testavimą, parduoda jums stebuklingą lazdelę. Žmonės, kurie kuria AI eksperimentus, parduoda geriau sukalibruotą testą. Skirtumas svarbus.

Praktiškai turėtumėte naudoti AI sunkiam darbui atlikti: leiskite jam generuoti naujus variantus, siūlyti, kuriuos testus paleisti toliau, remiantis jo žiniomis, ir dinamiškai paskirstyti srautą. Bet jūs liekate eksperimentuotoju. Jei norite išsamesnio palyginimo, žr. mūsų išsamų klasikinio A/B testavimo ir AI eksperimentų palyginimą.

„Aš tiesiog pažįstu savo klientus“

Pavojingiausias sakinys konversijų optimizavime yra „mūsų klientai yra kitokie“. Kiekvienas įkūrėjas tuo tiki, ir kiekvienas įkūrėjas iš dalies teisus. Tačiau „iš dalies teisus“ nėra geras pagrindas augimo strategijai.

Štai kas iš tikrųjų atsitinka, kai pasikliaujate intuicija: padarote pakeitimą, metrika pajuda (arba ne), ir tada susikuriate istoriją apie tai. Jei mygtuko spalvos pakeitimas „jautėsi“ teisingas ir registracijos išaugo, priskiriate tai spalvai. Iš tikrųjų pakeitėte tris dalykus vienu metu, o svarbiausias buvo antraštė, kurios netestavote. Vienas iš pagrindinių CRO principų – pabrėžtų „WordStream“ konversijų rodiklio optimizavimo vadove – yra tai, kad turite izoliuoti kintamuosius, kad pamatytumėte, kas iš tikrųjų dirba. Jūsų nuojauta to negali padaryti; ji tiesiog prisimena modelį, kurį nori matyti.

A/B testavimo svarba yra ta, kad jis izoliuoja kintamuosius. Pakeiskite vieną dalyką, įvertinkite poveikį ir sužinokite konkrečią tiesą apie savo klientus. Jūsų nuojauta yra puikus hipotezių generatorius – ji sako, kad „klientai dvejoja prie formos“. Testas pasako, ar tai iš tikrųjų tiesa.

Tarkime, jūsų nuojauta sako „mūsų klientai yra jautrūs kainai, todėl turėtume pradėti nuo kainų“. Dviejų nukreipimo puslapių versijų testas – viena pradedanti nuo kainų, kita nuo rezultatų – duos galutinį atsakymą. Galite atrasti, kad rezultatų versija pritraukia daugiau kvalifikuotų potencialių klientų, o jūsų nuojauta matė pasaulį per jūsų pačių skaičiuoklės nerimo prizmę. Arba nuojauta pasitvirtins. Bet kuriuo atveju tikėjimą pakeitėte faktu.

Yra gilesnė „tiesiog pažįstu savo klientus“ kaina: tai neskalėja. Kai esate vienišas rinkodaros specialistas, jūsų intuicija gyvena jūsų galvoje. Kai tik pasikviečiate tekstų kūrėją, dizainerį, agentūrą ar net būsimą save, kuris pamiršo kontekstą, ta intuicija dingsta. Dokumentuotas testo rezultatas, kita vertus, yra nuolatinis turtas. Jis jūsų komandai (ar būsimam sau) tiksliai pasako, kas buvo išmokta, iš kurios auditorijos, kuriame puslapyje ir kokio pasitikėjimo lygio. Štai kodėl dokumentuoti išmoktas pamokas yra pagrindinė geriausia A/B testavimo praktika – ne tik gražu turėti archyvui.

Praktinis žingsnis: kiekvieną nuojautą, kurią ketinate įgyvendinti, užrašykite kaip hipotezę. Tada pasirinkite vieną didžiausią svertą turintį ir atlikite testą. Tai skirtumas tarp CRO traktavimo kaip nuomonės ir disciplinos.

„Man tai per daug statistika“

Pradėkite nuo vienintelės statistikos, kurios jums reikia: apibrėžkite tikslą, pakeiskite vieną dalyką, paleiskite testą pakankamai ilgai ir leiskite įrankiui apskaičiuoti reikšmingumą. Tai ne pernelyg supaprastinimas; tai visas žaidimas vienišam rinkodaros specialistui.

Būkime atviri dėl statistinės panikos. Žodžiai kaip „p reikšmė“, „galia“ ir „pasikliautinasis intervalas“ priverčia žmonių akis blausintis. Bet štai paslaptis: įrankiai jau atlieka statistiką. Jūsų darbas – laikytis kelių taisyklių, o ne ranka skaičiuoti chi kvadrato testą.

Taisyklės paprastos ir jos tiesiogiai iš geriausios praktikos žinyno: nustatykite aiškius tikslus, testuokite vieną kintamąjį vienu metu, užtikrinkite pakankamą imties dydį ir trukmę statistiniam reikšmingumui, ir dokumentuokite, ką sužinojote. Jei laikotės šių keturių taisyklių, jau lenkiate daugumą žmonių, kurie vadina save „augimo ekspertais“.

Didžiausia statistinė nuodėmė vienišame testavime yra ne pasikliautinojo intervalo nesupratimas – tai žvilgčiojimas. Patikrinate testą po trijų dienų, matote 20 % padidėjimą ir sustojate anksti. Įrankis sako, kad dar nereikšminga, bet jūs vis tiek sustojate, nes „jaučiasi teisinga“. Taip gimsta klaidingi teigiami rezultatai, ir būtent todėl egzistuoja imties dydžio ir trukmės rekomendacijos. Testavimo įrankis, vertas savo pavadinimo, nuolat įspės jus apie ankstyvą sustojimą.

Didžiausia rizika yra ne statistinis neišmanymas – tai „statistinis teatras“, kai testas suprojektuotas blogai, imtis per maža, o komanda įžvelgia reikšmingumą triukšme. Štai kodėl mūsų straipsnis apie teisingą A/B testų rezultatų interpretavimą pilnas spąstų, kurių galite išvengti su šiek tiek disciplinos.

Taigi kitą kartą, kai kas nors sako „jums reikia duomenų mokslininko, kad atliktumėte testą“, prisiminkite, kad „duomenų mokslininkas“ esate jūs, sėdintis prie virtuvės stalo su įrankiu, kuris viską apskaičiuoja. Jūs pateikiate klausimą, kintamąjį ir kantrybę. Įrankis pateikia matematiką. Tai ne daktaro laipsnio reikalavimas; tai proceso reikalavimas.

„Mums tam per anksti“

Jei neturite pajamų arba dirbate vieni, kyla pagunda manyti, kad testavimas yra kažkas, ką darote po to, kai „pasisekė“. Tačiau tiesa yra priešinga. A/B testavimas yra vertingiausias tada, kai turite mažiausiai tikrumo. Tame etape testuoti reikia ne mikro CTA, o pačią pagrindinę vertės pasiūlymą.

Įsivaizduokite, kad sukūrėte paprastą nukreipimo puslapį su savo pasiūlymu. Turite dvi galimas antraštes: „Paprasčiausias būdas sekti laisvai samdomų darbuotojų pajamas“ ir „Žinokite tiksliai, kiek uždirbsite kitą mėnesį“. Jums nereikia didžiulio srauto, kad pamatytumėte, kuri sulaukia daugiau el. pašto registracijų ar paspaudimų. Ir atsakymas sutaupys mėnesius kurdami žinutę pagal neteisingą kablį.

Ankstyvojo etapo testavimas verčia suformuluoti savo prielaidą, kodėl žmonės pirktų. Tai skausminga, bet pigiau nei atrasti tai po to, kai metus kūrėte netinkamą produkto žinutę. „WordStream“ CRO technikų sąraše yra trinties mažinimas formose ir socialinių įrodymų bei pasitikėjimo signalų panaudojimas – abu ypač veiksmingi, kai tik pradedate. Vienas gerai pastatytas atsiliepimas arba trijų laukų forma vietoj septynių gali būti skirtumas tarp registracijos ir atšokimo.

Veiksmas: eksportuokite savo el. pašto sąrašą, sukurkite du nukreipimo puslapio variantus su paprastu įrankiu ir išsiųskite pusę sąrašo kiekvienam. Arba dar paprasčiau – paleiskite dvi skelbimų versijas su skirtingomis antraštėmis. Tai testas, ir jis nėra brangus. Tyrimai apie A/B testavimą patvirtina, kad jį galima taikyti el. laiškams, programėlėms ir vartotojų srautams – ne tik pagrindiniam puslapiui, kurio bijote paliesti.

Be to, ankstyvieji testai dažnai turi „nesąžiningą pranašumą“: jūsų maža imtis nėra silpnybė, tai signalas. Turėdami mažą, labai įsitraukusią auditoriją, net nedidelis atsakymo skirtumas vertas dėmesio, nes ta auditorija dažnai yra jūsų tinkamiausi klientai. Šioje aplinkoje neieškote 1 % padidėjimo; ieškote krypties rodiklio. Pagrindinis žodis yra indikacija, ne įrodymas. Tai gerai. Jums geriau nei spėjimas.

Nustokite laukti, pradėkite testuoti

Štai modelis, slypintis už kiekvieno prieštaravimo: jie visi yra ta pati baimė, tik su skirtingomis kepurėmis. Baimė, kad testas nepavyks, kad švaistysite laiką, kad skaičiai pasakys kažką nepatogaus. Tačiau vienintelė tikra nesėkmė yra toliau spėlioti.

Išėjimo kelias trumpas. Pasirinkite vieną puslapį, vieną elementą ir vieną metriką. Užrašykite hipotezę. Apibrėžkite variantą. Paleiskite testą tiek, kiek siūlo jūsų įrankis. Užfiksuokite rezultatą, net jei jis „nėra statistiškai reikšmingo skirtumo“ (tai irgi rezultatas). Tada nuspręskite dėl kito testo.

Vienas iš maloniausių testavimo padarinių yra tai, kad disciplina kaupiasi. Kiekvienas testas suteikia duomenų tašką apie jūsų klientus, kurio jokie straipsniai, patarėjai ar AI modeliai negali jums duoti, nes jis ateina iš jūsų konkretaus konteksto. Po kelių testų pradėsite priimti sprendimus greičiau ir drąsiau, nes nebespėjate – remiatės įrodymų rinkiniu, kurį susikūrėte patys.

Ilgainiui šis procesas paverčia jūsų rinkodarą iš nuomonių serijos į eksperimentų seriją. Ir gražiausia dalis yra ta, kad kai pradėsite, stebėsitės, kodėl kada nors laukėte. Testas, kurio vengiate, greičiausiai yra tas, kuris pasako, ar jūsų produktas rezonuoja. Galite toliau vengti arba leisti klientams pasakyti tiesą.