Tests, no kura izvairies, ir tas, kas tev visvairāk vajadzīgs

Kopsavilkums

A/B testēšanai nav vajadzīga datu zinātnes komanda, milzīgs trafika apjoms vai pilns testēšanas kalendārs. Īstais šķērslis ir ērtu iebildumu kopums, ko solo mārketinga speciālisti kļūdaini uzskata par ierobežojumiem. Šis raksts izjauc visbiežāk sastopamos attaisnojumus — nav trafika, nav laika, AI aizstās testēšanu, paļaušanās uz instinktu, statistiskā sarežģītība un “pārāk agri” — un pārvērš katru no tiem konkrētā darbībā. Jūs uzzināsiet, kā veikt vienu augstas ietekmes testu ar to, kas jums ir, kad izmantot AI salīdzinājumā ar klasisko testēšanu un kāpēc tests, kuru pastāvīgi atliekat, bieži vien ir tas, kas jūsu biznesam visvairāk nepieciešams. Mērķis ir panākt, lai bezdarbības izmaksas sāpētu vairāk nekā slikta eksperimenta risks.

Tests, no kura izvairies, ir tas, kas tev visvairāk vajadzīgs

Lielākā daļa A/B testēšanas padomu ir rakstīti cilvēkiem, kuri jau veic A/B testus. Tāpēc vienīgais patiesi noderīgais, ko es varu jums pateikt, ir šāds: tests, kas visvairāk uzlabotu jūsu biznesu, visticamāk, ir tas, no kura jūs izvairāties, jo tas šķiet pārāk mazs, pārāk neskaidrs vai pārāk iespējams, ka apstiprinās kaut ko tādu, ko jūs labprātāk nezinātu. Iebildumi, kas attur solo mārketinga speciālistus no testēšanas rīka atvēršanas, izklausās racionāli, bet katrs no tiem ir slēpta konversijas noplūde, kas maskēta kā piesardzība.

A/B testēšana pēc būtības ir lēmumu pieņemšanas ieradums. Kā teikts Optimizely glosārijā, tā ir metode, kā salīdzināt divas tīmekļa lapas vai lietotnes versijas, lai noteiktu, kura darbojas labāk. Jums nav vajadzīgs 50 000 dolāru uzņēmuma informācijas panelis. Jums ir nepieciešama hipotēze, viens mainīgais un pietiekami daudz pacietības, lai ļautu skaitļiem runāt. Un neērta patiesība ir tā, ka cilvēki, kuri visvairāk atliek testēšanu, bieži ir tie, kuru bizness no tās iegūtu visvairāk. Ja kādreiz esat teicis: “mēs neesam gatavi A/B testēšanai”, jūs jau esat izdarījis visdārgāko lēmumu konversijas optimizācijā.

Tāpēc beigsim māt ar galvu uz šiem iebildumiem un sāksim tos izjaukt.

Iebildums	Patiesais lēmums, ko pieņemat
“Man nav pietiekami daudz trafika.”	“Es neļaušu saviem klientiem balsot.”
“Man nav laika.”	“Noplūstošā piltuve ir labi, lai tā paliek.”
“AI padarīs testēšanu novecojušu.”	“Mašīna bez datiem par maniem klientiem pazīst tos labāk nekā es.”
“Es paļaujos uz savu instinktu.”	“Manas pēdējās trīs instinktu izvēles bija pareizas, un tas nav selektīva atmiņa.”
“Tas ir pārāk tehniski.”	“P-vērtība mani biedē vairāk nekā apstājies izaugsmes temps.”
“Mēs esam pārāk agri.”	“Es labāk gadu būvētu nepareizu lietu, nekā mācītos nedēļas laikā.”

Katrs no šiem iebildumiem tiek godīgi izskatīts tālāk. Bet godīga izskatīšana nav tas pats, kas godīgs spriedums.

“Man nav pietiekami daudz trafika”

Ņemsim cenu lapu, kuru mēnesī apmeklē divi simti apmeklētāju. Ļoti tradicionāls optimizācijas konsultants teiktu jums pagaidīt, līdz jums ir desmit reizes lielāks apmeklētāju skaits. Viņam būtu taisnība, ja jūsu mērķis būtu noteikt 2% konversijas līmeņa izmaiņas. Bet lieta ir tāda: jūs nemēģināt noteikt 2% izmaiņas. Jūs mēģināt noskaidrot, vai nepazīstams vērtības piedāvājums ir būtiski labāks vai sliktāks par pašreizējo, un šīs atšķirības parasti ir lielas.

Matemātika strādā jūsu labā, kad vien beidzat dzīties pēc sīkiem uzlabojumiem. Izmaiņas, kas dubulto jūsu konversijas līmeni — piemēram, precizējot, ko produkts patiesībā dara — var noteikt ar nelielu trafiku dažu nedēļu laikā. Un, ja testējat, piemēram, pogas tekstu, jums, iespējams, pat nav vajadzīgs statistiski drošs paraugs, lai pamanītu, ka “Skatīt cenas” pārspēj “Sākt” klikšķu ziņā. Jums vienkārši jāļauj testam darboties pietiekami ilgi.

Cik ilgi ir pietiekami ilgi? Lielākajā daļā testēšanas rīku ir parauga lieluma kalkulators, un tiešsaistē var atrast arī atsevišķus kalkulatorus. Īkšķa noteikums: jums ir nepieciešams pietiekami daudz konversiju (klikšķu, reģistrāciju, pirkumu) katrā variantā, ne tikai pietiekami daudz apmeklējumu. Ja lapa mēnesī saņem 200 apmeklējumus un konversijas līmenis ir 2%, tas ir tikai 4 konversijas mēnesī. Jums būs jāgaida, lai parādītos jēgpilns modelis. Bet, ja elements, ko testējat, ir virsraksts, kas tieši ietekmē galveno vērtības piedāvājumu, konversijas līmeņa atšķirība var būt 15% pret 5%, un jūs to modeli ieraudzīsiet ātrāk, nekā domājat.

Vēl viena trafika “glābšanas lūka” ir tā, ka jūsu vietne nav vienīgā vieta, kur varat veikt eksperimentu. E-pasta abonenti, apmaksātu reklāmu klikšķi un pat ievietota saite nišas kopienā sniedz jums kontrolētu auditoriju. A/B testēšana darbojas tikpat labi e-pastos, produktu dizainos un lietotņu plūsmās kā galvenajās lapās — to norāda Optimizely glosārijs, uzskaitot elementus, kurus varat testēt. Iebildums “nav trafika” gandrīz vienmēr patiesībā nozīmē “nav trafika uz manu galveno lapu”, kas ir daudz šaurāka problēma.

Un šeit AI patiešām palīdz. Saskaņā ar Optimizely AI eksperimentu formulējumu, mašīnmācīšanās var dinamiski sadalīt trafiku uz labāk darbojošos variantu reāllaikā, tāpēc neesat iestrēdzis stingrā 50/50 sadalījumā, kas izšķiež pusi jūsu apmeklējumu uz iespējamo zaudētāju. Tas nozīmē, ka jūsu esošais trafiks tiek izmantots efektīvāk. Solo mārketinga speciālistam tas ir atšķirība starp “testēšana nav iespējama” un “testēšana ir lēnāka, nekā es vēlētos, bet iespējama”.

Praktiskais pretarguments: definējiet vienu veiksmes rādītāju, kas ir svarīgs biznesam, izvēlieties vienu elementu, kas varētu būtiski mainīt šo rādītāju, un apņemieties veikt testu noteiktu dienu skaitu, pamatojoties uz jūsu rīka ieteikto paraugu. Detalizēts satvars, kad zināt, kad apstāties, ir tieši tas, ko atradīsiet mūsu lēmumu pieņemšanas satvarā, kad pārtraukt A/B testu.

“Man nav laika”

Īstā problēma nav laiks; tā ir tā, ka neesat izveidojis hipotēžu testēšanas ieradumu. Tas ir niecīgs ieradums, nevis programma. Jums nav nepieciešams testēšanas kalendārs, ceļvedis vai “eksperimentu atliktā darbu saraksts”. Jums ir nepieciešama viena hipotēze par pudeles kaklu, kas jums patiešām rūp.

Šeit ir laika aprēķina piemērs. Pieņemsim, ka jūsu reģistrācijas veidlapā ir septiņi lauki, un jums ir aizdomas, ka tā nogalina aizpildīšanu. Hipotēze ir tāda, ka četru lauku noņemšana palielinās reģistrācijas. Testa uzstādīšana aizņem apmēram piecpadsmit minūtes, ja izmantojat rīku, kas ļauj rediģēt veidlapas variantu. Tad jūs gaidāt. Kamēr tas darbojas, jūs divas minūtes dienā pavadāt, skatoties uz rezultātiem — vai nulle minūšu, ja ļaujat rīkam jūs paziņot. Faktiskais “darbs” ir piecas minūtes, ko pavadāt, formulējot hipotēzi un rādītāju.

A/B testēšanas rīki arī veic analīzi jūsu vietā. Viņi aprēķina nozīmīgumu, iesaka, kad pārtraukt, un pat dokumentē rezultātu. Agrāk galvenais laika nogurdinātājs bija statistikas izvades parsēšana, un tagad to automatizē vairums platformu. Ja joprojām manuāli veidojat izklājlapas, jūs pārlieku sarežģījat.

Lielākais punkts ir tas, ka laika iebildums patiesībā ir ieguvumu un izmaksu iebildums maskā. Netestēšanas izmaksas ir nepārbaudītu pieņēmumu turpmāka izmantošana. Katrs minējums, kas paliek netestēts, ir likme bez koeficientiem. Stunda mēnesī, kas pavadīta testam, nav laika nodoklis; tas ir atdeve no lēmuma, kuru jūs tik un tā gatavojāties pieņemt.

Un šeit ir triks, kā to nostiprināt: savienojiet savu testu ar kaut ko tādu, ko jau darāt. Ja katru pirmdienas rītu pārskatāt Google Analytics, pievienojiet šim laikam piecu minūšu “pārbaudi testu” uzdevumu. Ja rakstāt ikmēneša biļetenu, iekļaujiet rindiņu par “ko mēs testējam”, lai piespiestu sevi formulēt hipotēzi. Ieradums pieķeras esošajām rutīnām, tāpēc tas nejūtas kā vēl viens projekts.

Sāciet ar vienkāršu prioritāšu noteikšanu. Viens tests ceturksnī jūs izvirza priekšā lielākajai daļai mazo komandu. Ja jūtaties paralizēts izvēles dēļ, iemācīties prioritizēt testus, kuriem patiesībā ir nozīme ir pirmā prasme, kas jāapgūst — bet neļaujiet analīzes paralīzei piespiest jūs vienkārši kaut ko izvēlēties.

“AI padarīs A/B testēšanu novecojušu”

Jā, AI maina testēšanas mehāniku. Bet “AI aizstās A/B testēšanu” ir tikai jaunākais veids, kā izvairīties no tās daļas, kas nekad nepazūd: empīriskā lēmuma. Precizēsim, kas patiesībā ir AI eksperimenti, jo ažiotāža apsteidz praksi.

AI virzīta A/B testēšana izmanto mašīnmācīšanos, lai ģenerētu variantus, izlemtu, cik daudz trafika nosūtīt katram variantam, un reāllaikā analizētu rezultātus. Tas ir patiesi noderīgi. Tas ir ātrāks, adaptīvāks veids, kā veikt eksperimentu. Pētījumi par AI eksperimentiem — ieskaitot paša Optimizely dokumentāciju — apraksta to kā klasiskās metodes jauninājumu, nevis aizstājēju. Mašīna pārņem atkārtotās daļas: tā var ģenerēt testa variantus, veikt datu analīzi un pat automatizēt uz veiktspēju balstītu prioritāšu noteikšanu tam, ko testēt tālāk. Tas viss ir vērtīgi.

Bet te ir āķis, ko ažiotāža jums nestāsta: mašīna nezina jūsu klienta kontekstu, sāpju punktu vai iemeslu, kāpēc viņš nokļuva jūsu lapā plkst. 23:00. Joprojām ir jūsu darbs definēt biznesa jautājumu. AI eksperiments ir tikpat labs, cik labs ir jautājums, ko tam ievadāt. Un algoritms var pateikt, kurš variants uzvarēja, bet tas nepateiks, kāpēc šis variants uzvarēja — “kāpēc” ir tas, kas jums jāsaprot, lai mērogotu atziņu visā vietnē.

Tāpēc pretējā nostāja šeit nav “AI ir slikts”. Tā ir “AI ir rīks testēšanas ietvaros, nevis testēšanas aizstājējs”. Dzirdot, ka pārdevējs apgalvo, ka testēšana ir mirusi, jo AI zina vislabāk, tulkojiet to kā “AI zina vislabāk, ja vien paraugs ir reprezentatīvs un rādītājs ir jēgpilns”. Tas joprojām ir tests. Cilvēki, kas saka, ka AI aizstās A/B testēšanu, pārdod jums burvju nūjiņu. Cilvēki, kas veido AI eksperimentus, pārdod jums labāk kalibrētu testu. Atšķirībai ir nozīme.

Praktiski jums vajadzētu izmantot AI smagajam darbam: ļaujiet tam ģenerēt jaunus variantus, ieteikt, kurus testus veikt tālāk, pamatojoties uz tā mācībām, un dinamiski sadalīt trafiku. Bet jūs paliekat eksperimentētājs. Ja vēlaties pilnīgāku salīdzinājumu, skatiet mūsu detalizēto klasiskās A/B testēšanas un AI eksperimentu aprakstu.

“Es vienkārši pazīstu savus klientus”

Bīstamākais teikums konversijas optimizācijā ir “mūsu klienti ir atšķirīgi”. Katrs dibinātājs tam tic, un katram dibinātājam ir daļēja taisnība. Bet “daļēja taisnība” nav labs pamats izaugsmes stratēģijai.

Lūk, kas patiesībā notiek, kad paļaujaties uz intuīciju: jūs veicat izmaiņas, rādītājs kustas (vai ne), un tad veidojat stāstu ap to. Ja pogas krāsas maiņa “šķita” pareiza un reģistrācijas pieauga, jūs to attiecināt uz krāsu. Patiesībā jūs vienlaikus mainījāt trīs lietas, un tā, kurai bija nozīme, bija virsraksts, kuru ne testējāt. Viens no galvenajiem CRO principiem — uzsvērts WordStream konversijas optimizācijas ceļvedī — ir tas, ka jums ir jāizolē mainīgie, lai redzētu, kas īsti strādā. Jūsu instinkts to nevar; tas vienkārši atceras modeli, kuru vēlas redzēt.

Iemesls, kāpēc A/B testēšanai ir nozīme, ir tas, ka tā izolē mainīgos. Mainiet vienu lietu, izmēriet efektu un uzziniet atsevišķu patiesību par saviem klientiem. Jūsu instinkts ir lielisks hipotēžu ģenerators — tas jums saka, ka “klienti vilcinās pie veidlapas”. Tests jums pateiks, vai tā patiešām ir taisnība.

Pieņemsim, ka jūsu instinkts saka: “mūsu klienti ir jutīgi pret cenām, tāpēc mums vajadzētu sākt ar cenām”. Divu galveno lapu versiju tests — viena sākas ar cenām, otra ar rezultātiem — sniegs jums galīgu atbildi. Jūs varētu atklāt, ka rezultātu versija piesaista vairāk kvalificētu potenciālo pircēju, un jūsu instinkts redzēja pasauli caur jūsu paša izklājlapu trauksmes lēcu. Vai arī instinkts tiks apstiprināts. Jebkurā gadījumā jūs esat aizstājis uzskatu ar faktu.

Ir dziļākas izmaksas tam, ka “vienkārši pazīstat” savus klientus: tas nemērojas. Kad esat solo mārketinga speciālists, jūsu intuīcija dzīvo jūsu galvā. Brīdī, kad piesaistāt tekstu autoru, dizaineri, aģentūru vai pat savu nākotnes es, kurš ir aizmirsis kontekstu, šī intuīcija pazūd. No otras puses, dokumentēts testa rezultāts ir pastāvīgs aktīvs. Tas jūsu komandai (vai jūsu nākotnes es) pasaka tieši, kas tika uzzināts, no kuras auditorijas, kurā lapā un ar kādu pārliecības līmeni. Tāpēc mācību dokumentēšana ir galvenā A/B testēšanas labākā prakse — ne tikai jauki, ja ir arhīvam.

Praktiskais solis: par katru instinktu, uz kuru grasāties balstīties, pierakstiet to kā hipotēzi. Pēc tam izvēlieties vienu ar lielāko ietekmi un veiciet testu. Tā ir atšķirība starp CRO kā viedokļa un kā disciplīnas uztveri.

“Man tas ir pārāk statistiski”

Sāciet ar vienīgo statistiku, kas jums nepieciešama: definējiet mērķi, mainiet vienu lietu, veiciet testu pietiekami ilgi un ļaujiet rīkam aprēķināt nozīmīgumu. Tā nav pārmērīga vienkāršošana; tā ir visa spēle solo mārketinga speciālistam.

Runāsim skaidri par statistisko paniku. Vārdi kā “p-vērtība”, “jauda” un “ticamības intervāls” liek cilvēku acīm apmigloties. Bet lūk, noslēpums: rīki jau veic statistiku. Jūsu darbs ir ievērot dažus noteikumus, nevis ar roku aprēķināt hī-kvadrātu.

Noteikumi ir vienkārši, un tie nāk tieši no labākās prakses rokasgrāmatas: izvirziet skaidrus mērķus, testējiet vienu mainīgo vienā reizē, nodrošiniet pietiekamu parauga lielumu un testa ilgumu statistikas nozīmīgumam un dokumentējiet to, ko uzzināt. Ja ievērojat šos četrus noteikumus, jūs jau esat priekšā lielākajai daļai cilvēku, kuri sevi sauc par “izaugsmes ekspertiem”.

Lielākais statistikas grēks solo testēšanā nav ticamības intervāla pārpratne — tā ir palūrēšana. Jūs pārbaudāt testu pēc trim dienām, redzat 20% pieaugumu un apstājaties agri. Rīks saka, ka tas vēl nav nozīmīgs, bet jūs tik un tā apstājaties, jo “tas šķiet pareizi”. Tā dzimst viltus pozitīvi rezultāti, un tāpēc pastāv parauga lieluma un ilguma norādījumi. Testēšanas rīks, kas ir sava nosaukuma vērts, pastāvīgi brīdinās jūs par agrīnu apstāšanos.

Lielākais risks nav statistiskā nezināšana — tas ir “statistikas teātris”, kur tests ir slikti izstrādāts, paraugs ir pārāk mazs, un komanda lasa nozīmīgumu troksnī. Tāpēc mūsu raksts par pareizu A/B testa rezultātu interpretāciju ir pilns ar slazdiem, kurus varat izvairīties ar nelielu disciplīnu.

Tātad nākamo reizi, kad kāds saka “jums ir nepieciešams datu zinātnieks, lai veiktu testu”, atcerieties, ka “datu zinātnieks” esat jūs, sēžot pie virtuves galda ar rīku, kas visu aprēķina. Jūs sniedzat jautājumu, mainīgo un pacietību. Rīks sniedz matemātiku. Tas nav doktora grāda prasība; tā ir procesa prasība.

“Mums tam ir pārāk agri”

Ja esat pirms ieņēmumiem vai solo, ir kārdinājums domāt, ka testēšana ir kaut kas tāds, ko darāt pēc “panākumiem”. Bet patiesība ir pretēja. A/B testēšana ir visvērtīgākā, kad jums ir vismazākā pārliecība. Šajā posmā testējamais nav mikro-CTA; tas ir pats galvenais vērtības piedāvājums.

Iedomājieties, ka esat izveidojis vienkāršu galveno lapu ar savu piedāvājumu. Jums ir divi iespējamie virsraksti: “Vienkāršākais veids, kā sekot līdzi ārštata ienākumiem” un “Precīzi ziniet, cik nopelnīsiet nākamajā mēnesī”. Jums nav nepieciešams milzīgs trafiks, lai redzētu, kurš no tiem saņem vairāk e-pasta reģistrāciju vai klikšķu. Un atbilde ietaupīs jums mēnešus, veidojot ziņojumapmaiņu ap nepareizu āķi.

Agrīnās stadijas testēšana piespiež jūs formulēt savu pieņēmumu par to, kāpēc cilvēki pirktu. Tas ir sāpīgi, bet lētāk nekā to atklāt pēc gada, kas pavadīts, veidojot nepareizu produktu ziņojumapmaiņu. WordStream CRO paņēmienu sarakstā ir iekļauta berzes samazināšana formās un sociālā pierādījuma un uzticības signālu izmantošana — abi ir īpaši spēcīgi, kad tikai sākat. Viens labi novietots atsauksmes teksts vai trīs lauku veidlapa septiņu lauku vietā var būt atšķirība starp reģistrāciju un pamešanu.

Rīcība: eksportējiet savu e-pasta sarakstu, izveidojiet divas galvenās lapas versijas ar vienkāršu rīku un nosūtiet pusi saraksta uz katru. Vai vēl vienkāršāk — izveidojiet divas reklāmas versijas ar dažādiem virsrakstiem. Tas ir tests, un tas nav dārgs. Pētījumi par A/B testēšanu apstiprina, ka to var piemērot e-pastiem, lietotnēm un lietotāju plūsmām — ne tikai galvenajai lapai, kuru baidāties aiztikt.

Turklāt agrīnajiem testiem bieži ir “negodīga priekšrocība”: jūsu mazais paraugs nav vājums, tas ir signāls. Ar nelielu, ļoti iesaistītu auditoriju pat neliela atšķirība atbildēs ir vērta uzmanības, jo šī auditorija bieži ir jūsu vispiemērotākais klients. Jūs nemeklējat 1% pieaugumu šajā vidē; jūs meklējat virziena indikatoru. Atslēgas vārds ir norāde, nevis pierādījums. Tas ir labi. Jums ir labāk nekā minējumam.

Beidziet gaidīt, sāciet testēt

Lūk, modelis aiz katra iebilduma: visi tie ir vienas un tās pašas bailes dažādās cepurēs. Bailes, ka tests neizdosies, ka tērēsiet laiku, ka skaitļi pateiks kaut ko neērtu. Bet vienīgā patiesā neveiksme ir turpināt minēt.

Ceļš ārā ir īss. Izvēlieties vienu lapu, vienu elementu un vienu rādītāju. Uzrakstiet hipotēzi. Definējiet variantu. Veiciet testu tik ilgi, cik iesaka jūsu rīks. Ierakstiet rezultātu, pat ja tas ir “nav statistiski nozīmīgas atšķirības” (arī tas ir rezultāts). Pēc tam izlemiet par nākamo testu.

Viens no apmierinošākajiem testēšanas rezultātiem ir tas, ka disciplīna uzkrājas. Katrs tests sniedz jums datu punktu par jūsu klientiem, ko neviens raksts, neviens padomdevējs un neviens AI modelis nevar jums pasniegt, jo tas nāk no jūsu īpašā konteksta. Pēc dažiem testiem jūs sāksiet pieņemt lēmumus ātrāk un pārliecinošāk, jo vairs neminēsiet — jūs atsaucaties uz pierādījumu kopumu, ko esat izveidojis pats.

Laika gaitā šis process pārvērš jūsu mārketingu no viedokļu sērijas par eksperimentu sēriju. Un skaistākā daļa ir tā, ka, kad sāksiet, jūs brīnīsieties, kāpēc vispār gaidījāt. Tests, no kura izvairāties, iespējams, ir tas, kas pateiks, vai jūsu produkts rezonē. Jūs varat turpināt no tā izvairīties vai ļaut saviem klientiem pateikt jums patiesību.