A/B tests, virziena tests vai vienkārši publicēt? Uz risku balstīts ietvars solo mārketinga speciālistiem

Summary

Lielākā daļa A/B testēšanas padomu pieņem, ka jums ir neierobežota datplūsma un pacietīga komanda aiz muguras. Patiesībā solo mārketinga speciālistam bieži vien ir jāizvēlas starp pilnu eksperimentu, īsu virziena testu un izmaiņu publicēšanu bez jebkāda testa. Šis raksts piedāvā uz risku balstītu ietvaru šim lēmumam, koncentrējoties uz kļūdīšanās izmaksām un gaidīšanas izmaksām. Tajā ir aprakstīts, kā rīkoties, ja rezultāts ir "statistiski nenozīmīgs", un kāpēc tas nav tas pats, kas neveiksmīgas izmaiņas. Jūs uzzināsiet, kad agrīns ieskats var būt noderīgs, kad publicēšana tagad ir labāka par pierādījumu gaidīšanu un kā mērīt pirms/ pēc, kad izlaižat testu. Galvenā atziņa ir nevis testēt mazāk, bet gan pielāgot savu pierādījumu standartu faktiskajām likmēm.

Vai jums vajadzētu veikt A/B testu, īsāku "virziena" testu vai vienkārši veikt izmaiņas un vērot, kas notiek? Ja esat atbildīgs par savas vietnes konversijas rādītāju un jums nav īpašas komandas apkārt, tas, iespējams, ir visbiežākais sprieduma pieņemšanas gadījums. Standarta ieteikums ir testēt visu, bet šis ieteikums pieņem, ka jums ir lieka datplūsma, laiks gaidīšanai un skaidrs rādītājs, ko vērot. Jums bieži nav neviena no tiem. Šis raksts apskata trīs pierādījumu standartus un sniedz iespēju izvēlēties starp tiem minūtēs, nevis dienās.

Pirmā lieta, kas jāsaprot, ir tas, ka A/B testēšana patiesībā nav par pašām izmaiņām. Tas ir par to, cik daudz esat gatavs maksāt par kļūdu. Apsveriet divas izmaiņas vienā vietnē. Jūs pārvaldāt projektu pārvaldības rīku. Vēlaties mainīt galvenās lapas virsrakstu no "Pārvaldīt projektus" uz "Plānojiet projektus uz pusi īsākā laikā". Tāpat vēlaties mainīt cenu lapu, lai apmeklētāji varētu izvēlēties gada plānu līdzās mēneša plānam. Abas izmaiņas skar to pašu vietni un abas var tikt testētas vienādi. Bet kļūdīšanās izmaksas ir ļoti atšķirīgas. Ja virsraksts ir nepareizs, apmeklētājs dažas dienas redz nedaudz mazāk efektīvu ziņojumu, un jūs varat bez problēmām atgriezt veco. Ja cenu struktūra ir nepareiza, jūs varat sajaukt potenciālos klientus, piepildīt atbalsta pastkasti ar jautājumiem un radīt cerības, kas neatbilst tam, kā jūs faktiski rēķināt. Atgriešanās nav bezmaksas. Tā pati loģika attiecas uz katrām izmaiņām, ko apsverat, sākot no pogu etiķetēm līdz pat pilnīgai lapas pārveidei.

Tāpēc neviens nevar sniegt jums universālu atbildi uz jautājumu "vai man testēt?" Atbilde ir atkarīga no tā, cik maksā viltus pozitīvs rezultāts, cik maksā viltus negatīvs rezultāts un no tā, ko jūs zaudējat, gaidot. Apskatīsim trīs iespējas detalizēti.

Pilnais eksperiments: kad pierādījumu latiņa ir augsta

Iedomājieties, ka testējat, vai mainīt pogu savā galvenajā reģistrācijas lapā no "Sākt bezmaksas izmēģinājumu" uz "Sākt darbu". Solo dibinātājam tās ir labi redzamas izmaiņas, kas atrodas jūsu piltuves ieejā. Tās var ietekmēt izmēģinājuma reģistrācijas, kas baro visu, kas notiek tālāk. Jums ir stabila apmeklētāju plūsma, bet ne milzīga. Šis ir labs kandidāts pilnam eksperimentam.

Pilnam eksperimentam ir īpaša nozīme. Jūs nejauši sadalāt apmeklētājus, vienai grupai rādāt sākotnējo versiju, bet otrai — modificēto versiju, un salīdziniet uzvedību pēc rādītāja, ko izvēlējāties pirms sākuma. Kā noteikts Optimizely glosārijā, A/B testēšana ir metode, kā salīdzināt divas tīmekļa lapas vai lietotnes versijas, lai noteiktu, kura darbojas labāk. Galvenais ir ļaut datiem izlemt, nevis savam instinktam. Praksē tas nozīmē noteikt skaidru galveno rādītāju — piemēram, apmeklētāju īpatsvaru, kuri noklikšķina līdz reģistrācijas veidlapai — un mainīt tikai vienu mainīgo vienlaikus. Ja maināt gan pogu, gan apkārtējo tekstu, jūs nezināsiet, kurš no tiem izraisīja atšķirību. Turklāt jums iepriekš jāizlemj, cik ilgi testēsiet un kādi pierādījumi liks jums rīkoties.

Šis pēdējais solis ir tas, ko lielākā daļa cilvēku izlaiž. Pirms sākuma jums jāizlemj, kāds ticamības līmenis jums ir nepieciešams un cik lielu efektu mēģināt atklāt. Statistikas mehānika, kas saistīta ar izlases lielumu un ilgumu, ir tieši tas, kas atšķir A/B testu no nejauša novērojuma. Ja jūsu datplūsma ir pārāk zema, lai saprātīgā laikā sasniegtu šo pierādījumu, pilnais eksperiments, visticamāk, beigsies ar "nenoteiktu" rezultātu — un tās ir reālas izmaksas. Lai detalizēti apskatītu, kā izlemt, kad esat gaidījis pietiekami ilgi, mūsu praktiskais ietvars par to, kad pārtraukt A/B testu, ir labs šī raksta papildinājums.

Šeit ir viltīgs slazds. Ja pilnais eksperiments beidzas un rezultāts ir "statistiski nenozīmīgs", jums var rasties kārdinājums secināt, ka "izmaiņām nav nozīmes". Tas nav tas, ko rezultāts nozīmē. Tas nozīmē, ka jūsu tests nebija pietiekami precīzs, lai atklātu atšķirību, vai arī atšķirība ir mazāka, nekā jūs vēlējāties atrast. Tā ir noderīga informācija — tagad varat izlemt publicēt, pamatojoties uz citiem pierādījumiem, veikt ilgāku testu vai izvēlēties būtiskākas izmaiņas. Bet tas nav pierādījums, ka jaunā versija ir sliktāka. Ja izmantojat ar mākslīgo intelektu darbināmu testēšanas platformu, kas dinamiski sadala datplūsmu un ģenerē variantus, eksperiments var pieņemt lēmumu ātrāk, bet tā pati loģika attiecas: rezultāts ir tikpat ticams, cik jūsu spēja gaidīt pietiekami daudz pierādījumu.

Ir arī disciplīna dokumentēt to, ko uzzināt. Tests, kuru nedokumentējat, ir stāsts, ko pārstāstīsit ar neobjektivitāti. Pat nenoteikts tests iemāca kaut ko par efekta lielumu, ko faktiski varat atklāt savā lapā, datplūsmā un apmeklētāju pacietībā. Pierakstiet hipotēzi, variantu, rādītāju un iznākumu vienā teikumā. Pēc dažiem mēnešiem šis žurnāls kļūst par karti, kas parāda, uz ko reaģē jūsu auditorija, un tas padara katru nākamo lēmumu ātrāku.

Virziena tests: kad ātrums ir daļa no atbildes

Tagad apsveriet zemāka riska izmaiņas: galveno attēlu jūsu galvenajā lapā. Jums ir divas iespējas — jūsu informācijas paneļa ekrānuzņēmums un fotoattēls ar cilvēku, kurš izmanto jūsu produktu. Jūs nezināt, kurš no tiem sasaistīsies ar jūsu auditoriju. Nepareiza attēla izvēles negatīvā puse ir maza. Varat to nomainīt atpakaļ dažu minūšu laikā. Bet, iespējams, jums nav pietiekami daudz datplūsmas, lai mēneša laikā sasniegtu mācību grāmatām atbilstošu ticamības rezultātu. Šeit pieder virziena tests.

Virziena tests joprojām ir randomizēts salīdzinājums, taču jūs apzināti izmantojat zemāku pierādījumu latiņu. Jūs iepriekš izlemjat, ka publicēsit jauno attēlu, ja tas nedēļas loga lielākajā daļā darbosies labāk pēc galvenā rādītāja, vai arī tas noteiktā perioda beigās būs nepārprotami priekšā. Jūs attiecaties pret rezultātu kā ieteikumu, nevis spriedumu. Disciplīna šeit ir tikpat svarīga kā pilnā eksperimentā. Ja iepriekš neapņematies ievērot noteikumu, jūs beigsiet skatīties uz tiešajiem rezultātiem un pieņemsit neplānotu lēmumu — un tā jūs maldināt sevi, redzot to, ko vēlaties redzēt.

Kas mani noved pie padoma, ko atradīsit lielākajā daļā A/B testēšanas ceļvežu: "nekad nepalūkojieties uz saviem rezultātiem, pirms tests nav pabeigts." Šis norādījums ir pareizs formālam eksperimentam, kas izlems par lielu palaišanu. Bet solo mārketinga speciālistam ar pieticīgu datplūsmu palūkošanās ir veids, kā ātri mācīties. Problēma nav tajā, ka paskatījāties uz skaitļiem. Problēma ir tajā, ka ļāvāt skatienam pieņemt lēmumu, kuru nebijāt plānojis. Ja iepriekš izlemjat, kāds modelis mainītu jūsu domas, tad tas, kas izskatās pēc "palūkošanās", patiesībā ir strukturēts veids, kā rīkoties ar zemu datplūsmu. Jūs izvēlaties mācīšanās ātrumu, nevis pārliecību. Tas ir leģitīms kompromiss, ja vien esat godīgs par to, ko darāt, un nepasludināt rezultātu par pierādījumu.

Pēc virziena testa nepārtrauciet mērīt. Ja publicējat jauno galveno attēlu, sekojiet līdzi konversijas rādītājam nākamajās nedēļās. Ja tas pasliktinās, atgrieziet iepriekšējo. Ja tas uzlabojas, jums ir zināmi pierādījumi, ka jūsu virziena signāls bija pareizs. Virziena tests ir veids, kā ātri pieņemt lēmumu, nevis veids, kā izvairīties no atbildības. Tas labi sader ar praktisko triāžu, kas aprakstīta mūsu ceļvedī par A/B testu triāžu solo mārketinga speciālistiem — ja jums ir iespējamo izmaiņu saraksts, varat izmantot virziena testus, lai izlemtu, kuras no tām ir pelnījušas pilnu eksperimentu.

Vienkārši publicējiet: kad pašreizējā versija jau zaudē

Dažreiz visvairāk uz pierādījumiem balstītais lēmums ir vispār neveikt testu. Pieņemsim, ka jūsu reģistrācijas veidlapa prasa tālruņa numuru. Sesijas ierakstos redzat, ka vairāki apmeklētāji sasniedz šo lauku, apstājas un aiziet. Jūs esat saņēmis atbalsta e-pastus ar jautājumu, vai tālruņa numurs ir obligāts. Šis lauks nav nekam vajadzīgs. Vai jums vajadzētu A/B testēt, vai to noņemt? Nē. Tā noņemšana ir labojums, nevis eksperiments. Pašreizējai versijai ir zināms trūkums, un izmaiņas ir viegli atgriezeniskas. Labojuma publicēšana un pabeigšanas rādītāja vērošana ir labāks laika izmantojums.

Tā pati argumentācija attiecas uz novecojušām lapām. Ja jūsu galvenā lapa joprojām apraksta funkciju, kuru vairs nepiedāvājat, testēt veco lapu pret jauno ir bezjēdzīgi. Jūs tērējat datplūsmu, lai pierādītu, ka versija, kuru jūs nekad paturētu, ir sliktāka par to, kuru vēlaties publicēt. Jūs to jau zināt. Pareizais solis ir vispirms publicēt pašreizējo versiju un pēc tam, kad tā ir tiešsaistē, veikt eksperimentus, lai to optimizētu.

Šis ir kompromiss, ko lielākā daļa A/B testēšanas ceļvežu nemin. Katra nedēļa, kad turat vāju versiju tiešsaistē, kamēr gaidāt testa pabeigšanu, ir nedēļa, par kuru maksājat iespēju izmaksas. Ja izmaiņas ir zemas riska un viegli atgriezeniskas, paredzamā publicēšanas vērtība tagad bieži pārspēj vērtību, ko sniedz pierādījums par uzlabojumu vēlāk. Jūs neizlaižat mērīšanu — jūs aizstājat randomizētu eksperimentu ar pirms/pēc salīdzinājumu. Pirms/pēc salīdzinājums ir vājāks pierādījums, taču tas joprojām ir pierādījums, un tas ir labāk nekā četras nedēļas pavadīt, neradot nekādu lēmumu.

Pirms/pēc tests, kuru jūs jau veicat

Kad esat publicējis izmaiņas bez testa, mērīšana neapstājas. Tagad veicat pirms/pēc eksperimentu ar visiem tā brīdinājumiem. Labākais veids, kā padarīt to mazāk trokšņainu, ir noteikt sākotnējo rādītāju pirms kaut ko maināt, publicēt laikā ar zemu datplūsmu, ja iespējams, un skatīties tendenci vismaz pilnu nedēļu, lai nereaģētu uz nejaušu pirmdienu. Ja rādītājs virzās vēlamajā virzienā, saglabājiet izmaiņas. Ja tas virzās pret jums, atgrieziet iepriekšējo. Ja tas vispār nekustas, esat uzzinājis, ka izmaiņas bija neitrālas — tā arī ir informācija.

Šis ir režīms, ko lielākā daļa cilvēku ignorē. Viņi publicē, pēc tam vairs neskatās, un vēlāk nav pārliecināti, vai izmaiņas palīdzēja vai kaitēja. Pirms/pēc salīdzinājums nav stingrs, taču tas ir daudz labāks par to neko, kas notiek lielākajā daļā vietņu. Ja jūsu datplūsma patiešām ir pārāk zema pat virziena testam, pirms/pēc salīdzinājums bieži ir vienīgais rīks, kas jums ir. Jūs joprojām varat saņemt signālu no sesijas ierakstiem, atbalsta atsauksmēm un tā, kā rādītājs mainās pēc izmaiņām — neviens no tiem neprasa randomizāciju. Tā ir teritorija, kas aptverta mūsu rakstā par A/B testēšanu bez datplūsmas.

Trīs pieejas blakus

Šeit ir salīdzinājums vienā tabulā.

Pieeja	Vislabāk, kad	Risks, ja kļūdāties	Ko jūs iegūstat	Ko jūs zaudējat
Pilns eksperiments	Izmaiņas ietekmē ieņēmumus, cenas vai pamatplūsmas; jums ir pietiekami daudz datplūsmas, lai pieņemtu lēmumu	Zems (ja ievērojat statistiku); varat rīkoties pēc trokšņa tikai tad, ja to ignorējat	Pārliecinoša, atkārtojama atbilde	Laiks, datplūsma un spēja rīkoties ātri
Virziena tests	Izmaiņas ir zemā riska, datplūsma ir mērena, un jums ir nepieciešams mācīšanās signāls dažu dienu laikā	Mērens — dažkārt varat publicēt zaudētāju variantu	Ātrs norādījums par to, ko ir vērts darīt vairāk	Pierādījums un spēja uztvert smalkus efektus
Publicēt bez testēšanas	Pašreizējā versija ir acīmredzami slikta, izmaiņas ir labojums vai izmaiņas ir viegli atgriezeniskas	Zems, īpaši ar uzraudzību pēc publicēšanas	Ātrums un impulss	Spēja attiecināt izmaiņas uz vienu faktoru

Tabula nenovērtē trešās rindas spēku. "Publicēt bez testēšanas" tiek kritizēts konversijas optimizācijas aprindās, taču bieži vien tas ir racionāls izvēle solo mārketinga speciālistam ar garu darbu sarakstu un ierobežotu datplūsmu. Patiesais grēks ir publicēt un pēc tam neskatīties, kas notiek.

15 minūšu veids, kā izvēlēties

Ja vēlaties ātrāku procesu nekā visa ietvara iegaumēšana, izmantojiet šos četrus jautājumus.

Pirmkārt, ja es kļūdos, kas salūzt? Ja atbilde ir ieņēmumi, uzticība vai atbilstība, paceliet pierādījumu latiņu. Ja atbilde ir "ne daudz", nolaidiet to. Otrkārt, cik ilgi es varu gaidīt? Aprēķiniet, cik ilgi pilns eksperiments prasītu. Ja tas ir ilgāk, nekā esat gatavs atlikt izmaiņas, jūs jau esat sašaurinājis izvēli līdz virziena testam vai publicēšanai. Treškārt, ko es darīšu ar atbildi? Ja jūs nemainīsiet savu rīcību, pamatojoties uz rezultātu, neveiciet testu. Testam vajadzētu mainīt lēmumu. Ceturtkārt, vai es varu to viegli atgriezt? Atgriezeniskas izmaiņas ir lēti publicēt; neatgriezeniskas vai dārgi atgriežamas izmaiņas ir pelnījušas vairāk pierādījumu.

Pēc tam izvēlieties: ja risks ir augsts un varat gaidīt, veiciet pilnu eksperimentu. Ja risks ir zems un vēlaties ātrumu, veiciet virziena testu. Ja pašreizējā versija ir acīmredzami sliktāka un izmaiņas ir labojums, publicējiet to un uzraugiet. Ja atklājat, ka veicat testus tāpēc, ka jūtat, ka vajadzētu, nevis tāpēc, ka mainīsiet lēmumu, iespējams, jums ir prioritāšu noteikšanas problēma, nevis testēšanas problēma. Mūsu raksts par to, kā pārtraukt tērēt laiku A/B testiem, kuriem nav nozīmes, ir labs nākamais lasāmais.

Piemērosim to sākuma jautājumam. Jums ir jauns virsraksts un mērena datplūsma. Virsraksts ir atgriezenisks, negatīvā puse ir maza, un jūs nevēlaties gaidīt mēnesi. Saskaņā ar šo loģiku jūs izlaistu pilno eksperimentu. Jūs vai nu veiktu īsu virziena testu, ja vēlaties kādu signālu, vai publicētu virsrakstu un salīdzinātu nākamā mēneša konversijas rādītāju ar šī mēneša rādītāju. Abi ir aizstāvami. Tas, kas nav aizstāvams, ir četras nedēļas pavadīt "pareizā" testā, kuram jums nav pietiekamas datplūsmas, lai to pabeigtu, un pēc tam saukt nenoteikto rezultātu par neveiksmi.

Nozīmīguma slazds, no kura jāuzmanās

Statistiskā nozīmīgums norāda, vai rezultāts, visticamāk, ir reāls, nevis tas, vai tam ir nozīme. Izmaiņas var būt statistiski nozīmīgas un joprojām pārāk mazas, lai attaisnotu pūles. No otras puses, virziena tests var parādīt modeli, kas ir reāls, bet pārāk mazs, lai to atklātu ar jūsu datplūsmu. Kad izvēlaties zemāku pierādījumu latiņu, jūs pieņemat gan vairāk viltus pozitīvu, gan vairāk viltus negatīvu rezultātu. Tas ir kompromiss, nevis neveiksme.

Vēl viena atšķirība, ko ir vērts paturēt prātā, ir praktiskā pret statistisko nozīmīgumu. Izmaiņas var būt statistiski nozīmīgas un joprojām pārāk mazas, lai tām būtu nozīme. Pieņemsim, ka jaunā poga palielina klikšķu skaitu tik niecīgi, ka būtu nepieciešami mēneši, lai tas izpaustos kā viens papildu reģistrējies lietotājs. Šis rezultāts ir reāls, taču nav vērts ap to pārveidot savu lapu. No otras puses, izmaiņas, kas nav statistiski nozīmīgas, joprojām var būt praktiski svarīgas, ja modelis ir konsekvents un rīcības izmaksas ir tuvu nullei. Izvēloties starp trim pieejām, jautājiet, vai efekta lielums, kas jums rūp, ir kaut kas tāds, ko jūsu eksperiments patiešām var atklāt. Ja nē, jūs neizvēlaties starp testēšanu un publicēšanu; jūs izvēlaties starp divām nezināšanas formām.

Tāpēc šajā rakstā aplūkotais lēmumu ietvars ir balstīts uz kļūdīšanās izmaksām. Ja viltus pozitīvs rezultāts ir lēts — piemēram, publicējat nedaudz sliktāku virsrakstu un atgriežat to — varat atļauties zemu pierādījumu latiņu. Ja viltus negatīvs rezultāts nozīmē, ka palaidāt garām nozīmīgu uzlabojumu, iespējams, vēlēsities turpināt testēt ilgāk. Kā solo mārketinga speciālists jūs nevarat optimizēt visu. Jūs izvēlaties līdzsvaru starp mācīšanās ātrumu un pārliecību. Lai dziļāk apskatītu, kā lasīt skaitļus bez maldināšanas no trokšņa, skatiet mūsu ceļvedi par to, kā pareizi interpretēt A/B testu rezultātus.

Praktiskā atziņa

Šī ietvara mērķis nav testēt mazāk. Tas ir pielāgot savu pierādījumu standartu likmēm. Pilns eksperiments ir spēcīgs rīks, kad izmaiņas ir svarīgas un jums ir pacietība gaidīt. Virziena tests ir saprātīgs vidusceļš, kad nepieciešams mācīties ātrāk, nekā atļauj jūsu datplūsma. Un publicēšana bez testa dažreiz ir visgodīgākā izvēle, kad pašreizējā versija jau zaudē — ja vien vērojat, kas notiek pēc tam.

Nākamreiz, kad vēlēsieties jautāt "vai man to A/B testēt?", uzdodiet labāku jautājumu: "Cik man izmaksātu kļūdīties?" Atbilde parāda, kuru no trim pieejām izmantot, un šis lēmums ietaupīs jums vairāk laika un datplūsmas nekā jebkurš testēšanas rīks.