Viena tirgotāja A/B testa triāža: kad testēt, lasīt vai izlaist

Kopsavilkums

Ja esat viena tirgotāja speciālists, katrs A/B tests, ko uzsākat, maksā jums laiku un trafiku, kura jums nav. Lielākā daļa testa ideju ir pelnījušas ātrāku un lētāku apstrādi nekā formāls eksperiments. Šis ceļvedis iepazīstina ar trīs līmeņu lēmumu sistēmu: formāls A/B tests augstu likmju jautājumiem ar pietiekamu trafiku, virziena nolasījums tuvām izvēlēm, kad dati ir niecīgi, un izlaišana un mērīšana acīmredzamiem labojumiem. Jūs uzzināsiet, kā klasificēt katru ideju, kur iederas AI eksperimenti un kāpēc ātrākais ceļš uz labāku konversiju bieži vien ir pilnībā izlaist testu. Pārtrauciet veikt testus, kas nevar secināt, un sāciet pieņemt lēmumus.

Jūsu testu sarakstā ir vairāk vienumu, nekā varat pabeigt šajā ceturksnī. Jūsu trafika kalkulators saka, ka jums nepieciešams daudz vairāk apmeklētāju, nekā saņemsiet šomēnes, lai noteiktu jēgpilnu atšķirību, un jūs esat vienīgais, kam rūp rezultāti. Jūs jau esat uzsācis vienu testu, un tas darbojas nedēļām ilgi bez redzama gala. Jums nav datu zinātnieka, kam jautāt, vai gaidīt vai pārtraukt.

Apstājieties. Problēma nav jūsu testēšanas rīks vai statistiskās zināšanas. Problēma ir tā, ka jūs izturaties pret katru ideju tā, it kā tā būtu pelnījusi formālu A/B testu. Tā nav.

Izmantojiet vienkāršu triāžu. Katrs testa kandidāts ietilpst vienā no trim grupām:

• Formāls A/B tests. Tikai jautājumiem, kur nepareiza atbilde ir dārga un jums ir pietiekami daudz trafika, lai iegūtu ticamu atbildi.
• Virziena nolasījums. Tuvām izvēlēm, kad trūkst datu. Jūs saņemat pavedienu, nevis pierādījumu.
• Izlaišana un mērīšana. Acīmredzamiem labojumiem un zema riska izmaiņām. Mainiet lapu, vērojiet analīzi, virzieties tālāk.

Lēmums	Formāls A/B tests	Virziena nolasījums	Izlaišana un mērīšana
Kad izmantot	Augstu likmju lapa ar pietiekamu trafiku	Tuva izvēle ar zemu trafiku	Spēcīgs a priori, skaidra problēma
Nepieciešamā trafika	Pietiekami, lai sasniegtu nozīmīgumu	Ko vien jums ir	Nav
Laika izmaksas	Nedēļas līdz mēneši	Viena līdz divas nedēļas	Stundas
Ko iegūstat	Ticama atbilde	Virziena pavediens	Tiešsaistes izmaiņa plus dati
Risks	Nepietiekami jaudīgs tests tērē nedēļas	Kļūdaina trokšņa interpretācija kā signāls	Zaudējot pretfaktisko

Formāls A/B tests: kad varat faktiski secināt

Jūs vadāt nišas B2B programmatūras uzņēmumu. Jūsu emuārs nodrošina stabilu apmeklētāju plūsmu, un jūsu cenu lapa ir galvenais ieņēmumu virzītājs. Jūs apsverat virsraksta pārrakstīšanu. Tas ir augstu likmju jautājums: ja rīkojaties nepareizi, jūs zaudējat mēnešus no pārdošanas piltuves. Ja rīkojaties pareizi, jūs iegūstat mēnešus no piltuves.

Izdariet to pareizi. Pirms jebko aiztiekat, uzrakstiet viena teikuma hipotēzi: "Mainot virsrakstu no funkcijas apraksta uz ieguvuma apgalvojumu, palielināsies demonstrācijas pieprasījumi." Izvēlieties tieši vienu galveno metriku: demonstrācijas pieprasījumi uz vienu apmeklētāju. Iepriekš izlemiet, cik ilgi tests darbosies. Izmantojiet izlases lieluma kalkulatoru, un, ja tas saka, ka jums būtu nepieciešams daudz vairāk trafika, nekā jums ir, apstājieties. Tas nav tests, ko varat veikt.

Kad tests ir tiešsaistē, nepalūkojieties katru dienu. Nepārtrauciet agri, jo skaitļi izskatās labi. Iestatiet ilgumu, ļaujiet tam darboties un tad skatiet. Tā ir klasiskā pieeja, ko apraksta Optimizely: nejauši sadaliet savu auditoriju, rādiet katrai grupai citu versiju un ļaujiet uzvedībai izlemt.

Trīs prasības, un visām ir jābūt patiesām:

1. Nepareiza atbilde ir dārga.
2. Jūs varat sasniegt statistisko nozīmīgumu saprātīgā laika posmā.
3. Jūs testējat tieši vienu mainīgo.

Ja kaut viena no šīm ir nepatiesa, formālais tests ir nepareizā grupa. Vienlaikus mainot divus mainīgos, eksperiments tiek piesārņots — jūs neuzzināsiet, kas izraisīja pieaugumu. Testēšana testēšanas dēļ sadedzina vienīgo resursu, ko nevarat nopirkt atpakaļ: laiku.

Ja nevarat izpildīt šos nosacījumus, pazeminiet testa līmeni. Virsraksta pārrakstīšana ir augstu likmju; pogas krāsa nav. Tērējiet testa budžetu jautājumiem, kas maina jūsu biznesa formu, nevis sīkumiem.

Vēl viens iemesls rezervēt formālos testus: tie ir lēni. Kamēr tests darbojas, jūs varētu izlaist trīs acīmredzamus uzlabojumus un tos izmērīt. Formālā testa patiesās izmaksas ir ne tikai darbības laiks; tas ir katrs cits uzlabojums, ko aizturējāt, gaidot.

Turklāt pirms palaišanas izlemiet, ko darīsit ar rezultātu. Ja tests uzvar, kāds ir nākamais solis? Ja tas zaudē, kas tad? Iepriekšēja apņemšanās novērš pēc fakta racionalizāciju.

Virziena nolasījums: kad jums trūkst datu

Jūs esat neatkarīgs konsultants ar nelielu vietni. Jums ir divas virsraksta iespējas savai mājaslapai. Jums nav pietiekami daudz trafika, lai mēneša laikā sasniegtu nozīmīgumu, taču izvēle joprojām šķiet svarīga. Raksturīgs ieteikums ir "vienkārši veiciet A/B testu" — un šis ieteikums ir nepareizs jūsu situācijai.

Tā vietā veiciet virziena nolasījumu. Iestatiet stingru laika rāmi: viena nedēļa, divas ne vairāk. Sadaliet trafiku 50/50. Beigās paskatieties, kurš virsraksts saņēma vairāk klikšķu. Pēc tam izmantojiet to kā ievadi savam spriedumam, nevis kā spriedumu.

Triks ir pierakstīt savu a priori pirms skatīšanās: "Es uzskatu, ka ieguvumu virsraksts būs pārāks." Ja dati piekrīt, izlaidiet to ar pārliecību. Ja tie ir pretrunā, jautājiet, kāpēc. Ja tas ir pārāk tuvu, lai izlemtu, izvēlieties to, kas atbilst jūsu citiem pētījumiem. Jūs nemeklējat noteiktību. Jūs meklējat pamudinājumu.

Cik ilgi jādarbojas virziena nolasījumam? Pietiekami ilgi, lai redzētu modeli, pietiekami īsi, lai nezaudētu mēnesi. Ja tā pati versija uzvar katru dienu, tas ir signāls. Ja uzvarētājs mainās katru dienu, tas ir troksnis. Izvēlieties versiju, kas šķiet pareiza, un virzieties tālāk.

Izmantojiet vienkāršu izklājlapu, lai katru dienu izsekotu rezultātus. Tā liek jums faktiski aplūkot modeli, nevis gaidīt beigas.

Tas nav formāls A/B tests. Neizliecieties, ka tā ir. Ne pievienojiet nozīmīguma sliekšņus virziena nolasījumam. Neziņojiet ieinteresētajai pusei "mēs to testējām". Sakiet: "mēs veicām ātru pārbaudi, un virziens izskatījās daudzsološs." Pārmērīga virziena nolasījuma apgalvošana ir tas, kā jūs nonākat pie viltus pārliecības un sliktākiem lēmumiem nākamajā mēnesī.

Ja nepieciešama detalizētāka sistēma zema trafika testēšanai, virziena rokasgrāmata izskaidro visu metodi.

Izlaišana un mērīšana: kad testēšana ir nepareizs lēmums

Jūsu norēķinu lapā ir obligāts lauks "uzņēmuma nosaukums". Jūs esat saņēmis atkārtotus atbalsta e-pastus no klientiem, kuri nezina, ko rakstīt. Jūsu konversijas rādītājs cieš. Ko jūs testējat?

Noņemiet lauku. Netestējiet to.

Tas izklausās pārāk acīmredzami, lai teiktu, bet visbiežāk sastopamā pašgraujošā rīcība viena tirgotāja speciālistu vidū ir acīmredzamu labojumu pārvēršana eksperimentos. Jūs saīsināt garo veidlapu līdz minimumam, jo zināt, ka berze nogalina konversijas. Jūs pārvietojat uzticības signālus virs locījuma, jo jūsu klientu intervijās ir daudz iebildumu par uzticību. Jūs maināt pogas etiķeti, kas acīmredzami mulsina apmeklētājus. Nevienam no tiem nav nepieciešams tests. Viņiem ir nepieciešama izlaišana.

Pēc izlaišanas mēriet. Vērojiet veidlapu aizpildījumus savā analītikā nedēļu. Ja skaitlis virzās pareizajā virzienā, paturiet to. Ja tas virzās nepareizajā virzienā, atjaunojiet. Tagad jums ir bāzes līnija un datu punkts. Ar to pietiek.

Pretrunīgi patiesība: testēšana nav tikums. Nepietiekami jaudīgs tests, kas darbojas nedēļām un beidzas "bez rezultāta", maksā jums laiku, ko varējāt pavadīt, izlaižot acīmredzamu uzlabojumu. Tas arī māca jums gaidīt atļauju no rīka, kad jūsu pašu pierādījumi jau ir spēcīgi.

Kas ir "acīmredzams"? Jums ir vairāki pierādījumu avoti: lietotāju atsauksmes, atbalsta e-pasti, analītika, kas parāda, kur cilvēki pārtrauc darbību, jūsu pašu acis uz lapas. Kad vairāki norāda vienā virzienā, jums nav nepieciešams eksperiments, lai apstiprinātu. Jums ir nepieciešama izvietošana.

Viena piezīme: ja izmaiņa ir lēta, lai testētu, un jums ir trafiks, testējiet to. Noteikums nav "nekad netestējiet acīmredzamas lietas." Noteikums ir "netestējiet acīmredzamas lietas, ja tests aizņemtu ilgāk nekā labojums."

Izveidojiet vienkāršu sistēmu, lai izsekotu izlaistās izmaiņas. Izklājlapa ar datumu, izmaiņām, metriku un rezultātu. Tas pārvērš katru izlaišanu mazā eksperimentā. Laika gaitā jūs izveidosit lēmumu žurnālu.

Pirms pievienojat kaut ko savam sarakstam, pajautājiet sev: "Vai es jau zinu atbildi?" Ja jā, izlaidiet. Ja nē un nevarat veikt īstu testu, lasiet virzienā. Tikai patiesi nenoteikti un augstu likmju jautājumi ir pelnījuši formālu eksperimentu. Ja jums ir grūti saskatīt, kuras idejas ir jūsu laika vērtas, šis ceļvedis par testu prioritizēšanu, kas patiešām konvertē palīdzēs.

AI eksperimentu slazds: ātrākas kļūdas, nevis ātrākas atbildes

Jūs esat dzirdējis par AI darbinātu A/B testēšanu. Tā dinamiski sadala trafiku, ģenerē variantus un analizē rezultātus reāllaikā. Tas izklausās kā datu zinātnieks kastē — tieši tas, kas jums nepieciešams kā viena cilvēka mārketinga nodaļai.

Lūk, āķis: AI nerada trafiku. Tas pārdala jau esošo trafiku. Ja jūsu trafiks ir neliels, AI eksperiments joprojām ir virziena nolasījums, tikai ar lielāku dzinēju aiz tā un skaļāku balsi, kas to sauc par nozīmīgu. Tas var atrast viltus uzvarētājus ātrāk, nekā jūs varat tos pārbaudīt.

Šis uzlabojums ir īsts komandām ar apjomu. Ja jums ir pietiekami daudz sesiju, lai 50/50 sadalījums joprojām nodrošinātu katrai versijai pienācīgu apjomu, AI eksperiments var palīdzēt ātri izpētīt daudzas variācijas. Ja saņemat nelielu trafiku, koncentrējieties uz manuālo pieeju. AI neplāno radīt datus.

Kad izmantojat AI eksperimentu, uzstādiet drošības ierobežojumus. Nosakiet galveno metriku pats. Uzstādiet apturēšanas noteikumu. Izlemiet, kā izskatās jēgpilns uzlabojums pirms palaišanas. Neļaujiet rīkam izvēlēties, kas tiek uzskatīts par panākumu. Apsveriet arī, ko AI optimizē. Ja tas optimizē klikšķus, tas var upurēt metriku, kas ir svarīga, piemēram, reģistrācijas vai ieņēmumus. Jums ir jāuzstāda mērķis. AI eksperiments ir rīks, nevis vadītājs.

Un nekad neļaujiet vārdam "AI" aizstāt pamatus: viens skaidrs jautājums, saprātīgs laika rāmis un rīcības slieksnis. Jo lielāka ir eksperimenta apetīte pēc datiem, jo vairāk tas prasīs no jums. Ja jums jau trūkst trafika, katra sesija, ko dodat variantam, ir sesija, kurā nemācāties no kontroles. Šī tirdzniecība ir svarīga.

Ja jūs jau veicat testu un neesat pārliecināts, vai to pārtraukt, izlasiet kad pārtraukt A/B testu, pirms iztērējat vēl vienu nedēļu.

Salieciet to kopā

Izņemiet savu testu sarakstu. Izejiet cauri katram vienumam un apzīmējiet to.

• Formāls tests.
• Virziena nolasījums.
• Izlaišana un mērīšana.

Nogaliniet tos, kas neatbilst. Jums ir atļauts nogalināt testus. Mērķis nav veikt vairāk testu; tas ir pieņemt labākus lēmumus ar trafiku, kas jums jau ir.

Pārskatiet šo sarakstu katru ceturksni. Jūsu vietne mainās, jūsu auditorija mainās, un jūsu trafiks var pieaugt. Kad tas notiek, no jauna izvērtējiet nogalinātos testus. Tests, kas pirms sešiem mēnešiem bija neiespējams, tagad var būt gatavs.

Viena tirgotāja priekšrocība nav statistiskā sarežģītība. Tas ir ātrums. Izlaidiet acīmredzamo labojumu, veiciet virziena nolasījumu tuvai izvēlei un tērējiet formālā testa budžetu tikai jautājumiem, kas var jūs patiešām sadedzināt. Dariet to, un jūsu A/B testēšana pārstāj būt pienākums un kļūst par lēmumu rīku.