Klientiem drošais A/B testēšanas ietvars: 7 soļi, kas darbojas jebkurā kontā

Kopsavilkums

Aģentūras veic A/B testus stingrākos apstākļos nekā komandas, kas strādā ar vienu produktu: vairāki klienti, saspringti termiņi un izkliedēti rādītāji. Šis raksts sniedz atkārtojamu ietvaru, kas darbojas jebkurā kontā, sākot ar viena patiesa konversijas mērķa definēšanu. Jūs uzzināsiet, kā atrast berzes punktus, nevis sekot ieinteresēto pušu viedokļiem, rakstīt prognozējošas hipotēzes un izvēlēties starp univariātiem, multivariātiem un AI vadītiem eksperimentiem. Tas aptver pragmatisku izlases lieluma plānošanu, kā neļaut klientiem pārtraukt testu priekšlaicīgi un kā lasīt neskaidrus rezultātus kā konsultantam. Pēdējais solis ir iesaiņot katru uzvaru un neveiksmi rokasgrāmatā, kas padara nākamā klienta testēšanas ciklu ātrāku. Izmantojiet šo struktūru, lai samazinātu izšķiestās nedēļas un pārvērstu testēšanu par jūsu aģentūras konkurences priekšrocību. Kad testēšanu uztverat kā sistēmu, nevis virkni atsevišķu pieprasījumu, jūs pārtraucat izgudrot riteni no jauna katrā kontā.

Pirmdiena, 9:47 no rīta. Klients raksta e-pastu, lūdzot "ātro A/B testu" savā cenu lapā. Jums ir trīs citi konti darbā, katrs ar atšķirīgu analītikas iestatījumu, atšķirīgu apstiprināšanas ķēdi un atšķirīgu "uzvaras" definīciju. Ātrais tests prasīs trīs nedēļas, lai sasniegtu statistisko nozīmīgumu. Jūs to jau zināt. Tāpēc jūs pagarināt grafiku, nosakāt cerības un veicat testu. Tad pusi nedēļas pavadāt, to aizstāvot.

Tā nav testēšanas problēma. Tā ir sistēmas problēma. Ja jums ir jāizgudro, kā testēt katram klientam, jūs neesat optimizācijas partneris — jūs esat testa izpildītājs. Tālāk ir septiņu soļu ietvars, kas darbojas jebkuram klientam, jebkuram rīkam, jebkurā trafika līmenī. Izmantojiet to, lai iegūtu ātrākus un gudrākus testēšanas ciklus, kas uzkrājas no konta uz kontu.

1. Pirms pieskaraties mainīgajam, nofiksējiet veiksmes rādītāju

A/B testēšana, kā definēts Optimizely glosārijā, nejauši sadala jūsu auditoriju un parāda katrai grupai citu lapas versiju. Šī nejaušā sadalīšana ģenerē datus. Bet dati kaut ko nozīmē tikai tad, ja zināt, ko mērāt. Lielākā daļa klientu saka, ka vēlas "vairāk konversiju" — bet konversijas var būt reģistrācijas, pirkumi, demonstrācijas pieprasījumi vai pat ritināšana līdz lapas apakšai. Ja nenosakāt vienu rādītāju, katrs jūsu sniegtais rezultāts būs atvērts pārinterpretācijai.

Sāciet katru sadarbību ar 15 minūšu mērķu auditu. Jautājiet klientam: "Kura viena darbība, ja tā dubultotos, padarītu šo ceturksni veiksmīgu?" Pēc tam pārvērtiet šo atbildi primārajā rādītājā. Izmantojiet to kā testa veiksmes kritēriju. Viss pārējais — atlēcienu līmenis, laiks lapā, sekundārie klikšķi — kļūst par drošības rādītāju, ko novērojat, bet neoptimizējat.

Esiet nežēlīgi konkrēti. Ja klients saka "potenciālie klienti", definējiet, kas ir potenciālais klients. Potenciālais klients var būt veidlapas iesniegšana, bet tas var būt arī telefona zvans, tiešsaistes tērzēšana vai lejupielāde. Katra definīcija maina to, kuru lapas elementu jums vajadzētu testēt. Veidlapas iesniegšanas mērķis norāda uz veidlapas garumu un berzi. Telefona zvana mērķis padara jūsu optimizāciju par klikšķa-zvana izvietojumu un uzticības signāliem. Ja jūs par to nevienojaties sākumā, jūs optimizēsiet nepareizo lapu.

Piemērs: B2B klients vēlas "vairāk potenciālo klientu". Jūs jautājat, kas ir potenciālais klients. Viņi saka "kvalificēti potenciālie klienti". To nevar izsekot. Jūs sašaurinat līdz "veidlapas iesniegšanai ar uzņēmuma e-pasta adresi". Tagad jums ir primārais rādītājs. Kad vēlāk testējat jaunu galveno virsrakstu, jūs vērtēsiet to tikai pēc šī rādītāja. Jūs arī pamanīsiet mēģinājumus pasludināt uzvaru, pamatojoties uz labāku atlēcienu līmeni. Šī skaidrība ietaupa jūs no stundām ilgām diskusijām.

Kad jums ir primārais rādītājs, pierakstiet to testa aprakstā. Aprakstā vienā teikumā jānorāda: "Šis tests tiks vērtēts pēc [metric]." Kopīgojiet to ar visām ieinteresētajām pusēm. Kad viceprezidents vēlāk saka: "labi, bet iesaiste uzlabojās", jūs norādāt uz aprakstu. Jūs nepārvietojāt vārtus. Jūs par tiem vienojāties.

Šeit jūs arī atdalāt signālu no trokšņa. Zinot, kuri testi ir vissvarīgākie, ir puse no kaujas. Tērējot budžetu testiem, kas, visticamāk, ietekmē ieņēmumus, aģentūra kļūst efektīva.

2. Medījiet berzi, nevis preferences

Klienti jums iedos sarakstu ar "testiem, kurus mēs vēlamies veikt", kas patiesībā ir viedokļi. "Pogai jābūt zaļai." "Virsrakstā jāmin mūsu balva." Jūs tos neveicat. Jūs veicat testus, kas samazina berzi vai palielina uzticību. CRO rokasgrāmatas norāda uz tiem pašiem svirām: aicinājuma skaidrība, veidlapas garums, izkārtojuma skaidrība, sociālie pierādījumi un uzticības signāli.

Atrodiet šīs sviras, skatoties, kur jūsu klienta lietotāji pārtrauc. Iestatiet seansu ierakstus vai pamata notikumu izsekošanu, ja viņiem tā vēl nav. Noskatieties vismaz piecas reālas lietotāju sesijas katram klientam. Nepaļaujieties uz klienta viedokli par "kas lietotājiem patiks". Dati pārspēj viedokli.

Biežākie berzes avoti, ko auditēt:

• Veidlapas, kas prasa pārāk daudz vai pārāk maz informācijas
• Aicinājumi uz darbību, kas skaidri nenorāda nākamo soli (piemēram, "Uzzināt vairāk" pret "Sākt bezmaksas izmēģinājumu")
• Trūkst uzticības pazīmju pie apņemšanās punkta (atsauksmes, garantijas, naudas atgriešanas piedāvājumi)
• Lapas, kas lēni ielādējas mobilajās ierīcēs
• Ceļojumi ar negaidītu papildu soli (piemēram, "reģistrēšanās" un pēc tam "e-pasta verificēšana" bez brīdinājuma)

Piemērs: e-komercijas klienta norēķinu lapā ir 6 lauku veidlapa un neobligāta izvēles rūtiņa "izveidot kontu". Jūs iestatāt sesijas ierakstu un noskatāties piecus lietotājus. Divi mēģina dzēst iepriekš aizpildītu atlaižu kodu, jo domā, ka tas dos atlaidi. Viens atsakās telefona numura laukā. Berze nav veidlapas garumā; tā ir mulsinošais atlaižu koda lauks. Jūsu tests nepadara pogu lielāku. Tas pārvieto atlaižu koda lauku uz pēdējo pārskatīšanas soli. Tas ir tests, kas dzimis no novērojumiem, nevis viedokļa.

Lai to darītu vairākos klientos, izveidojiet kopīgu berzes žurnālu. Ikreiz, kad lietotājs iestrēgst viena klienta vietnē, atzīmējiet modeli. Jūs redzēsiet to pašu berzi citam klientam trīs nedēļas vēlāk. Tā ir jūsu aģentūras privātā pētniecības bibliotēka. Tas ir arī spēcīgs piedāvājums jaunam klientam: "Mēs esam redzējuši šo precīzu problēmu jūsu tirgus segmentā."

Neapstājieties pie uzvedības vietnē. Apskatiet izejas ceļus, karstuma kartes un veidlapas lauku analītiku. Mērķis ir atrast vienu skaidru punktu, kur lietotāji pārtrauc. Šis punkts ir jūsu testa mainīgais. Ja nevarat atrast skaidru pārtraukuma punktu, veiciet diagnostikas testu: izmēģiniet krasi atšķirīgu aicinājumu uz darbību, daudz īsāku veidlapu vai radikāli atšķirīgu vērtības piedāvājumu. Rezultāts, pat nulles, parāda, kur ir auditorijas patiesā pretestība.

Uzturiet berzes žurnālu aktuālu. Kad pamanāt atkārtotu modeli, atzīmējiet to žurnālā ar ekrānuzņēmumu un vienas rindiņas skaidrojumu. Pēc dažiem mēnešiem jums būs lietotāju iebildumu katalogs, kas attiecas uz katru apkalpoto klientu. Šis katalogs ir pārdošanas punkts: "Mēs jau testējām šo precīzo iebildumu jūsu nozarē. Lūk, ko mēs uzzinājām."

3. Uzrakstiet hipotēzi, kas prognozē kāpēc, nevis ko

Labs tests atbild uz jautājumu: "Ja mēs darīsim X, tad notiks Y, jo Z." "Jo Z" ir hipotēze, un tā padara rezultātu pārnesamu. Bez "kāpēc" uzvarošs tests jums neko nepasaka par nākamo klientu.

Formulējiet katru testu ar šo "Ja... tad... jo..." struktūru. Tā liek domāt par mehānismu. "Saīsināt veidlapu no 5 laukiem uz 3" kļūst par "Ja mēs saīsināsim veidlapu, tad aizpildīšanas līmenis pieaugs, jo lietotāji uztver mazāku piepūli." Tagad jūs zināt, kāpēc. Jūs varat pārnest šo noteikumu uz jebkuru klientu ar garu veidlapu.

Tagad brīdinājums. Vispārējā prakse saka, ka vienlaikus jātestē viens mainīgais. Šis noteikums pastāv iemesla dēļ: izolēti mainīgie dod tīrus cēloņsakarības skaidrojumus. Bet aģentūrām reti ir trafika vai mēneši, lai veiktu divdesmit atsevišķus univariātus testus. Kontiem ar zemu trafiku jums ir nepieciešams kompromiss. Jums ir trīs iespējas.

Pieeja	Kad vislabāk	Kompromiss
Univariāts tests	Liela trafika lapa, viena hipotēze, pieejams laiks	Vistīrākais cēloņsakarības stāsts, lēns
Multivariāts tests	Vidēja trafika, vairāki neatkarīgi mainīgie	Ātrāks, bet sajauktas mijiedarbības
AI vadīts eksperiments	Zema trafika, saspringts termiņš, vēlaties, lai mašīna pielāgojas	Jaunāks rīku komplekts, mazāka kontrole par variantiem

Trešā iespēja ir nopietni apsverama. Optimizely AI eksperimentu skaidrojums apraksta mašīnmācīšanās sistēmas, kas dinamiski sadala trafiku un ģenerē variantus. Tā vietā, lai iestatītu fiksētu sadalījumu un gaidītu, sistēma mācās, kurš variants uzvar, un reāllaikā novirza trafiku uz to. Tas var saspiest divu nedēļu testu līdz dažām dienām — par metodoloģiskās tīrības cenu. Aģentūrai ar termiņu tā bieži ir pareizā cena, ko maksāt.

Neesat pārliecināts, kurš ceļš atbilst jūsu klientam? Ir vērts izprast kompromisus starp klasisko un AI vadīto testēšanu, pirms apņematies.

Lūk, kā izlemt: ja klientam ir daudz trafika un atvērts grafiks, izmantojiet univariātu testu. Ja viņiem ir vidēja trafika un vairākas iespējamās izmaiņas, veiciet multivariātu testu ar visdaudzsološākajām kombinācijām. Ja viņiem ir zema trafika un stingrs termiņš, izvēlieties AI vadītu eksperimentu, kas var pielāgoties lidojuma laikā. Neļaujiet vēlmei pēc "īstas zinātnes" apžilbināt jūs no klienta biznesa ierobežojumiem. Pareizs tests ir tas, kas rada lēmumu, uz kuru varat reaģēt, pirms budžets iztvaiko. Pilnībā jaudīgs tests, kas beidzas pēc klienta kampaņas, ir nevērtīgs.

Piemērs: vietējā pakalpojumu klientam ir neliela ikdienas trafika. Univariāta testa veikšana pašiem prasītu mēnešus, lai noteiktu jēgpilnu atšķirību. Jūs rakstāt hipotēzi, pēc tam izmantojat AI eksperimentu, kas dinamiski sadala trafiku. Pēc dažām dienām sistēma parāda, ka viens variants izvirzās vadībā, un novirza tam vairāk trafika. Jūs saņemat atbildi klienta kampaņas logā. Jūs pieņemat, ka rezultāts ir mazāk statistiski tīrs nekā sešu nedēļu klasiskais tests. Tas ir racionāls kompromiss, nevis piekāpšanās.

Ņemiet vērā arī to, ka noteikumu "vienu mainīgo vienlaikus" var atslābināt, ja testējat radikāli jaunu lapas sadaļu, nevis vienu pogu. Pilnas lapas pārveidošanas tests var mainīt vairākus elementus, bet hipotēze joprojām ir saskaņota: "Izkārtojums, kas veidots ap ieguvumu-pirmo tekstu, pārspēs pašreizējo funkciju saraksta izkārtojumu, jo lietotāji izvēlas, pamatojoties uz rezultātiem." Kamēr hipotēze nosauc mehānismu, varat testēt izmaiņu kopumu. Vienkārši esiet godīgs pret klientu, ka neuzzināsiet, kurš elements izraisīja pieaugumu.

4. Pielāgojiet testa lielumu klienta kalendāram, nevis statistikas mācību grāmatai

Statistiskā nozīmība nav maģisks skaitlis, ko atbloķējat 21. dienā. Tas ir atkarīgs no jūsu sākotnējā konversijas rādītāja, minimālā pieauguma, kas jums jāredz, un trafika apjoma, ko varat novirzīt testam. Katrs testēšanas ceļvedis atkārto to pašu brīdinājumu: veiciet testu, līdz jums ir pietiekams izlases lielums un ilgums, pretējā gadījumā jūsu secinājums ir troksnis.

Pirms plānojat testu, veiciet aprēķinus vienkāršā valodā. Novērtējiet klienta pašreizējo konversijas rādītāju un mazāko uzlabojumu, kas jums rūp. Pēc tam novērtējiet, cik apmeklētāju jums būs nepieciešams saprātīgam ticamības līmenim. Ja šis skaitlis netiks sasniegts līdz klienta ceturkšņa pārskatam, jums ir trīs iespējas: paplašināt trafika sadalījumu, lai testam nosūtītu vairāk cilvēku, pieņemt lielāku minimāli nosakāmo efektu, ko jūsu trafika var atbalstīt, vai pārvērst testu par mācību eksperimentu bez solīta "uzvarētāja".

Jums nav nepieciešams doktora grāds. Izmantojiet izlases lieluma kalkulatoru. Ievadiet sākotnējo līmeni, efektu, ko vēlaties noteikt, un vēlamo ticamību. Rīks norāda, cik apmeklētāju nepieciešams katram variantam. Pēc tam daliet ar klienta paredzamo testa trafiku dienā, lai iegūtu nepieciešamo ilgumu. Ja šis ilgums neatbilst klienta termiņam, pielāgojiet vienu no ievades datiem pirms testa palaišanas. Šī saruna ir daudz lētāka nekā izšķiesta trīs nedēļu cikls.

Piemērs: SaaS klienta izmēģinājuma reģistrācijas lapa saņem nelielu, bet stabilu apmeklētāju plūsmu. Jūs vēlaties noteikt jēgpilnu uzlabojumu, un jūsu izlases lieluma aprēķins saka, ka testam būs nepieciešams daudz vairāk apmeklētāju, nekā klienta trafika nodrošinās pieejamajā laikā. Klientam atbilde ir nepieciešama sešu nedēļu laikā valdes sapulcei. Tāpēc jūs paplašināt sadalījumu no 50/50 uz 90/10 — bet tas joprojām nebūs pietiekami. Tā vietā jūs samaziniet minimāli nosakāmo efektu, lai noķertu tikai lielus uzvaras. Tagad tests ir iespējams noteiktajā laika posmā, un jūs esat pateicis klientam, ko tests var un nevar noķert. Tas ir profesionāls solis.

Jums ir nepieciešams arī apturēšanas noteikums. Iepriekš izlemiet, cik ilgi tests darbosies un kādu nozīmīguma slieksni izmantosiet. Nekad neļaujiet kalendāra datumam būt vienīgajam iemeslam, lai apstātos. Ziniet, kad pārtraukt eksperimentu agri vai pagarināt to — jūsu spriedums, nevis patvaļīga piektdiena, ir tas, kam jāpieņem lēmums.

5. Neļaujiet klientam pārtraukt testu priekšlaicīgi

Šeit ir aina, ko esat pieredzējis: Ir otrdiena, un klients raksta: "Tests ir palaists šorīt. Nosūtīsim uzvarētāju tagad." Jums ir viens variants, kas ir vadībā, bet jūs esat sasniedzis tikai nepieciešamo izlases lielumu. Jūsu klients redz uzvaru. Jūs redzat troksni. Tas ir visizplatītākais iemesls, kāpēc aģentūru testi neizdodas — ne slikta matemātika, bet slikta ieinteresēto pušu pārvaldība.

Nosakiet pamatnoteikumus pirms testa sākuma. Nosūtiet vienas lapas testa aprakstu, kurā norādīts: primārais rādītājs, plānotais izlases lielums, agrākais datums, kad skatīsiet rezultātus, un ko drīkst mainīt testa laikā. Lūdziet klientam apstiprināt. Kad viņi ielūkojas, tas kļūst par cerību pārkāpumu, uz kuru varat norādīt, nevis personisku noraidījumu. Tas nav par konfrontāciju; tas ir par eksperimenta integritātes aizsardzību.

Aizsargājiet arī testa vidi. Pasakiet klientam, ka testa laikā nedrīkst veikt citas vietnes izmaiņas. Reklāmkarogs, kas paziņo par traucējumiem testa lapā, pēdējā brīža dizaina izmaiņas no cita piegādātāja vai pat sociālo mediju trafika pieaugums var piesārņot jūsu datus. Tiklīdz kaut kas mainās ārpus jūsu testa, rezultāti ir apšaubāmi.

Piemērs: klienta izstrādātājs testa laikā ievieto jaunu favicon. Tam nevajadzētu ietekmēt, bet tam arī nevajadzētu notikt. Jūs to reģistrējat, atzīmējat laika zīmogu un pārbaudāt, vai rezultāti mainās pēc šī brīža. Ja tie mainās, restartējiet testu. Klienti bieži nesaprot, cik tas ir trausli. Jūsu uzdevums ir to skaidri norādīt testa aprakstā, lai viņi to uztvertu nopietni.

Vēl viena izplatīta klientu rīcība ir "mums piektdien jāuzsāk kampaņa, vai varat pabeigt testu agri?" Pretojieties, ja vien kampaņa netraucē pašam testam. Ja pabeidzat agri, jūs riskējat pieņemt nepareizu lēmumu. Tā vietā pārbaudiet, vai kampaņu var nedaudz atlikt vai testu pārvietot uz lapu, kuru kampaņa neietekmē. Jūsu testa apraksts ir jūsu sarunu rīks. Izmantojiet to, lai pieklājīgi, bet stingri atteiktu.

Vēl viens ieradums: nekad nepārbaudiet rezultātus testa laikā, ja vien nemeklējat tehnisku kļūmi. Cilvēka smadzenes ir sliktas varbūtību uztverē. Vairākas labas dienas šķiet kā pierādījums, bet bieži tas ir tikai troksnis. Ja vēlaties ielūkoties, atveriet izlases lieluma kalkulatoru. Atgādiniet sev, cik daudz datu joprojām trūkst.

6. Lasiet rezultātu kā stāstu, nevis spriedumu

Tests beidzas. Variants atkal uzvar. Bet "kura poga uzvarēja" ir vismazāk noderīgā lieta, ko uzzinājāt. Noderīgie jautājumi ir: Kāpēc tā uzvarēja? Vai šis skaidrojums attiecas uz citām lapām? Ko mēs uzzinājām par šo auditoriju, ko iepriekš nezinājām?

Šajā punktā lielākā daļa aģentūru apstājas. Viņi nosūta uzvarējušo variantu, nosūta klientam PDF failu un dodas tālāk. Tā ir palaista garām iespēja. Nulles rezultāts — kad variants nepārspēja kontroli — joprojām ir rezultāts. Tas stāsta, ka auditorijai tas mainīgais nav svarīgs vai ka oriģināls jau bija pietiekami labs. Dokumentējiet šo mācību un pielietojiet to nākamajā testā. Labākās prakses ceļveži konsekventi uzsver mācību dokumentēšanu pēc katra eksperimenta; tas pārvērš testēšanu no atsevišķu testu sērijas par uzkrājošu aktīvu.

Piemērs: jūs testējat atsauksmi ar fotoattēlu pret vienkāršu citātu. Vienkāršais citāts uzvar. Jūs iedziļināties iemeslos. Attēls izskatās inscenēts; klienta auditorija ir skeptiska. Mācība nav "atsauksmes nedarbojas". Tā ir "šī auditorija vēlas autentiskus, bez atribūcijas pierādījumus, nevis pulētus attēlus". Nākamajā mēnesī cits klients jautā par sociālo pierādījumu. Jūs jau zināt, ko viņiem nerādīt. Tā ir ieguldījumu atdeve, lasot rezultātus kā stāstu.

Rezultāta interpretācija nav tikai p-vērtības pārbaude. Tas ir skatīšanās uz virzienu, apjomu un segmentu atšķirībām. Ja neesat pārliecināts, vai uzticēties tam, ko redzat, pārskatiet pamatus. Ceļvedis par to, kā pareizi interpretēt A/B testa rezultātus bez kļūdām trokšņa dēļ, palīdzēs jums palikt godīgam.

Apsveriet arī "un ko tad" testu. Pārvērtiet rādītāju klienta valodā. Liels relatīvs pieaugums uz niecīgas bāzes var nozīmēt gandrīz nekādus ieņēmumus, savukārt neliels pieaugums uz lapas ar lielu trafiku var nozīmēt milzīgus ieguvumus. Neļaujiet relatīvajām izmaiņām apžilbināt jūs no absolūtās vērtības. Klientu interesē skaitlis apakšā, nevis ticamības intervāls.

Kad prezentējat nulles rezultātu, neatvainojieties. Uztveriet to kā datu punktu. "Mēs uzzinājām, ka virsraksta garums nemaina konversiju šai auditorijai. Tas mūs pasargā no šī testa atkārtošanas." Nulles rezultāts ir tīra atbilde uz jautājumu. Tā nav neveiksme.

7. Pārvērtiet katru rezultātu par atkārtojamu noteikumu

Tagad pēdējais solis, un tas, kas atdala aģentūru, kas veic testēšanu, no aģentūras, kas uz to liek likmes. Pēc katra testa uzrakstiet vienas lapas rokasgrāmatas ierakstu. Formatējiet to konsekventi: klienta veids, hipotēze, rezultāts, ieteikums. Glabājiet to vietā, kur ikviens var meklēt. Pēc tam, pirms veicat jebkuru jaunu testu, meklējiet rokasgrāmatā līdzīgu situāciju. Bieži vien jūs atklāsiet, ka jau esat uzzinājis to, ko gatavojaties uzzināt vēlreiz.

Tādējādi testēšana kļūst par aģentūras konkurences priekšrocību. Klienta A atklājums "atlaižu koda lauks ir mulsinošs" pasargā jūs no tā paša kļūdainā testa izstrādes Klienta B norēķinu lapā. Klienta C "atsauksmes neko nemaina" atbrīvo jūs testēt kaut ko citu. Rokasgrāmata ir aktīvs, ko jūs patiesībā pārdodat, nevis atskaites.

Rokasgrāmatas ieraksta kontrolsaraksts:

• Klienta nozare un vietnes veids
• Testa lapa un testētais mainīgais
• Hipotēze "Ja... tad... jo..." formā
• Primārā rādītāja rezultāts: uzvara, zaudējums vai nulles
• "Kāpēc" skaidrojums, par kuru vienojāties
• Viena darbība, ko atkārtotu jaunam klientam
• Viena darbība, ko vairs nekad nemēģinātu

Piemērs: fitnesa lietotnes klients testē bezmaksas izmēģinājuma veidlapu ar vienu e-pasta lauku pret veidlapu ar vārdu un e-pastu. Versija ar vienu lauku dod nelielu, bet konsekventu uzvaru. Jūs rakstāt rokasgrāmatas ierakstu: "Impulsīvām auditorijām (fitness, pārtika) samaziniet obligāto lauku skaitu sākumā; personisko informāciju vāciet vēlāk." Pēc sešām nedēļām ēdiena komplektu klients jautā par savu garo reģistrācijas veidlapu. Jūs izvelkat rokasgrāmatas ierakstu, iesakāt to pašu samazinājumu un veicat testu ar pārliecību, jo jau zināt iespējamo iznākumu. Tas ir salikto procentu efekts.

Visbeidzot, rīkojiet ikmēneša "mācību pārskatu" ar savu komandu. Pārskatiet, ko esat iemācījušies visos klientos. Apvienojiet ierakstus, kas norāda uz to pašu pamatprincipu. Pārvērtiet šos principus vadlīnijās nākotnes testiem. Piemēram, ja divi dažādi klienti redzēja lielāku konversiju ar viena lauka veidlapu, princips "prasiet minimālu informāciju līdz apņemšanās brīdim", visticamāk, ir patiess visos segmentos. Šis princips tagad ietekmē katra jauna klienta galvenās lapas ieteikumus pat pirms testa veikšanas.

Ietvars darbojas. Bet tas darbojas tikai tad, ja jūs patiešām izveidojat sistēmu. Sāciet ar vienu klientu. Pielietojiet visus septiņus soļus. Pēc tam pielietojiet tos nākamajam klientam un ļaujiet rokasgrāmatai darīt arvien vairāk darba. Jūs pārtrauksiet jautāt "ko mums vajadzētu testēt?" un sāksiet jautāt "kurš zināmais noteikums šeit attiecas?" Tā ir atšķirība starp aģentūru, kas veic testus, un aģentūru, kas piegādā labākus rezultātus.