Klientams atsparus A/B testavimo metodas: 7 žingsniai, kurie veikia bet kurioje sąskaitoje

Santrauka

Agentūros vykdo A/B testus sudėtingesnėmis sąlygomis nei pavienių produktų komandos: keli klientai, griežti terminai ir išsibarstę rodikliai. Šis straipsnis suteikia jums pakartojamą metodą, kuris veikia bet kurioje sąskaitoje, pradedant vieno tikro konversijos tikslo apibrėžimu. Sužinosite, kaip rasti trinties taškus, o ne vaikytis suinteresuotųjų šalių nuomonių, rašyti prognozuojamas hipotezes ir pasirinkti tarp univariacinių, multivariacinių ir dirbtinio intelekto valdomų eksperimentų. Jis apima praktinį imties dydžio planavimą, kaip neleisti klientams per anksti nutraukti testą ir kaip skaityti dviprasmiškus rezultatus konsultanto požiūriu. Paskutinis žingsnis – kiekvieną pergalę ir nesėkmę sudėti į žaidimų knygą, kuri pagreitins kito kliento testavimo ciklą. Naudokite šią struktūrą, kad sutaupytumėte iššvaistytas savaites ir paverstumėte testavimą konkurenciniu pranašumu savo agentūrai. Kai į testavimą žiūrite kaip į sistemą, o ne į pavienių užklausų seriją, nustojate kiekvieną kartą išradinėti dviratį.

Pirmadienis, 9:47 ryto. Klientas el. laišku prašo „greito A/B testo" savo kainodaros puslapyje. Jūs turite kelias kitas sąskaitas, kiekviena su skirtinga analitikos sąranka, skirtinga tvirtinimo grandine ir skirtingu „laimėjimo" apibrėžimu. Greitasis testas užtruks tris savaites, kol pasieks statistinį reikšmingumą. Jūs tai jau žinote. Todėl prailginate terminą, nustatote lūkesčius ir paleidžiate testą. Tada pusę savaitės praleidžiate jį gindami.

Tai ne testavimo problema. Tai sistemos problema. Jei turite iš naujo išradinėti, kaip testuojate kiekvienam klientui, jūs nesate optimizavimo partneris – esate testų vykdytojas. Toliau pateikiamas septynių žingsnių metodas, kuris veikia su bet kuriuo klientu, bet kokiu įrankiu ir bet kokiu srauto lygiu. Naudokite jį, kad gautumėte greitesnius ir protingesnius testavimo ciklus, kurie kaupiasi nuo sąskaitos iki sąskaitos.

1. Prieš paliesdami bet kurį kintamąjį, nustatykite sėkmės metriką

A/B testavimas, kaip apibrėžta „Optimizely" žodynėlyje, atsitiktinai padalija jūsų auditoriją ir kiekvienai grupei parodo skirtingą puslapio versiją. Šis atsitiktinis padalijimas sukuria duomenis. Tačiau duomenys ką nors reiškia tik tada, jei žinote, ką matuojate. Dauguma klientų sako, kad nori „daugiau konversijų", tačiau konversijos gali būti registracijos, pirkimai, demonstracinių versijų užklausos ar net slinkimas iki puslapio apačios. Jei nenustatysite vienos metrikos, kiekvienas jūsų pateiktas rezultatas bus atviras perinterpretavimui.

Kiekvieną bendradarbiavimą pradėkite nuo 15 minučių tikslo audito. Paklauskite kliento: „Koks vienas veiksmas, jei jis pasikartotų dvigubai, padarytų šį ketvirtį sėkmingą?" Tada paverskite šį atsakymą pagrindine metrika. Naudokite ją kaip testo sėkmės kriterijų. Viskas kita – atmetimo rodiklis, laikas puslapyje, antriniai paspaudimai – tampa apsaugine metrika, kurią stebite, bet neoptimizuojate.

Būkite negailestingai konkretūs. Jei klientas sako „potencialūs klientai", apibrėžkite, kas yra potencialus klientas. Potencialus klientas gali būti formos užpildymas, bet taip pat telefono skambutis, tiesioginis pokalbis ar atsisiuntimas. Kiekvienas apibrėžimas keičia, kurį puslapio elementą turėtumėte testuoti. Tikslas, susijęs su formos užpildymu, nukreipia jus į formos ilgį ir trintį. Tikslas, susijęs su telefono skambučiu, daro jūsų optimizavimą orientuotą į mygtuko „spustelėkite, kad paskambintumėte" vietą ir pasitikėjimo signalus. Jei nuo pat pradžių dėl to nesusitarsite, optimizuosite netinkamą puslapį.

Pavyzdys: B2B klientas nori „daugiau potencialių klientų". Jūs klausiate, kas yra potencialus klientas. Jie sako „kvalifikuoti potencialūs klientai". Tai nėra stebima. Jūs susiaurinate iki „formos užpildymai su verslo el. pašto adresu". Dabar turite pagrindinę metriką. Kai vėliau testuosite naują antraštę, vertinsite ją tik pagal tą metriką. Taip pat pastebėsite bandymus paskelbti pergalę remiantis geresniu atmetimo rodikliu. Toks aiškumas sutaupo valandų diskusijų.

Kai turite pagrindinę metriką, užsirašykite ją testo apraše. Apraše vienu sakiniu turėtų būti pasakyta: „Šis testas bus vertinamas pagal [metriką]". Pasidalykite juo su visomis suinteresuotomis šalimis. Kai viceprezidentas vėliau pasakys „na, įsitraukimas pagerėjo", jūs parodote į aprašą. Jūs neperkėlėte vartų. Jūs dėl jų susitarėte.

Čia taip pat atskiriate signalą nuo triukšmo. Žinojimas, kurie testai svarbiausi, yra pusė mūšio. Išleisti biudžetą testams, kurie labiausiai tikėtina, padidins pajamas yra tai, kas daro agentūrą efektyvią.

2. Ieškokite trinties, o ne pageidavimų

Klientai jums pateiks sąrašą „testų, kuriuos norime atlikti", kurie iš tikrųjų yra nuomonės. „Mygtukas turėtų būti žalias." „Antraštėje turėtų būti paminėtas mūsų apdovanojimas." Jūs tokių nevykdote. Jūs atliekate testus, kurie mažina trintį arba didina pasitikėjimą. CRO žinynai rodo tuos pačius svertus: raginimo veiksmui aiškumą, formos ilgį, maketo aiškumą, socialinį įrodymą ir pasitikėjimo signalus.

Raskite šiuos svertus, pažiūrėdami, kur jūsų kliento vartotojai išeina. Įdiekite sesijų įrašymą arba pagrindinį įvykių stebėjimą, jei jie to dar neturi. Peržiūrėkite bent penkias realias vartotojų sesijas kiekvienam klientui. Nesiremkite kliento nuomone apie tai, „kas vartotojams patiks". Duomenys nugali nuomonę.

Dažni trinties šaltiniai, kuriuos verta įvertinti:

• Formos, kuriose prašoma per daug arba per mažai informacijos
• Raginimai veiksmui, kurie aiškiai nenurodo kito veiksmo (pvz., „Sužinoti daugiau" vs. „Pradėti nemokamą bandomąjį laikotarpį")
• Trūksta pasitikėjimo signalų šalia įsipareigojimo momento (atsiliepimai, garantijos, pinigų grąžinimo pasiūlymai)
• Puslapiai, kurie lėtai įkeliami mobiliajame įrenginyje
• Kelionės su netikėtu papildomu žingsniu (pvz., „registracija", o paskui „el. pašto patvirtinimas" be įspėjimo)

Pavyzdys: elektroninės prekybos kliento pirkimo užbaigimo puslapyje yra 6 laukų forma ir neprivalomas žymimasis langelis „sukurti paskyrą". Įdiegiate sesijų įrašymą ir peržiūrite penkis vartotojus. Du bando ištrinti iš anksto užpildytą kuponą, nes mano, kad jis pritaikys nuolaidą. Vienas išeina prie telefono numerio lauko. Trintis nėra formos ilgis; tai painus kupono laukas. Jūsų testas nedaro mygtuko didesnio. Jis perkelia kupono lauką į paskutinį užsakymo peržiūros žingsnį. Tai testas, gimęs iš stebėjimo, o ne nuomonės.

Norėdami tai daryti keliems klientams, sukurkite bendrą trinties žurnalą. Kai vartotojas užstringa vieno kliento svetainėje, užsirašykite modelį. Po trijų savaičių tą pačią trintį pamatysite kito kliento svetainėje. Tai jūsų agentūros privati tyrimų biblioteka. Tai taip pat galingas argumentas naujam klientui: „Mes matėme šią tikslią problemą jūsų rinkos segmente."

Nesustokite prie elgesio svetainėje. Pažiūrėkite į išėjimo kelius, šilumos žemėlapius ir formos laukų analitiką. Tikslas – rasti vieną aiškų tašką, kuriame vartotojai iškrenta. Tas taškas yra jūsų testo kintamasis. Jei negalite rasti aiškaus iškritimo taško, atlikite diagnostinį testą: išbandykite radikaliai kitokį raginimą veiksmui, daug trumpesnę formą arba radikaliai kitokį vertės pasiūlymą. Rezultatas, net jei jis nulinis, parodo, kur yra tikroji auditorijos priešprieša.

Nuolat atnaujinkite trinties žurnalą. Pamatę pasikartojantį modelį, užsirašykite jį žurnale su ekrano kopija ir vienos eilutės paaiškinimu. Po kelių mėnesių turėsite vartotojų prieštaravimų katalogą, kuris tinka kiekvienam jūsų aptarnaujamam klientui. Tas katalogas yra pardavimo taškas: „Mes jau išbandėme šį tikslų prieštaravimą jūsų pramonės šakoje. Štai ką sužinojome."

3. Parašykite hipotezę, kuri numato kodėl, o ne ką

Geras testas atsako į klausimą: „Jei padarysime X, tada įvyks Y, nes Z." „Nes Z" yra hipotezė, ir būtent ji daro rezultatą perkeliamą. Be „kodėl" laimėjęs testas nieko nesako apie kitą klientą.

Suformuluokite kiekvieną testą naudodami tą „Jei... tada... nes..." struktūrą. Ji priverčia galvoti apie mechanizmą. „Sutrumpinkite formą nuo 5 laukų iki 3" tampa „Jei sutrumpinsime formą, tada užpildymo rodiklis padidės, nes vartotojai suvoks mažiau pastangų." Dabar žinote kodėl. Tą taisyklę galite perkelti bet kuriam klientui su ilga forma.

Dabar įspėjimas. Įprasta geriausia praktika sako testuoti vieną kintamąjį vienu metu. Ši taisyklė egzistuoja dėl geros priežasties: izoliuoti kintamieji suteikia aiškius priežastinius paaiškinimus. Tačiau agentūros retai turi srauto ar mėnesių, kad atliktų dvidešimt atskirų univariacinių testų. Mažo srauto sąskaitoms reikia kompromiso. Turite tris variantus.

Metodas	Geriausias, kai	Kompromisas
Univariacinis testas	Didelio srauto puslapis, viena hipotezė, yra laiko	Aiškiausia priežastinė istorija, lėtas
Multivariacinis testas	Vidutinis srautas, keli nepriklausomi kintamieji	Greitesnis, bet painūs ryšiai
Dirbtinio intelekto eksperimentas	Mažas srautas, griežtas terminas, norima, kad mašina prisitaikytų	Naujesni įrankiai, mažiau kontrolės variantams

Trečiasis variantas vertas rimto dėmesio. „Optimizely" dirbtinio intelekto eksperimentų paaiškinimas aprašo mašininio mokymosi sistemas, kurios dinamiškai paskirsto srautą ir generuoja variantus už jus. Užuot nustatę fiksuotą padalijimą ir laukę, sistema sužino, kuris variantas laimi, ir realiu laiku nukreipia į jį srautą. Tai gali sutrumpinti dviejų savaičių testą iki kelių dienų – metodologinio grynumo kaina. Agentūrai, dirbančiai su terminu, tai dažnai yra tinkama kaina.

Nežinote, kuris būdas tinka jūsų klientui? Klasikinio ir dirbtinio intelekto testavimo kompromisai verti supratimo prieš įsipareigojant.

Štai kaip nuspręsti: jei klientas turi daug srauto ir lanksčią laiko juostą, naudokite univariacinį testą. Jei jie turi vidutinį srautą ir kelis galimus pakeitimus, atlikite multivariacinį testą su perspektyviausiais deriniais. Jei jie turi mažą srautą ir griežtą terminą, pasirinkite dirbtinio intelekto eksperimentą, kuris gali prisitaikyti vykdymo metu. Neleiskite, kad „tikro mokslo" pirmenybė apakintų jus kliento verslo apribojimams. Tinkamas testas yra tas, kuris duoda sprendimą, pagal kurį galite veikti, kol biudžetas neišgaravo. Tobulai pagrįstas testas, kuris baigiasi po kliento kampanijos pabaigos, yra bevertis.

Pavyzdys: vietinės paslaugos klientas gauna nedidelį dienos srautą. Atlikdami univariacinį testą patys, reikėtų mėnesių, kad pastebėtumėte reikšmingą skirtumą. Rašote hipotezę, tada naudojate dirbtinio intelekto eksperimentą, kuris dinamiškai paskirsto srautą. Po kelių dienų sistema parodo, kad vienas variantas išsiveržia į priekį, ir nukreipia jam daugiau srauto. Gaunate atsakymą per kliento kampanijos langą. Priimate, kad rezultatas yra mažiau statistiškai kruopštus nei šešių savaičių klasikinis testas. Tai racionalus mainas, o ne kompromisas.

Taip pat atkreipkite dėmesį, kad taisyklė „vienas kintamasis vienu metu" gali būti atlaisvinta, jei testuojate radikaliai naują puslapio dalį, o ne vieną mygtuką. Viso puslapio perbraižymo testas gali pakeisti kelis elementus, tačiau hipotezė vis tiek yra nuosekli: „Maketas, sukurtas aplink naudos teikiantį tekstą, pralenks dabartinį funkcijų sąrašo maketą, nes vartotojai renkasi pagal rezultatus." Kol hipotezė įvardija mechanizmą, galite išbandyti pakeitimų rinkinį. Tik būkite sąžiningi su klientu, kad nesužinosite, kuris elementas lėmė padidėjimą.

4. Pritaikykite testo dydį prie kliento kalendoriaus, o ne prie statistikos vadovėlio

Statistinis reikšmingumas nėra stebuklingas skaičius, kurį atrakinate 21 dieną. Jis priklauso nuo jūsų pradinės konversijos rodiklio, minimalaus pagerėjimo, kurį turite pamatyti, ir srauto kiekio, kurį galite nukreipti į testą. Kiekvienas šios srities testavimo vadovas kartoja tą patį įspėjimą: vykdykite testą tol, kol turėsite pakankamą imties dydį ir trukmę, kitaip jūsų išvada yra triukšmas.

Prieš suplanuodami testą, atlikite skaičiavimus paprasta kalba. Įvertinkite kliento dabartinį konversijos rodiklį ir mažiausią pagerėjimą, kuris jums svarbus. Tada įvertinkite, kiek lankytojų jums reikės pagrįstam pasitikėjimo lygiui. Jei šis skaičius nebus pasiektas iki kliento ketvirtinės apžvalgos, turite tris pasirinkimus: išplėskite srauto padalijimą, kad į testą patektų daugiau žmonių, priimkite didesnį minimalų aptinkamą efektą, kurį jūsų srautas gali palaikyti, arba paverskite testą mokymosi eksperimentu be žadėto „laimėtojo".

Jums nereikia daktaro laipsnio. Naudokite imties dydžio skaičiuoklę. Įveskite pradinį rodiklį, efektą, kurį norite aptikti, ir norimą pasitikėjimo lygį. Įrankis parodys, kiek lankytojų vienam variantui reikia. Tada padalykite iš numatomo kliento testo srauto per dieną, kad gautumėte reikiamą vykdymo laiką. Jei šis laikas netelpa į kliento terminą, pakoreguokite vieną iš įvesties parametrų prieš paleisdami testą. Toks pokalbis yra daug pigesnis nei iššvaistytas trijų savaičių ciklas.

Pavyzdys: SaaS kliento bandomosios versijos registracijos puslapis sulaukia nedidelio, bet stabilaus lankytojų srauto. Norite aptikti reikšmingą pagerėjimą, o jūsų imties dydžio įvertis sako, kad testui reikės daug daugiau lankytojų, nei kliento srautas duos per turimą laiką. Klientui reikia atsakymo per šešias savaites valdybos posėdžiui. Taigi išplečiate padalijimą nuo 50/50 iki 90/10 – bet to vis tiek nepakaks. Vietoj to sumažinate minimalų aptinkamą efektą, kad užfiksuotumėte tik didelius laimėjimus. Dabar testas įmanomas per terminą, ir jūs pasakėte klientui tiksliai, ką testas gali ir ko negali užfiksuoti. Tai profesionalus žingsnis.

Taip pat turite sustabdymo taisyklę. Iš anksto nuspręskite, kiek ilgai testas vyks ir kokį reikšmingumo slenkstį naudosite. Niekada neleiskite kalendorinei datai būti vienintelei priežasčiai sustoti. Žinokite, kada nutraukti eksperimentą anksti arba pratęsti – jūsų sprendimas, o ne savavališkas penktadienis, turėtų tai nuspręsti.

5. Neleiskite klientui nutraukti testo per anksti

Štai scena, kurią esate patyrę: antradienis, ir klientas praneša: „Testas paleistas šį rytą. Išsiųskime laimėjusį variantą dabar." Jūs turite vieną variantą, kuris pirmauja, bet pasiekėte tik reikiamą imties dydį. Jūsų klientas mato pergalę. Jūs matote triukšmą. Tai dažniausia priežastis, kodėl agentūros testai žlunga – ne bloga matematika, o blogas suinteresuotųjų šalių valdymas.

Nustatykite pagrindines taisykles prieš prasidedant testui. Išsiųskite vieno puslapio testo aprašą, kuriame nurodyta: pagrindinė metrika, planuojamas imties dydis, ankstyviausia data, kada žiūrėsite į rezultatus, ir ką jums leidžiama keisti vykdymo metu. Gaukite kliento patvirtinimą. Kai jie žvilgteli, tai tampa lūkesčių pažeidimu, į kurį galite atkreipti dėmesį, o ne asmeniniu atstūmimu. Tai ne apie priešiškumą; tai apie eksperimento vientisumo apsaugą.

Taip pat apsaugokite testo aplinką. Pasakykite klientui, kad testui vykstant neturėtų būti keičiami jokie kiti svetainės elementai. Baneris, skelbiantis apie gedimą testo puslapyje, paskutinės minutės dizaino pakeitimas iš kito tiekėjo ar net socialinės žiniasklaidos antplūdis gali užteršti jūsų duomenis. Kai tik kas nors pasikeičia už jūsų testo ribų, rezultatas tampa įtartinas.

Pavyzdys: kliento kūrėjas testo metu pakeičia favicon. Tai neturėtų turėti reikšmės, bet taip pat neturėtų įvykti. Jūs užregistruojate tai, pažymite laiko žymą ir patikrinate, ar rezultatai po to pasikeičia. Jei pasikeičia, iš naujo paleidžiate testą. Klientai dažnai nesupranta, koks tai trapus dalykas. Jūsų darbas – aiškiai tai nurodyti testo apraše, kad jie į tai žiūrėtų rimtai.

Kitas dažnas kliento žingsnis – „penktadienį reikia paleisti kampaniją, ar galite nutraukti testą anksčiau?" Pasipriešinkite, nebent kampanija trukdo pačiam testui. Jei nutrauksite anksti, rizikuojate priimti neteisingą sprendimą. Vietoj to pažiūrėkite, ar kampaniją galima šiek tiek atidėti, arba testą perkelti į puslapį, kurio kampanija neveikia. Jūsų testo aprašas yra jūsų derybų įrankis. Naudokite jį, kad mandagiai, bet tvirtai atsisakytumėte.

Dar vienas įprotis: niekada netikrinkite rezultatų testo metu, nebent ieškote techninės nesėkmės. Žmogaus smegenys yra baisios tikimybių srityje. Gerų dienų serija atrodo kaip įrodymas, bet dažnai tai tik triukšmas. Jei norisi žvilgtelėti, vietoj to atidarykite imties dydžio skaičiuoklę. Prisiminkite, kiek duomenų dar trūksta.

6. Skaitykite rezultatą kaip istoriją, o ne nuosprendį

Testas baigiasi. Variantas vėl laimi. Tačiau „kuris mygtukas laimėjo" yra mažiausiai naudingas dalykas, kurį sužinojote. Naudingi klausimai: Kodėl jis laimėjo? Ar šis paaiškinimas tinka kitiems puslapiams? Ką mes sužinojome apie šią auditoriją, ko anksčiau nežinojome?

Būtent čia dauguma agentūrų sustoja. Jie išsiunčia laimėjusį variantą, nusiunčia klientui PDF ir juda toliau. Tai praleista galimybė. Nulinis rezultatas – kai variantas nepralenkė kontrolės – vis tiek yra rezultatas. Jis sako, kad auditorijai tas kintamasis nesvarbus arba kad originalas jau buvo pakankamai geras. Užfiksuokite šį mokymąsi ir pritaikykite jį kitam testui. Geriausios praktikos vadovai nuolat pabrėžia mokymosi užfiksavimą po kiekvieno eksperimento; būtent tai paverčia testavimą iš pavienių bandymų serijos į kaupiamąjį turtą.

Pavyzdys: Jūs testuojate atsiliepimą su nuotrauka prieš paprastą citatą. Paprasta citata laimi. Jūs gilinatės į kodėl. Paveikslėlis atrodo surežisuotas; kliento auditorija skeptiška. Pamoka nėra „atsiliepimai neveikia". Tai „ši auditorija nori autentiško, nepriskiriamo įrodymo, o ne nugludintų nuotraukų". Kitą mėnesį kitas klientas klausia apie socialinį įrodymą. Jūs jau žinote, ko jiems nerodyti. Tai yra investicijų grąža skaitant rezultatus kaip istoriją.

Rezultato interpretavimas – ne tik p reikšmės patikrinimas. Tai žiūrėjimas į kryptį, dydį ir segmentų skirtumus. Jei nesate tikri, ar galite pasitikėti tuo, ką matote, grįžkite prie pagrindų. Vadovas, kaip teisingai interpretuoti A/B testų rezultatus nepasiduodant triukšmui, padės jums likti sąžiningiems.

Taip pat apsvarstykite „ir kas?" testą. Išverskite metriką į kliento kalbą. Didelis santykinis padidėjimas ant mažo pagrindo gali reikšti beveik nieko pajamų, o mažas padidėjimas didelio srauto puslapyje gali reikšti didžiulį pelną. Neleiskite santykiniam pokyčiui užgožti absoliučios vertės. Klientui rūpi skaičius apačioje, o ne pasikliovimo intervalas.

Kai pateikiate nulinį rezultatą, neatsiprašinėkite. Pateikite jį kaip duomenų tašką. „Sužinojome, kad antraštės ilgis nekeičia konversijos šiai auditorijai. Tai sutaupo mus nuo šio testo pakartojimo." Nulinis rezultatas yra aiškus atsakymas į klausimą. Tai ne nesėkmė.

7. Paverskite kiekvieną rezultatą pakartojama taisykle

Dabar paskutinis žingsnis, ir tas, kuris skiria agentūrą, kuri atlieka testus, nuo agentūros, kuri dėl jų lažinasi. Po kiekvieno testo parašykite vieno puslapio žaidimų knygos įrašą. Formatas turi būti nuoseklus: kliento tipas, hipotezė, rezultatas, rekomendacija. Saugokite jį vietoje, kurioje kiekvienas gali ieškoti. Tada prieš paleisdami bet kokį naują testą, ieškokite žaidimų knygoje panašios situacijos. Dažnai rasite, kad jau išmokote tai, ką ruošiatės išmokti dar kartą.

Štai kaip testavimas tampa agentūros konkurenciniu pranašumu. Kliento A radinys „kupono laukas yra painus" sutaupo jums nuo to paties ydingo testo kūrimo kliento B pirkimo užbaigimui. Kliento C „atsiliepimai nekeičia rodiklių" atlaisvina jus išbandyti ką nors kita. Žaidimų knyga yra turtas, kurį iš tikrųjų parduodate, o ne ataskaitos.

Žaidimų knygos įrašo kontrolinis sąrašas:

• Kliento pramonės šaka ir svetainės tipas
• Testo puslapis ir testuotas kintamasis
• Hipotezė „Jei... tada... nes..." forma
• Pagrindinės metrikos rezultatas: pergalė, pralaimėjimas arba nulis
• „Kodėl" paaiškinimas, prie kurio apsisprendėte
• Vienas veiksmas, kurį pakartotumėte naujam klientui
• Vienas veiksmas, kurio niekada nebandytumėte vėl

Pavyzdys: kūno rengybos programėlės klientas testuoja nemokamo bandomojo laikotarpio formą su vienu el. pašto lauku prieš formą su vardu ir el. paštu. Vieno lauko versija duoda nedidelį, bet nuoseklų laimėjimą. Jūs rašote žaidimų knygos įrašą: „Impulsyviai veikiančioms auditorijoms (fitnesas, maistas) sumažinkite privalomus laukus pradžioje; asmeninę informaciją rinkite vėliau." Po šešių savaičių maisto rinkinio klientas klausia apie jų ilgą registracijos formą. Jūs ištraukiate žaidimų knygos įrašą, rekomenduojate tą patį sumažinimą ir atliekate testą užtikrintai, nes jau žinote tikėtiną rezultatą. Tai yra kaupiamasis efektas.

Galiausiai kartą per mėnesį surengkite „mokymosi peržiūrą" su savo komanda. Peržiūrėkite, ką sužinojote visiems klientams. Sujunkite įrašus, kurie nurodo tą patį pagrindinį principą. Paverskite tuos principus gairėmis būsimiems testams. Pavyzdžiui, jei du skirtingi klientai matė didesnę konversiją su vieno lauko forma, principas „prašykite minimalios informacijos iki įsipareigojimo" tikriausiai teisingas jų segmentuose. Šis principas dabar informuoja kiekvieno naujo kliento nukreipimo puslapio rekomendacijas, net prieš atliekant testą.

Metodas veikia. Tačiau jis veikia tik tada, jei tikrai sukursite sistemą. Pradėkite nuo vieno kliento. Pritaikykite visus septynis žingsnius. Tada pritaikykite juos kitam klientui ir leiskite žaidimų knygai atlikti vis daugiau darbo. Nustosite klausti „ką turėtume testuoti?" ir pradėsite klausti „kuri žinoma taisyklė čia tinka?" Tai skirtumas tarp agentūros, kuri atlieka testus, ir agentūros, kuri pasiekia geresnių rezultatų.