A/B testavimas be srauto: kryptinis vadovas

Santrauka

Mažo srauto nukreipimo puslapiai tradicinį A/B testavimą daro lėtą, brangų ir nepatikimą. Jei jūsų puslapis per mėnesį sulaukia tik saujelės apsilankymų, savaitėmis lauksite rezultato, kuris vis tiek nieko nepasakys. Sprendimas – pakeisti savo žaidimų planą: pirmiausia pašalinkite matomą trintį, testus vykdykite tik ten, kur sutelktas srautas, o mažos imties rezultatus laikykite kryptinėmis užuominomis, o ne įrodymais. Šis straipsnis pateikia praktinį auditą, vieno kintamojo testavimo strategiją ir 30 dienų planą, kuris sukuria pagreitį net ir be statistinio reikšmingumo. Taip pat įvardija sąžiningą kompromisą: galite pasielgti pagal klaidingai teigiamą rezultatą, bet mokysitės greičiau nei laukdami duomenų, kurie niekada neateis. Naudokite palyginimo lentelę, kad iš naujo nustatytumėte savo testavimo mąstyseną ir pradėtumėte veikti jau šiandien.

Pagaliau atlikote testą. Perrašėte antraštę, įjungėte padalijimą ir laukėte. Po dviejų savaičių platforma rodo tarp versijų skirtumą, kuris atrodo kaip laimėjimas. Tačiau imtis mažytė, pasikliautinasis intervalas platus, ir giliai širdyje žinote: tai ne duomenys. Tai monetos metimas su skydeliu. Tai mažo srauto spąstai. Sprendimas – ne testuoti atkakliau, o testuoti kitaip.

Testų, kurių negalite perskaityti, spąstai

Čia matematika ne jūsų kaltė. Tai sistemos apribojimas. A/B testavimas veikia padalijant auditoriją į dvi grupes ir lyginant jų elgesį. Šis palyginimas tampa prasmingas tik tada, kai kiekviena grupė yra pakankamai didelė, kad tikri skirtumai atsiskirtų nuo atsitiktinio triukšmo. Puslapyje, kuris per mėnesį sulaukia tik saujelės apsilankymų, net didelis pagerėjimas gali nepasiekti patikimo rezultato, kol turite ką nors išleisti.

Pagal „Optimizely“ žodynėlį, A/B testavimas yra dviejų tinklalapio ar programėlės versijų palyginimo metodas, siekiant nustatyti, kuri veikia geriau. Akcentas turėtų būti „nustatyti“. Esant mažytėms imtims, jūs nieko nenustatote. Jūs spėjate su pridėtu pasikliovimo balu.

Štai nemalonus pirmas žingsnis: nustokite vykdyti A/B testus, kurių negalite perskaityti. Tai ne nuolaida. Tai nukreipimas. Testas, kuris nepasieks patikimo reikšmingumo, yra laiko, srauto ir dėmesio švaistymas. Taupykite testavimo biudžetą tam, kai turėsite pakankamai duomenų. Kol kas naudokitės kitu žaidimų planu.

Eikite ir pažiūrėkite, kodėl žmonės išeina

Didžiausia įžvalga mažai svetainei slypi ne testų rezultatuose, o jūsų realių lankytojų elgesyje. Esant mažam srautui, galite stebėti reikšmingą dalį visų atėjusiųjų. Tai prabanga, kurios didelės įmonės pavydėtų. Pasinaudokite ja.

Pradėkite nuo savo analitikos. Raskite puslapius, kurie sulaukia daugiausiai srauto ir staigiausio kritimo. Tada eikite giliau: žiūrėkite sesijų įrašus, tyrinėkite šilumos žemėlapius ir užduokite neseniai apsilankiusiems vieną sąžiningą klausimą: „Kas beveik sustabdė jus nuo pirkimo?“ Atsakymai parodys trintį, kurios jūsų smegenys negali sugalvoti.

Štai konkretus pavyzdys. Įsivaizduokite nukreipimo puslapį, skirtą projektų valdymo įrankiui. Puslapis sulaukia nuolatinio apsilankymų srauto iš populiaraus tinklaraščio įrašo. Kvietimas atlikti veiksmą sako „Pradėti nemokamą bandomąjį laikotarpį“. Jūs atidarote sesijų įrašus ir matote, kaip lankytojai slenka iki kainų skilties, tada išeina. Kainų lentelėje yra planas „Komanda“, bet niekas nepaaiškina, ką reiškia „Komanda“. Ši dviprasmybė yra trintis. Pakeičiate plano pavadinimą į „Maža komanda (iki 10)“ ir pakoreguojate tekstą. Jokio padalijimo testo. Jokio laukimo laikotarpio. Tik pataisymas, nukreiptas į matomą kliūtį.

Ar tai garantuotas laimėjimas? Ne. Tai didelio pasitikėjimo pataisymas, pagrįstas tiesioginiu stebėjimu. Kai atsisakymo priežastis matoma, jums nereikia kontrolinės grupės, kad pasakytų, jog tai problema. Jums reikia drąsos ją pašalinti.

Tai pagrindinis mažo dydžio pranašumas. Galite kalbėtis su savo vartotojais, matyti juos laukinėje aplinkoje ir pastebėti tai, ko skydelis negali įvertinti kiekybiškai. Atlikite trumpą apklausą savo padėkos puslapyje. Paklauskite vartotojų, kurie nekonvertavo, kas beveik privertė juos išeiti. Perskaitykite atsakymus. Rasite modelius, kurių joks A/B testas niekada neatskleistų. Žmonės labai gerai apibūdina, kur yra problema, net jei negali pasakyti, kaip ją išspręsti. Leiskite jų elgesiui parodyti į puslapio elementą, o savo sprendimu pataisykite formuluotę.

Traktuokite tai kaip tinkamą užduotį. Užblokuokite dvi valandas, uždarykite el. paštą ir skaitykite neapdorotus sesijų įrašus po vieną. Neperkraukite pirmyn. Kai antrą kartą pamatysite tą pačią pauzę, tą patį slinkimą, tą patį nerūpestingą žymeklį, radote modelį. Modeliai yra jūsų įrodymai. Vieno lankytojo kelias yra anekdotas; keli lankytojai, darantys tą patį, yra užuomina. Ta užuomina verta daugiau nei tūkstantis suvestinių duomenų eilučių.

Atlikite testą ten, kur yra jūsų srautas

Mažo srauto svetainė beveik visada turi didelio srauto momentų. Nereikia testuoti savo plono pagrindinio puslapio. Raskite puslapį ar kanalą, kuriame žmonės iš tikrųjų susitelkia, ir ten atlikite eksperimentą.

Tai gali būti mokamas nukreipimo puslapis, kuris sulaukia didžiosios dalies reklamos srauto. Tai gali būti tinklaraščio įrašas, pirmame puslapyje. Tai gali būti el. pašto kampanija, siunčiama nemažam prenumeratorių sąrašui. Testo vieta yra tokia pat svarbi kaip ir pats testas. Jei testą atliksite ten, kur auditorija per maža, matysite triukšmą. Jei atliksite ten, kur minia, turėsite šansą.

Suderinkite eksperimentą su srauto tankiu. Sveikinimo el. laiškas su dideliu atidarymo rodikliu yra geresnė testavimo aplinka nei puslapis „Apie“, kuris sulaukia beveik jokių apsilankymų. Produkto puslapis, kurį generuoja paieškos srautas, yra geresnis nei pagrindinis puslapis, į kurį niekas nepatenka.

Prieš paleisdami įsitikinkite, kad jūsų padalijimas tikrai atsitiktinis. Kai kurie įrankiai ar rankiniai sprendimai netyčia išsiunčia visus mobiliuosius vartotojus į vieną versiją. Tai sugadina testą dar neprasidėjus. Jei jūsų eksperimentų platforma tvarko atsitiktinumą, pasitikėkite ja, bet po dienos patikrinkite paskirstymą. Jei darote rankiniu būdu, keiskite variantą kas valandą ar dieną, o ne pagal lankytojo tipą. Nuoseklumas mažiau svarbus nei atsitiktinumas.

Ir laikykite hipotezę siaurą. Netestuokite „geresnio dizaino“. Testuokite vieną kintamąjį: vieną antraštę, vieną pasiūlymą, vieną laukų skaičių. Kuo siauresnis pakeitimas, tuo lengviau įskaityti net ir esant vidutiniam srautui. Spręsdami, ką testuoti, rinkitės kintamąjį, turintį didžiausią galimą poveikį jūsų pagrindiniam veiksmui, o ne lengviausią pakeisti. Sistemą pateikia šis A/B testų prioritizavimo vadovas.

Vertinkite rezultatus kaip kryptinius, o ne galutinius

Štai kompromisas, kurio niekas nepriklijuoja ant lipnaus lapelio: statistinis griežtumas ir greitis tiesiogiai konfliktuoja. Dauguma geriausios praktikos straipsnių daro prielaidą, kad galite sau leisti abu. Negalite. Taigi jums reikia sprendimo taisyklės, kuri veiktų jūsų mastu.

Nustokite reikalauti 95% pasikliovimo. Ši riba buvo sukurta komandoms, turinčioms pakankamai srauto jai pasiekti. Vietoj to vertinkite savo mažo srauto testą kaip kryptinį signalą. Jei viena versija aiškiai pirmauja ir išvada sutampa su tuo, ką matėte įrašuose ir apklausose, galite ja pasinaudoti – atsargiai. Vadinkite tai stipria hipoteze, o ne įrodytu laimėtoju. Tada patikrinkite vėliau.

Štai lyginamasis mąstysenos pokytis:

	Klasikinis A/B testas	Mažo srauto eksperimentas
Pradinis taškas	„Įrodysiu, kuri versija laimi.“	„Rinksiu užuominas apie tai, kas svarbu.“
Sprendimo riba	Pasikliovimas 95% arba didesnis	Didelis kryptinis skirtumas ir kokybinis sutapimas
Laikas veikti	Savaitės ar mėnesiai	Dienos
Rizikos lygis	Žemas, nes laukiate	Didesnis, todėl vėliau patikrinate

Ar tai reiškia, kad kartais pasielgsite pagal klaidingai teigiamą rezultatą? Taip. Tai sąžininga kaina. Jūs priimate mažą tikimybę veikti pagal triukšmą mainais už greitesnį mokymąsi. Alternatyva – laukti, kol turėsite pakankamai srauto – reiškia ketvirtį nieko nekeisti.

Gudrybė yra apsisaugoti nuo savo paties šališkumo. Prieš žiūrėdami į skaičius, užsirašykite, ką darytumėte, jei rezultatas būtų artimas: nekreipsite dėmesio. Užsirašykite, ką darytumėte, jei skirtumas didelis ir tikėtina kryptimi: įdiegsite, bet seną versiją dokumentuosite. Jei rezultatas jus nustebina, vertinkite jį kaip paskatą tolesniems tyrimams, o ne kaip išvadą. Šis išankstinis registravimas atskiria kryptinį sprendimą nuo beždžionės, spaudžiančios mygtukus.

Žodis „reikšmingas“ turi techninę reikšmę. Mažo srauto aplinkoje jūs nepasiekėte to įrodymo. Taigi pakeiskite kalbą. Sakykite „ši kryptis atrodo daug žadanti“ arba „duomenys švelniai rodo“. Tokia kalba išlaiko jus sąžiningus su savimi ir su visais, kurie peržiūri darbą. Norėdami giliau suprasti, kada rezultatas iš tikrųjų patikimas, skaitykite kaip interpretuoti A/B testų rezultatus nepasiduodant triukšmui.

Testuokite pasiūlymą, o ne dažus

Dažniausias laiko švaistymas mažuose puslapiuose – mygtukų spalvų, šriftų ir tarpų testavimas. Šie mikro pakeitimai paprastai duoda mažus efektus. Mažiems efektams aptikti reikia didžiulių imčių. Jūs jų neturite. Taigi nustokite testuoti dažus ir pradėkite testuoti struktūrines puslapio dalis.

Pasiūlymas, kainos rėminimas, socialinis įrodymas, garantija, formos ilgis ir pagrindinės vertės pasiūlymo kopija yra didelio poveikio kintamieji. Garantija, padėta šalia jūsų kvietimo atlikti veiksmą, keičia suvokiamą riziką. Forma, sutrumpinta nuo daugelio laukų iki kelių, keičia užbaigimo rodiklį. Antraštė, įvardijanti konkretų rezultatą, o ne miglotą naudą, keičia tai, kam atrodo, kad puslapis skirtas. Šie pakeitimai pakankamai dideli, kad parodytų signalą net mažoje imtyje.

Vienas iš būdų nustatyti didelio poveikio kintamuosius – paklausti: „Jei lankytojas perskaitytų tik vieną eilutę šiame puslapyje, kokia ji turėtų būti?“ Ta eilutė yra jūsų antraštė. Išleiskite testavimo energiją ten, prieš paliesdami mygtuką. Kitas klausimas: „Kokį prieštaravimą lankytojai išreiškia dažniausiai?“ Tas prieštaravimas yra jūsų garantija. Parašykite tokią, kuri į jį tiesiogiai atsako. Tai ne dizaino sprendimai, o vertės sprendimai.

Pagalvokite taip: A/B testavimas skirtas optimizuoti tai, kas jau veikia. Jei jūsų puslapyje yra esminis neatitikimas tarp to, ką siūlote, ir to, ko nori lankytojas, joks testas to neištaisys. Pirmiausia sutvarkykite pasiūlymą. Tada testuokite.

Tai klasikinė mažų komandų klaida: šokti į testavimą, prieš ištaisant pagrindinius konversijos nutekėjimus. Dažniausių A/B testavimo klaidų vadovas apima likusius spąstus, kad galėtumėte jų išvengti.

Jūsų kitos 30 dienų

Štai planas, nereikia dešimties žingsnių sistemos.

Pirma savaitė, auditas. Atidarykite analitiką ir nustatykite didžiausio srauto puslapius bei staigiausius kritimus. Žiūrėkite sesijų įrašus. Išsiųskite apklausą visiems, kurie nepirko. Sudarykite kiekvienos matomos kliūties sąrašą pagal dydį.

Antra savaitė, tiesiogiai ištaisykite tris svarbiausias kliūtis. Jokio testavimo. Tiesiog pagerinkite tekstą, maketą, formą ar pasiūlymą. Pašalinkite trintį, kurią patvirtinote savo akimis.

Trečia savaitė, pasirinkite vieną didžiausio srauto vietą ir ten atlikite vieną kontroliuojamą testą. Vienas kintamasis. Apibrėžkite sprendimo taisyklę prieš žiūrėdami. Leiskite jam veikti, kol skirtumas taps aiškus arba kol baigsis laikas.

Ketvirta savaitė, priimkite sprendimą. Jei rezultatas kryptinis ir atitinka jūsų kokybinius įrodymus, įdiekite jį. Jei jis ribinis, įtraukite mokymąsi į kitą iteraciją. Tada nustatykite kitą testą.

Šis metodas nesuteiks jums švaraus statistinio tikrumo. Jis suteiks pagreitį. Mokysitės greičiau, anksčiau išleisite patobulinimus ir susikursite įprotį prieš ką nors paleisdami klausti „ko tai mane išmokys“. Tas įprotis yra tikrasis konversijos įrankis.

Kai jūsų srautas augs – ir jis augs – jau žinosite, ką testuoti, kur testuoti ir kaip skaityti rezultatus. Mažo srauto laikotarpis nėra laikas sėdėti nuošalyje. Tai laikas žaisti kitą žaidimą. Žaiskite tą žaidimą gerai, ir didesnis žaidimas jūsų lauks.