Kaip nustoti švaistyti laiką A/B testams, kurie neturi reikšmės

Santrauka

Dauguma A/B testų nesukelia prasmingų rezultatų, nes jie nukreipti į mažo poveikio pakeitimus arba trūksta tinkamo prioritetų nustatymo. Šiame straipsnyje pateikiama konkreti keturių žingsnių metodika, kaip identifikuoti didžiausią svertą turinčius testus jūsų konversijos kanalui. Pirmiausia naudokite analitikos ir kokybinius duomenis, kad nustatytumėte, kur vartotojai iškrenta. Antra, įvertinkite kiekvieną potencialų testą naudodami ICE sistemą (Poveikis, Pasitikėjimas, Lengvumas), kad sutelktumėte dėmesį į laimėtojus. Trečia, sukurkite griežtus eksperimentus, kurie išskiria vieną kintamąjį ir pasiekia statistinį reikšmingumą. Galiausiai nedelsdami įgyvendinkite patvirtintus pakeitimus ir tobulinkite. Laikydamiesi šio metodo, pereisite nuo atsitiktinio testavimo prie sistemingos optimizavimo mašinos, kuri skatina realų pajamų augimą. Svarbiausia yra nustoti testuoti viską ir testuoti tik tai, kas labiausiai svarbu.

Atsitiktinio A/B testavimo paslėptosios sąnaudos

A/B testavimas yra konversijos rodiklio optimizavimo pagrindas, tačiau daugelis komandų jį traktuoja kaip loteriją – jie testuoja mygtukų spalvas, antraščių pakeitimus ar CTA vietą be aiškios strategijos. Rezultatas? Kalnai neaiškių duomenų, iššvaistytos kūrimo valandos ir praleistos galimybės. Tikroji problema nėra testavimo trūkumas; tai dėmesio trūkumas.

Norėdami tai išspręsti, jums reikia pakartojamos sistemos, leidžiančios prioritetizuoti testus, kurie tiesiogiai veikia jūsų pelną. Šis straipsnis padės jums pereiti per keturių žingsnių metodiką, naudojamą geriausių CRO praktikų. Sužinosite, kaip rasti didžiausius konversijos nuotėkius, objektyviai įvertinti potencialius testus, sukurti eksperimentus, duodančius aiškius atsakymus, ir greitai įdiegti laimėtojus.

1 žingsnis: Raskite didžiausius konversijos nuotėkius (pirmas ketvirtis)

Prieš ką nors testuodami, turite žinoti, kur jūsų kanalas kraujuoja. Naudokite kiekybinių ir kokybinių duomenų derinį:

• Analitika: Ieškokite puslapių, kuriuose yra aukšti išėjimo rodikliai arba staigūs kritimai tarp žingsnių. Pavyzdžiui, jei 70% vartotojų palieka svetainę atsiskaitymo puslapyje, tai yra jūsų prioritetas.
• Šilumos žemėlapiai ir seansų įrašai: Stebėkite, kur vartotojai spusteli, dvejoja ar spusteli iš pykčio. Šilumos žemėlapis gali atskleisti, kad vartotojai bando spustelėti nepaspaudžiamą elementą, o tai rodo dizaino trūkumą.
• Vartotojų apklausos ir atsiliepimai: Klauskite vartotojų, kodėl jie nekonvertavo. Trumpos išėjimo apklausos gali atskleisti trinties taškus, kurių niekada nepastebėjote.

Pavyzdys: El. prekybos svetainė nustatė, kad 80% krepšelio apleidimų įvyko siuntimo puslapyje. Analitika parodė, kad vartotojai ten praleisdavo vidutiniškai 45 sekundes, tačiau seansų įrašai atskleidė, kad juos supainiojo siuntimo parinktys. Paprastas A/B testas, kuris supaprastino parinktis ir pridėjo progreso indikatorių, padidino konversijas 12%.

Įspėjimas: Nepasitikėkite vienu duomenų šaltiniu. Metrika gali klaidinti. Trianguliuokite išvadas iš analitikos, įrašų ir atsiliepimų, kad patvirtintumėte tikrąją problemą.

2 žingsnis: Įvertinkite kiekvieną testavimo idėją naudodami ICE sistemą (antras ketvirtis)

Kai turite galimų patobulinimų sąrašą, turite juos surikiuoti. ICE sistema įvertina kiekvieną idėją pagal tris kriterijus (1-10 kiekvienas):

• Poveikis: Kiek šis pakeitimas paveiks pagrindinį rodiklį? Atsiskaitymo srauto pertvarkymas gali gauti 9, o mygtuko spalvos keitimas – 3.
• Pasitikėjimas: Kiek esate tikri, kad pakeitimas pagerins situaciją? Pagrįstas vartotojų atsiliepimais? Aukštas balas. Į jausmą? Žemas balas.
• Lengvumas: Kaip greitai galite įgyvendinti testą? Paprastas teksto pakeitimas gali būti 9, o viso puslapio pergalvojimas – 2.

Pavyzdys: Siuntimo puslapio problemai: Poveikis=9 (masinis iškritimas), Pasitikėjimas=8 (vartotojų atsiliepimai patvirtina sumaištį), Lengvumas=7 (galima padaryti per dieną). Bendras ICE balas = 24. Palyginkite su antraštės spalvos testavimu (Poveikis=2, Pasitikėjimas=3, Lengvumas=9, iš viso 14). Prioritetas būtų siuntimo testas.

Įspėjimas: Būkite sąžiningi su savo balais. Lengva išpūsti Pasitikėjimą. Kur įmanoma, naudokite duomenis. Jei neturite įrodymų, vertinkite žemai.

3 žingsnis: Sukurkite švarius, statistiškai pagrįstus eksperimentus (trečias ketvirtis)

Net pati geriausia hipotezė žlunga, jei testas yra neatsargus. Laikykitės šių taisyklių:

• Testuokite vieną kintamąjį vienu metu. Keičiant kelis elementus (pvz., antraštę ir CTA) neįmanoma sužinoti, kas sukėlė poveikį.
• Užtikrinkite pakankamai didelę imtį. Prieš pradėdami naudokite internetinę imties dydžio skaičiuoklę. Pavyzdžiui, jei jūsų pradinis konversijos rodiklis yra 2% ir norite aptikti 20% santykinį padidėjimą, jums gali prireikti 50 000 lankytojų vienam variantui.
• Testuokite pakankamai ilgai. Venkite ankstyvo sustojimo (žvilgčiojimo) ar testavimo švenčių metu. Siekite bent vieno pilno verslo ciklo (pvz., 1-2 savaitės).

Pavyzdys: SaaS įmonė norėjo ištestuoti naują kainodaros puslapį. Jie vienu metu pakeitė išdėstymą ir tekstą. Testas parodė 5% padidėjimą, tačiau jie negalėjo pasakyti, kuris pakeitimas jį sukėlė. Kai jie atskirai ištestavo teksto pakeitimą, jis iš tikrųjų pablogino konversijas. Pamoka: izoliuokite kintamuosius.

Įspėjimas: Statistinis reikšmingumas yra būtinas, bet nepakankamas. Taip pat apsvarstykite praktinį reikšmingumą – ar padidėjimas vertas pastangų? 0,1% padidėjimas gali būti statistiškai reikšmingas, bet ne operaciškai prasmingas.

4 žingsnis: įgyvendinkite laimėtojus ir greitai tobulinkite (ketvirtas ketvirtis ir išvada)

Kai testas aiškiai nustato laimėtoją (su 95% pasitikėjimu), nedelsdami jį įdiekite. Tačiau nesustokite čia:

• Dokumentuokite išmoktas pamokas: Kas veikė, kas neveikė ir kodėl. Sukurkite žinių bazę būsimiems testams.
• Stebėkite po paleidimo: Laimėjęs variantas gali elgtis kitaip esant realiam srautui. Stebėkite rodiklius bent savaitę.
• Tobulinkite: Naudokite naują pradinį lygį, kad nustatytumėte kitą kliūtį. CRO yra nuolatinis ciklas.

Pavyzdys: Po sėkmingo siuntimo puslapio testo ta pati įmonė perėjo prie mokėjimo metodo piktogramų testavimo. Kiekviena iteracija rėmėsi ankstesne sėkme, laikui bėgant kaupiant konversijų prieaugį.

Įspėjimas: Venkite „optimizavimo spąstų“ – ne testuokite be galo mažų pakeitimų. Tam tikru momentu apsvarstykite didesnius pertvarkymus ar vertės pasiūlymus. A/B testavimas skirtas smulkiam derinimui, o ne pergalvojimui.

Išvada

A/B testavimas neturi būti atsitiktinis šūvis tamsoje. Sistemingai rasdami nuotėkius, vertindami idėjas naudodami ICE, kurdami švarius eksperimentus ir tobulindami laimėtojus, jūs paverčiate testavimą nuspėjamu augimo varikliu. Nustokite testuoti viską, kas ateina į galvą; testuokite tik tai, kas greičiausiai pakeis rodiklius. Jūsų konversijų rodikliai – ir jūsų sveikas protas – jums padėkos.