Kā pārtraukt tērēt laiku A/B testiem, kuriem nav nozīmes

Kopsavilkums

Lielākā daļa A/B testu nespēj sniegt jēgpilnus rezultātus, jo tie ir vērsti uz zemas ietekmes izmaiņām vai trūkst pareizas prioritāšu noteikšanas. Šis raksts sniedz konkrētu četru soļu metodoloģiju, lai identificētu visaugstākā sviras efektu testus jūsu reklāmguvumu piltuvei. Pirmkārt, izmantojiet analītiku un kvalitatīvos datus, lai noteiktu, kur lietotāji atkrīt. Otrkārt, novērtējiet katru potenciālo testu, izmantojot ICE ietvaru (Ietekme, Pārliecība, Vienkāršība), lai koncentrētos uz uzvarētājiem. Treškārt, izstrādājiet stingrus eksperimentus, kas izolē vienu mainīgo un sasniedz statistisku nozīmīgumu. Visbeidzot, nekavējoties ieviesiet apstiprinātās izmaiņas un atkārtojiet. Izmantojot šo pieeju, jūs pāriesiet no nejaušas testēšanas uz sistēmisku optimizācijas dzinēju, kas virza reālu ieņēmumu pieaugumu. Galvenais ir pārtraukt testēt visu un tā vietā testēt tikai to, kam ir vislielākā nozīme.

Nejaušas A/B testēšanas slēptās izmaksas

A/B testēšana ir reklāmguvumu līmeņa optimizācijas mugurkauls, taču daudzas komandas to uztver kā veiksmes spēli – tās testē pogu krāsas, virsrakstu izmaiņas vai CTA izvietojumu bez skaidras stratēģijas. Rezultāts? Kalni nepārliecinošu datu, izšķiestas izstrādes stundas un palaistas garām iespējas. Īstā problēma nav testēšanas trūkums; tā ir fokusa trūkums.

Lai to atrisinātu, jums ir nepieciešama atkārtojama sistēma, lai prioritizētu testus, kas tieši ietekmē jūsu peļņu. Šis raksts iepazīstina ar četru soļu metodoloģiju, ko izmanto vadošie CRO praktiķi. Jūs uzzināsiet, kā atrast savus lielākos reklāmguvumu noplūdes punktus, objektīvi novērtēt potenciālos testus, izstrādāt eksperimentus, kas sniedz skaidras atbildes, un ātri ieviest uzvarētājus.

1. solis: Atrodiet savus lielākos reklāmguvumu noplūdes punktus (pirmais ceturksnis)

Pirms kaut ko testējat, jums jāzina, kur jūsu piltuve plūst asinis. Izmantojiet kvantitatīvo un kvalitatīvo datu kombināciju:

• Analītika: Meklējiet lapas ar augstu iziešanas līmeni vai strauju kritumu starp soļiem. Piemēram, ja 70% lietotāju pamet norēķinu lapā, tā ir jūsu prioritāte.
• Siltuma kartes un sesiju ieraksti: Skatieties, kur lietotāji klikšķina, vilcinās vai dusmīgi klikšķina. Siltuma karte var atklāt, ka lietotāji mēģina noklikšķināt uz neklikšķināma elementa, norādot uz dizaina defektu.
• Lietotāju aptaujas un atsauksmes: Jautājiet lietotājiem, kāpēc viņi nekonvertēja. Īsas izejas nodoma aptaujas var atklāt berzes punktus, kurus jūs nekad nepamanījāt.

Piemērs: E-komercijas vietne atklāja, ka 80% grozu pamešanas notika piegādes lapā. Analītika parādīja, ka lietotāji tur pavadīja vidēji 45 sekundes, bet sesiju ieraksti atklāja, ka viņi bija apmulsuši par piegādes iespējām. Vienkāršs A/B tests, kas vienkāršoja iespējas un pievienoja progresa indikatoru, palielināja reklāmguvumus par 12%.

Brīdinājums: Nepaļaujieties uz vienu datu avotu. Metrika var maldināt. Triangulējiet atziņas no analītikas, ierakstiem un atsauksmēm, lai apstiprinātu īsto problēmu.

2. solis: Novērtējiet katru testa ideju ar ICE ietvaru (otrais ceturksnis)

Kad jums ir potenciālo uzlabojumu saraksts, jums nepieciešams veids, kā tos sarindot. ICE ietvars novērtē katru ideju pēc trim kritērijiem (1-10 katrs):

• Ietekme: Cik lielā mērā šīs izmaiņas ietekmēs galveno metriku? Norēķinu plūsmas pārprojektēšana var iegūt 9, bet pogas krāsas maiņa - 3.
• Pārliecība: Cik pārliecināts esat, ka izmaiņas uzlabos situāciju? Ja to apstiprina lietotāju atsauksmes, vērtējiet augstu. Ja tā ir sajūta, vērtējiet zemu.
• Vienkāršība: Cik ātri varat īstenot testu? Vienkārša teksta maiņa var būt 9, bet pilna lapas pārprojektēšana - 2.

Piemērs: Piegādes lapas problēmai: Ietekme=9 (masveida kritums), Pārliecība=8 (lietotāju atsauksmes apstiprina neskaidrību), Vienkāršība=7 (var izdarīt vienā dienā). Kopējais ICE rādītājs = 24. Salīdziniet ar galvenes krāsas testēšanu (Ietekme=2, Pārliecība=3, Vienkāršība=9, kopā 14). Jūs prioritizētu piegādes testu.

Brīdinājums: Esiet godīgi ar saviem vērtējumiem. Ir viegli uzpūst Pārliecību. Izmantojiet datus, kur iespējams. Ja jums nav pierādījumu, vērtējiet zemu.

3. solis: Izstrādājiet tīrus, statistiski derīgus eksperimentus (trešais ceturksnis)

Pat vislabākā hipotēze neizdosies, ja jūsu tests ir paviršs. Ievērojiet šos noteikumus:

• Testējiet vienu mainīgo vienlaikus. Vairāku elementu maiņa (piem., virsraksts un CTA) padara neiespējamu noteikt, kas izraisīja efektu.
• Nodrošiniet pietiekami lielu izlases lielumu. Pirms sākšanas izmantojiet tiešsaistes izlases lieluma kalkulatoru. Piemēram, ja jūsu bāzes reklāmguvumu līmenis ir 2% un vēlaties noteikt 20% relatīvo pieaugumu, jums var būt nepieciešami 50 000 apmeklētāju uz variantu.
• Veiciet testus pietiekami ilgi. Izvairieties no priekšlaicīgas pārtraukšanas (skatīšanās) vai testēšanas brīvdienās. Mērķējiet uz vismaz vienu pilnu biznesa ciklu (piem., 1-2 nedēļas).

Piemērs: SaaS uzņēmums vēlējās testēt jaunu cenu lapu. Viņi vienlaikus mainīja izkārtojumu un tekstu. Tests uzrādīja 5% pieaugumu, bet viņi nevarēja noteikt, kuras izmaiņas to izraisīja. Kad viņi izolēja teksta izmaiņas turpmākajā testā, tas faktiski samazināja reklāmguvumus. Mācība: izolējiet mainīgos.

Brīdinājums: Statistiskā nozīmība ir nepieciešama, bet nepietiekama. Apsveriet arī praktisko nozīmi – vai pieaugums ir pūļu vērts? 0,1% pieaugums var būt statistiski nozīmīgs, bet operacionāli nesvarīgs.

4. solis: Ātri ieviesiet uzvarētājus un atkārtojiet (ceturtais ceturksnis un noslēgums)

Kad tests sasniedz skaidru uzvarētāju (ar 95% ticamību), nekavējoties to izvietojiet. Bet neapstājieties pie tā:

• Dokumentējiet mācības: Kas strādāja, kas nestrādāja un kāpēc. Izveidojiet zināšanu bāzi turpmākajiem testiem.
• Pēc palaišanas uzraugiet: Uzvarētāja variants var uzvesties atšķirīgi reālā trafikā. Sekojiet metrikiem vismaz nedēļu.
• Atkārtojiet: Izmantojiet jauno bāzes līmeni, lai identificētu nākamo sastrēgumu. CRO ir nepārtraukts cikls.

Piemērs: Pēc piegādes lapas testa veiksmes tas pats uzņēmums pārgāja uz maksājuma metodes ikonu testēšanu. Katra iterācija balstījās uz iepriekšējo panākumu, laika gaitā veidojot reklāmguvumu pieaugumu.

Brīdinājums: Izvairieties no “optimizācijas slazda” – neveiciet bezgalīgi mazu izmaiņu testēšanu. Kādā brīdī apsveriet lielākas pārprojektēšanas vai vērtības piedāvājumus. A/B testēšana ir precizēšanai, nevis pārveidošanai.

Noslēgums

A/B testēšanai nav jābūt mēģinājumam akli. Sistemātiski atrodot noplūdes, novērtējot idejas ar ICE, izstrādājot tīrus eksperimentus un atkārtojot uzvarētājus, jūs pārvēršat testēšanu par prognozējamu izaugsmes dzinēju. Pārtrauciet testēt visu, kas nāk prātā; testējiet tikai to, kas, visticamāk, virzīs rādītājus. Jūsu reklāmguvumu līmeņi – un jūsu veselais saprāts – būs pateicīgi.