Kuidas lõpetada aja raiskamine A/B testidele, mis pole olulised

Kokkuvõte

Enamik A/B teste ei anna tähendusrikkaid tulemusi, sest need on suunatud väikese mõjuga muudatustele või neil puudub korralik prioriseerimine. See artikkel pakub välja konkreetse neljaastmelise metoodika, et tuvastada kõige suurema mõjuvõimuga testid teie konversioonilehtris. Esiteks kasutage analüütikat ja kvalitatiivseid andmeid, et leida, kus kasutajad lahkuvad. Teiseks hinnake iga potentsiaalset testi ICE raamistiku (Impact, Confidence, Ease) abil, et keskenduda võitjatele. Kolmandaks kavandage ranged eksperimendid, mis eraldavad ühe muutuja ja saavutavad statistilise olulisuse. Lõpuks viige valideeritud muudatused kiiresti ellu ja korrake. Seda lähenemist järgides liigute juhuslikust testimisest süstemaatilise optimeerimismootori juurde, mis toob reaalset tulude kasvu. Põhiline on lõpetada kõige testimine ja testida ainult seda, mis on kõige olulisem.

Juhusliku A/B testimise varjatud kulu

A/B testimine on konversioonide optimeerimise selgroog, kuid paljud meeskonnad kohtlevad seda nagu loterii—nad testivad nuppude värve, pealkirjade muudatusi või CTA asukohta ilma selge strateegiata. Tulemus? Tõkketäis ebaselgeid andmeid, raisatud arendustunde ja kasutamata võimalused. Tegelik probleem ei ole testimise puudumine; see on keskendumise puudumine.

Selle lahendamiseks vajate korratavat süsteemi testide prioriseerimiseks, mis mõjutavad otseselt teie kasumit. See artikkel juhatab teid läbi neljaastmelise metoodika, mida kasutavad tipptasemel CRO praktikud. Saate teada, kuidas leida oma suurimad konversioonilekked, hinnata potentsiaalseid teste objektiivselt, kavandada eksperimente, mis annavad selgeid vastuseid, ja kiiresti võitjad kasutusele võtta.

1. samm: leidke oma suurimad konversioonilekked (esimene kvartal)

Enne kui midagi testite, peate teadma, kus teie lehter veritseb. Kasutage kvantitatiivsete ja kvalitatiivsete andmete kombinatsiooni:

• Analüütika: Otsige lehti, millel on kõrge väljumismäär või järsud langused sammude vahel. Näiteks kui 70% kasutajatest lahkub kassalehel, on see teie prioriteet.
• Kuumakaardid ja seansisalvestused: Vaadake, kuhu kasutajad klõpsavad, kõhklebavad või vihased klõpsud. Kuumakaart võib paljastada, et kasutajad üritavad klõpsata mitteklikitaval elemendil, mis viitab disainiveale.
• Kasutajaküsitlused ja tagasiside: Küsige kasutajatelt, miks nad ei konverteerinud. Lühikesed väljumiskavad võivad paljastada hõõrdepunkte, mida te kunagi ei märganud.

Näide: E-kaubanduse sait leidis, et 80% ostukorvi mahajätmistest toimus tarnelehel. Analüütika näitas, et kasutajad veetsid seal keskmiselt 45 sekundit, kuid seansisalvestused paljastasid, et neid ajasid segadusse tarnevõimalused. Lihtne A/B test, mis lihtsustas valikuid ja lisas edenemisnäidiku, suurendas konversioone 12%.

Hoiatus: Ärge tuginege ainult ühele andmeallikale. Mõõdikud võivad eksitada. Kolmnurgistage analüütika, salvestuste ja tagasiside leiud, et kinnitada tegelikku probleemi.

2. samm: Hinnake iga testiideed ICE raamistikuga (teine kvartal)

Kui teil on nimekiri potentsiaalsetest täiustustest, vajate viisi nende järjestamiseks. ICE raamistik hindab iga ideed kolme kriteeriumi alusel (1-10 igaüks):

• Mõju (Impact): Kui palju see muudatus mõjutab põhimõõdikut? Kassaprotsessi ümberkujundus võib saada 9, nupu värvi muutmine võib saada 3.
• Usaldus (Confidence): Kui kindel olete, et muudatus asju parandab? Toetatud kasutajate tagasisidega? Hinnake kõrgeks. Kõhutunne? Hinnake madalaks.
• Lihtsus (Ease): Kui kiiresti saate testi rakendada? Lihtne teksti muutus võib olla 9, terve lehe ümberkujundus võib olla 2.

Näide: Tarnelehe probleemi puhul: Mõju=9 (suur langus), Usaldus=8 (kasutajate tagasiside kinnitab segadust), Lihtsus=7 (saab teha ühe päevaga). Kogu ICE skoor = 24. Võrrelge seda päise värvi testimisega (Mõju=2, Usaldus=3, Lihtsus=9, kokku 14). Te eelistaksite tarne testi.

Hoiatus: Olge oma hinnangutes aus. Usaldust on lihtne paisutada. Kasutage võimaluse korral andmeid. Kui teil pole tõendeid, hinnake madalalt.

3. samm: kavandage puhtad, statistiliselt kehtivad eksperimendid (kolmas kvartal)

Isegi parim hüpotees ebaõnnestub, kui teie test on lohakas. Järgige neid reegleid:

• Testige korraga ainult ühte muutujat. Mitme elemendi muutmine (nt pealkiri ja CTA) muudab võimatuks teada, mis põhjustas efekti.
• Tagage piisavalt suur valimi suurus. Enne alustamist kasutage veebipõhist valimi suuruse kalkulaatorit. Näiteks kui teie baaskonversioonimäär on 2% ja soovite tuvastada 20% suhtelist tõusu, võib teil vaja minna 50 000 külastajat variandi kohta.
• Viige testid piisavalt kaua läbi. Vältige varajast peatamist (piilumist) või pühade ajal. Püüdke vähemalt üks täielik äritsükkel (nt 1-2 nädalat).

Näide: SaaS ettevõte tahtis testida uut hinnakirja lehte. Nad muutsid paigutust ja teksti samaaegselt. Test näitas 5% tõusu, kuid nad ei saanud aru, milline muudatus selle põhjustas. Kui nad isoleerisid tekstimuudatuse järeltestis, kahjustas see tegelikult konversioone. Õppetund: isoleerige muutujad.

Hoiatus: Statistiline olulisus on vajalik, kuid mitte piisav. Arvestage ka praktilist olulisust—kas tõus on pingutust väärt? 0,1% tõus võib olla statistiliselt oluline, kuid mitte operatiivselt tähenduslik.

4. samm: viige võitjad ellu ja korrake kiiresti (neljas kvartal ja kokkuvõte)

Kui test jõuab selge võitjani (95% usaldusväärsusega), võtke see kohe kasutusele. Kuid ärge peatuge seal:

• Dokumenteerige õppetunnid: Mis töötas, mis mitte ja miks. Looge teadmusbaas tulevaste testide jaoks.
• Jälgige pärast käivitamist: Võitev variant võib reaalse liikluse korral käituda erinevalt. Jälgige mõõdikuid vähemalt nädala jooksul.
• Korrake: Kasutage uut baasjoont järgmise kitsaskoha tuvastamiseks. CRO on pidev tsükkel.

Näide: Pärast tarnelehe testi õnnestumist asus sama ettevõte testima makseviiside ikoone. Iga iteratsioon tugines eelmisele võidule, suurendades konversioonide kasvu aja jooksul.

Hoiatus: Vältige "optimeerimislõksu"—ärge testige lõputult väikseid muudatusi. Mingil hetkel kaaluge suuremaid ümberkujundusi või väärtuspakkumisi. A/B testimine on peenhäälestamiseks, mitte uuesti leiutamiseks.

Kokkuvõte

A/B testimine ei pea olema pime lask. Lekete süstemaatilise leidmise, ideede hindamise ICE abil, puhaste eksperimentide kavandamise ja võitjate iteratiivse rakendamisega muudate testimise prognoositavaks kasvumootoriks. Lõpetage kõige testimine, mis pähe tuleb; testige ainult seda, mis tõenäoliselt nõela liigutab. Teie konversioonimäärad—ja teie vaimne tervis—tänavad teid.