Hogyan ne pazarolja az időt olyan A/B tesztekre, amelyek nem számítanak

Összefoglaló

A legtöbb A/B teszt nem hoz értelmes eredményt, mert alacsony hatású változtatásokat céloznak, vagy hiányzik a megfelelő priorizálás. Ez a cikk egy konkrét, négy lépésből álló módszertant mutat be a konverziós tölcsér legnagyobb hatású tesztjeinek azonosításához. Először is, használjon analitikát és kvalitatív adatokat annak meghatározására, hogy hol lépnek ki a felhasználók. Másodszor, értékelje az egyes potenciális teszteket az ICE keretrendszer (Hatás, Bizalom, Könnyedség) segítségével, hogy a nyertesekre összpontosítson. Harmadszor, tervezzen szigorú kísérleteket, amelyek egy változót izolálnak és statisztikai szignifikanciát érnek el. Végül, azonnal implementálja a validált változtatásokat, és iteráljon. Ezt a megközelítést követve a véletlenszerű teszteléstől egy szisztematikus optimalizációs motorhoz jut, amely valódi bevételnövekedést hajt. A kulcs az, hogy ne teszteljen mindent, hanem csak azt, ami a legfontosabb.

A véletlenszerű A/B tesztelés rejtett költsége

Az A/B tesztelés a konverzióoptimalizálás gerince, de sok csapat úgy kezeli, mint egy szerencsejátékot – tesztelik a gombok színét, a címsorok változtatásait vagy a CTA elhelyezését egyértelmű stratégia nélkül. Az eredmény? Rengeteg meggyőző erejű adat, elpazarolt fejlesztési órák és kihagyott lehetőségek. A valódi probléma nem a tesztelés hiánya; hanem a fókusz hiánya.

Ennek megoldásához szüksége van egy ismételhető rendszerre, amely priorizálja azokat a teszteket, amelyek közvetlenül befolyásolják az eredményt. Ez a cikk egy négy lépésből álló módszertant mutat be, amelyet a legjobb CRO szakemberek használnak. Megtanulja, hogyan találja meg a legnagyobb konverziós szivárgásokat, hogyan értékelje objektíven a tesztötleteket, hogyan tervezzen olyan kísérleteket, amelyek egyértelmű válaszokat adnak, és hogyan vezesse be gyorsan a nyerteseket.

1. lépés: Találja meg a legnagyobb konverziós szivárgásokat (első negyedév)

Mielőtt bármit tesztelne, tudnia kell, hol vérzik a tölcsére. Használjon kvantitatív és kvalitatív adatok kombinációját:

• Analitika: Keressen olyan oldalakat, ahol magas a kilépési arány, vagy éles csökkenés van a lépések között. Például, ha a felhasználók 70%-a a fizetési oldalon hagyja el az oldalt, az a prioritás.
• Hőtérképek és munkamenet-felvételek: Nézze meg, hova kattintanak, hol haboznak, vagy hol kattintanak dühösen. Egy hőtérkép azt mutathatja, hogy a felhasználók egy nem kattintható elemre próbálnak kattintani, ami tervezési hibára utal.
• Felhasználói felmérések és visszajelzések: Kérdezze meg a felhasználókat, hogy miért nem konvertáltak. A rövid kilépési szándék felmérések olyan súrlódási pontokat tárhatnak fel, amelyeket korábban nem vett észre.

Példa: Egy e-kereskedelmi oldal azt találta, hogy a kosárelhagyások 80%-a a szállítási oldalon történt. Az analitika azt mutatta, hogy a felhasználók átlagosan 45 másodpercet töltöttek ott, de a munkamenet-felvételek feltárták, hogy a szállítási lehetőségek megzavarták őket. Egy egyszerű A/B teszt, amely egyszerűsítette a lehetőségeket és hozzáadott egy folyamatjelzőt, 12%-kal növelte a konverziókat.

Megjegyzés: Ne hagyatkozzon egyetlen adatforrásra. A mutatók félrevezetőek lehetnek. Háromszögelje az analitikából, felvételekből és visszajelzésekből származó eredményeket a valós probléma megerősítéséhez.

2. lépés: Értékeljen minden tesztötletet az ICE keretrendszerrel (második negyedév)

Miután összeállított egy listát a lehetséges fejlesztésekről, szüksége van egy módra a rangsorolásra. Az ICE keretrendszer minden ötletet három kritérium alapján értékel (1-10-ig):

• Hatás: Mennyire befolyásolja ez a változtatás a kulcsfontosságú mutatót? A pénztárfolyamat áttervezése lehet 9-es, míg egy gombszín módosítása lehet 3-as.
• Bizalom: Mennyire biztos abban, hogy a változtatás javít a helyzeten? Alátámasztja felhasználói visszajelzés? Magas pontszám. Megérzés? Alacsony pontszám.
• Könnyedség: Milyen gyorsan tudja megvalósítani a tesztet? Egy egyszerű szövegmódosítás lehet 9-es, míg egy teljes oldal áttervezése lehet 2-es.

Példa: A szállítási oldal problémájánál Hatás=9 (hatalmas lemorzsolódás), Bizalom=8 (felhasználói visszajelzés megerősíti a zavart), Könnyedség=7 (egy nap alatt elvégezhető). Összes ICE pontszám = 24. Hasonlítsa össze a fejléc színének tesztelésével (Hatás=2, Bizalom=3, Könnyedség=9, összesen 14). A szállítási tesztet részesítené előnyben.

Megjegyzés: Legyen őszinte a pontszámokkal. Könnyű felfújni a Bizalmat. Használjon adatokat, ahol lehetséges. Ha nincs bizonyíték, alacsony pontszámot adjon.

3. lépés: Tervezzen tiszta, statisztikailag érvényes kísérleteket (harmadik negyedév)

Még a legjobb hipotézis is megbukik, ha a teszt nem megfelelő. Kövesse ezeket a szabályokat:

• Egyszerre egy változót teszteljen. Több elem (pl. címsor és CTA) egyidejű módosítása lehetetlenné teszi annak megállapítását, hogy mi okozta a hatást.
• Biztosítson elég nagy mintaméretet. Használjon online mintaméret-kalkulátort a kezdés előtt. Például, ha az alap konverziós arány 2%, és 20%-os relatív növekedést szeretne kimutatni, akkor variánsonként 50 000 látogatóra lehet szüksége.
• Futtassa a teszteket elég hosszú ideig. Kerülje a korai leállítást (kukkolást) vagy az ünnepek alatti futtatást. Célozzon legalább egy teljes üzleti ciklusra (pl. 1-2 hét).

Példa: Egy SaaS vállalat új árazási oldalt akart tesztelni. Egyszerre változtatták meg az elrendezést és a szöveget. A teszt 5%-os növekedést mutatott, de nem tudták, melyik változás okozta. Amikor egy követő tesztben izolálták a szöveg változását, az valójában rontotta a konverziókat. Tanulság: izolálja a változókat.

Megjegyzés: A statisztikai szignifikancia szükséges, de nem elégséges. Vegye figyelembe a gyakorlati jelentőséget is – a növekedés megéri a fáradságot? Egy 0,1%-os növekedés lehet statisztikailag szignifikáns, de működési szempontból nem jelentős.

4. lépés: Vezesse be a nyerteseket és iteráljon gyorsan (negyedik negyedév és befejezés)

Amint egy teszt egyértelmű nyertest mutat (95%-os megbízhatósággal), azonnal vezesse be. De ne álljon meg itt:

• Dokumentálja a tanulságokat: Mi működött, mi nem, és miért. Építsen tudásbázist a jövőbeli tesztekhez.
• Monitorozza az indulás után: A nyertes változat eltérően viselkedhet valós forgalom mellett. Kövesse a mutatókat legalább egy hétig.
• Iteráljon: Használja az új alapszintet a következő szűk keresztmetszet azonosításához. A CRO egy folyamatos ciklus.

Példa: Miután a szállítási oldal tesztje sikeres volt, ugyanaz a cég áttért a fizetési mód ikonjainak tesztelésére. Minden iteráció az előző sikerre épített, idővel összeadva a konverziónyereségeket.

Megjegyzés: Kerülje az „optimalizálási csapdát” – ne teszteljen vég nélkül apró változtatásokat. Egy ponton fontolja meg nagyobb áttervezéseket vagy értékajánlatokat. Az A/B tesztelés finomhangolásra való, nem újrafeltalálásra.

Befejezés

Az A/B tesztelésnek nem kell a sötétben való lövöldözésnek lennie. A szivárgások szisztematikus megtalálásával, az ötletek ICE-vel történő értékelésével, a tiszta kísérletek tervezésével és a nyertesekre való iterálással a tesztelést kiszámítható növekedési motorrá alakítja. Ne teszteljen mindent, ami eszébe jut; csak azt tesztelje, ami a legvalószínűbb, hogy elmozdítja a mutatót. A konverziós arányai – és a lelki békéje – hálásak lesznek.