A/B tesztelés forgalom nélkül: iránymutató játékkönyv

Összefoglaló

Az alacsony forgalmú landing oldalak lassúvá, költségessé és megbízhatatlanná teszik a hagyományos A/B tesztelést. Ha az oldalad havonta csak egy maroknyi látogatót kap, heteket vársz egy eredményre, amely akkor sem mond semmit. A megoldás az, hogy megváltoztatod a játékkönyvedet: először a látható súrlódási pontokat javítsd, csak ott futtass teszteket, ahol a forgalom koncentrálódik, és a kis mintás eredményeket irányadó jelzésként kezeld, ne bizonyítékként. Ez a cikk végigvezet egy gyakorlati auditon, egy egyváltozós tesztstratégián, és egy 30 napos terven, amely még statisztikai szignifikancia nélkül is lendületet ad. Megnevezi az őszinte kompromisszumot is: előfordulhat, hogy hamis pozitív eredményre reagálsz, de gyorsabban tanulsz, mintha olyan adatokra várnál, amelyek soha nem érkeznek meg. Használd az összehasonlító táblázatot a tesztelési gondolkodásmódod átállításához, és kezdd el a végrehajtást még ma.

Végre lefuttattál egy tesztet. Átírtad a címlapot, bekapcsoltad a megosztást, és vártál. Két héttel később a platform egy nyereménynek tűnő különbséget mutat a változatok között. De a minta mérete apró, a konfidenciaintervallum széles, és mélyen belül tudod: ez nem adat. Ez egy pénzfeldobás egy irányítópulttal. Ez az alacsony forgalom csapdája. A megoldás nem az, hogy keményebben tesztelsz; hanem az, hogy másképp tesztelsz.

A nem értelmezhető tesztek futtatásának csapdája

A matematika itt nem a te hibád. Ez a rendszer korlátja. Az A/B tesztelés úgy működik, hogy a közönséget két csoportra osztja, és összehasonlítja a viselkedésüket. Ez az összehasonlítás csak akkor válik jelentőségteljessé, ha mindkét csoport elég nagy ahhoz, hogy a valódi különbségek elváljanak a véletlen zajtól. Egy olyan oldalon, amely havonta csak egy maroknyi látogatót kap, még egy nagy fejlesztés sem biztos, hogy megbízható eredményt ér el, mielőtt valamit ki kellene szállítanod.

Az Optimizely szószedete szerint az A/B tesztelés egy módszer egy weboldal vagy alkalmazás két verziójának összehasonlítására annak meghatározására, hogy melyik teljesít jobban. A hangsúly a „meghatározás”-on van. Apró mintaméretekkel nem határozol meg semmit. Csak tippelsz, egy hozzácsatolt konfidenciascore-ral.

Itt van a kellemetlen első lépés: ne futtass olyan A/B teszteket, amelyeket nem tudsz értelmezni. Ez nem engedmény, hanem átirányítás. Egy olyan teszt, amely nem éri el a megbízható szignifikanciát, idő-, forgalom- és figyelempazarlás. Tartsd meg a tesztelési keretedet arra, amikor elegendő adatod lesz. Egyelőre használj más játékkönyvet.

Menj, és nézd meg, miért mennek el az emberek

A legnagyobb felismerés egy kis webhely esetében nem a teszt eredményeiben rejlik, hanem a tényleges látogatóid viselkedésében. Egy csöpögő forgalom mellett megfigyelheted az érkezők jelentős részét. Ez olyan luxus, amelyre a nagyvállalatok is irigykednének. Használd ki.

Kezd az analitikáddal. Keresd meg azokat az oldalakat, amelyek a legtöbb forgalmat és a legmeredekebb lemorzsolódást kapják. Ezután menj mélyebbre: nézd meg a munkamenet-felvételeket, tanulmányozd a hőtérképeket, és tégy fel egyetlen őszinte kérdést a közelmúltbeli látogatóknak: „Mi az, ami majdnem megakadályozott a vásárlásban?” A válaszok olyan súrlódási pontokat mutatnak, amelyeket az agyad nem tud kitalálni.

Itt egy konkrét példa. Képzelj el egy landing oldalt egy projektmenedzsment-eszközhöz. Az oldal folyamatos forgalmat kap egy népszerű blogbejegyzésből. A CTA azt mondja: „Ingyenes próba indítása”. Előhívod a munkamenet-felvételeket, és látod, hogy a látogatók az árazási szakaszhoz görgetnek, majd távoznak. Az ártáblázatban van egy „Csapat” nevű csomag, de semmi nem magyarázza meg, mit jelent a „Csapat”. Ez a kétértelműség súrlódás. Átnevezed a csomagot „Kis csapat (legfeljebb 10 fő)”-re, és módosítod a szöveget. Nincs megosztásos teszt, nincs várakozási időszak. Csak egy célzott javítás egy látható akadályra.

Ez garantált nyeremény? Nem. Ez egy nagy biztonsággal végrehajtható javítás, amely közvetlen megfigyelésen alapul. Ha az elhagyás oka látható, nincs szükséged kontrollcsoportra ahhoz, hogy elmondja, probléma van. Csak a bátorságra van szükséged, hogy eltávolítsd.

Ez a kisléptékűség fő előnye. Beszélhetsz a felhasználóiddal, megfigyelheted őket a valódi környezetükben, és elkaphatod azt, amit egy irányítópult nem tud számszerűsíteni. Indíts egy rövid felmérést a köszönőoldalon. Kérdezd meg azokat, akik nem konvertáltak, hogy mi majdnem elriasztotta őket. Olvasd el a válaszokat. Olyan mintázatokat találsz, amelyeket egyetlen A/B teszt sem hozna felszínre. Az emberek nagyon jól le tudják írni, hogy hol van a probléma, még akkor is, ha nem tudják megmondani, hogyan oldják meg. Hagyd, hogy a viselkedésük a megfelelő oldal elemére mutasson, és a saját ítélőképességeddel javítsd a szöveget.

Kezeld ezt valódi feladatként. Köss le két órát, zárd be az e-mailjeidet, és olvasd el egyesével a nyers munkamenet-felvételeket. Ne gyorsítsd át őket. Másodszor is látod ugyanazt a szünetet, ugyanazt a görgetést, ugyanazt a tétovázó kurzort – megtaláltál egy mintázatot. A mintázatok a bizonyítékaid. Egyetlen látogató útja anekdota; több látogató, akik ugyanazt teszik, az egy nyom. Ez a nyom többet ér, mint ezer sor összesített adat.

Tedd a tesztet oda, ahol a forgalmad van

Egy alacsony forgalmú webhelynek szinte mindig vannak nagy forgalmú pillanatai. Nem kell a gyenge főoldaladon tesztelned. Keresd meg azt az oldalt vagy csatornát, ahol az emberek valóban koncentrálódnak, és ott futtasd a kísérletedet.

Ez lehet egy fizetett landing oldal, amely a hirdetési forgalmad nagy részét kapja. Lehet egy blogbejegyzés, amely az első oldalon szerepel. Lehet egy e-mail kampány, amely egy tekintélyes feliratkozói listához jut el. A teszt helye ugyanolyan fontos, mint maga a teszt. Ha túl kicsi közönségű helyen futtatsz tesztet, csak zajt látsz. Ha ott futtatod, ahol a tömeg van, esélyed van.

Igazítsd a kísérletet a forgalmi sűrűséghez. Egy magas megnyitási arányú üdvözlő e-mail jobb tesztkörnyezet, mint egy olyan rólunk oldal, amely szinte semmilyen látogatást nem kap. Egy kereső forgalom által hajtott termékoldal jobb, mint egy olyan főoldal, amelyre senki sem érkezik.

Az indítás előtt ellenőrizd, hogy a megosztás valóban véletlenszerű-e. Egyes eszközök vagy manuális megoldások véletlenül az összes mobilfelhasználót az egyik verzióra küldhetik. Ez elrontja a tesztet, mielőtt elkezdődne. Ha a kísérleti platformod kezeli a véletlenszerűsítést, bízz benne, de egy nap után ellenőrizd az elosztást. Ha manuálisan csinálod, óránként vagy naponta váltogasd a változatot, ne a látogató típusa szerint. A következetesség kevésbé fontos, mint a véletlenszerűség.

És tartsd szűken a hipotézist. Ne tesztelj „jobb dizájnt”. Egy változót tesztelj: egyetlen címlapot, egyetlen ajánlatot, egyetlen mezőszámot. Minél szűkebb a változás, annál könnyebb értelmezni akár közepes forgalommal is. Amikor eldöntöd, mit tesztelj, a legnagyobb potenciális hatással bíró változót válaszd a fő cselekvésedre, nem pedig a legkönnyebben módosíthatót. Az A/B tesztek rangsorolásáról szóló útmutató keretrendszere megadja a pontos számítást.

Kezeld az eredményeket irányadóként, nem véglegesként

Itt van az a kompromisszum, amelyet senki sem ír fel egy cetlire: a statisztikai szigor és a sebesség közvetlen ellentétben állnak egymással. A legtöbb bevált gyakorlatokról szóló cikk azt feltételezi, hogy mindkettőt megengedheted magadnak. De nem teheted. Ezért olyan döntési szabályra van szükséged, amely a te léptékedben működik.

Hagyj fel a 95%-os konfidencia követelésével. Ezt a küszöbértéket azoknak a csapatoknak tervezték, amelyeknek elegendő forgalmuk van annak eléréséhez. Ehelyett kezeld az alacsony forgalmú tesztedet irányadó jelzésként. Ha az egyik verzió egyértelműen előrébb jár, és az eredmény összhangban van azzal, amit a felvételeken és a felmérésekben láttál, óvatosan cselekedhetsz. Nevezd erős hipotézisnek, nem bizonyított győztesnek. Később ellenőrizd.

Itt van a szemléletváltás oldalról oldalra:

	Klasszikus A/B teszt	Alacsony forgalmú kísérlet
Kiindulási pont	„Bebizonyítom, hogy melyik verzió nyer.”	„Bizonyítékokat gyűjtök arról, hogy mi számít.”
Döntési küszöb	95%-os vagy annál magasabb konfidencia	Nagy irányadó különbség plusz kvalitatív egyetértés
Cselekvés ideje	Hetek vagy hónapok	Napok
Kockázati szint	Alacsony, mert vársz	Magasabb, ezért később ellenőrzöl

Ez azt jelenti, hogy néha hamis pozitív eredményre fogsz reagálni? Igen. Ez az őszinte költség. Kis kockázatot vállalsz, hogy zajra reagálsz, cserébe gyorsabban tanulsz. Az alternatíva – hogy megvárod, amíg elegendő forgalmad lesz – azt jelenti, hogy egy negyedévig semmit sem változtatsz.

A trükk az, hogy megvédd magad a saját elfogultságodtól. Mielőtt megnéznéd a számokat, írd le, mit tennél, ha az eredmény szoros: figyelmen kívül hagyod. Írd le, mit tennél, ha a különbség nagy és a várt irányú: bevezeted, de a régi verziót dokumentálva megtartod. Ha az eredmény meglep, tekintsd további kutatásra ösztönző jelzésnek, nem pedig következtetésnek. Ez az előzetes regisztráció az, ami megkülönbözteti az irányadó döntést a gombnyomogató majomtól.

A „jelentős” szónak technikai jelentése van. Alacsony forgalmú környezetben nem érted el ezt a bizonyítást. Változtass tehát a nyelvezeteden. Mondd azt, hogy „ez az irány ígéretesnek tűnik”, vagy „az adatok finoman arra utalnak”. Ez a nyelv őszintén tart önmagaddal és mindenki mással szemben, aki átnézi a munkát. Ha mélyebben szeretnéd megérteni, mikor megbízható egy eredmény, olvasd el az A/B teszt eredmények helyes értelmezéséről szóló útmutatót.

Az ajánlatot teszteld, ne a festést

A kis oldalakon az idő legnagyobb pazarlása a gombszínek, betűtípusok és térközök tesztelése. Ezek a mikrováltoztatások általában kis hatást eredményeznek. A kis hatások észleléséhez hatalmas mintaméretekre van szükség. Neked nincs ilyened. Hagyj fel tehát a festés tesztelésével, és kezdd el tesztelni az oldal strukturális részeit.

Az ajánlat, az árazás beállítása, a társadalmi bizonyíték, a garancia, az űrlap hossza és az alapvető értékajánlat szövege nagy hatású változók. A CTA mellett elhelyezett garancia módosítja az észlelt kockázatot. Az űrlap, amelyet sok mezőről néhányra csökkentesz, módosítja a kitöltési arányt. Egy címlap, amely megnevezi a konkrét eredményt egy homályos előny helyett, megváltoztatja, hogy ki érzi úgy, hogy az oldal neki szól. Ezek a változások elég nagyok ahhoz, hogy jelet mutassanak akár kis mintában is.

Az egyik módja a nagy hatású változók azonosításának, ha megkérdezed: „Ha egy látogató csak egy sort olvas el ezen az oldalon, mi legyen az?” Ez a sor a címlapod. Erre fordítsd a tesztelési energiádat, mielőtt bármelyik gombhoz nyúlnál. A következő kérdés: „Milyen ellenvetést fogalmaznak meg a látogatók leggyakrabban?” Ez az ellenvetés a garanciád. Írj egyet, amely közvetlenül foglalkozik vele. Ezek nem dizájn döntések; ezek értékdöntések.

Gondolj rá így: az A/B tesztelés arra való, hogy optimalizálj valamit, ami már működik. Ha az oldalad alapvető eltérés van aközött, amit kínálsz, és amit a látogató szeretne, semmilyen teszt nem fogja ezt megjavítani. Előbb javítsd az ajánlatot. Aztán tesztelj.

Ez a kis csapatok klasszikus hibája: belevágnak a tesztelésbe, mielőtt kijavították volna az alapvető konverziós szivárgásokat. A leggyakoribb A/B tesztelési hibákról szóló útmutató lefedi a többi csapdát is, így kihagyhatod őket.

A következő 30 napod

Itt a terv, nincs szükség tízlépcsős keretrendszerre.

Első hét, audit. Nyisd meg az analitikát, és azonosítsd a legnagyobb forgalmú oldalaidat és a legélesebb lemorzsolódásokat. Nézd meg a munkamenet-felvételeket. Küldj felmérést mindenkinek, aki nem vásárolt. Sorold fel az összes látható akadályt méret szerinti sorrendben.

Második hét, javítsd ki közvetlenül a legfontosabb három akadályt. Tesztelés nélkül. Csak javítsd a szöveget, az elrendezést, az űrlapot vagy az ajánlatot. Távolítsd el a súrlódást, amelyet a saját szemeddel igazoltál.

Harmadik hét, válaszd ki az egyetlen legnagyobb forgalmú helyszínt, és futtass ott egy ellenőrzött tesztet. Egy változót. Határozd meg a döntési szabályodat, mielőtt megnéznéd. Hagyd futni, amíg a különbség egyértelművé nem válik, vagy amíg az idő le nem jár.

Negyedik hét, dönts. Ha az eredmény irányadó és egyezik a kvalitatív bizonyítékaiddal, vezesd be. Ha határeset, építsd be a tanulságot a következő iterációba. Ezután állítsd be a következő tesztet.

Ez a megközelítés nem ad tiszta statisztikai bizonyosságot. Lendületet ad. Gyorsabban tanulsz, hamarabb szállítod ki a fejlesztéseket, és kialakítod azt a szokást, hogy megkérdezed: „mit fog ez tanítani nekem”, mielőtt bármit futtatnál. Ez a szokás az igazi konverziós eszköz.

Amikor a forgalmad növekszik – és növekedni fog – már tudni fogod, mit tesztelj, hol teszteld, és hogyan olvasd le az eredményeket. Az alacsony forgalmú időszak nem a kihagyás ideje. Itt az ideje, hogy más játékot játssz. Játssz jól ezzel a játékkal, és a nagyobb játék ott lesz rád várva.