A/B teszt, irányított teszt vagy csak kiadás? Kockázatalapú keretrendszer egyedül dolgozó marketingeseknek

Összefoglaló

A legtöbb A/B tesztelési tanács azt feltételezi, hogy korlátlan forgalmad és türelmes csapatod van. A valóságban egy egyedül dolgozó marketingesnek gyakran választania kell egy teljes kísérlet, egy rövid irányított teszt és a változtatás teszt nélküli kiadása között. Ez a cikk egy kockázatalapú keretrendszert mutat be ehhez a döntéshez, amely a tévedés költségére és a várakozás költségére összpontosít. Kitér arra, hogy mit tegyél, ha az eredmény „statisztikailag nem szignifikáns”, és miért nem ugyanaz, mint a sikertelen változtatás. Megtanulod, mikor lehet hasznos a korai bepillantás, mikor jobb a mostani kiadás, mint a bizonyítékra várás, és hogyan mérj előtte/utána, ha kihagyod a tesztet. A lényeg nem az, hogy kevesebbet tesztelj, hanem hogy a bizonyítási szintedet a tényleges tétékhez igazítsd.

A/B tesztet futtass, egy rövidebb „irányított” tesztet, vagy egyszerűen hajtsd végre a változtatást, és figyeld, mi történik? Ha felelős vagy a weboldalad konverziós arányáért, és nincs körülötted dedikált csapat, ez valószínűleg a leggyakoribb döntési helyzet, amiben hozol ítéletet. A szokásos tanács az, hogy mindent tesztelj, de ez a tanács feltételezi, hogy van felesleges forgalmad, időd a várásra, és egy egyértelmű mérőszám, amit figyelhetsz. Gyakran egyik sincs meg. Ez a cikk végigvezet a három bizonyítási szinten, és megmutatja, hogyan válassz közülük percek alatt, nem pedig napok alatt.

Az első dolog, amit meg kell érteni, hogy az A/B tesztelés valójában nem magáról a változtatásról szól. Arról szól, mennyit vagy hajlandó fizetni a tévedésért. Vegyünk két változtatást ugyanazon az oldalon. Projektmenedzsment-eszközt üzemeltetsz. Azt szeretnéd, ha a főoldal címsora „Projektek kezelése” helyett „Projektek tervezése fele idő alatt” lenne. Azt is szeretnéd, ha az árazási oldalon a látogatók az éves csomagot is választhassák a havi mellett. Mindkét változtatás ugyanazt a weboldalt érinti, és mindkettőt ugyanúgy lehet tesztelni. De a tévedés költsége nagyon különböző. Ha a címsor rossz, a látogató néhány napig egy kicsit kevésbé hatékony üzenetet lát, és gond nélkül visszacserélheted a régire. Ha az árazási szerkezet rossz, összezavarhatod a potenciális ügyfeleket, megtöltheted a támogatási postaládádat kérdésekkel, és olyan elvárást kelthetsz, ami nem egyezik azzal, ahogyan valójában számlázol. A visszagörgetés nem ingyenes. Ugyanez a logika vonatkozik minden változtatásra, amit fontolóra veszel, a gombfeliratoktól a teljes oldaláttervezésig.

Ezért nem tud senki univerzális választ adni arra, hogy „teszteljek?”. A válasz attól függ, mennyibe kerül egy hamis pozitív, mennyibe egy hamis negatív, és mit adsz fel, amíg vársz. Nézzük meg részletesen a három lehetőséget.

A teljes kísérlet: amikor a bizonyítási szint magas

Képzeld el, hogy azt teszteled, vajon a fő regisztrációs oldalad gombját „Ingyenes próba indítása” helyett „Kezdés” feliratra cseréld-e. Egy egyedül dolgozó alapító számára ez egy jól látható változtatás, amely a tölcsér bejáratánál helyezkedik el. Befolyásolhatja a próbaverziós regisztrációkat, amelyek minden további lépést táplálnak. Stabil látogatói forgalmad van, de nem hatalmas. Ez jó jelölt egy teljes kísérletre.

A teljes kísérletnek konkrét jelentése van. Véletlenszerűen osztod meg a látogatóidat, az egyik csoportnak az eredeti verziót mutatod, a másiknak a módosítottat, és összehasonlítod a viselkedést egy olyan mérőszám alapján, amelyet a kezdés előtt választasz. Az Optimizely szójegyzéke szerint az A/B tesztelés egy weboldal vagy alkalmazás két verziójának összehasonlítására szolgáló módszer annak meghatározására, hogy melyik teljesít jobban. A kulcs az, hogy az adatok döntsenek az ösztöneid helyett. A gyakorlatban ez azt jelenti, hogy meghatározol egy egyértelmű elsődleges mérőszámot – például a látogatók arányát, akik továbbkattintanak a regisztrációs űrlapra –, és egyszerre csak egy változót módosítasz. Ha megváltoztatod a gombot és a környező szöveget is, nem fogod tudni, melyik okozta a különbséget. És előre el kell döntened, meddig fut a teszt, és milyen bizonyíték alapján fogsz cselekedni.

Az utolsó lépés az, amit a legtöbben kihagynak. A kezdés előtt el kell döntened, milyen megbízhatósági szintre van szükséged, és mekkora hatást próbálsz kimutatni. A mintanagyság és az időtartam mögött álló statisztikai gépezet pontosan az, ami megkülönbözteti az A/B tesztet egy alkalmi megfigyeléstől. Ha a forgalmad túl alacsony ahhoz, hogy ésszerű időn belül elérd ezt a bizonyítékot, a teljes kísérlet valószínűleg „meggyőzőtlen” eredménnyel zárul – és ez valós költség. Ha részletesen szeretnéd tudni, hogyan döntsd el, mikor vártál már eleget, a gyakorlati keretrendszerünk az A/B teszt leállításáról jó társ ehhez a cikkhez.

Itt van egy finom csapda. Ha egy teljes kísérlet véget ér, és az eredmény „statisztikailag nem szignifikáns”, hajlamos lehessz arra következtetni, hogy „a változtatás nem számít”. Ez nem ezt jelenti. Azt jelenti, hogy a teszt nem volt elég pontos a különbség kimutatásához, vagy a különbség kisebb, mint amit fontosnak tartottál. Ez hasznos információ – mostantól dönthetsz úgy, hogy más bizonyítékok alapján kiadod, hosszabb tesztet futtatsz, vagy egy lényegesebb változtatást választasz. De ez nem bizonyíték arra, hogy az új verzió rosszabb. Ha AI-alapú tesztelési platformot használsz, amely dinamikusan osztja el a forgalmat és generál változatokat, a kísérlet gyorsabban hozhat döntést, de ugyanez a logika érvényes: az eredmény csak annyira megbízható, amennyire képes vagy megvárni a kellő bizonyítékot.

Ott van továbbá a tanulás dokumentálásának fegyelme. A nem dokumentált teszt egy olyan történet, amit elfogultan mesélsz el újra. Még egy meggyőzőtlen teszt is tanít valamit arról, mekkora hatást tudsz valójában kimutatni az oldaladon, a forgalmadon és a látogatóid türelmén. Írd le egy mondatban a hipotézist, a variánst, a mérőszámot és az eredményt. Néhány hónap múlva ez a napló térképpé válik arról, hogy mire reagál a közönséged, és minden jövőbeli döntést felgyorsít.

Az irányított teszt: amikor a sebesség is a válasz része

Most nézzünk egy alacsonyabb kockázatú változtatást: a landing page hősképe. Két lehetőséged van – egy képernyőkép az irányítópultról és egy fénykép, amelyen egy személy használja a terméked. Nem tudod, melyik fog rezonálni a közönségeddel. A rossz kép választásának hátránya kicsi. Percek alatt visszacserélheted. De lehet, hogy nincs elég forgalmad ahhoz, hogy egy hónapon belül tankönyvi szintű megbízhatóságot érj el. Itt a helye az irányított tesztnek.

Az irányított teszt továbbra is véletlenszerű összehasonlítás, de szándékosan alacsonyabb bizonyítási követelményt használsz. Előre eldöntöd, hogy az új képet akkor adod ki, ha egy egyhetes időablak nagy részében jobban teljesít az elsődleges mérőszámon, vagy ha egy rögzített időszak végére egyértelműen előrébb jár. Az eredményt ajánlásként kezeled, nem ítéletként. A fegyelem itt ugyanolyan fontos, mint a teljes kísérletben. Ha nem kötelezed el magad előre egy szabály mellett, az élő eredményeket bámulva fogsz tervezetlen döntést hozni – és így csapod be magad, hogy azt látod, amit látni akarsz.

Ami elvezet egy olyan tanácshoz, amelyet a legtöbb A/B tesztelési útmutatóban megtalálsz: „soha ne kukkants bele az eredményekbe, amíg a teszt be nem fejeződött”. Ez az útmutatás helyes egy hivatalos kísérlet esetén, amely egy nagyobb bevezetésről dönt. Egy egyedül dolgozó marketinges számára szerény forgalommal azonban a bepillantás az, ahogyan gyorsan tanulsz. A probléma nem az, hogy megnézted a számokat. A probléma az, hogy hagytad, hogy a megnézés olyan döntést hozzon, amit nem terveztél. Ha előre eldöntöd, milyen minta változtatná meg a véleményed, akkor az, ami „bepillantásnak” tűnik, valójában strukturált módja az alacsony forgalom kezelésének. A tanulási sebességet választod a bizonyosság helyett. Ez legitim alkunak minősül, amíg őszinte vagy azzal kapcsolatban, amit csinálsz, és nem hirdeted az eredményt bizonyítékként.

Az irányított teszt után ne hagyd abba a mérést. Ha kiadod az új hősképet, tartsd szemmel a konverziós arányt a következő hetekben. Ha romlik, állítsd vissza. Ha javul, van némi bizonyítékod arra, hogy az irányított jelzésed helyes volt. Az irányított teszt egy módja annak, hogy gyorsan dönts, nem pedig a felelősség elkerülésének. Jól párosul azokkal a gyakorlati triázs-technikákkal is, amelyeket az A/B-teszt-triázs egyedül dolgozó marketingeseknek szóló útmutatónkban írunk le – ha van egy listád a lehetséges változtatásokról, az irányított tesztekkel eldöntheted, melyek érdemelnek teljes kísérletet.

Kiadás tesztelés nélkül: amikor a jelenlegi verzió már vesztésre áll

Néha a leginkább bizonyítékalapú döntés az, hogy egyáltalán nem futtatsz tesztet. Tegyük fel, hogy a regisztrációs űrlapod telefonszámot kér. A munkamenet-felvételekben azt látod, hogy több látogató elér ehhez a mezőhöz, megtorpan, és elhagyja az oldalt. Kaptál támogatási e-maileket, amelyekben azt kérdezik, hogy kötelező-e a telefonszám. A mező semmire sem kell. A/B teszteld, hogy eltávolítsd? Nem. Az eltávolítás javítás, nem kísérlet. A jelenlegi verziónak ismert hibája van, és a változtatás könnyen visszafordítható. A javítás kiadása és a befejezési arány figyelése jobb időfelhasználás.

Ugyanez a logika vonatkozik az elavult oldalakra. Ha a landing page még mindig olyan funkciót ír le, amelyet már nem kínálsz, az oldal tesztelése a régivel szemben értelmetlen. Forgalmat költesz annak bizonyítására, hogy egy verzió, amelyet soha nem tartanál meg, rosszabb annál, amelyet ki szeretnél adni. Ezt már tudod. A helyes lépés az, hogy először a jelenlegi verziót adod ki, majd ha élesben van, kísérleteket futtatsz az optimalizálására.

Ez az a kompromisszum, amit a legtöbb A/B tesztelési útmutató nem említ. Minden hét, amíg egy gyenge verzió élesben marad, miközben a teszt befejezésére vársz, egy hét, amikor alternatív költséget fizetsz. Ha a változtatás alacsony kockázatú és könnyen visszafordítható, a mostani kiadás várható értéke gyakran felülmúlja a későbbi bizonyítás értékét. Nem hagyod ki a mérést – csak egy véletlenszerű kísérletet cserélsz egy előtte/utána összehasonlításra. Az előtte/utána összehasonlítás gyengébb bizonyíték, de még mindig bizonyíték, és jobb, mint négy hétig semmilyen döntést nem hozni.

Az előtte/utána teszt, amit már most futtatsz

Ha teszt nélkül adsz ki egy változtatást, a mérés nem áll le. Mostantól egy előtte/utána kísérletet futtatsz, az összes ezzel járó fenntartással. A legjobb módja annak, hogy ezt kevésbé zajossá tedd, ha a változtatás előtt létrehozol egy alapvonal-mérőszámot, lehetőség szerint alacsony forgalmú időszakban adsz ki, és legalább egy teljes hétig nézed a tendenciát, hogy ne egy véletlenszerű hétfőre reagálj. Ha a mérőszám a kívánt irányba mozdul, tartsd meg a változtatást. Ha ellened mozdul, állítsd vissza. Ha egyáltalán nem mozdul, megtanultad, hogy a változtatás semleges volt – ez is információ.

Ez az a mód, amit a legtöbben figyelmen kívül hagynak. Kiadnak, aztán soha többé nem néznek rá, és később nem biztosak benne, hogy a változtatás segített vagy ártott. Az előtte/utána összehasonlítás nem szigorú, de sokkal jobb, mint a semmi, ami a legtöbb weboldalon történik. Ha a forgalmad valóban túl alacsony még egy irányított teszthez is, az előtte/utána összehasonlítás gyakran az egyetlen eszköz, ami rendelkezésedre áll. Továbbra is kapsz jelzéseket a munkamenet-felvételekből, a támogatási visszajelzésekből és abból, hogyan alakul a mérőszám a változtatás után – ezek egyike sem igényel véletlenszerűsítést. Ez az a terület, amelyet az A/B tesztelés forgalom nélkül című cikkünk tárgyal.

A három megközelítés egymás mellett

Itt van az összehasonlítás egy táblázatban.

Megközelítés	Mikor a legjobb	Kockázat, ha tévedsz	Amit kapsz	Amit feladsz
Teljes kísérlet	A változtatás a bevételt, az árazást vagy az alapvető folyamatokat érinti; elegendő forgalmad van a döntéshez	Alacsony (ha követed a statisztikákat); csak akkor cselekszel zajra, ha figyelmen kívül hagyod őket	Egy magabiztos, megismételhető válasz	Idő, forgalom és a gyors cselekvés képessége
Irányított teszt	A változtatás alacsony kockázatú, a forgalom szerény, és néhány napon belül tanulási jelzésre van szükséged	Mérsékelt – esetenként egy vesztes variánst adsz ki	Egy gyors jelzés arról, mit érdemes tovább csinálni	A bizonyíték, és a finom hatások észlelésének képessége
Kiadás tesztelés nélkül	A jelenlegi verzió egyértelműen rossz, a változtatás javítás, vagy a változtatás könnyen visszafordítható	Alacsony, különösen a kiadás utáni monitorozással	Sebesség és lendület	A változtatás egyetlen tényezőnek való betudhatósága

A táblázat alábecsüli a harmadik sor erejét. A „kiadás tesztelés nélkül” kritikát kap a konverzióoptimalizálási körökben, de gyakran ésszerű választás egy egyedül dolgozó marketinges számára, akinek hosszú a hátraléka és korlátozott a forgalma. A valódi bűn az, ha kiadsz, majd nem nézed meg, mi történik.

Egy 15 perces módszer a választáshoz

Ha egy gyorsabb folyamatot szeretnél, mint a teljes keretrendszer memorizálása, használd ezt a négy kérdést.

Először is, ha tévedek, mi törik el? Ha a válasz a bevétel, a bizalom vagy a megfelelőség, emeld meg a bizonyítási szintedet. Ha a válasz az, hogy „nem sok”, engedd lejjebb. Másodszor, mennyit tudok várni? Becsüld meg, mennyi ideig tartana egy teljes kísérlet. Ha ez hosszabb, mint amennyit hajlandó vagy várni a változtatással, máris szűkítetted a választást irányított tesztre vagy kiadásra. Harmadszor, mit kezdek a válasszal? Ha nem fogod megváltoztatni a viselkedésed az eredmény alapján, ne futtasd a tesztet. Egy tesztnek döntést kell megváltoztatnia. Negyedszer, könnyen visszafordíthatom? A visszafordítható változtatások olcsón kiadhatók; a visszafordíthatatlan vagy költségesen visszagörgethető változtatások több bizonyítékot érdemelnek.

Aztán válassz: ha a kockázat magas és tudsz várni, futtass teljes kísérletet. Ha a kockázat alacsony és gyorsaságot szeretnél, futtass irányított tesztet. Ha a jelenlegi verzió egyértelműen rosszabb, és a változtatás javítás, add ki és figyeld. Ha azt veszed észre, hogy azért futtatsz teszteket, mert úgy érzed, kellene, nem pedig azért, mert döntést változtatsz, akkor valószínűleg prioritási problémád van, nem tesztelési problémád. A következő jó olvasmány a cikkünk arról, hogyan hagyd abba az időpocsékolást azokra az A/B tesztekre, amelyek nem számítanak.

Alkalmazzuk ezt a nyitó kérdésre. Van egy új címsorod és szerény forgalmad. A címsor visszafordítható, a hátrány kicsi, és nem akarsz egy hónapot várni. E logika szerint kihagynád a teljes kísérletet. Vagy futtatnál egy rövid irányított tesztet, ha szeretnél némi jelzést, vagy kiadnád a címsort, és összehasonlítanád a következő havi konverziós arányt a mostanival. Mindkettő védhető. Ami nem védhető, az az, hogy négy hetet töltesz egy „rendes” teszttel, amelynek befejezéséhez nincs elég forgalmad, majd a meggyőzőtlen eredményt kudarcnak nevezed.

A szignifikancia-csapda, amire figyelned kell

A statisztikai szignifikancia azt mondja meg, hogy egy eredmény valószínűleg valós-e, nem azt, hogy számít-e. Egy változtatás lehet statisztikailag szignifikáns, és mégis túl kicsi ahhoz, hogy indokolja az erőfeszítést. Másrészt egy irányított teszt mutathat olyan mintát, amely valós, de túl kicsi ahhoz, hogy a forgalmaddal kimutasd. Ha alacsonyabb bizonyítási szintet választasz, több hamis pozitívot és több hamis negatívot is elfogadsz. Ez kompromisszum, nem kudarc.

Egy másik megkülönböztetés, amelyet érdemes magaddal vinni, a gyakorlati és a statisztikai szignifikancia közötti különbség. Egy változtatás lehet statisztikailag szignifikáns, és mégis túl kicsi ahhoz, hogy számítson. Tegyük fel, hogy az új gomb olyan apró mértékben növeli a kattintásokat, hogy hónapokba telne, míg egyetlen plusz regisztrációvá válik. Ez az eredmény valós, de nem érdemes köré építeni az oldalad. Másrészt egy változtatás, amely nem statisztikailag szignifikáns, még mindig gyakorlatilag fontos lehet, ha a minta következetes, és a cselekvés költsége majdnem nulla. Amikor a három megközelítés között választasz, kérdezd meg, vajon a számodra fontos hatás mérete olyan-e, amit a kísérleted valóban képes kimutatni. Ha nem, akkor nem tesztelés és kiadás között választasz; hanem kétféle tudatlanság között.

Ezért alapul ez a cikk döntési keretrendszere a tévedés költségére. Ha egy hamis pozitív olcsó – mondjuk, kiadsz egy kicsit rosszabb címsort, és visszacseréled –, megengedhetsz magadnak egy alacsony bizonyítási szintet. Ha egy hamis negatív azt jelenti, hogy lemaradsz egy értelmes javulásról, talán tovább szeretnél tesztelni. Egyedül dolgozó marketingesként nem optimalizálhatsz mindenre. A tanulási sebesség és a magabiztosság közötti egyensúlyt választod. Ha mélyebben szeretnéd megnézni, hogyan olvasd a számokat anélkül, hogy a zaj félrevezetne, lásd az útmutatónkat az A/B teszt eredmények helyes értelmezéséről.

A gyakorlati tanulság

Ennek a keretrendszernek nem az a lényege, hogy kevesebbet tesztelj. Hanem hogy a bizonyítási szintedet a tétékhez igazítsd. A teljes kísérlet hatékony eszköz, ha a változtatás fontos, és van türelmed várni. Az irányított teszt ésszerű középút, ha gyorsabban kell tanulnod, mint amit a forgalmad lehetővé tesz. A teszt nélküli kiadás pedig néha a legőszintébb választás, ha a jelenlegi verzió már vesztésre áll – amíg figyeled, mi történik utána.

Legközelebb, amikor felmerül benned a kérdés, hogy „A/B teszteljem ezt?”, kérdezd meg jobban: „Mennyibe kerülne, ha tévednék?” A válasz megmondja, melyik három megközelítést használd, és ez a döntés több időt és forgalmat takarít meg neked, mint bármelyik tesztelőeszköz valaha is.