A/B-testi, suunnallinen testi vai vain julkaista? Riskipohjainen viitekehys yksin toimiville markkinoijille

Yhteenveto

Useimmat A/B-testausneuvot olettavat, että käytössäsi on rajattomasti liikennettä ja kärsivällinen tiimi. Todellisuudessa yksin toimiva markkinoija joutuu usein valitsemaan täysimittaisen kokeilun, lyhyen suunnallisen testin ja muutoksen julkaisemisen ilman testiä. Tämä artikkeli esittelee riskipohjaisen viitekehyksen tähän päätökseen, keskittyen siihen, mitä väärässä oleminen maksaa ja mitä odottaminen maksaa. Se käsittelee, mitä tehdä, kun tulos ei ole "tilastollisesti merkitsevä", ja miksi se ei tarkoita samaa kuin epäonnistunut muutos. Opit, milloin varhaisesta vilkaisusta voi olla hyötyä, milloin julkaiseminen nyt voittaa todisteiden odottamisen ja miten mitata ennen/jälkeen, kun ohitat testin. Pääviesti ei ole testata vähemmän, vaan sovittaa todisteiden vaatimustaso todellisiin panoksiin.

Pitäisikö sinun tehdä A/B-testi, lyhyempi "suunnallinen" testi vai vain tehdä muutos ja katsoa mitä tapahtuu? Jos vastaat verkkosivusi konversioprosentista etkä sinulla ole omaa tiimiä ympärilläsi, tämä on todennäköisesti yleisin harkintaa vaativa päätös, jonka teet. Vakiovastaus on testata kaikki, mutta se olettaa, että sinulla on ylimääräistä liikennettä, aikaa odottaa ja selkeä mittari seurattavaksi. Usein sinulla ei ole mitään näistä. Tämä artikkeli käy läpi kolme todisteen vaatimustasoa ja antaa tavan valita niiden välillä minuuteissa, ei päivissä.

Ensimmäinen asia, joka on ymmärrettävä, on että A/B-testaus ei itse asiassa liity itse muutokseen. Se liittyy siihen, kuinka paljon olet valmis maksamaan väärässä olemisesta. Ajattele kahta muutosta samalla sivustolla. Käytät projektinhallintatyökalua. Haluat muuttaa etusivun otsikon "Hallinnoi projekteja" muotoon "Suunnittele projekteja puolet nopeammin." Haluat myös muuttaa hinnoittelusivua niin, että kävijät voivat valita vuosisuunnitelman kuukausisuunnitelman rinnalle. Molemmat muutokset koskettavat samaa verkkosivustoa ja molemmat voitaisiin testata samalla tavalla. Mutta väärässä olemisen hinta on hyvin erilainen. Jos otsikko on väärä, kävijä näkee hieman vähemmän tehokkaan viestin muutaman päivän ajan, ja voit vaihtaa vanhan takaisin vaivatta. Jos hinnoittelurakenne on väärä, saatat hämmentää mahdollisia asiakkaita, täyttää tukilaatikon kysymyksillä ja luoda odotuksen, joka ei vastaa sitä, miten todella laskutat. Takaisinrullaus ei ole ilmaista. Sama logiikka pätee jokaiseen harkitsemaasi muutokseen, painikkeiden teksteistä koko sivuston uudelleensuunnitteluun.

Siksi kukaan ei voi antaa sinulle yleispätevää vastausta kysymykseen "pitäisikö minun testata?" Vastaus riippuu siitä, mitä väärä positiivinen maksaa sinulle, kuinka paljon väärä negatiivinen maksaa sinulle ja mitä menetät odottaessasi. Tarkastellaan kolmea vaihtoehtoa yksityiskohtaisesti.

Täysimittainen kokeilu: kun todisteiden vaatimustaso on korkea

Kuvittele, että testaat, muutetaanko pääasiallisen rekisteröitymisen sivun painike "Aloita ilmainen kokeilu" muotoon "Aloita." Yksin toimivalle perustajalle tämä on näkyvä muutos, joka sijaitsee suppilon sisäänkäynnillä. Se voi vaikuttaa kokeilun rekisteröitymisiin, jotka ruokkivat kaikkea alavirtaan. Sinulla on tasainen kävijävirta, mutta ei valtavaa. Tämä on hyvä ehdokas täysimittaiseen kokeiluun.

Täysimittaisella kokeilulla on erityinen merkitys. Jaat kävijät satunnaisesti, näytät yhdelle ryhmälle alkuperäisen version ja toiselle muokatun version, ja vertaat käyttäytymistä mittarilla, jonka valitset ennen aloittamista. Kuten Optimizelyn sanastossa määritellään, A/B-testaus on menetelmä, jossa verrataan kahta versiota verkkosivusta tai sovelluksesta sen selvittämiseksi, kumpi toimii paremmin. Tärkeintä on, että annat datan päättää vaistosi sijaan. Käytännössä tämä tarkoittaa selkeän ensisijaisen mittarin asettamista — esimerkiksi niiden kävijöiden osuuden, jotka klikkaavat rekisteröitymislomakkeelle — ja vain yhden muuttujan muuttamista kerrallaan. Jos muutat sekä painiketta että ympäröivää tekstiä, et tiedä, kumpi aiheutti eron. Sinun on myös päätettävä etukäteen, kuinka kauan testi kestää ja millainen näyttö saa sinut toimimaan.

Tämä viimeinen vaihe on se, jonka useimmat jättävät väliin. Sinun pitäisi päättää ennen aloittamista, minkä luottamustason tarvitset ja kuinka suuren vaikutuksen yrität havaita. Otoskoon ja keston taustalla oleva tilastollinen koneisto on juuri se, mikä erottaa A/B-testin satunnaisesta havainnoinnista. Jos liikenteesi on liian vähäistä saavuttaaksesi tämän näytön kohtuullisessa ajassa, täysimittainen kokeilu päättyy todennäköisesti "tuloksettomaan" — ja se on todellinen kustannus. Yksityiskohtaisemman katsauksen siitä, miten päättää, milloin olet odottanut tarpeeksi kauan, tarjoaa käytännön viitekehyksemme siitä, milloin lopettaa A/B-testi, joka on hyvä kumppani tälle.

Tässä on hienovarainen ansa. Jos täysimittainen kokeilu päättyy ja tulos on "ei tilastollisesti merkitsevä", saatat tuntea kiusausta päätellä, että "muutoksella ei ole väliä." Se ei ole tuloksen merkitys. Se tarkoittaa, että testisi ei ollut tarpeeksi tarkka havaitsemaan eroa, tai ero on pienempi kuin mitä halusit löytää. Se on hyödyllistä tietoa — voit nyt päättää julkaista muiden todisteiden perusteella, ajaa pidemmän testin tai valita merkittävämmän muutoksen. Mutta se ei ole todiste siitä, että uusi versio on huonompi. Jos käytät tekoälypohjaista testausalustaa, joka jakaa liikennettä dynaamisesti ja luo variantteja, kokeilu voi saavuttaa päätöksen nopeammin, mutta sama logiikka pätee: tulos on yhtä luotettava kuin kykysi odottaa tarpeeksi todisteita.

On myös se kurinalaisuus, joka liittyy oppimasi dokumentointiin. Testi, jota et dokumentoi, on tarina, jonka kerrot uudelleen ennakkoluuloisesti. Jopa tulokseton testi opettaa sinulle jotain siitä, minkä kokoinen vaikutus voit todella havaita sivullasi, liikenteessäsi ja kävijöidesi kärsivällisyydessä. Kirjoita hypoteesi, variantti, mittari ja lopputulos yhteen lauseeseen. Muutaman kuukauden kuluttua tästä lokista tulee kartta siitä, mihin yleisösi reagoi, ja se nopeuttaa jokaista tulevaa päätöstä.

Suunnallinen testi: kun nopeus on osa vastausta

Harkitse nyt matalamman riskin muutosta: laskeutumissivusi hero-kuva. Sinulla on kaksi vaihtoehtoa — kuvakaappaus hallintapaneelistasi ja valokuva henkilöstä, joka käyttää tuotettasi. Et tiedä, kumpi resonoi yleisösi kanssa. Väärän kuvan valitsemisen haitta on pieni. Voit vaihtaa sen takaisin minuuteissa. Mutta sinulla ei ehkä ole tarpeeksi liikennettä saavuttaaksesi tekstikirjan mukaisen varman tuloksen kuukauden sisällä. Tähän suunnallinen testi kuuluu.

Suunnallinen testi on edelleen satunnaistettu vertailu, mutta käytät tarkoituksella matalampaa todisteen vaatimustasoa. Päätät etukäteen, että julkaiset uuden kuvan, jos se toimii paremmin ensisijaisella mittarilla suurimman osan viikon mittaisesta ajanjaksosta tai jos se on selvästi edellä kiinteän ajanjakson loppuun mennessä. Kohtelet tulosta suosituksena, ei tuomiona. Kurinalaisuus on yhtä tärkeää täällä kuin täysimittaisessa kokeilussa. Jos et sitoudu sääntöön etukäteen, päädyt tuijottamaan live-tuloksia ja tekemään suunnittelemattoman päätöksen — ja niin huijaat itsesi näkemään sen, mitä haluat nähdä.

Tämä tuo minut neuvoihin, jotka löydät useimmista A/B-testausoppaista: "älä koskaan kurkista tuloksiin ennen kuin testi on valmis." Tämä ohje on oikea muodolliselle kokeilulle, joka päättää suuresta julkaisusta. Mutta yksin toimivalle markkinoijalle, jolla on vaatimaton liikenne, kurkistaminen on tapa oppia nopeasti. Ongelma ei ole se, että katsoit lukuja. Ongelma on, että annoit katsomisen tehdä päätöksen, jota et ollut suunnitellut. Jos päätät etukäteen, mikä malli muuttaisi mielesi, niin se, mikä näyttää "kurkistamiselta", on itse asiassa jäsennelty tapa käsitellä vähäistä liikennettä. Valitset oppimisnopeuden varmuuden sijaan. Tämä on oikeutettu vaihtokauppa, kunhan olet rehellinen itsellesi siitä, mitä teet, etkä julista tulosta todisteeksi.

Älä lopeta mittaamista suunnallisen testin jälkeen. Jos julkaiset uuden hero-kuvan, seuraa konversioprosenttia seuraavien viikkojen ajan. Jos se heikkenee, palauta. Jos se paranee, sinulla on jonkin verran näyttöä siitä, että suunnallinen signaalisi oli oikea. Suunnallinen testi on tapa tehdä päätös nopeasti, ei tapa välttää vastuuta. Se toimii myös hyvin yhdessä sellaisen käytännön lajittelun kanssa, jota kuvataan oppaassamme A/B-testien lajitteluun yksin toimiville markkinoijille — jos sinulla on jono mahdollisia muutoksia, voit käyttää suunnallisia testejä päättääksesi, mitkä niistä ansaitsevat täysimittaisen kokeilun.

Julkaise se vain: kun nykyinen versio on jo häviämässä

Joskus kaikkein näyttöön perustuva päätös on olla tekemättä testiä ollenkaan. Oletetaan, että rekisteröitymislomakkeesi kysyy puhelinnumeroa. Istuntotallenteista näet useiden kävijöiden saapuvan tähän kenttään, pysähtyvän ja poistuvan. Olet saanut tukisähköposteja, joissa kysytään, onko puhelinnumero pakollinen. Kenttää ei tarvita mihinkään. Pitäisikö sinun A/B-testata sen poistamista? Ei. Sen poistaminen on korjaus, ei kokeilu. Nykyisessä versiossa on tunnettu puute, ja muutos on helposti peruutettavissa. Korjauksen julkaiseminen ja valmistumisasteen seuraaminen on parempi tapa käyttää aikaasi.

Sama päättely pätee vanhentuneisiin sivuihin. Jos laskeutumissivusi kuvaa edelleen ominaisuutta, jota et enää tarjoa, vanhan sivun testaaminen uutta vastaan on järjetöntä. Käytät liikennettä todistaaksesi, että versio, jota et koskaan pitäisi, on huonompi kuin se, jonka haluat julkaista. Tiedät sen jo. Oikea liike on julkaista nykyinen versio ensin ja sitten, kun se on livenä, ajaa kokeiluja sen optimoimiseksi.

Tämä on vaihtokauppa, jota useimmat A/B-testausoppaat eivät mainitse. Jokainen viikko, jonka pidät heikon version livenä odottaessasi testin valmistumista, on viikko, jolloin maksat vaihtoehtoiskustannusta. Jos muutos on matalan riskin ja helposti peruutettavissa, nyt julkaisemisen odotusarvo voittaa usein myöhemmän parannuksen todistamisen arvon. Et ohita mittaamista — korvaat satunnaistetun kokeilun ennen/jälkeen-vertailulla. Ennen/jälkeen-vertailu on heikompaa näyttöä, mutta se on silti näyttöä, ja se on parempi kuin neljän viikon käyttäminen ilman päätöstä.

Ennen/jälkeen-testi, jota olet jo ajamassa

Kun julkaiset muutoksen ilman testiä, mittaus ei lopu. Olet nyt toteuttamassa ennen/jälkeen-kokeilua, kaikkine siihen liittyvine varauksineen. Paras tapa tehdä tästä vähemmän meluisaa on asettaa lähtötilanteen mittari ennen kuin muutat mitään, julkaista vähäliikenteisenä aikana, jos mahdollista, ja tarkastella trendiä vähintään koko viikon ajan, jotta et reagoi satunnaiseen maanantaihin. Jos mittari liikkuu haluamaasi suuntaan, pidä muutos. Jos se liikkuu sinua vastaan, palauta. Jos se ei liiku ollenkaan, olet oppinut, että muutos oli neutraali — mikä on myös tietoa.

Tämä on tila, jonka useimmat ihmiset ohittavat. He julkaisevat, eivätkä koskaan katso uudelleen, ja myöhemmin he eivät ole varmoja, auttoiko muutos vai haittasiko se. Ennen/jälkeen-vertailu ei ole tarkkaa, mutta se on paljon parempi kuin ei mitään, mitä useimmilla verkkosivustoilla tapahtuu. Jos liikenteesi on aidosti liian vähäistä edes suunnalliseen testiin, ennen/jälkeen-vertailu on usein ainoa työkalusi. Voit silti saada signaalia istuntotallenteista, tukipalautteesta ja siitä, miten mittari kehittyy muutoksen jälkeen — mikään näistä ei vaadi satunnaistamista. Tämä on alue, jota käsitellään artikkelissamme A/B-testauksesta ilman liikennettä.

Kolme lähestymistapaa rinnakkain

Tässä on vertailu yhdessä taulukossa.

Lähestymistapa	Paras silloin, kun	Riskinä, jos väärässä	Mitä saat	Mitä menetät
Täysimittainen kokeilu	Muutos vaikuttaa tuloihin, hinnoitteluun tai ydintoimintoihin; sinulla on tarpeeksi liikennettä päätöksen tekemiseen	Matala (jos noudatat tilastoja); voit toimia kohinan perusteella vain, jos et ota tilastoja huomioon	Varma, toistettava vastaus	Aikaa, liikennettä ja kykyä toimia nopeasti
Suunnallinen testi	Muutos on matalan riskin, liikenne on vaatimatonta ja tarvitset oppimissignaalin päivien kuluessa	Kohtalainen — saatat joskus julkaista häviävän variantin	Nopea vihje siitä, mitä kannattaa tehdä enemmän	Todisteet ja kyky havaita hienovaraisia vaikutuksia
Julkaisu ilman testiä	Nykyinen versio on selvästi huono, muutos on korjaus tai muutos on helposti peruutettavissa	Matala, erityisesti jos seuraat julkaisun jälkeen	Nopeus ja vauhti	Kyky liittää muutos yhteen tekijään

Taulukko aliarvioi kolmannen rivin voiman. "Julkaisu ilman testausta" saa kritiikkiä konversio-optimoinnin piireissä, mutta se on usein järkevä valinta yksin toimivalle markkinoijalle, jolla on pitkä jono ja rajallinen liikenne. Todellinen synti on julkaista ja olla sitten katsomatta, mitä tapahtuu.

15 minuutin tapa valita

Jos haluat nopeamman prosessin kuin koko viitekehyksen ulkoa opettelun, käytä näitä neljää kysymystä.

Ensinnäkin, jos olen väärässä, mitä rikkoutuu? Jos vastaus on tulot, luottamus tai vaatimustenmukaisuus, nosta todisteen vaatimustasoa. Jos vastaus on "ei paljon", laske sitä. Toiseksi, kuinka kauan voin odottaa? Arvioi, kuinka kauan täysimittainen kokeilu kestäisi. Jos se on pidempi kuin olet valmis viivästyttämään muutosta, olet jo kaventanut valinnan suunnalliseen testiin tai julkaisuun. Kolmanneksi, mitä teen vastauksella? Jos et aio muuttaa käyttäytymistäsi tuloksen perusteella, älä aja testiä. Testin tulisi muuttaa päätöstä. Neljänneksi, voinko helposti peruuttaa sen? Peruutettavat muutokset ovat halpoja julkaista; peruuttamattomat tai kalliit takaisinvedettävät muutokset ansaitsevat enemmän todisteita.

Valitse sitten: jos riski on suuri ja voit odottaa, aja täysimittainen kokeilu. Jos riski on matala ja haluat nopeutta, aja suunnallinen testi. Jos nykyinen versio on selvästi huonompi ja muutos on korjaus, julkaise ja seuraa. Jos huomaat ajavasi testejä, koska sinusta tuntuu, että sinun pitäisi, et siksi, että muutat päätöstä, sinulla on todennäköisesti priorisointiongelma, ei testausongelma. Artikkelimme siitä, miten lopettaa ajan tuhlaaminen A/B-testeihin, joilla ei ole merkitystä, on hyvä seuraava luettava.

Sovelletaan tätä aloituskysymykseen. Sinulla on uusi otsikko ja vaatimaton liikenne. Otsikko on peruutettavissa, haitta on pieni, etkä halua odottaa kuukautta. Tämän logiikan mukaan ohittaisit täysimittaisen kokeilun. Voit joko ajaa lyhyen suunnallisen testin, jos haluat signaalin, tai julkaista otsikon ja verrata ensi kuun konversioprosenttia tämän kuun. Molemmat ovat perusteltavissa. Se, mikä ei ole perusteltavissa, on neljän viikon käyttäminen "kunnolliseen" testiin, jota sinulla ei ole liikennettä lopettaa, ja sitten tuloksettoman tuloksen kutsuminen epäonnistumiseksi.

Merkitsevyysansa, jota sinun tulisi varoa

Tilastollinen merkitsevyys kertoo, onko tulos todennäköisesti todellinen, ei sitä, onko sillä merkitystä. Muutos voi olla tilastollisesti merkitsevä ja silti liian pieni oikeuttaakseen vaivan. Toisaalta suunnallinen testi voi näyttää kuvion, joka on todellinen mutta liian pieni havaittavaksi liikenteelläsi. Kun valitset matalamman todisteen vaatimustason, hyväksyt sekä enemmän vääriä positiivisia että enemmän vääriä negatiivisia. Tämä on vaihtokauppa, ei epäonnistuminen.

Toinen erottelu, joka kannattaa pitää mielessä, on käytännön vs. tilastollinen merkitsevyys. Muutos voi olla tilastollisesti merkitsevä ja silti liian pieni ollakseen merkityksellinen. Oletetaan, että uusi painike lisää klikkauksia niin vähäisen määrän, että kestäisi kuukausia ennen kuin se muuttuisi yhdeksi ylimääräiseksi rekisteröitymiseksi. Tämä tulos on todellinen, mutta sivua ei kannata rakentaa sen ympärille. Toisaalta muutos, joka ei ole tilastollisesti merkitsevä, voi silti olla käytännössä tärkeä, jos kuvio on johdonmukainen ja toiminnan kustannus on lähellä nollaa. Kun valitset kolmen lähestymistavan välillä, kysy, onko sinulle tärkeä vaikutuksen koko sellainen, jonka kokeilusi voi todella havaita. Jos ei, et valitse testaamisen ja julkaisemisen välillä; valitset kahden tietämättömyyden muodon välillä.

Siksi tämän artikkelin päätösviitekehys perustuu väärässä olemisen hintaan. Jos väärä positiivinen on halpa — sanotaan, että julkaiset hieman huonomman otsikon ja vaihdat sen takaisin — sinulla on varaa matalaan todisteen vaatimustasoon. Jos väärä negatiivinen tarkoittaa, että menetät merkityksellisen parannuksen, saatat haluta jatkaa testausta pidempään. Yksin toimivana markkinoijana et voi optimoida kaikkea. Valitset tasapainon oppimisnopeuden ja luottamuksen välillä. Syvällisempää katsausta lukujen tulkintaan ilman, että harhaudut kohinasta, tarjoaa oppaamme A/B-testitulosten oikeasta tulkinnasta.

Käytännön opetus

Tämän viitekehyksen tarkoitus ei ole testata vähemmän. Se on sovittaa todisteen vaatimustasosi panoksiin. Täysimittainen kokeilu on tehokas työkalu, kun muutos on tärkeä ja sinulla on kärsivällisyyttä odottaa. Suunnallinen testi on järkevä keskitie, kun sinun on opittava nopeammin kuin liikenteesi sallii. Ja julkaiseminen ilman testiä on joskus rehellisin valinta, kun nykyinen versio on jo häviämässä — kunhan katsot, mitä tapahtuu sen jälkeen.

Kun seuraavan kerran sinua tekee mieli kysyä "pitäisikö minun A/B-testata tämä?", kysy parempi kysymys: "Mitä minulle maksaisi olla väärässä?" Vastaus kertoo, mitä kolmesta lähestymistavasta käyttää, ja tuo päätös säästää sinulle enemmän aikaa ja liikennettä kuin mikään testaustyökalu ikinä.