A/B-testaus ilman liikennettä: Suuntaa antava pelikirja

Yhteenveto

Vähäliikenteiset laskeutumissivut tekevät perinteisestä A/B-testauksesta hidasta, kallista ja epäluotettavaa. Jos sivusi saa vain pienen määrän käyntejä kuukaudessa, käytät viikkoja odottaen tulosta, joka ei silti kerro sinulle mitään. Ratkaisu on vaihtaa pelikirjaa: korjaa ensin näkyvä kitka, testaa vain siellä, missä liikenne keskittyy, ja käsittele pienten otosten tuloksia suuntaa antavina vihjeinä, ei todisteina. Tämä artikkeli käy läpi käytännön auditoinnin, yhden muuttujan testistrategian ja 30 päivän suunnitelman, joka tuottaa vauhtia myös ilman tilastollista merkitsevyyttä. Se myös nimeää rehellisen kompromissin: saatat toimia väärän positiivisen perusteella, mutta opit nopeammin kuin odottamalla dataa, joka ei koskaan tule. Käytä vertailutaulukkoa nollataksesi testausajattelusi ja ala toimimaan jo tänään.

Vihdoin suoritit testin. Kirjoitit otsikon uusiksi, laitoit jakotestin käyntiin ja odotit. Kaksi viikkoa myöhemmin alusta näyttää versioiden välillä eron, joka vaikuttaa voitolta. Mutta otoskoko on pieni, luottamusväli on leveä, ja syvällä sisimmässäsi tiedät: tämä ei ole dataa. Se on kolikonheitto kojelaudan kanssa. Tämä on vähäliikenteisyyden ansa. Ratkaisu ei ole testata kovemmin; se on testata eri tavalla.

Ansa testien tekemisestä, joita et voi lukea

Matematiikka ei ole sinun syytäsi. Se on järjestelmän rajoite. A/B-testaus toimii jakamalla yleisön kahteen ryhmään ja vertaamalla heidän käyttäytymistään. Vertailusta tulee merkityksellinen vasta, kun kumpikin ryhmä on riittävän suuri, jotta todelliset erot erottuvat satunnaisesta kohinasta. Sivulla, joka saa vain pienen määrän käyntejä kuukaudessa, jopa suuri parannus voi jäädä luotettavaa tulosta vaille ennen kuin sinun on julkaistava jotain.

Optimizelyn sanaston mukaan A/B-testaus on menetelmä verkkosivun tai sovelluksen kahden version vertaamiseen sen selvittämiseksi, kumpi suoriutuu paremmin. Paino on sanalla “selvittämiseksi”. Pienillä otoskoilla et selvittämise mitään. Arvaat, ja arvaukseen on liitetty luottamuspisteet.

Tässä on epämiellyttävä ensimmäinen askel: lopeta sellaisten A/B-testien tekeminen, joita et voi lukea. Se ei ole myönnytys. Se on uudelleenohjaus. Testi, joka ei saavuta luotettavaa merkitsevyyttä, on ajan, liikenteen ja huomion hukkaa. Säästä testausbudjettisi siihen, kun sinulla on tarpeeksi dataa. Käytä toistaiseksi erilaista pelikirjaa.

Mene katsomaan syitä, miksi ihmiset poistuvat

Suurimman oivalluksen pienelle sivustolle saat, ei testituloksista, vaan todellisten kävijöiden käyttäytymisestä. Kun liikennettä on vain vähän, voit seurata merkittävän osan kaikista saapujista. Se on ylellisyyttä, jota suuret yritykset kadehtisivat. Käytä sitä.

Aloita analytiikasta. Löydä sivut, joilla on eniten liikennettä ja jyrkimmät pudotukset. Mene sitten syvemmälle: katso istuntotallenteita, tutki lämpökarttoja ja kysy hiljattain vierailleilta yksi rehellinen kysymys: “Mikä melkein esti sinua ostamasta?” Vastaukset paljastavat kitkaa, jota aivosi eivät voi keksiä.

Tässä on konkreettinen esimerkki. Kuvittele laskeutumissivu projektinhallintatyökalulle. Sivu saa tasaisesti käyntejä suositusta blogikirjoituksesta. CTA:ssa lukee “Aloita ilmainen kokeilu”. Avaat istuntotallenteet ja näet kävijöiden selaavan hinnasto-osioon ja poistuvan. Hinnastotaulukossa on suunnitelma nimeltä “Tiimi”, mutta mikään ei selitä, mitä “Tiimi” tarkoittaa. Tämä epäselvyys on kitkaa. Muutat suunnitelman nimeksi “Pieni tiimi (enintään 10)” ja päivität tekstin. Ei jakotestiä. Ei odotusaikaa. Vain korjaus, joka kohdistuu näkyvään esteeseen.

Onko se taattu voitto? Ei. Se on korkean luottamuksen korjaus, joka perustuu suoraan havaintoon. Kun hylkäämisen syy on näkyvissä, et tarvitse kontrolliryhmää kertomaan, että se on ongelma. Tarvitset rohkeutta poistaa se.

Tämä on pienuuden ydinetu. Voit puhua käyttäjillesi, nähdä heidät luonnossa ja huomata sen, mitä kojelauta ei pysty mittaamaan. Tee lyhyt kysely kiitossivullasi. Kysy käyttäjiltä, jotka eivät konvertoineet, mikä melkein sai heidät lähtemään. Lue vastaukset. Löydät kaavoja, joita yksikään A/B-testi ei koskaan paljastaisi. Ihmiset osaavat hyvin kuvata, missä ongelma on, vaikka eivät osaakaan kertoa, miten se korjataan. Anna heidän käyttäytymisensä osoittaa sivun elementti, ja käytä harkintaasi sanamuodon korjaamiseen.

Käsittele tätä kunnollisena tehtävänä. Varaa kaksi tuntia, sulje sähköpostisi ja lue raa'at istuntotallenteet yksitellen. Älä kelaa eteenpäin. Kun näet toisen kerran saman tauon, saman selauksen, saman epäröivän kursorin, olet löytänyt kaavan. Kaavat ovat todisteitasi. Yhden kävijän polku on anekdootti; useiden kävijöiden toimiminen samalla tavalla on vihje. Se vihje on arvokkaampi kuin tuhat riviä aggregoitua dataa.

Vie testi sinne, missä liikenteesi on

Vähäliikenteisellä sivustolla on lähes aina korkean liikenteen hetkiä. Sinun ei tarvitse testata ohuella etusivullasi. Etsi sivu tai kanava, jossa ihmiset todella keskittyvät, ja suorita kokeilu siellä.

Se voi olla maksettu laskeutumissivu, joka saa suurimman osan mainosliikenteestäsi. Se voi olla blogikirjoitus, joka sijoittuu ensimmäiselle sivulle. Se voi olla sähköpostikampanja, joka menee melko suurelle tilaajalistalle. Testin sijainnilla on yhtä suuri merkitys kuin itse testillä. Jos suoritat testin paikassa, jossa yleisö on liian pieni, näet vain kohinaa. Jos suoritat sen siellä, missä väkijoukko on, sinulla on mahdollisuus.

Sovita kokeilu liikenteen tiheyden mukaan. Tervetulosähköposti, jolla on vahva avaamisprosentti, on parempi testiympäristö kuin Tietoa-meistä-sivu, joka saa lähes yhtään käyntejä. Hakuliikenteen ohjaama tuotesivu on parempi kuin etusivu, jolle kukaan ei päädy.

Ennen kuin käynnistät, varmista, että jakosi on todella satunnainen. Jotkin työkalut tai manuaaliset kiertotiet saattavat vahingossa lähettää kaikki mobiilikäyttäjät yhteen versioon. Tämä pilaa testin ennen kuin se alkaa. Jos kokeilualustasi hoitaa satunnaistamisen, luota siihen, mutta tarkista jakautuminen päivän kuluttua. Jos teet sen manuaalisesti, vaihda varianttia tunnin tai päivän välein, älä kävijätyypin mukaan. Johdonmukaisuus on vähemmän tärkeää kuin satunnaisuus.

Ja pidä hypoteesi kapeana. Älä testaa “parempaa muotoilua”. Testaa yhtä muuttujaa: yhtä otsikkoa, yhtä tarjousta, yhtä kenttämäärää. Mitä kapeampi muutos, sitä helpompi se on lukea myös kohtuullisella liikenteellä. Kun päätät, mitä testaat, valitse muuttuja, jolla on suurin mahdollinen vaikutus ydintoimintaasi, etkä helpoin muutettava. Tämän oppaan A/B-testien priorisointiin viitekehys antaa sinulle tarkan laskelman.

Käsittele tuloksia suuntaa antavina, ei lopullisina

Tässä on kompromissi, jota kukaan ei kirjoita muistilappuun: tilastollinen tarkkuus ja nopeus ovat suorassa ristiriidassa. Useimmat parhaiden käytäntöjen artikkelit olettavat, että voit varaa molemmat. Et voi. Joten tarvitset päätössäännön, joka toimii sinun mittakaavassasi.

Lopeta 95 %:n luottamuksen vaatiminen. Tämä kynnys on suunniteltu tiimeille, joilla on tarpeeksi liikennettä sen saavuttamiseen. Kohtele vähäliikenteistä testiä sen sijaan suuntaa antavana signaalina. Jos yksi versio on selvästi edellä ja havainto on linjassa sen kanssa, mitä olet nähnyt tallenteissa ja kyselyissä, voit toimia sen perusteella—varovasti. Kutsu sitä vahvaksi hypoteesiksi, et todistetuksi voittajaksi. Vahvista myöhemmin.

Tässä on rinnakkainen ajattelutavan muutos:

	Klassinen A/B-testi	Vähäliikenteinen kokeilu
Lähtökohta	“Todistan, kumpi versio voittaa.”	“Kerään vihjeitä siitä, mikä on tärkeää.”
Päätöskynnys	Vähintään 95 %:n luottamus	Suuri suuntaa antava ero plus laadullinen yhteisymmärrys
Aika toimia	Viikkoja tai kuukausia	Päiviä
Riskitaso	Matala, koska odotat	Korkeampi, joten vahvistat myöhemmin

Tarkoittaako tämä, että toimit joskus väärän positiivisen perusteella? Kyllä. Se on rehellinen hinta. Hyväksyt pienen mahdollisuuden toimia kohinan perusteella, jotta opit nopeammin. Vaihtoehto—odottaminen, kunnes sinulla on tarpeeksi liikennettä—tarkoittaa, että et muuta mitään neljännekseen.

Temppu on suojautua omalta ennakkoluuloltasi. Ennen kuin katsot numeroita, kirjoita ylös, mitä tekisit, jos tulos on lähellä: jätät sen huomiotta. Kirjoita ylös, mitä tekisit, jos ero on suuri ja odotettuun suuntaan: toteutat, mutta pidät vanhan version dokumentoituna. Jos tulos yllättää sinut, käsittele sitä kehotuksena lisätutkimukseen, et loppupäätelmänä. Tämä ennakkoilmoittautuminen erottaa suuntaa antavan päätöksen apinasta, joka painelee nappeja.

Sanalla “merkitsevä” on tekninen merkitys. Vähäliikenteisessä ympäristössä et ole saavuttanut sitä todistetta. Joten vaihda kieltäsi. Sano “tämä suunta näyttää lupaavalta” tai “data viittaa varovasti siihen”. Sellainen kieli pitää sinut rehellisenä itsellesi ja kaikille muille, jotka arvioivat työtä. Jos haluat syvemmän katsauksen siihen, milloin tulos on todella luotettava, lue miten tulkita A/B-testien tuloksia putoamatta kohinaan.

Testaa tarjousta, älä maalia

Yleisin ajanhukka pienillä sivuilla on painikkeiden värien, fonttien ja välien testaaminen. Nämä mikro-muutokset tuottavat yleensä pieniä vaikutuksia. Pienet vaikutukset vaativat valtavia otoskokoja, jotta ne voidaan havaita. Sinulla ei ole niitä. Joten lopeta maalin testaaminen ja ala testata sivun rakenteellisia osia.

Tarjous, hinnanmuotoilu, sosiaalinen todiste, takuu, lomakkeen pituus ja ydinarvolupauksen teksti ovat suuren vaikutuksen muuttujia. Takuu, joka on sijoitettu CTA:n viereen, muuttaa koettua riskiä. Lomake, joka on vähennetty monesta kentästä muutamaan, muuttaa suorittamisastetta. Otsikko, joka nimeää tietyn lopputuloksen epämääräisen hyödyn sijaan, muuttaa sitä, kuka kokee sivun olevan heitä varten. Nämä muutokset ovat tarpeeksi suuria näyttääkseen signaalin jopa pienessä otoksessa.

Yksi tapa tunnistaa suuren vaikutuksen muuttujia on kysyä: “Jos kävijä lukee vain yhden rivin tällä sivulla, mikä sen pitäisi olla?” Tämä rivi on otsikkosi. Käytä testausenergiasi siihen ennen kuin kosket painikkeeseen. Seuraava kysymys: “Mitä vastaväitettä kävijät esittävät eniten?” Tämä vastaväite on takuusi. Kirjoita sellainen, joka käsittelee sitä suoraan. Nämä eivät ole muotoilupäätöksiä; ne ovat arvopäätöksiä.

Ajattele asiaa näin: A/B-testaus on jotakin jo toimivan optimointia varten. Jos sivullasi on perustavanlaatuinen epäsuhta sen välillä, mitä tarjoat, ja sen, mitä kävijä haluaa, mikään testi ei korjaa sitä. Korjaa tarjous ensin. Testaa sitten.

Tämä on pienten tiimien klassinen virhe: hyppääminen testaamiseen ennen kuin he ovat korjanneet perustavanlaatuiset konversiovuodot. Opas yleisimpiin A/B-testausvirheisiin kattaa loput ansat, jotta voit ohittaa ne.

Seuraavat 30 päivää

Tässä on suunnitelma, ei kymmenen vaiheen viitekehystä tarvita.

Viikko yksi, auditointi. Avaa analytiikka ja tunnista eniten liikennettä saavat sivusi ja jyrkimmät pudotukset. Katso istuntotallenteita. Lähetä kysely kaikille, jotka eivät ostaneet. Listaa jokainen este, jonka näet, koon mukaan.

Viikko kaksi, korjaa kolme suurinta estettä suoraan. Ei testaamista. Paranna vain tekstiä, asettelua, lomaketta tai tarjousta. Poista kitka, jonka olet vahvistanut omin silmin.

Viikko kolme, valitse yksi eniten liikennettä saava sijainti ja suorita siellä yksi kontrolloitu testi. Yksi muuttuja. Määritä päätössääntösi ennen kuin katsot. Anna sen pyöriä, kunnes ero on selvä tai kunnes aika loppuu.

Viikko neljä, päätä. Jos tulos on suuntaa antava ja vastaa laadullista näyttöä, toteuta se. Jos se on rajatapaus, sisällytä oppi seuraavaan iteraatioon. Järjestä sitten seuraava testi.

Tämä lähestymistapa ei anna sinulle puhdasta tilastollista varmuutta. Se antaa sinulle vauhtia. Opit nopeammin, julkaiset parannuksia aikaisemmin ja rakennat tavan kysyä “mitä tämä opettaa minulle” ennen kuin suoritat mitään. Tämä tapa on todellinen konversiotyökalu.

Kun liikenteesi kasvaa—ja se kasvaa—tiedät jo, mitä testata, missä testata ja miten lukea tulokset. Vähäliikenteinen jakso ei ole aika istua sivussa. Se on aika pelata erilaista peliä. Pelaa se peli hyvin, ja isompi peli odottaa siellä.