Yksinyrittäjän A/B-testitriagi: milloin testata, lukea vai julkaista

Yhteenveto

Jos olet yksinyrittäjä, jokainen käynnistämäsi A/B-testi maksaa sinulle aikaa ja liikennettä, jota sinulla ei ole. Useimmat testi-ideat ansaitsevat nopeamman ja edullisemman käsittelyn kuin muodollinen kokeilu. Tämä opas esittelee kolmen kategorian päätöksentekokehyksen: muodollinen A/B-testi korkean panoksen kysymyksille, joissa on riittävästi liikennettä, suuntaa antava tarkastelu tiukoille tilanteille, kun dataa on vähän, ja julkaise-ja-mittaa ilmeisille korjauksille. Opit luokittelemaan jokaisen idean, mihin tekoälykokeilut sopivat ja miksi nopein tie parempaan konversioon on usein jättää testi kokonaan väliin. Lopeta testien pyörittäminen, jotka eivät voi tuottaa tulosta, ja ala tehdä päätöksiä.

Testijonossasi on enemmän kohteita kuin ehdit käsitellä tällä neljänneksellä. Liikennelaskurisi mukaan tarvitset huomattavasti enemmän kävijöitä kuin saat tässä kuussa havaitaksesi merkityksellisen eron, ja olet ainoa, jota tulokset kiinnostavat. Olet jo käynnistänyt yhden testin, ja se on pyörinyt viikkoja ilman näkyvissä olevaa loppua. Sinulla ei ole datatieteilijää, jolta kysyä, odotetaanko vai vedetäänkö johto pois.

Pysähdy. Ongelma ei ole testaustyökalusi tai tilastotieteellinen osaamisesi. Ongelma on, että kohtelet jokaista ideaa kuin se ansaitsisi muodollisen A/B-testin. Se ei ansaitse.

Käytä yksinkertaista triaasia. Jokainen testiehdokas kuuluu yhteen kolmesta kategoriasta:

• Muodollinen A/B-testi. Vain kysymyksille, joissa väärä vastaus on kallis ja sinulla on riittävästi liikennettä luotettavan vastauksen saamiseksi.
• Suuntaa antava tarkastelu. Tiukoille päätöksille, kun dataa on niukasti. Saat vihjeen, et todisteen.
• Julkaise ja mittaa. Ilmeisille korjauksille ja vähäriskisille muutoksille. Muuta sivua, seuraa analytiikkaa ja jatka eteenpäin.

Päätös	Muodollinen A/B-testi	Suuntaa antava tarkastelu	Julkaise ja mittaa
Milloin käyttää	Korkean panoksen sivu riittävällä liikenteellä	Tiukka päätös vähäisellä liikenteellä	Vahva ennakkokäsitys, selkeä ongelma
Tarvittava liikenne	Riittävästi merkitsevyyden saavuttamiseen	Mitä tahansa sinulla on	Ei mitään
Aikakustannus	Viikoista kuukausiin	Yhdestä kahteen viikkoa	Tunteja
Mitä saat	Luotettava vastaus	Suuntaa antava vihje	Julkaistu muutos ja dataa
Riski	Alitehoinen testi hukkaa viikkoja	Kohinan tulkitseminen signaaliksi	Kontrafaktuaalin menettäminen

Muodollinen A/B-testi: milloin voit todella tehdä johtopäätöksen

Pyörität niche-B2B-ohjelmistoyritystä. Blogisi tuo tasaisen virran kävijöitä, ja hinnoittelusivusi on tärkein tulonlähde. Harkitset otsikon uudelleenkirjoittamista. Tämä on korkean panoksen tilanne: jos toimit väärin, menetät kuukausia myyntiputkea. Jos toimit oikein, voitat kuukausia myyntiputkea.

Tee se kunnolla. Kirjoita yhden lauseen hypoteesi ennen kuin kosket mihinkään: "Otsikon muuttaminen ominaisuuskuvauksesta hyötylauseeksi lisää demopyyntöjä." Valitse täsmälleen yksi päämittari: demopyynnöt kävijää kohti. Päätä etukäteen, kuinka kauan testi kestää. Käytä otoskokolaskuria, ja jos se kertoo, että tarvitsisit paljon enemmän liikennettä kuin sinulla on, lopeta. Se ei ole testi, jonka voit suorittaa.

Kun testi on käynnissä, älä kurkista joka päivä. Älä lopeta ennenaikaisesti, koska luvut näyttävät hyviltä. Aseta kesto, anna sen pyöriä ja katso sitten. Tämä on klassinen lähestymistapa, jonka Optimizely kuvailee: jaa yleisö satunnaisesti, näytä kummallekin ryhmälle eri versio ja anna käyttäytymisen päättää.

Kolme vaatimusta, ja kaikkien on oltava totta:

1. Väärä vastaus on kallis.
2. Voit saavuttaa tilastollisen merkitsevyyden kohtuullisessa ajassa.
3. Testaat täsmälleen yhtä muuttujaa.

Jos jokin näistä on epätosi, muodollinen testi on väärä kategoria. Kahden muuttujan muuttaminen kerralla saastuttaa kokeen — et tiedä, mikä aiheutti parannuksen. Testaaminen testaamisen vuoksi kuluttaa ainoan resurssin, jota et voi ostaa takaisin: ajan.

Jos et voi täyttää näitä ehtoja, alenna testiä. Otsikon uudelleenkirjoitus on korkean panoksen asia; painikkeen väri ei ole. Käytä testibudjettisi kysymyksiin, jotka muuttavat liiketoimintasi muotoa, älä triviaaliin asioihin.

Vielä yksi syy varata muodolliset testit: ne ovat hitaita. Testin pyöriessä voisit julkaista kolme ilmeistä parannusta ja mitata ne. Muodollisen testin todellinen kustannus ei ole vain kesto; se on jokainen muu muutos, jonka pidät taustalla odottaessasi.

Päätä myös etukäteen, mitä teet tuloksen kanssa ennen lanseerausta. Jos testi voittaa, mikä on seuraava vaihe? Jos se häviää, mitä sitten? Ennakkoon sitoutuminen estää jälkikäteen tapahtuvan rationalisoinnin.

Suuntaa antava tarkastelu: kun dataa on niukasti

Olet yksin toimiva konsultti vaatimattomalla verkkosivustolla. Sinulla on kaksi otsikkovaihtoehtoa etusivullesi. Sinulla ei ole riittävästi liikennettä merkitsevyyden saavuttamiseen kuukaudessa, mutta valinta tuntuu silti tärkeältä. Tyypillinen neuvo on "testaa se vain A/B-testillä" — ja se neuvo on väärä tilanteessasi.

Suorita sen sijaan suuntaa antava tarkastelu. Aseta kova aikaraja: yksi viikko, korkeintaan kaksi. Jaa liikenne 50/50. Lopuksi katso, kumpi otsikko sai enemmän klikkauksia. Käytä sitä oman harkintasi tukena, älä tuomiona.

Temppu on kirjoittaa ennakkokäsityksesi ylös ennen kuin katsot: "Uskon, että hyötypainotteinen otsikko menestyy paremmin." Jos data on samaa mieltä, julkaise se luottavaisin mielin. Jos se on ristiriidassa, kysy miksi. Jos se on liian tasainen, valitse se, joka sopii muuhun tutkimukseesi. Et etsi varmuutta. Etsit tuuppausta.

Kuinka kauan suuntaa antavan tarkastelun tulisi kestää? Tarpeeksi kauan, jotta näet kuvion, ja tarpeeksi lyhyesti, jotta et menetä kuukautta. Jos sama versio voittaa joka päivä, se on signaali. Jos voittaja vaihtuu päivittäin, se on kohinaa. Valitse versio, joka tuntuu oikealta, ja jatka eteenpäin.

Käytä yksinkertaista taulukkoa tulosten seuraamiseen päivittäin. Se pakottaa sinut oikeasti katsomaan kuviota odottamisen sijaan.

Tämä ei ole muodollista A/B-testiä. Älä teeskentele, että se on. Älä lisää merkitsevyyskynnyksiä suuntaa antavaan tarkasteluun. Älä raportoi sidosryhmälle "testasimme tämän". Sano: "teimme nopean tarkistuksen ja suunta näytti lupaavalta." Suuntaa antavan tarkastelun yliväittäminen johtaa vääriin luuloihin ja huonompiin päätöksiin ensi kuussa.

Jos tarvitset yksityiskohtaisemman järjestelmän vähäliikenteiseen testaamiseen, suuntaa antavan tarkastelun käsikirja käy läpi koko menetelmän.

Julkaise ja mittaa: kun testaaminen on väärä valinta

Kassasivullasi on pakollinen "yrityksen nimi" -kenttä. Olet saanut toistuvia tukisähköposteja asiakkailta, jotka eivät tiedä, mitä kirjoittaa. Konversiosi kärsii. Mitä sinä testaat?

Poista kenttä. Älä testaa sitä.

Tämä kuulostaa liian ilmeiseltä sanottavaksi, mutta yleisin itsesabotaasi yksinyrittäjien keskuudessa on muuttaa ilmeiset korjaukset kokeiksi. Lyhennät pitkän lomakkeen minimiin, koska tiedät kitkan tappavan konversioita. Siirrät luottamusmerkit taitoksen yläpuolelle, koska asiakashaastattelusi ovat täynnä luottamusvastaväitteitä. Muutat painikkeen tekstiä, joka selvästi hämmentää kävijöitä. Mikään näistä ei tarvitse testiä. Ne tarvitsevat julkaisun.

Kun olet julkaissut, mittaa. Seuraa lomakkeen täyttöjä analytiikassasi viikon ajan. Jos luku liikkuu oikeaan suuntaan, pidä se. Jos se liikkuu väärään suuntaan, palauta. Sinulla on nyt lähtötaso ja datapiste. Se riittää.

Vastakkainen totuus: testaaminen ei ole hyve. Alitehoinen testi, joka pyörii viikkoja ja päättyy "tuloksettomana", maksaa sinulle aikaa, jonka olisit voinut käyttää ilmeisen parannuksen julkaisemiseen. Se myös opettaa sinut odottamaan työkalulta lupaa, kun oma näyttösi on jo vahva.

Mikä on "ilmeistä"? Sinulla on useita näytön lähteitä: käyttäjäpalaute, tukisähköpostit, analytiikka, joka näyttää, missä ihmiset keskeyttävät, ja omat silmäsi sivulla. Kun useat osoittavat samaan suuntaan, et tarvitse kokeilua vahvistukseksi. Tarvitset julkaisun.

Yksi varoitus: jos muutos on halpa testata ja sinulla on liikennettä, testaa se. Sääntö ei ole "älä koskaan testaa ilmeisiä asioita". Sääntö on "älä testaa ilmeisiä asioita, kun testi kestäisi kauemmin kuin korjaus."

Luo yksinkertainen järjestelmä julkaistujen muutosten seuraamiseen. Taulukko, jossa on päivämäärä, muutos, mittari ja tulos. Tämä tekee jokaisesta julkaisusta pienen kokeen. Rakennat ajan myötä päätöspäiväkirjan.

Ennen kuin lisäät mitään jonoon, kysy itseltäsi: "Tiedänkö jo vastauksen?" Jos tiedät, julkaise. Jos et, etkä voi toteuttaa kunnollista testiä, tee suuntaa antava tarkastelu. Vain aidosti epävarmat ja korkean panoksen kysymykset ansaitsevat muodollisen kokeen. Jos sinun on vaikea nähdä, mitkä ideat ovat aikasi arvoisia, tämä opas testien priorisointiin, jotka oikeasti konvertoivat auttaa.

Tekoälykokeilun ansa: nopeampia virheitä, ei nopeampia vastauksia

Olet kuullut tekoälypohjaisesta A/B-testauksesta. Se jakaa liikenteen dynaamisesti, luo variantteja ja analysoi tuloksia reaaliajassa. Se kuulostaa datatieteilijältä laatikossa — täsmälleen siltä, mitä tarvitset yhden hengen markkinointiosastona.

Tässä on ongelma: tekoäly ei luo liikennettä. Se uudelleenjakaa jo olemassa olevan liikenteesi. Jos liikenteesi on noro, tekoälykokeilu on silti suuntaa antava tarkastelu, vain isommalla moottorilla ja kovemmalla äänellä, joka kutsuu sitä merkitykselliseksi. Se voi löytää vääriä voittajia nopeammin kuin ehdit tarkistaa ne.

Parannus on todellinen tiimeille, joilla on mittakaavaa. Jos sinulla on riittävästi istuntoja, että 50/50-jako antaa silti jokaiselle variantille kunnollisen volyymin, tekoälykokeilu voi auttaa sinua tutkimaan monia muunnelmia nopeasti. Jos saat vain noron, keskity manuaaliseen lähestymistapaan. Tekoäly ei valmista dataa.

Kun käytät tekoälykokeilua, aseta suojakaiteet. Määritä päämittari itse. Aseta pysäytyssääntö. Päätä, miltä merkityksellinen parannus näyttää ennen lanseerausta. Älä anna työkalun valita, mikä lasketaan menestykseksi. Harkitse myös, mitä tekoäly optimoi. Jos se optimoi klikkauksia, se saattaa uhrata mittarin, joka on tärkeä, kuten rekisteröitymiset tai tulot. Sinun on asetettava tavoite. Tekoälykokeilu on työkalu, ei johtaja.

Äläkä koskaan anna sanan "tekoäly" korvata perusasioita: yksi selkeä kysymys, kohtuullinen aikaraja ja toimintakynnys. Mitä suurempi kokeilun datanälkä, sitä enemmän se sinulta vaatii. Jos sinulla on jo liikenteen puutetta, jokainen istunto, jonka annat variantille, on istunto, jolloin et opi kontrollista. Tämä kompromissi on tärkeä.

Jos sinulla on jo testi käynnissä etkä ole varma, kannattaako se lopettaa, lue milloin A/B-testi kannattaa lopettaa, ennen kuin hukkaat toisen viikon.

Kokoa kaikki yhteen

Ota esiin testijonosi. Käy läpi jokainen kohde ja merkitse se.

• Muodollinen testi.
• Suuntaa antava tarkastelu.
• Julkaise ja mittaa.

Hylkää ne, jotka eivät sovi. Sinulla on lupa hylätä testejä. Tavoite ei ole suorittaa enempää testejä, vaan tehdä parempia päätöksiä sillä liikenteellä, joka sinulla jo on.

Käy tämä lista läpi neljännesvuosittain. Sivustosi muuttuu, yleisösi muuttuu ja liikenteesi voi kasvaa. Kun niin käy, arvioi uudelleen hylätyt testit. Testi, joka oli mahdoton kuusi kuukautta sitten, saattaa olla valmis nyt.

Yksinyrittäjän etu ei ole tilastollinen hienostuneisuus. Se on nopeus. Julkaise ilmeinen korjaus, tee suuntaa antava tarkastelu tiukasta päätöksestä ja käytä muodollisen testauksen budjettisi vain kysymyksiin, jotka voivat todella polttaa sinut. Toimi näin, ja A/B-testauksesi lakkaa olemasta pakollinen meno ja alkaa olla päätöksenteon työkalu.