Välttelemäsi testi on se, jota tarvitset eniten

Yhteenveto

A/B-testaus ei vaadi datatieteen tiimiä, valtavaa liikennemäärää tai täyttä testauskalenteria. Todellinen este on joukko mukavia vastaväitteitä, joita yksin toimivat markkinoijat luulevat rajoitteiksi. Tämä artikkeli purkaa yleisimmät tekosyyt—ei liikennettä, ei aikaa, tekoäly korvaa testauksen, vaistoon luottaminen, tilastollinen monimutkaisuus ja liian aikainen vaihe—ja muuttaa jokaisen konkreettiseksi toimeksi. Opit, miten ajat yhden vaikuttavan testin sillä, mitä sinulla on, milloin nojata tekoälyyn verrattuna perinteiseen testaukseen, ja miksi testi, jota lykkäät, on usein se, jota yrityksesi tarvitsee eniten. Tavoitteena on saada toimimattomuuden hinta kirvelemään enemmän kuin huonon kokeilun riski.

Välttelemäsi testi on se, jota tarvitset eniten

Suurin osa A/B-testausneuvoista on kirjoitettu ihmisille, jotka jo ajavat A/B-testejä. Siksi ainoa aidosti hyödyllinen asia, jonka voin sinulle kertoa, on tämä: testi, joka parantaisi yritystäsi eniten, on todennäköisesti se, jota välttelet, koska se tuntuu liian pieneltä, liian epävarmalta tai liian todennäköisesti vahvistavan jotain, jota et mieluiten tietäisi. Vastaväitteet, jotka estävät yksin toimivia markkinoijia edes avaamasta testaustyökalua, kuulostavat järkeviltä, mutta jokainen niistä on piilotettu konversiovuoto, joka on naamioitu varovaisuudeksi.

A/B-testaus on pohjimmiltaan päätöksenteon tapa. Kuten Optimizelyn sanasto sanoo, se on menetelmä, jossa verrataan kahta verkkosivun tai sovelluksen versiota toisiinsa sen selvittämiseksi, kumpi toimii paremmin. Et tarvitse 50 000 dollarin yritystason kojelautaa. Tarvitset hypoteesin, yhden muuttujan ja tarpeeksi kärsivällisyyttä, jotta numerot saavat puhua. Ja epämiellyttävä totuus on, että ihmiset, jotka lykkäävät testausta eniten, ovat usein niitä, joiden yritykset hyötyisivät siitä eniten. Jos olet koskaan sanonut 'emme ole valmiita A/B-testaukseen', olet jo tehnyt kalleimman päätöksen konversio-optimoinnissa.

Joten lopetetaan nyökyttely näille vastaväitteille ja aletaan purkaa niitä.

Vastaväite	Mitä oikeastaan päätät
"Minulla ei ole tarpeeksi liikennettä."	"En anna asiakkaideni äänestää."
"Minulla ei ole aikaa."	"Vuotava suppilo on ihan hyvä, kai."
"Tekoäly tekee testauksesta vanhentunutta."	"Kone, jolla ei ole dataa asiakkaistani, tuntee heidät paremmin kuin minä."
"Luotan vaistoihini."	"Kolme viimeistä vaistopäätöstäni olivat oikein, eikä tämä ole valikoivaa muistia."
"Se on liian teknistä."	"P-arvo pelottaa minua enemmän kuin pysähtynyt kasvuvauhti."
"Olemme liian aikaisessa vaiheessa."	"Rakentaisin mieluummin vuoden väärää asiaa kuin oppisin viikossa."

Jokainen näistä saa alla asiallisen käsittelyn. Mutta asiallinen käsittely ei ole sama kuin asiallinen tuomio.

"Minulla ei ole tarpeeksi liikennettä"

Ota esimerkiksi hinnoittelusivu, joka saa kaksisataa käyntiä kuukaudessa. Hyvin perinteinen optimointikonsultti sanoisi sinua odottamaan, kunnes sinulla on kymmenkertainen määrä. He olisivat oikeassa, jos tavoitteesi olisi havaita 2 prosentin muutos konversioprosentissa. Mutta tässä on juju: et yritä havaita 2 prosentin muutosta. Yrität selvittää, onko tuntematon arvolupaus olennaisesti parempi vai huonompi kuin nykyinen, ja ne erot ovat yleensä suuria.

Matematiikka toimii edukseen, kun lopetat pienten nostojen tavoittelun. Muutos, joka kaksinkertaistaa konversioprosenttisi—esimerkiksi selkeyttämällä, mitä tuote todella tekee—voidaan havaita maltillisella liikenteellä muutamassa viikossa. Ja jos testaat jotain kuten painikkeen tekstiä, et välttämättä tarvitse tilastollisesti vahvaa otosta huomataksesi, että "Näe hinnat" lyö "Aloita" klikkauksissa. Sinun tarvitsee vain antaa testin pyöriä tarpeeksi kauan.

Kuinka kauan on tarpeeksi? Useimmat testaustyökalut sisältävät otoskokolaskurin, ja verkossa on myös erillisiä laskureita. Nyrkkisääntö: haluat riittävästi konversioita (klikkauksia, rekisteröitymisiä, ostoksia) kussakin variaatiossa, ei vain riittävästi käyntejä. Jos sivu saa 200 käyntiä kuukaudessa ja konvertoi 2 prosentilla, se on vain 4 konversiota kuukaudessa. Joudut odottamaan jonkin aikaa merkityksellistä kaavaa. Mutta jos testattava elementti on otsikko, joka vaikuttaa suoraan ydinarvolupaukseen, ero konversioprosentissa voi olla 15 prosenttia verrattuna 5 prosenttiin, ja näet sen kuvion nopeammin kuin luulet.

Toinen liikenteen pakotie on, että verkkosivustosi ei ole ainoa paikka, jossa voit ajaa kokeilun. Sähköpostitilaajat, maksetut mainosklikkaukset ja jopa jaettu linkki niche-yhteisössä antavat sinulle hallitun yleisön. A/B-testaus toimii yhtä hyvin sähköposteissa, tuotesuunnittelussa ja sovelluspoluissa kuin laskeutumissivuilla—seikka, jonka Optimizelyn sanasto mainitsee luetellessaan elementit, joita voit testata. "Ei liikennettä" -vastaväite on melkein aina oikeasti "ei liikennettä etusivulleni", mikä on paljon rajallisempi ongelma.

Ja tässä tekoäly todella auttaa. Optimizelyn tekoälykokeiden viitekehyksen mukaan koneoppiminen voi dynaamisesti kohdentaa liikennettä paremmin toimivalle variaatiolle reaaliajassa, joten et ole jumissa tiukassa 50/50-jakautumisessa, joka tuhlaa puolet käynneistäsi todennäköiseen häviäjään. Se tarkoittaa, että käytettävissä oleva liikenne riittää pidemmälle. Yksin toimivalle markkinoijalle tämä on ero "testaaminen on mahdotonta" ja "testaaminen on hitaampaa kuin haluaisin, mutta tehtävissä" välillä.

Käytännön vastatoimi: määritä yksi liiketoiminnalle tärkeä onnistumismittari, valitse yksi elementti, joka voi olennaisesti muuttaa sitä mittaria, ja sitoudu ajamaan testiä tietyn päivämäärän ajan työkalusi suositteleman otoksen perusteella. Yksityiskohtainen viitekehys siitä, milloin lopettaa, on juuri se, mitä löydät meidän when-to-stop-ab-test-decision-framework -artikkelistamme.

"Minulla ei ole aikaa"

Todellinen ongelma ei ole aika; se on se, ettet ole rakentanut hypoteesien testauksen tapaa. Se on pieni tapa, ei ohjelma. Et tarvitse testauskalenteria, tiekarttaa tai "kokeilujen jonotuslistaa". Tarvitset yhden hypoteesin pullonkaulasta, josta todella välität.

Tässä esimerkki aikamatematiikasta. Oletetaan, että rekisteröitymislomakkeessasi on seitsemän kenttää ja epäilet sen tappavan läpivientejä. Hypoteesi on, että neljän kentän poistaminen lisää rekisteröitymisiä. Testin asettamiseen menee noin viisitoista minuuttia, jos käytät työkalua, jonka avulla voit muokata lomakevariaatiota. Sitten odotat. Sen ajaessa käytät kaksi minuuttia päivässä vilkaisemalla tuloksia—tai nolla minuuttia, jos annat työkalun ilmoittaa. Varsinainen "työ" on viisi minuuttia, jotka käytät hypoteesin ja mittarin muotoilemiseen.

A/B-testaustyökalut hoitavat myös analyysin puolestasi. Ne laskevat merkitsevyyden, ehdottavat lopettamisajankohtaa ja jopa dokumentoivat tuloksen. Ennen suurin ajanhukka oli tilastollisen tuloksen tulkitseminen, ja se on nyt automatisoitu useimmilla alustoilla. Jos teet vielä taulukkolaskentaa manuaalisesti, teet siitä liian monimutkaista.

Suurempi pointti on, että aikavastaväite on oikeastaan kustannus-hyöty-vastaväite naamioituneena. Testaamatta jättämisen hinta on vahvistamattomien oletusten jatkuva käyttöönotto. Jokainen arvaus, joka jää testaamatta, on veto ilman kertoimia. Käyttämällä tunti kuukaudessa testiin ei ole ajan verotus; se on tuotto päätökselle, jonka aioit tehdä joka tapauksessa.

Ja tässä temppu, jolla saat sen pysymään: yhdistä testisi johonkin, jonka jo teet. Jos käytät Google Analyticsiä läpi joka maanantaiaamu, lisää viiden minuutin "tarkista testi" -tehtävä siihen aikaan. Jos kirjoitat kuukausittaisen uutiskirjeen, sisällytä rivi siitä, "mitä testaamme", pakottaaksesi itsesi muotoilemaan hypoteesin. Tapa tarttuu olemassa oleviin rutiineihin, joten se ei tunnu ylimääräiseltä projektilta.

Aloita yksinkertaisella priorisoinnilla. Yksi testi kvartaalissa vie sinut edelle suurimmasta osasta pieniä tiimejä. Jos tunnet olevasi lamaantunut valinnan edessä, oppiminen priorisoimaan testit, joilla on oikeasti merkitystä on ensimmäinen taito, joka kannattaa rakentaa—mutta älä anna analyysilamaannuksen työntää sinua vain valitsemaan jotain.

"Tekoäly tekee A/B-testauksesta vanhentunutta"

Kyllä, tekoäly muuttaa testauksen mekaniikkaa. Mutta "tekoäly korvaa A/B-testauksen" on vain uusin tapa välttää se osa, joka ei katoa mihinkään: empiirinen päätös. Ollaan tarkkoja siitä, mitä tekoälykokeet oikeastaan ovat, koska hypetykset ohittavat käytännön.

Tekoälypohjainen A/B-testaus käyttää koneoppimista variaatioiden luomiseen, päättää kuinka paljon liikennettä kullekin variaatiolle lähetetään ja analysoi tulokset reaaliajassa. Tämä on aidosti hyödyllistä. Se on nopeampi ja mukautuvampi tapa ajaa kokeilu. Tutkimus tekoälykokeista—mukaan lukien Optimizelyn oma dokumentaatio—kuvaa sen parannuksena perinteiseen menetelmään, ei korvaajana. Kone hoitaa toistuvat osat: se voi luoda testivariaatioita, suorittaa data-analyysin ja jopa automatisoida suorituskykyyn perustuvan priorisoinnin siitä, mitä testataan seuraavaksi. Kaikki tuo on arvokasta.

Mutta tässä on se juju, jota hypetys ei kerro sinulle: kone ei tunne asiakkaasi kontekstia, kipupistettä tai syytä, miksi hän päätyi sivullesi klo 23. On silti sinun tehtäväsi määritellä liiketoimintakysymys. Tekoälykokeilu on vain niin hyvä kuin kysymys, jonka sille syötät. Ja algoritmi voi kertoa, mikä variaatio voitti, mutta se ei kerro, miksi se voitti—"miksi" on se, mitä sinun on ymmärrettävä voidaksesi skaalata oivalluksen koko sivustollesi.

Joten vastakkainen kanta tässä ei ole "tekoäly on huono". Se on "tekoäly on työkalu testauksessa, ei korvike testaukselle". Kun kuulet myyjän väittävän, että testaus on kuollut, koska tekoäly tietää parhaiten, käännä se muotoon "tekoäly tietää parhaiten, jos otos on edustava ja mittari on merkityksellinen". Se on silti testi. Ihmiset, jotka sanovat tekoälyn korvaavan A/B-testauksen, myyvät sinulle taikasauvan. Ihmiset, jotka rakentavat tekoälykokeita, myyvät sinulle paremmin kalibroidun testin. Erolla on merkitystä.

Käytännössä sinun kannattaa käyttää tekoälyä raskaisiin töihin: anna sen luoda uusia variaatioita, ehdottaa seuraavaksi ajettavia testejä oppimansa perusteella ja kohdentaa liikennettä dynaamisesti. Mutta sinä pysyt kokeilijana. Jos haluat tarkemman vertailun, katso yksityiskohtainen erittelymme klassisesta A/B-testauksesta vs. tekoälykokeista.

"Tunnen asiakkaani"

Vaarallisin lause konversio-optimoinnissa on "asiakkaamme ovat erilaisia". Jokainen perustaja uskoo tähän, ja jokainen perustaja on osittain oikeassa. Mutta "osittain oikeassa" ei ole hyvä perusta kasvustrategialle.

Näin oikeasti tapahtuu, kun luotat intuitioon: teet muutoksen, mittari liikkuu (tai ei), ja sitten rakennat tarinan sen ympärille. Jos painikkeen värin muutos "tuntui" oikealta ja rekisteröitymiset kasvoivat, annat kunnian värille. Todellisuudessa muutit kolmea asiaa kerralla, ja tärkein oli otsikko, jota et testannut. Yksi CRO:n ydinputteista—korostettuna WordStreamin konversio-optimoinnin oppaassa—on, että sinun tulisi eristää muuttujat nähdäksesi, mikä todella tekee työn. Vaistosi ei pysty siihen; se muistaa vain kuvion, jonka se haluaa nähdä.

Syy, miksi A/B-testaus on tärkeää, on se, että se eristää muuttujat. Muuta yhtä asiaa, mittaa vaikutus ja opi yksittäinen totuus asiakkaistasi. Vaistosi on loistava hypoteesien tuottaja—se kertoo sinulle, että "asiakkaat epäröivät lomakkeen kohdalla". Testi kertoo, onko se todella totta.

Oletetaan, että vaistosi sanoo "asiakkaamme ovat hintaherkkiä, joten meidän pitäisi johtaa hinnoittelulla". Testi kahdesta laskeutumissivuversiosta—toinen johtaa hinnoittelulla, toinen tuloksilla—antaa sinulle lopullisen vastauksen. Saatat huomata, että tuloksilla johtava versio tuo enemmän päteviä liidejä, ja vaistosi näki maailman oman taulukkolaskenta-ahdistuksesi läpi. Tai vaisto vahvistuu. Joka tapauksessa olet korvannut uskomuksen faktalla.

On syvempi hinta "asiakkaiden vain tuntemisesta": se ei skaalaudu. Kun olet yksin toimiva markkinoija, intuitiosi elää päässäsi. Heti kun tuot mukaan copywriterin, suunnittelijan, toimiston tai jopa tulevan itsesi, joka on unohtanut kontekstin, intuitio katoaa. Dokumentoitu testitulos sen sijaan on pysyvä omaisuus. Se kertoo tiimillesi (tai tulevalle itsellesi) tarkalleen, mitä opittiin, miltä yleisöltä, millä sivulla ja millä luottamustasolla. Siksi oppien dokumentointi on keskeinen hyvä käytäntö A/B-testauksessa—ei vain mukava lisä arkistoon.

Käytännön liike: jokaisesta vaistosta, jonka aiot ottaa käyttöön, kirjoita se ylös hypoteesina. Valitse sitten yksi suurimman vipuvaikutuksen omaava ja aja testi. Se on ero CRO:n kohtelussa mielipiteenä verrattuna siihen, että käsittelee sitä tieteenalana.

"Se on minulle liian tilastollista"

Aloita ainoista tarvitsemistasi tilastoista: määritä tavoite, muuta yhtä asiaa, aja testiä tarpeeksi kauan ja anna työkalun laskea merkitsevyys. Se ei ole liiallista yksinkertaistamista; se on koko peli yksin toimivalle markkinoijalle.

Olkaamme suoria tilastollisesta paniikista. Sanat kuten "p-arvo", "teho" ja "luottamusväli" saavat ihmisten silmät lasittumaan. Mutta tässä on salaisuus: työkalut tekevät tilastot jo puolestasi. Sinun tehtäväsi on noudattaa muutamia sääntöjä, ei laskea khii-neliötä käsin.

Säännöt ovat yksinkertaiset ja ne tulevat suoraan parhaiden käytäntöjen käsikirjasta: aseta selkeät tavoitteet, testaa yhtä muuttujaa kerrallaan, varmista riittävä otoskoko ja testin kesto tilastollista merkitsevyyttä varten ja dokumentoi, mitä opit. Jos noudatat näitä neljää sääntöä, olet jo edellä useimmista ihmisistä, jotka kutsuvat itseään "kasvun asiantuntijoiksi".

Suurin tilastollinen synti yksin testaamisessa ei ole luottamusvälin väärinymmärtäminen—se on kurkistelu. Tarkistat testin kolmen päivän jälkeen, näet 20 prosentin nousun ja lopetat aikaisin. Työkalu kertoo, ettei se ole vielä merkitsevä, mutta lopetat silti, koska "se tuntuu oikealta". Näin syntyy vääriä positiivisia tuloksia, ja siksi otoskokoa ja kestoa koskevat ohjeet ovat olemassa. Nimensä ansaitseva testaustyökalu varoittaa sinua jatkuvasti aikaisesta lopettamisesta.

Suurempi riski ei ole tilastollinen tietämättömyys—se on "tilastollinen teatteri", jossa testi on suunniteltu huonosti, otos on liian pieni ja tiimi lukee merkitsevyyttä kohinasta. Siksi artikkelimme A/B-testitulosten oikeasta tulkinnasta on täynnä ansoja, jotka voit välttää pienellä kurinalaisuudella.

Joten seuraavan kerran kun joku sanoo "tarvitset datatieteilijän testin ajamiseen", muista, että "datatieteilijä" olet sinä, istumassa keittiönpöydän ääressä työkalun kanssa, joka laskee kaiken. Sinä tuot kysymyksen, muuttujan ja kärsivällisyyden. Työkalu tuo matematiikan. Se ei ole tohtorintutkinnon vaatimus; se on prosessin vaatimus.

"Olemme liian aikaisessa vaiheessa tähän"

Jos olet ennen tulovirtaa tai yksin toimiva, on houkutus ajatella, että testaus on jotain, mitä teet sitten kun olet "menestynyt". Mutta totuus on päinvastainen. A/B-testaus on arvokkaimmillaan, kun sinulla on vähiten varmuutta. Siinä vaiheessa testattava asia ei ole mikro-CTA; se on itse ydinarvolupaus.

Kuvittele, että olet rakentanut yksinkertaisen laskeutumissivun myyntipuheellasi. Sinulla on kaksi mahdollista otsikkoa: "Yksinkertaisin tapa seurata freelancer-tuloja" ja "Tiedä tarkalleen, mitä ansaitset ensi kuussa". Et tarvitse valtavaa liikennettä nähdäksesi, kumpi saa enemmän sähköpostirekisteröitymisiä tai klikkauksia. Ja vastaus säästää sinut kuukausilta viestien rakentamiselta väärän koukun ympärille.

Varhaisen vaiheen testaus pakottaa sinut muotoilemaan oletuksesi siitä, miksi ihmiset ostaisivat. Se on tuskallista, mutta halvempaa kuin sen huomaaminen sen jälkeen, kun olet käyttänyt vuoden väärän tuoteviestinnän rakentamiseen. WordStreamin lista CRO-tekniikoista sisältää kitkan vähentämisen lomakkeissa ja sosiaalisen todisteen ja luottamussignaalien hyödyntämisen—molemmat ovat erityisen tehokkaita, kun olet vasta aloittamassa. Yksi hyvin sijoitettu suositus tai kolmen kentän lomake seitsemän kentän sijasta voi olla ero rekisteröitymisen ja poistumisen välillä.

Toimenpide: vie sähköpostilistasi, luo kaksi laskeutumissivuvariaatiota yksinkertaisella työkalulla ja lähetä puolet listasta kummallekin. Tai vielä yksinkertaisemmin, aja kaksi mainosvariaatiota eri otsikoilla. Se on testi, eikä se ole kallista. Tutkimus A/B-testauksesta vahvistaa, että sitä voidaan soveltaa sähköposteihin, sovelluksiin ja käyttäjäpolkuihin—ei vain etusivulle, jota pelkäät koskea.

Lisäksi varhaisilla testeillä on usein "epäreilu etu": pieni otoksesi ei ole heikkous, se on signaali. Pienen, hyvin sitoutuneen yleisön kanssa jopa vaatimaton ero vasteessa on huomion arvoinen, koska tuo yleisö on usein parhaiten sopiva asiakkaasi. Et etsi 1 prosentin nousua tässä ympäristössä; etsit suunnan osoitinta. Avainsana on viite, ei todiste. Se on hyvä. Olet paremmassa asemassa kuin arvaus.

Lopeta odottaminen, aloita testaaminen

Tässä on kaikkien vastaväitteiden taustalla oleva kaava: ne ovat kaikki sama pelko eri hatuissa. Pelko siitä, että testi epäonnistuu, että tuhlaat aikaa, että numerot kertovat sinulle jotain epämiellyttävää. Mutta ainoa todellinen epäonnistuminen on jatkaa arvaamista.

Tiestö ulos on lyhyt. Valitse yksi sivu, yksi elementti ja yksi mittari. Kirjoita hypoteesi. Määritä variaatio. Aja testiä työkalusi suositteleman ajan. Kirjaa tulos, vaikka se olisi "ei tilastollisesti merkitsevää eroa" (sekin on tulos). Päätä sitten seuraava testi.

Yksi palkitsevimmista seurauksista testauksessa on, että kurinalaisuus kasvaa korkoa. Jokainen testi antaa sinulle datapisteen asiakkaistasi, jota mikään artikkeli, neuvonantaja tai tekoälymalli ei voi sinulle antaa, koska se tulee juuri sinun kontekstistasi. Muutaman testin jälkeen alat tehdä päätöksiä nopeammin ja itsevarmemmin, koska et enää arvaa—viittaat itse rakentamaasi näyttöön.

Ajan myötä tämä prosessi muuttaa markkinointisi mielipiteiden sarjasta kokeilujen sarjaksi. Ja kaunis osuus on, että kun aloitat, ihmettelet, miksi koskaan odotit. Välttelemäsi testi on todennäköisesti se, joka kertoo, resonoiko tuotteesi. Voit jatkaa sen välttämistä, tai voit antaa asiakkaidesi kertoa totuuden.