Üksikturundaja A/B-testi triaaž: millal testida, lugeda või käivitada

Kokkuvõte

Kui oled üksikturundaja, maksab iga käivitatud A/B-test sulle aega ja liiklust, mida sul pole. Enamik testide ideid väärivad kiiremat ja odavamat kohtlemist kui formaalne eksperiment. See juhend tutvustab kolme kategooriaga otsustusraamistikku: formaalne A/B-test kõrge panusega küsimuste jaoks piisava liiklusega, suunav hinnang lähedaste otsuste jaoks, kui andmeid on vähe, ning käivita ja mõõda ilmsete paranduste jaoks. Õpid, kuidas iga ideed klassifitseerida, kuhu AI-eksperimendid sobivad ja miks on kiireim tee parema konversioonini sageli testi vahelejätmine. Lõpeta testide tegemine, mis ei jõua järeldusteni, ja hakka otsuseid tegema.

Sinu testimise ootel olevate tööde nimekiri on pikem, kui selle kvartali jooksul jõuad. Sinu liikluskalkulaator ütleb, et pead saama palju rohkem külastajaid, kui sel kuul tulemas, et märgata olulist erinevust, ja sa oled ainus, keda tulemused huvitavad. Oled juba ühe testi käivitanud ja see on juba nädalaid kestnud, ilma et lõpp paistaks. Sul pole andmeteadlast, kellelt küsida, kas oodata või pistik välja tõmmata.

Lõpeta. Probleem pole sinu testimistööriistas ega statistilistes teadmistes. Probleem on selles, et kohtled iga ideed nagu see vääriks formaalset A/B-testi. Aga see ei vääri seda.

Kasuta lihtsat triaaži. Iga testikandidaat kuulub ühte kolmest kategooriast:

• Formaalne A/B-test. Ainult küsimuste jaoks, kus vale vastus on kallis ja sul on piisavalt liiklust usaldusväärse vastuse saamiseks.
• Suunav hinnang. Lähedaste otsuste jaoks, kui andmed on otsas. Saad vihje, mitte tõestuse.
• Käivita ja mõõda. Ilmsete paranduste ja madala riskiga muudatuste jaoks. Muuda lehte, jälgi analüütikat, liigu edasi.

Otsus	Formaalne A/B-test	Suunav hinnang	Käivita ja mõõda
Millal kasutada	Kõrge panusega leht piisava liiklusega	Pingeline otsus vähese liiklusega	Tugev eeldus, selge probleem
Vajalik liiklus	Piisav, et saavutada olulisus	Mis iganes sul on	Mitte midagi
Ajakulu	Nädalatest kuudeni	Üks kuni kaks nädalat	Tunnid
Mida saad	Usaldusväärne vastus	Suunav vihje	Reaalajas muudatus pluss andmed
Risk	Nõrk test raiskab nädalaid	Müra signaaliks lugemine	Kontrafaktuaali kaotamine

Formaalne A/B-test: millal saad tegelikult järelduse teha

Sul on nišš B2B tarkvaraettevõte. Sinu blogi toob pidevalt külastajaid ja hinnaleht on peamine tulutooja. Kaalud pealkirja ümberkirjutamist. See on kõrge panusega: kui teed vale käigu, kaotad kuude kaupa müügivihjeid. Kui teed õige, võidad kuude kaupa müügivihjeid.

Tee seda korralikult. Kirjuta ühelauseline hüpotees enne, kui midagi puudutad: "Pealkirja muutmine funktsioonide kirjelduselt kasuavaldusele suurendab demode taotlusi." Vali täpselt üks peamine mõõdik: demode taotlused külastaja kohta. Otsusta ette, kui kaua test kestab. Kasuta valimi suuruse kalkulaatorit ja kui see ütleb, et vajaksid palju rohkem liiklust, kui saad, siis lõpeta. See pole test, mida saaksid teha.

Kui test on käivitatud, ära piilu iga päev. Ära lõpeta varakult, sest numbrid näevad head välja. Määra kestus, lase sel joosta ja siis vaata. See on klassikaline lähenemine, mida Optimizely kirjeldab: jaga vaatajaskond juhuslikult, näita igale rühmale erinevat versiooni ja lase käitumisel otsustada.

Kolm nõuet ja kõik peavad olema täidetud:

1. Vale vastus on kallis.
2. Saavutad statistilise olulisuse mõistliku aja jooksul.
3. Testid täpselt ühte muutujat.

Kui mõni neist on väär, on formaalne test vale kategooria. Kahe muutuja korraga muutmine rikub eksperimendi — sa ei tea, mis tõusu põhjustas. Testimine testimise pärast põletab ainsa ressursi, mida ei saa tagasi osta: aega.

Kui need tingimused ei ole täidetud, alanda testi. Pealkirja ümberkirjutamine on kõrge panusega; nupu värv ei ole. Kuluta oma testieelarve küsimustele, mis muudavad sinu ettevõtte kuju, mitte tühiasjadele.

Veel üks põhjus formaalseid teste reserveerida: need on aeglased. Selle aja jooksul, kui test jookseb, võiksid käivitada kolm ilmset parandust ja need mõõta. Formaalse testi tegelik kulu pole ainult käitusaeg; see on iga teine muudatus, mille ootamise tõttu edasi lükkasid.

Samuti otsusta enne käivitamist, mida tulemusega teed. Kui test võidab, mis on järgmine samm? Kui kaotab, mis siis? Eelnevalt kohustumine hoiab ära tagantjärele ratsionaliseerimise.

Suunav hinnang: kui andmed on otsas

Oled üksikkonsultant tagasihoidliku veebisaidiga. Sul on kaks pealkirjavarianti oma avalehele. Sul pole piisavalt liiklust, et kuu ajaga olulisust saavutada, kuid valik tundub endiselt tähtis. Tüüpiline nõuanne on "lihtsalt tee A/B-test" — ja see nõuanne on sinu olukorras vale.

Selle asemel tee suunav hinnang. Määra range ajapiir: üks nädal, kõige rohkem kaks. Jaga liiklust 50/50. Lõpus vaata, kumb pealkiri sai rohkem klikke. Seejärel kasuta seda oma otsustuse sisendina, mitte lõpliku otsusena.

Nipp on kirjutada oma eeldus enne vaatamist üles: "Usun, et kasu esiletoov pealkiri toimib paremini." Kui andmed nõustuvad, käivita see kindlustundega. Kui see on vastuolus, küsi miks. Kui see on liiga lähedane, et otsustada, vali see, mis sobib sinu teiste uuringutega. Sa ei otsi kindlust. Sa otsid tõuget.

Kui kaua peaks suunav hinnang kestma? Piisavalt kaua, et näha mustrit, piisavalt lühidalt, et mitte kaotada kuud. Kui sama versioon võidab iga päev, on see signaal. Kui võitja muutub iga päev, on see müra. Vali versioon, mis tundub õige, ja liigu edasi.

Kasuta lihtsat arvutustabelit, et tulemusi iga päev jälgida. See sunnib sind tegelikult mustrit vaatama, selle asemel et lõppu oodata.

See pole formaalne A/B-test. Ära teeskle, et on. Ära lisa suunavale hinnangule olulisuslävesid. Ära teata sidusrühmale "me testisime seda". Ütle: "tegime kiire kontrolli ja suund tundus paljutõotav." Suunava hinnangu ületähtsustamine viib vale enesekindluse ja halvemate otsusteni järgmisel kuul.

Kui vajad üksikasjalikumat süsteemi vähese liiklusega testimiseks, siis suunavate hinnangute käsiraamat viib sind läbi kogu meetodi.

Käivita ja mõõda: millal testimine on vale otsus

Sinu kassalehel on kohustuslik väli "ettevõtte nimi". Oled saanud korduvalt toetuskirju klientidelt, kes ei tea, mida sisestada. Sinu konversioonimäär kannatab. Mida sa testid?

Eemalda see väli. Ära seda testi.

See kõlab liiga ilmselgelt, kuid kõige levinum isesabotaaž üksikturundajate seas on ilmsete paranduste muutmine eksperimentideks. Lühendad pikka vormi miinimumini, sest tead, et hõõrdumine tapab konversioone. Liigutad usaldusmärgid ülespoole, sest sinu kliendiintervjuud on täis usaldusvastuväiteid. Muudad nupu silti, mis külastajaid selgelt segadusse ajab. Ükski neist ei vaja testi. Nad vajavad käivitamist.

Pärast käivitamist mõõda. Jälgi oma analüütikas vormi täitmisi nädal aega. Kui number liigub õiges suunas, jäta see. Kui liigub vales suunas, võta tagasi. Nüüd on sul lähtetase ja andmepunkt. Sellest piisab.

Vastupidine tõde: testimine pole voorus. Nõrk test, mis kestab nädalaid ja lõpeb "ebaselgega", maksab sulle aega, mille oleksid võinud kulutada ilmse paranduse käivitamisele. See õpetab sind ootama tööriista luba, kui sinu enda tõendid on juba tugevad.

Mis kvalifitseerub "ilmselgeks"? Sul on mitu tõendusallikat: kasutajate tagasiside, toetuskirjad, analüütika, mis näitab, kus inimesed loobuvad, ja sinu enda silmad lehel. Kui mitu osutavad samas suunas, pole vaja eksperimenti kinnituseks. Vajad juurutust.

Üks hoiatus: kui muudatust on odav testida ja sul on liiklust, siis testi seda. Reegel pole "ära kunagi testi ilmseid asju." Reegel on "ära testi ilmseid asju, kui testimine võtaks kauem aega kui parandus."

Loo lihtne süsteem käivitatud muudatuste jälgimiseks. Arvutustabel kuupäeva, muudatuse, mõõdiku ja tulemusega. See muudab iga käivitamise väikeseks eksperimendiks. Aja jooksul ehitatakse otsustuspäevik.

Enne kui midagi ootejärjekorda lisad, küsi endalt: "Kas ma juba tean vastust?" Kui jah, käivita. Kui ei ja sul pole võimalust päris testi läbi viia, loe suunavalt. Ainult tõeliselt ebakindlad ja kõrge panusega küsimused väärivad formaalset eksperimenti. Kui sul on raskusi näha, millised ideed on sinu aega väärt, aitab see juhend testide prioriseerimisest, mis tegelikult konverteerivad.

AI-eksperimendi lõks: kiiremad vead, mitte kiiremad vastused

Oled kuulnud AI-toega A/B-testimisest. See jaotab liiklust dünaamiliselt, genereerib variante ja analüüsib tulemusi reaalajas. See kõlab nagu andmeteadlane karbis — täpselt see, mida vajad üheinimese turundusosakonnana.

Siin on konks: AI ei loo liiklust. See jaotab ümber liikluse, mis sul juba on. Kui sinu liiklus on nõrk, on AI-eksperiment ikkagi suunav hinnang, ainult suurema mootoriga ja valjema häälega, mis seda tähenduslikuks nimetab. See võib leida valevõitjaid kiiremini, kui sa jõuad neid kontrollida.

Uuendus on reaalne meeskondadele, kellel on mastaapi. Kui sul on piisavalt seansse, et 50/50 jaotus annab igale variandile korraliku mahu, saab AI-eksperiment aidata sul kiiresti uurida palju variatsioone. Kui saad vaid tilga, keskendu käsitsi lähenemisele. AI ei hakka andmeid tootma.

Kui kasutad AI-eksperimenti, sea piirid. Määratle peamine mõõdik ise. Sea lõpetamise reegel. Otsusta, milline on tähenduslik paranemine enne käivitamist. Ära lase tööriistal valida, mis loetakse eduks. Mõtle ka sellele, mida AI optimeerib. Kui see optimeerib klikke, võib see ohverdada olulise mõõdiku, nagu registreerumised või tulu. Sinu ülesanne on seada eesmärk. AI-eksperiment on tööriist, mitte juht.

Ja ära kunagi lase sõnal "AI" asendada põhitõdesid: üks selge küsimus, mõistlik ajaraam ja tegevuslävi. Mida suurem on eksperimendi isu andmete järele, seda rohkem see sinult küsib. Kui sul on juba niigi liiklusest puudus, on iga seanss, mille variandile annad, seanss, mille jooksul ei õpi kontrollrühmas. See kompromiss on oluline.

Kui sul juba jookseb test ja sa pole kindel, kas seda lõpetada, loe millal lõpetada A/B-test, enne kui raiskad veel ühe nädala.

Pane see kokku

Võta välja oma testimise ootejärjekord. Vaata iga üksus läbi ja märgista.

• Formaalne test.
• Suunav hinnang.
• Käivita ja mõõda.

Tapa need, mis ei sobi. Sul on lubatud teste tappa. Eesmärk pole teha rohkem teste; vaid teha paremaid otsuseid olemasoleva liiklusega.

Vaata see nimekiri üle igas kvartalis. Sinu sait muutub, publik muutub ja liiklus võib kasvada. Kui see juhtub, hinda uuesti tapetud testid. Test, mis kuus kuud tagasi oli võimatu, võib nüüd olla valmis.

Üksikturundaja eelis pole statistiline keerukus. See on kiirus. Käivita ilmne parandus, tee suunav hinnang lähedase otsuse korral ja kuluta formaalse testimise eelarve ainult küsimustele, mis võivad sind tegelikult kõrvetada. Tee seda ja sinu A/B-testimine lakkab olemast kohustus ja hakkab olema otsustusvahend.