A/B-test, suunatud test või lihtsalt käivita? Riskipõhine raamistik üksi tegutsevatele turundajatele

Kokkuvõte

Enamik A/B-testimise nõuandeid eeldab, et teil on piiramatu liiklus ja kannatlik meeskond. Tegelikkuses peab üksi tegutsev turundaja sageli valima täismahus eksperimendi, lühikese suunatud testi ja muudatuse avaldamise ilma testita. See artikkel pakub riskipõhise raamistiku selle otsuse tegemiseks, keskendudes eksimise hinnale ja ootamise hinnale. See käsitleb seda, mida teha, kui tulemus on "mitte statistiliselt oluline", ja miks see ei tähenda sama, mis ebaõnnestunud muudatus. Saate teada, millal varajane piilumine võib olla kasulik, millal avaldamine on parem kui tõendi ootamine ja kuidas mõõta enne/pärast, kui testi vahele jätate. Sõnum ei ole testida vähem, vaid kohandada oma tõendusstandard tegelike panustega.

Kas peaksite tegema A/B-testi, lühema "suunatud" testi või lihtsalt muudatuse tegema ja vaatama, mis juhtub? Kui vastutate oma veebisaidi konversioonimäära eest ja teil pole enda ümber pühendunud meeskonda, on see ilmselt kõige sagedasem otsus, mida teete. Standardne nõuanne ütleb, et testige kõike, kuid see nõuanne eeldab, et teil on liiklust üle, aega oodata ja selget mõõdikut jälgida. Tihti pole teil neist ühtegi. See artikkel tutvustab kolme tõendusstandardi ja annab võimaluse nende vahel valida minutitega, mitte päevadega.

Esimene asi, mida mõista, on see, et A/B-testimine ei puuduta tegelikult muudatust ennast. See puudutab seda, kui palju olete nõus maksma selle eest, et eksida. Vaatleme kahte muudatust samal saidil. Te kasutate projektihalduse tööriista. Soovite muuta avalehe pealkirja "Halda projekte" pealkirjaks "Plaani projekte poole ajaga." Samuti soovite muuta hinnalehte, et külastajad saaksid valida aastase plaani koos kuupakkumisega. Mõlemad muudatused puudutavad sama veebisaiti ja mõlemat saaks testida samamoodi. Kuid eksimise hind on väga erinev. Kui pealkiri on vale, näeb külastaja mõne päeva jooksul veidi vähem mõjusat sõnumit ja saate vana ilma probleemideta tagasi panna. Kui hinnastruktuur on vale, võite segadusse ajada potentsiaalseid kliente, täita oma toe postkasti küsimustega ja tekitada ootuse, mis ei vasta sellele, kuidas te tegelikult arveldate. Tagasipööramine pole tasuta. Sama loogika kehtib iga kaalutava muudatuse puhul, alates nuppude siltidest kuni terve lehe ümberkujunduseni.

Seetõttu ei saa keegi teile anda universaalset vastust "kas ma peaksin testima?" Vastus sõltub sellest, kui palju vale positiivne tulemus teile maksab, kui palju vale negatiivne maksab ja millest loobute ootamise ajal. Vaatame kolme võimalust üksikasjalikult.

Täismahus eksperiment: kui tõenduslatt on kõrge

Kujutage ette, et testite, kas muuta oma peamise registreerimislehe nuppu "Alusta tasuta prooviversiooni" asemel "Alusta." Üksi tegutseva asutaja jaoks on see suure nähtavusega muudatus, mis asub teie lehtri sissepääsus. See võib mõjutada prooviversiooni registreerimisi, mis toidavad kõike allavoolu. Teil on pidev külastajate voog, kuid mitte tohutu. See on hea kandidaat täismahus eksperimendiks.

Täismahus eksperimendil on konkreetne tähendus. Jagate külastajad juhuslikult, näitate ühele rühmale originaalversiooni ja teisele rühmale muudetud versiooni ning võrdlete käitumist mõõdiku alusel, mille valite enne alustamist. Nagu Optimizely sõnastikus on määratletud, on A/B-testimine meetod veebilehe või rakenduse kahe versiooni võrdlemiseks, et teha kindlaks, kumb toimib paremini. Võti on lasta andmetel otsustada, mitte oma instinktil. Praktikas tähendab see selge peamise mõõdiku seadmist — näiteks külastajate osakaal, kes klõpsavad registreerimisvormile — ja ainult ühe muutuja korraga muutmist. Kui muudate nii nuppu kui ka ümbritsevat teksti, ei tea te, kumb põhjustas erinevuse. Samuti peate eelnevalt otsustama, kui kaua test kestab ja milline tõendus paneb teid tegutsema.

See viimane samm on see, mille enamik inimesi vahele jätab. Peaksite enne alustamist otsustama, millist usaldusnivood vajate ja kui suurt efekti proovite tuvastada. Statistiline masinavärk valimi suuruse ja kestuse taga on just see, mis eristab A/B-testi juhuslikust vaatlusest. Kui teie liiklus on liiga väike, et mõistliku aja jooksul selle tõenduseni jõuda, lõpeb täismahus eksperiment tõenäoliselt "mitteveeniva tulemusega" — ja see on reaalne kulu. Üksikasjaliku ülevaate saamiseks, kuidas otsustada, millal olete piisavalt kaua oodanud, on meie praktiline raamistik selle kohta, millal A/B-test lõpetada, hea kaaslane sellele.

Siin on peen lõks. Kui täismahus eksperiment lõpeb ja tulemus on "mitte statistiliselt oluline", võite kiusatuse sattuda järeldusele, et "muudatus ei oma tähtsust." See pole see, mida tulemus tähendab. See tähendab, et teie test ei olnud piisavalt täpne, et erinevust tuvastada, või on erinevus väiksem, kui soovisite leida. See on kasulik teave — saate nüüd otsustada avaldada muude tõendite põhjal, teha pikema testi või valida olulisema muudatuse. Kuid see ei ole tõestus, et uus versioon on halvem. Kui kasutate tehisintellektil põhinevat testimisplatvormi, mis eraldab liiklust dünaamiliselt ja genereerib variante, võib eksperiment jõuda otsuseni kiiremini, kuid sama loogika kehtib: tulemus on usaldusväärne vaid niivõrd, kuivõrd suudate oodata piisavalt tõendeid.

On ka distsipliin, et dokumenteerite, mida õpite. Test, mida te ei dokumenteeri, on lugu, mida räägite kallutatult. Isegi mitteveenev test õpetab teile midagi selle kohta, kui suurt efekti saate oma lehel, oma liikluses ja külastajate kannatlikkuses tegelikult tuvastada. Kirjutage hüpotees, variant, mõõdik ja tulemus ühe lausega üles. Mõne kuu pärast muutub see logi kaardiks sellest, millele teie publik reageerib, ja see teeb iga tulevase otsuse kiiremaks.

Suunatud test: kui kiirus on osa vastusest

Nüüd kaalume madalama riskiga muudatust: hero-pilt teie sihtlehel. Teil on kaks võimalust — ekraanipilt teie armatuurlaualt ja foto inimesest, kes teie toodet kasutab. Te ei tea, kumb kõnetab teie publikut. Vale pildi valimise negatiivne külg on väike. Saate selle minutitega tagasi vahetada. Kuid teil ei pruugi olla piisavalt liiklust, et kuu aja jooksul jõuda õpikukindla tulemuseni. Siia kuulub suunatud test.

Suunatud test on endiselt juhuslik võrdlus, kuid te kasutate teadlikult madalamat tõenduslatti. Otsustate ette, et avaldate uue pildi, kui see toimib peamise mõõdiku järgi paremini suurema osa ühenädalasest aknast või kui see on fikseeritud perioodi lõpuks selgelt ees. Kohtlete tulemust kui soovitust, mitte otsust. Distsipliin on siin sama oluline kui täismahus eksperimendis. Kui te ei võta eelnevalt reeglit, jääte vahtima reaalajas tulemusi ja langetate planeerimata otsuse — ja nii petate end nägema seda, mida soovite näha.

Mis toob mind nõuandeni, mida leiate enamikest A/B-testimise juhenditest: "ära kunagi piilu oma tulemusi enne, kui test on lõppenud." See juhend on õige formaalse eksperimendi puhul, mis otsustab suure käivituse. Kuid üksi tegutseva turundaja jaoks, kellel on tagasihoidlik liiklus, on piilumine see, kuidas kiiresti õpite. Probleem pole selles, et vaatasite numbreid. Probleem on selles, et lasite vaatamisel teha otsuse, mida polnud plaaninud. Kui otsustate ette, milline muster muudaks teie meelt, siis see, mis näeb välja nagu "piilumine", on tegelikult struktureeritud viis madala liiklusega toimetulekuks. Valite õppimiskiiruse kindluse asemel. See on õigustatud kaalutlus, kui olete oma tegemiste suhtes aus ega kuuluta tulemust tõestusena.

Pärast suunatud testi ärge lõpetage mõõtmist. Kui avaldate uue hero-pildi, jälgige konversioonimäära järgmistel nädalatel. Kui see halveneb, pöörduge tagasi. Kui see paraneb, on teil mõningaid tõendeid, et teie suunatud signaal oli õige. Suunatud test on viis kiiresti otsuse tegemiseks, mitte viis vastutusest hoidumiseks. See sobib hästi ka sellise praktilise triaažiga, mida kirjeldatakse meie juhendis A/B-testide prioriseerimiseks üksi tegutsevatele turundajatele — kui teil on võimalike muudatuste ootejärjekord, saate suunatud testide abil otsustada, millised neist väärivad täismahus eksperimenti.

Lihtsalt avalda: kui praegune versioon on juba kaotamas

Mõnikord on kõige tõenduspõhisem otsus mitte üldse testi teha. Oletame, et teie registreerimisvorm küsib telefoninumbrit. Sessioonisalvestustes näete mitut külastajat, kes jõuavad selle väljani, peatuvad ja lahkuvad. Olete saanud toe meile, kus küsitakse, kas telefoninumber on kohustuslik. See väli pole millekski vajalik. Kas peaksite A/B-testiga kontrollima, kas see eemaldada? Ei. Selle eemaldamine on parandus, mitte eksperiment. Praegusel versioonil on teadaolev viga ja muudatus on kergesti tagasipööratav. Paranduse avaldamine ja lõpetamismäära jälgimine on teie aja parem kasutus.

Sama loogika kehtib vananenud lehtede puhul. Kui teie sihtleht kirjeldab endiselt funktsiooni, mida te enam ei paku, on vana lehe testimine uue vastu mõttetu. Kulutate liiklust, et tõestada, et versioon, mida te kunagi ei säilitaks, on halvem kui see, mida soovite avaldada. Te teate seda juba. Õige käik on esmalt avaldada praegune versioon ja seejärel, kui see on reaalajas, teha katseid selle optimeerimiseks.

See on kompromiss, mida enamik A/B-testimise juhendeid ei maini. Iga nädal, mil hoiate nõrka versiooni reaalajas, oodates testi lõppu, on nädal, mil maksate alternatiivkulu. Kui muudatus on madala riskiga ja kergesti tagasipööratav, on kohese avaldamise eeldatav väärtus sageli suurem kui hilisema tõstmise tõestamise väärtus. Te ei jäta mõõtmist vahele — asendate juhusliku eksperimendi enne/pärast võrdlusega. Enne/pärast võrdlus on nõrgem tõendus, kuid see on siiski tõendus, ja see on parem kui neli nädalat veeta ilma ühegi otsuseta.

Enne/pärast test, mida te juba teete

Kui olete muudatuse ilma testita avaldanud, mõõtmine ei lõpe. Nüüd teete enne/pärast eksperimenti koos kõigi sellega kaasnevate reservatsioonidega. Parim viis selle müra vähendamiseks on määrata enne muudatuste tegemist baasmõõdik, avaldada võimalusel madala liiklusega ajal ja vaadata suundumust vähemalt terve nädala jooksul, et te ei reageeriks juhuslikule esmaspäevale. Kui mõõdik liigub soovitud suunas, jätke muudatus alles. Kui see liigub teile vastu, pöörduge tagasi. Kui see üldse ei liigu, saite teada, et muudatus oli neutraalne — mis on samuti teave.

See on režiim, mida enamik inimesi eirab. Nad avaldavad, ei vaata enam kunagi ja hiljem pole nad kindlad, kas muudatus aitas või kahjustas. Enne/pärast võrdlus pole range, kuid see on palju parem kui see mitte miski, mis enamikul veebisaitidel juhtub. Kui teie liiklus on tõesti liiga väike isegi suunatud testi jaoks, on enne/pärast võrdlus sageli ainus tööriist, mis teil on. Signaali saate siiski sessioonisalvestustest, toe tagasisidest ja sellest, kuidas mõõdik pärast muudatust liigub — ükski neist ei nõua juhuslikkust. See on teema, mida käsitleme meie artiklis A/B-testimise kohta ilma liikluseta.

Kolm lähenemisviisi kõrvuti

Siin on võrdlus ühes tabelis.

Lähenemisviis	Parim, kui	Risk eksimisel	Mida saate	Millest loobute
Täismahus eksperiment	Muudatus mõjutab tulu, hinnakujundust või põhivoogusid; teil on piisavalt liiklust, et jõuda otsuseni	Madal (kui järgite statistikat); müra põhjal saate tegutseda ainult siis, kui te neid eirate	Kindel, korratav vastus	Aeg, liiklus ja võime kiiresti tegutseda
Suunatud test	Muudatus on madala riskiga, liiklus on tagasihoidlik ja vajate õppesignaali päevade jooksul	Mõõdukas — võite aeg-ajalt avaldada kaotava variandi	Kiire vihje selle kohta, millega tasub rohkem tegeleda	Tõestus ja võime märgata peeneid mõjusid
Avaldamine ilma testita	Praegune versioon on selgelt halb, muudatus on parandus või muudatus on kergesti tagasipööratav	Madal, eriti pärast avaldamist toimuva jälgimisega	Kiirus ja hoog	Võime omistada muudatus ühele tegurile

Tabel alahindab kolmanda rea jõudu. "Avaldamine ilma testita" saab konversioonioptimeerimise ringkondades kriitikat, kuid see on sageli mõistlik valik üksi tegutsevale turundajale, kellel on pikk ootejärjekord ja piiratud liiklus. Tõeline patt on avaldada ja siis mitte jälgida, mis juhtub.

15-minutiline viis valimiseks

Kui soovite kiiremat protsessi kui kogu raamistiku päheõppimine, kasutage neid nelja küsimust.

Esiteks, kui ma eksin, mis läheb katki? Kui vastus on tulu, usaldus või nõuetele vastavus, tõstke oma tõenduslatti. Kui vastus on "mitte palju", alandage seda. Teiseks, kui kaua saan oodata? Hinnake, kui kaua täismahus eksperiment aega võtaks. Kui see on pikem, kui olete nõus muudatust edasi lükkama, olete juba kitsendanud valiku suunatud testi või avaldamise vahel. Kolmandaks, mida ma vastusega teen? Kui te ei kavatse tulemuse põhjal oma käitumist muuta, ärge testi tehke. Test peaks muutma otsust. Neljandaks, kas saan seda kergesti tagasi pöörata? Tagasipööratavad muudatused on odavad avaldada; pöördumatud või kallid tagasipööramisega muudatused väärivad rohkem tõendeid.

Seejärel valige: kui risk on suur ja saate oodata, tehke täismahus eksperiment. Kui risk on madal ja soovite kiirust, tehke suunatud test. Kui praegune versioon on selgelt halvem ja muudatus on parandus, avaldage see ja jälgige. Kui avastate, et teete teste sellepärast, et tunnete, et peaksite, mitte sellepärast, et muudaksite otsust, on teil tõenäoliselt prioriseerimisprobleem, mitte testimisprobleem. Meie artikkel selle kohta, kuidas lõpetada aja raiskamine A/B-testidele, mis ei loe, on hea järgmine lugemine.

Rakendame seda avaküsimusele. Teil on uus pealkiri ja tagasihoidlik liiklus. Pealkiri on tagasipööratav, negatiivne külg on väike ja te ei taha kuu aega oodata. Selle loogika kohaselt jätaksite täismahus eksperimendi vahele. Te kas teete lühikese suunatud testi, kui soovite mingit signaali, või avaldate pealkirja ja võrrelda järgmise kuu konversioonimäära selle kuu omaga. Mõlemad on õigustatud. See, mis ei ole õigustatud, on veeta neli nädalat "korraliku" testiga, mille lõpetamiseks pole teil liiklust, ja seejärel nimetada mitteveenev tulemus ebaõnnestumiseks.

Statistilise olulisuse lõks, mida tasub jälgida

Statistiline olulisus ütleb teile, kas tulemus on tõenäoliselt tõeline, mitte kas see loeb. Muudatus võib olla statistiliselt oluline, kuid siiski liiga väike, et õigustada pingutust. Teisalt võib suunatud test näidata mustrit, mis on tõeline, kuid liiga väike, et seda teie liiklusega tuvastada. Kui valite madalama tõenduslati, aktsepteerite nii rohkem valepositiivseid kui ka valenegatiivseid. See on kompromiss, mitte ebaõnnestumine.

Teine eristus, mida tasub endaga kaasas kanda, on praktiline vs. statistiline olulisus. Muudatus võib olla statistiliselt oluline ja siiski liiga väike, et tähtsust omada. Oletame, et uus nupp suurendab klikke nii pisut, et ühe lisaregistreerimiseni jõudmiseks kuluks kuid. See tulemus on tõeline, kuid selle nimel pole mõtet oma lehte ümber ehitada. Teisalt võib muudatus, mis ei ole statistiliselt oluline, olla praktiliselt oluline, kui muster on järjekindel ja tegutsemise kulu on nullilähedane. Kui valite kolme lähenemisviisi vahel, küsige, kas efekti suurus, mis teile korda läheb, on midagi, mida teie eksperiment suudab tegelikult tuvastada. Kui ei, siis ei vali te testimise ja avaldamise vahel; valite kahe teadmatuse vormi vahel.

Seetõttu põhineb selle artikli otsustusraamistik eksimise hinnal. Kui valepositiivne on odav — näiteks avaldate veidi halvema pealkirja ja muudate selle tagasi — saate endale lubada madalat tõenduslatti. Kui valenegatiivne tähendab, et jääte ilma olulisest täiustusest, võite soovida testimist kauem jätkata. Üksi tegutseva turundajana ei saa te kõike optimeerida. Valite tasakaalu õppimiskiiruse ja enesekindluse vahel. Sügavamaks vaatamiseks numbrite lugemisele ilma mürast eksitamata vaadake meie juhendit, kuidas A/B-testi tulemusi õigesti tõlgendada.

Praktiline järeldus

Selle raamistiku mõte ei ole vähem testida. See on kohandada oma tõendusstandard panustega. Täismahus eksperiment on võimas tööriist, kui muudatus on oluline ja teil on kannatust oodata. Suunatud test on mõistlik kesktee, kui peate õppima kiiremini, kui teie liiklus võimaldab. Ja ilma testita avaldamine on mõnikord kõige ausam valik, kui praegune versioon on juba kaotamas — seni, kuni jälgite, mis edasi juhtub.

Järgmine kord, kui tekib kiusatus küsida "kas ma peaksin seda A/B-testima?", küsige parem küsimus: "Mida maksab mulle eksimine?" Vastus ütleb teile, millist kolmest lähenemisviisist kasutada, ja see otsus säästab teile rohkem aega ja liiklust kui ükski testimistööriist kunagi.