A/B testas, kryptinis testas ar tiesiog išleisti? Rizika pagrįsta metodika vienas dirbantiems rinkodaros specialistams

Santrauka

Dauguma A/B testavimo patarimų daro prielaidą, kad turite neribotą srautą ir kantrią komandą. Iš tikrųjų vienas dirbantis rinkodaros specialistas dažnai turi pasirinkti tarp pilno eksperimento, trumpo kryptinio testo ir pakeitimo išleidimo be jokio testo. Šiame straipsnyje pristatoma rizika pagrįsta sistema šiam sprendimui, orientuota į klaidos kainą ir laukimo kainą. Jame aptariama, ką daryti, kai rezultatas "nėra statistiškai reikšmingas" ir kodėl tai nėra tas pats, kas nepavykęs pakeitimas. Sužinosite, kada ankstyvas žvilgsnis gali būti naudingas, kada išleidimas dabar pranoksta laukimą įrodymų ir kaip matuoti prieš/pasikeitus, kai praleidžiate testą. Pagrindinė mintis yra ne testuoti mažiau, o priderinti savo įrodymų standartą prie faktinių statymų.

Ar turėtumėte atlikti A/B testą, atlikti trumpesnį "kryptinį" testą, ar tiesiog atlikti pakeitimą ir stebėti, kas atsitiks? Jei esate atsakingas už savo svetainės konversijų rodiklį ir neturite specialios komandos šalia savęs, tai tikriausiai yra dažniausias sprendimas, kurį priimate. Standartinis patarimas sako testuoti viską, bet tas patarimas daro prielaidą, kad turite perteklinį srautą, laiko laukti ir aiškų metriką stebėti. Jūs dažnai neturite nė vieno iš tų. Šis straipsnis apžvelgia tris įrodymų standartus ir suteikia jums būdą pasirinkti tarp jų per minutes, o ne dienas.

Pirmas dalykas, kurį reikia suprasti, yra tai, kad A/B testavimas iš tikrųjų nėra apie patį pakeitimą. Tai apie tai, kiek esate pasirengę mokėti už klaidą. Apsvarstykite du tos pačios svetainės pakeitimus. Jūs valdote projektų valdymo įrankį. Norite pakeisti pagrindinio puslapio antraštę iš "Valdyti projektus" į "Planuokite projektus per pusę laiko." Taip pat norite pakeisti kainodaros puslapį, kad lankytojai galėtų pasirinkti metinį planą kartu su mėnesiniu. Abu pakeitimai liečia tą pačią svetainę ir abu gali būti testuojami vienodai. Bet klaidos kaina yra labai skirtinga. Jei antraštė neteisinga, lankytojas keletą dienų mato šiek tiek mažiau efektyvią žinutę, ir jūs galite be vargo grąžinti senąją. Jei kainodaros struktūra neteisinga, galite suklaidinti potencialius klientus, užpildyti savo palaikymo pašto dėžutę klausimais ir nustatyti lūkestį, kuris neatitinka to, kaip iš tikrųjų sąskaitas išrašote. Grįžimas atgal nėra nemokamas. Ta pati logika taikoma kiekvienam pakeitimui, kurį svarstote, nuo mygtukų etikečių iki viso puslapio perkūrimo.

Štai kodėl niekas negali jums duoti universalaus atsakymo į "ar turėčiau testuoti?" Atsakymas priklauso nuo to, kiek jums kainuoja klaidingai teigiamas rezultatas, kiek kainuoja klaidingai neigiamas rezultatas ir ko atsisakote laukdami. Pažvelkime į tris variantus išsamiai.

Pilnas eksperimentas: kai įrodymų kartelė yra aukšta

Įsivaizduokite, kad testuojate, ar pakeisti mygtuką savo pagrindiniame registracijos puslapyje iš "Pradėti nemokamą bandomąjį laikotarpį" į "Pradėti." Vienam įkūrėjui tai yra labai matomas pakeitimas, esantis jūsų piltuvo įėjime. Tai gali paveikti bandomųjų laikotarpių registracijas, kurios maitina viską toliau. Turite pastovų lankytojų srautą, bet ne didelį. Tai geras kandidatas pilnam eksperimentui.

Pilnas eksperimentas turi konkrečią reikšmę. Atsitiktinai padalinate lankytojus, vienai grupei rodote originalią versiją, kitai – pakeistą, ir lyginate elgseną pagal metriką, kurią pasirenkate prieš pradėdami. Kaip apibrėžta Optimizely žodyne, A/B testavimas yra dviejų tinklalapio ar programos versijų palyginimo metodas, siekiant nustatyti, kuri veikia geriau. Svarbiausia, kad leidžiate duomenims nuspręsti, o ne savo instinktui. Praktiškai tai reiškia aiškios pagrindinės metrikos nustatymą – tarkime, lankytojų, kurie spusteli į registracijos formą, dalį – ir keičiant tik vieną kintamąjį vienu metu. Jei pakeisite ir mygtuką, ir aplinkinį tekstą, nežinosite, kuris sukėlė skirtumą. Ir turite iš anksto nuspręsti, kiek ilgai vyks testas ir kokie įrodymai paskatins jus veikti.

Tą paskutinį žingsnį dauguma žmonių praleidžia. Prieš pradėdami turėtumėte nuspręsti, kokio pasitikėjimo lygio jums reikia ir kokio dydžio efektą bandote aptikti. Statistinis mechanizmas, susijęs su imties dydžiu ir trukme, yra būtent tai, kas A/B testą skiria nuo atsitiktinio stebėjimo. Jei jūsų srautas per mažas, kad per protingą laiką pasiektumėte tą įrodymą, pilnas eksperimentas greičiausiai baigsis "neaišku" – ir tai yra reali kaina. Norėdami išsamiai sužinoti, kaip nuspręsti, kada jau pakankamai laukėte, mūsų praktinė sistema, kada sustabdyti A/B testą, yra geras šio straipsnio palydovas.

Čia yra subtili spąstai. Jei pilnas eksperimentas baigiasi ir rezultatas yra "nėra statistiškai reikšmingas", galite būti linkę daryti išvadą "pakeitimas nesvarbus." Tai nėra tai, ką rezultatas reiškia. Tai reiškia, kad jūsų testas nebuvo pakankamai tikslus, kad aptiktų skirtumą, arba skirtumas yra mažesnis nei norėjote rasti. Tai naudinga informacija – dabar galite nuspręsti išleisti remdamiesi kitais įrodymais, atlikti ilgesnį testą arba pasirinkti reikšmingesnį pakeitimą. Bet tai nėra įrodymas, kad nauja versija yra prastesnė. Jei naudojate dirbtiniu intelektu pagrįstą testavimo platformą, kuri dinamiškai paskirsto srautą ir generuoja variantus, eksperimentas gali greičiau pasiekti sprendimą, tačiau ta pati logika galioja: rezultatas yra tiek patikimas, kiek jūsų gebėjimas laukti pakankamai įrodymų.

Taip pat yra disciplina dokumentuoti tai, ko išmokstate. Testas, kurio nedokumentuojate, yra istorija, kurią perpasakosite su šališkumu. Net neaiškus testas išmoko jus apie efekto dydį, kurį iš tikrųjų galite aptikti savo puslapyje, savo srautą ir lankytojų kantrybę. Užsirašykite hipotezę, variantą, metriką ir rezultatą vienu sakiniu. Po kelių mėnesių tas žurnalas tampa žemėlapiu, į ką reaguoja jūsų auditorija, ir tai pagreitina kiekvieną būsimą sprendimą.

Kryptinis testas: kai greitis yra atsakymo dalis

Dabar apsvarstykite mažesnės rizikos pakeitimą: herojaus paveikslėlį savo nukreipimo puslapyje. Turite du variantus – savo prietaisų skydelio ekrano nuotrauką ir žmogaus, naudojančio jūsų produktą, nuotrauką. Nežinote, kuris sudomins jūsų auditoriją. Neteisingo paveikslėlio pasirinkimo trūkumai yra maži. Galite jį pakeisti atgal per kelias minutes. Bet gali nepakakti srauto, kad per mėnesį pasiektumėte vadovėlinio pasitikėjimo rezultatą. Čia ir yra vieta kryptiniam testui.

Kryptinis testas vis dar yra atsitiktinis palyginimas, bet jūs sąmoningai naudojate žemesnę įrodymų kartelę. Iš anksto nusprendžiate, kad išleisite naują paveikslėlį, jei jis geriau veiks pagal pagrindinę metriką didžiąją savaitės lango dalį arba jei iki fiksuoto laikotarpio pabaigos bus aiškiai priekyje. Į rezultatą žiūrite kaip į rekomendaciją, o ne nuosprendį. Disciplina čia svarbi tiek pat, kiek ir pilname eksperimente. Jei iš anksto neįsipareigojate taisyklės, galų gale spoksosite į tiesioginius rezultatus ir priimsite neplanuotą sprendimą – ir taip apgaudinėjate save, matydami tai, ką norite matyti.

Tai mane atveda prie patarimo, kurį rasite daugumoje A/B testavimo vadovų: "niekada nežiūrėkite į rezultatus, kol testas nesibaigė." Tas patarimas tinka oficialiam eksperimentui, kuris nuspręs svarbų paleidimą. Bet vienam dirbančiam rinkodaros specialistui su nedideliu srautu žvilgčiojimas yra būdas greitai mokytis. Problema ne tai, kad pažiūrėjote į skaičius. Problema ta, kad leidote žvilgsniui priimti sprendimą, kurio neplanavote. Jei iš anksto nusprendžiate, koks modelis pakeistų jūsų nuomonę, tada tai, kas atrodo kaip "žvilgčiojimas", iš tikrųjų yra struktūrizuotas būdas tvarkyti mažą srautą. Jūs renkatės mokymosi greitį, o ne tikrumą. Tai teisėtas mainas, jei esate sąžiningi dėl to, ką darote, ir neskelbiate rezultato kaip įrodymo.

Po kryptinio testo nesustokite matuoti. Jei išleidžiate naują herojaus paveikslėlį, stebėkite konversijų rodiklį kelias savaites. Jei jis prastėja, grąžinkite atgal. Jei gerėja, turite šiek tiek įrodymų, kad jūsų kryptinis signalas buvo teisingas. Kryptinis testas yra būdas greitai priimti sprendimą, o ne būdas išvengti atsakomybės. Jis taip pat puikiai dera su praktinio rūšiavimo rūšimi, aprašyta mūsų vadove apie A/B testų rūšiavimą vienas dirbantiems rinkodaros specialistams – jei turite galimų pakeitimų sąrašą, galite naudoti kryptinius testus, kad nuspręstumėte, kurie nusipelno pilno eksperimento.

Tiesiog išleiskite: kai dabartinė versija jau pralaimi

Kartais labiausiai įrodymais pagrįstas sprendimas yra iš viso neatlikti testo. Tarkime, jūsų registracijos forma prašo telefono numerio. Seansų įrašuose matote, kaip keli lankytojai pasiekia tą lauką, sustoja ir išeina. Gavote palaikymo el. laiškų, klausiančių, ar reikalingas telefono numeris. Šis laukas niekam nereikalingas. Ar turėtumėte atlikti A/B testą, ar jį pašalinti? Ne. Jo pašalinimas yra pataisymas, o ne eksperimentas. Dabartinė versija turi žinomą trūkumą, o pakeitimas lengvai pakeičiamas atgal. Pataisymo išleidimas ir užbaigimo rodiklio stebėjimas yra geresnis jūsų laiko panaudojimas.

Ta pati logika taikoma pasenusiems puslapiams. Jei jūsų nukreipimo puslapis vis dar aprašo funkciją, kurios nebeteikiate, testuoti seną puslapį su nauju yra beprasmiška. Jūs išleidžiate srautą, kad įrodytumėte, jog versija, kurios niekada neišlaikytumėte, yra prastesnė už tą, kurią norėtumėte išleisti. Jūs jau tai žinote. Teisingas žingsnis yra pirmiausia išleisti dabartinę versiją, o tada, kai ji bus gyva, atlikti eksperimentus jai optimizuoti.

Tai yra kompromisas, kurio dauguma A/B testavimo vadovų nemini. Kiekviena savaitė, kai laikote silpną versiją gyvą, laukdami, kol testas baigsis, yra savaitė, kai mokate alternatyviąsias sąnaudas. Jei pakeitimas yra mažos rizikos ir lengvai pakeičiamas atgal, tikėtina išleidimo dabar vertė dažnai pranoksta vertę įrodyti padidėjimą vėliau. Jūs nepraleidžiate matavimo – pakeičiate atsitiktinį eksperimentą palyginimu prieš/po. Palyginimas prieš/po yra silpnesnis įrodymas, bet vis tiek įrodymas, ir jis geresnis nei praleisti keturias savaites be jokio sprendimo.

Prieš/po testas, kurį jau vykdote

Kai išleidžiate pakeitimą be testo, matavimas nesibaigia. Dabar vykdote prieš/po eksperimentą su visais su juo susijusiais įspėjimais. Geriausias būdas sumažinti triukšmą yra nustatyti pradinę metriką prieš ką nors keičiant, išleisti mažo srauto metu, jei galite, ir stebėti tendenciją bent visą savaitę, kad nereaguotumėte į atsitiktinį pirmadienį. Jei metrika juda norima kryptimi, palikite pakeitimą. Jei juda prieš jus, grąžinkite atgal. Jei ji visai nejuda, sužinojote, kad pakeitimas buvo neutralus – tai taip pat informacija.

Tai režimas, kurį dauguma žmonių ignoruoja. Jie išleidžia, tada niekada nebežiūri, o vėliau nesupranta, ar pakeitimas padėjo, ar pakenkė. Palyginimas prieš/po nėra griežtas, bet tai daug geriau nei niekas, kas vyksta daugumoje svetainių. Jei jūsų srautas tikrai per mažas net kryptiniam testui, palyginimas prieš/po dažnai yra vienintelis įrankis, kurį turite. Vis tiek galite gauti signalą iš seansų įrašų, palaikymo atsiliepimų ir to, kaip metrika keičiasi po pakeitimo – nė vienas iš jų nereikalauja atsitiktinumo. Tai sritis, aptarta mūsų straipsnyje apie A/B testavimą be srauto.

Trys metodai greta

Čia yra palyginimas vienoje lentelėje.

Metodas	Geriausias, kai	Rizika, jei klystate	Ką gaunate	Ko atsisakote
Pilnas eksperimentas	Pakeitimas veikia pajamas, kainodarą ar pagrindinius srautus; turite pakankamai srauto, kad pasiektumėte sprendimą	Maža (jei laikotės statistikos); galite veikti pagal triukšmą tik jei jį ignoruojate	Tikras, pakartojamas atsakymas	Laikas, srautas ir gebėjimas veikti greitai
Kryptinis testas	Pakeitimas yra mažos rizikos, srautas nedidelis, ir jums reikia mokymosi signalo per kelias dienas	Vidutinė – kartais galite išleisti pralaimintį variantą	Greita užuomina, ką verta daryti daugiau	Įrodymas ir gebėjimas pastebėti subtilius efektus
Išleisti be testavimo	Dabartinė versija aiškiai prasta, pakeitimas yra pataisymas arba lengvai pakeičiamas atgal	Maža, ypač stebint po išleidimo	Greitis ir pagreitis	Gebėjimas priskirti pakeitimą vienam veiksniui

Lentelė neįvertina trečios eilutės galios. "Išleisti be testavimo" sulaukia kritikos konversijų optimizavimo sluoksniuose, bet dažnai tai yra racionalus pasirinkimas vienam dirbančiam rinkodaros specialistui, turinčiam ilgą darbų sąrašą ir ribotą srautą. Tikroji nuodėmė yra išleisti ir tada nežiūrėti, kas atsitinka.

15 minučių būdas pasirinkti

Jei norite greitesnio proceso nei įsiminti visą sistemą, naudokite šiuos keturis klausimus.

Pirma, jei klystu, kas sugestų? Jei atsakymas yra pajamos, pasitikėjimas ar atitiktis, pakelkite įrodymų kartelę. Jei atsakymas yra "nedaug", nuleiskite ją. Antra, kiek ilgai galiu laukti? Įvertinkite, kiek laiko užtruktų pilnas eksperimentas. Jei tai ilgiau nei norite atidėti pakeitimą, jau susiaurinote pasirinkimą iki kryptinio testo ar išleidimo. Trečia, ką darysiu su atsakymu? Jei neketinate keisti savo elgesio pagal rezultatą, neatlikite testo. Testas turėtų pakeisti sprendimą. Ketvirta, ar galiu lengvai pakeisti atgal? Grįžtami pakeitimai yra pigūs išleisti; negrįžtami arba brangūs atšaukti pakeitimai nusipelno daugiau įrodymų.

Tada pasirinkite: jei rizika didelė ir galite laukti, atlikite pilną eksperimentą. Jei rizika maža ir norite greičio, atlikite kryptinį testą. Jei dabartinė versija aiškiai prastesnė, o pakeitimas yra pataisymas, išleiskite ir stebėkite. Jei pastebite, kad atliekate testus, nes jaučiate, kad turėtumėte, o ne todėl, kad pakeisite sprendimą, tikriausiai turite prioritetų problemą, o ne testavimo problemą. Mūsų straipsnis apie tai, kaip nustoti gaišti laiką A/B testams, kurie neturi reikšmės, yra geras kitas skaitinys.

Taikykime tai pradiniam klausimui. Turite naują antraštę ir nedidelį srautą. Antraštė yra grįžtama, trūkumai maži, ir nenorite laukti mėnesio. Pagal šią logiką praleistumėte pilną eksperimentą. Atliktumėte trumpą kryptinį testą, jei norite signalo, arba išleistumėte antraštę ir palygintumėte kito mėnesio konversijų rodiklį su šio mėnesio. Abu variantai yra pagrįsti. Kas nėra pagrįsta, tai praleisti keturias savaites "tinkamam" testui, kuriam neturite srauto užbaigti, o tada vadinti neaiškų rezultatą nesėkme.

Reikšmingumo spąstai, kurių turėtumėte saugotis

Statistinis reikšmingumas sako, ar rezultatas tikriausiai realus, o ne ar jis svarbus. Pakeitimas gali būti statistiškai reikšmingas ir vis tiek per mažas, kad pateisintų pastangas. Kita vertus, kryptinis testas gali parodyti modelį, kuris yra realus, bet per mažas, kad jį aptiktumėte su savo srautu. Kai pasirenkate žemesnę įrodymų kartelę, priimate tiek daugiau klaidingai teigiamų, tiek daugiau klaidingai neigiamų rezultatų. Tai kompromisas, o ne nesėkmė.

Kitas skirtumas, kurį verta turėti omenyje, yra praktinė vs. statistinė reikšmė. Pakeitimas gali būti statistiškai reikšmingas ir vis tiek per mažas, kad būtų svarbus. Tarkime, naujas mygtukas padidina paspaudimus tokiu mažu kiekiu, kad prireiktų mėnesių, kol tai virstų viena papildoma registracija. Tas rezultatas yra realus, bet neverta dėl jo perkurti puslapio. Kita vertus, pakeitimas, kuris nėra statistiškai reikšmingas, vis tiek gali būti praktiškai svarbus, jei modelis yra nuoseklus, o veikimo kaina beveik nulinė. Kai renkatės iš trijų metodų, paklauskite, ar efekto dydis, kuris jums rūpi, yra tai, ką jūsų eksperimentas iš tikrųjų gali aptikti. Jei ne, renkatės ne tarp testavimo ir išleidimo; renkatės tarp dviejų nežinojimo formų.

Štai kodėl šiame straipsnyje pateikta sprendimų sistema yra pagrįsta klaidos kaina. Jei klaidingai teigiamas rezultatas yra pigus – tarkime, išleidžiate šiek tiek prastesnę antraštę ir pakeičiate ją atgal – galite sau leisti žemą įrodymų kartelę. Jei klaidingai neigiamas rezultatas reiškia, kad praleidžiate reikšmingą patobulinimą, galbūt norėsite testuoti ilgiau. Kaip vienas dirbantis rinkodaros specialistas, negalite visko optimizuoti. Renkatės pusiausvyrą tarp mokymosi greičio ir pasitikėjimo. Norėdami giliau pažvelgti į skaičių skaitymą nepasiklydę triukšme, žr. mūsų vadovą, kaip teisingai interpretuoti A/B testų rezultatus.

Praktinė išvada

Šios sistemos esmė yra ne testuoti mažiau. Tai priderinti savo įrodymų standartą prie statymų. Pilnas eksperimentas yra galingas įrankis, kai pakeitimas svarbus ir turite kantrybės laukti. Kryptinis testas yra protingas vidurio kelias, kai jums reikia mokytis greičiau, nei leidžia jūsų srautas. O išleidimas be testo kartais yra sąžiningiausias pasirinkimas, kai dabartinė versija jau pralaimi – tol, kol stebite, kas atsitinka po to.

Kitą kartą, kai norėsite paklausti "ar turėčiau tai A/B testuoti?", paklauskite geresnio klausimo: "Kiek man kainuotų klysti?" Atsakymas pasakys, kurį iš trijų metodų naudoti, ir tas sprendimas sutaupys jums daugiau laiko ir srauto nei bet koks testavimo įrankis kada nors.