Vieno rinkodaros specialisto A/B testų rūšiavimas: kada testuoti, vertinti ar išleisti

Santrauka

Jei esate vienas rinkodaros specialistas, kiekvienas A/B testas, kurį paleidžiate, kainuoja jums laiką ir srautą, kurių neturite. Dauguma testavimo idėjų nusipelno greitesnio ir pigesnio sprendimo nei formalus eksperimentas. Šis vadovas pristato trijų kategorijų sprendimų sistemą: formalų A/B testą didelės rizikos klausimams, kai srauto pakanka, kryptinį vertinimą neaiškiems atvejams, kai duomenų mažai, ir paleidimą bei matavimą akivaizdiems pataisymams. Sužinosite, kaip klasifikuoti kiekvieną idėją, kur tinka AI eksperimentai ir kodėl greičiausias kelias į geresnę konversiją dažnai yra visiškai atsisakyti testavimo. Nustokite vykdyti testus, kurie negali duoti išvadų, ir pradėkite priimti sprendimus.

Jūsų testavimo užduočių sąraše yra daugiau elementų, nei galite įvykdyti šį ketvirtį. Jūsų srauto skaičiuoklė sako, kad reikia daug daugiau lankytojų, nei turėsite šį mėnesį, kad pastebėtumėte reikšmingą skirtumą, ir jūs esate vienintelis žmogus, kuriam rūpi rezultatai. Jūs jau paleidote vieną testą, ir jis vyksta savaites be pabaigos matymo. Jūs neturite duomenų mokslininko, kurio paklaustumėte, ar laukti, ar nutraukti.

Sustokite. Problema ne jūsų testavimo įrankis ar statistinės žinios. Problema ta, kad vertinate kiekvieną idėją taip, lyg ji nusipelnė formalaus A/B testo. Bet taip nėra.

Naudokite paprastą rūšiavimą. Kiekvienas testavimo kandidatas patenka į vieną iš trijų kategorijų:

• Formalus A/B testas. Tik klausimams, kuriuose klaidingas atsakymas yra brangus ir turite pakankamai srauto patikimam atsakymui gauti.
• Kryptinis vertinimas. Neaiškiems atvejams, kai jums trūksta duomenų. Gaunate užuominą, o ne įrodymą.
• Paleidimas ir matavimas. Akivaizdiems pataisymams ir mažos rizikos pakeitimams. Pakeiskite puslapį, stebėkite analitiką, judėkite toliau.

Sprendimas	Formalus A/B testas	Kryptinis vertinimas	Paleidimas ir matavimas
Kada naudoti	Didelės rizikos puslapis su pakankamu srautu	Neaiškus atvejis su mažu srautu	Stiprus įsitikinimas, aiški problema
Reikalingas srautas	Pakankamas reikšmingumui pasiekti	Ką turite	Nereikia
Laiko sąnaudos	Nuo savaičių iki mėnesių	Viena-dvi savaitės	Valandos
Ką gaunate	Patikimą atsakymą	Kryptinę užuominą	Veikiantį pakeitimą ir duomenis
Rizika	Nepakankamas testas švaisto savaites	Triukšmo priėmimas už signalą	Kontrolės praradimas

Formalus A/B testas: kada iš tikrųjų galite padaryti išvadą

Jūs valdote nišinę B2B programinės įrangos įmonę. Jūsų tinklaraštis pritraukia nuolatinį lankytojų srautą, o jūsų kainų puslapis yra pagrindinis pajamų variklis. Jūs svarstote antraštės pakeitimą. Tai didelės rizikos: jei žengsite neteisingą žingsnį, prarasite mėnesių pajamų potencialą. Jei teisingą – laimėsite tiek pat.

Padarykite tai tinkamai. Prieš ką nors liesdami, užrašykite vieno sakinio hipotezę: „Pakeitus antraštę iš funkcijos aprašymo į naudos teiginį, padidės demonstracijų užklausų skaičius." Pasirinkite tiksliai vieną pagrindinį metriką: demonstracijų užklausos vienam lankytojui. Iš anksto nuspręskite, kiek laiko testas turės vykti. Naudokite imties dydžio skaičiuoklę, ir jei ji sako, kad jums reikėtų gerokai daugiau srauto, nei turite, sustokite. Tai ne testas, kurį galite atlikti.

Kai testas vyksta, nežiūrėkite į rezultatus kasdien. Nesustokite anksti vien todėl, kad skaičiai atrodo gerai. Nustatykite trukmę, leiskite jam vykti, o tada pažiūrėkite. Tai klasikinis metodas, kurį aprašo „Optimizely": atsitiktinai padalinkite auditoriją, parodykite kiekvienai grupei skirtingą versiją ir leiskite elgsenai nuspręsti.

Trys reikalavimai, ir visi jie privalo būti teisingi:

1. Klaidingas atsakymas yra brangus.
2. Galite pasiekti statistinį reikšmingumą per pagrįstą laikotarpį.
3. Testuojate tiksliai vieną kintamąjį.

Jei bent vienas iš jų yra neteisingas, formalus testas yra ne ta kategorija. Vienu metu keisdami du kintamuosius užteršite eksperimentą – nesužinosite, kas lėmė padidėjimą. Testavimas dėl paties testavimo degina vienintelį išteklių, kurio negalite atpirkti: laiką.

Jei negalite tenkinti šių sąlygų, perkelkite testą į kitą kategoriją. Antraštės pakeitimas yra didelės rizikos; mygtuko spalva – ne. Išleiskite testavimo biudžetą klausimams, kurie keičia jūsų verslo formą, o ne smulkmenoms.

Dar viena priežastis taupyti formalius testus: jie lėti. Kol testas vyksta, galėtumėte išleisti tris akivaizdžius patobulinimus ir juos pamatuoti. Tikroji formalaus testo kaina yra ne tik vykdymo laikas; tai kiekvienas kitas pakeitimas, kurį atidėjote laukdami.

Taip pat nuspręskite, ką darysite su rezultatu prieš paleisdami testą. Jei testas laimi, koks kitas žingsnis? Jei pralaimi, kas tada? Išankstinis apsisprendimas apsaugo nuo vėlesnio rezultatų racionalizavimo.

Kryptinis vertinimas: kai jums trūksta duomenų

Esate laisvai samdomas konsultantas su nedidele svetaine. Turite dvi antraščių parinktis pagrindiniam puslapiui. Jūs neturite pakankamai srauto, kad per mėnesį pasiektumėte reikšmingumą, bet pasirinkimas vis tiek atrodo svarbus. Įprastas patarimas yra „tiesiog atlikite A/B testą" – ir tas patarimas jūsų situacijai yra neteisingas.

Vietoj to atlikite kryptinį vertinimą. Nustatykite griežtą laiko limitą: vieną savaitę, daugiausiai dvi. Padalinkite srautą 50/50. Pabaigoje pažiūrėkite, kuri antraštė sulaukė daugiau paspaudimų. Tada naudokite tai kaip informaciją savo sprendimui, o ne kaip nuosprendį.

Gudrybė yra užrašyti savo lūkestį prieš žiūrint: „Tikiu, kad antraštė, orientuota į naudą, veiks geriau." Jei duomenys sutinka, išleiskite ją užtikrintai. Jei prieštarauja, paklauskite kodėl. Jei per sunku nuspręsti, pasirinkite tą, kuri atitinka jūsų kitus tyrimus. Jūs nesiekiate tikrumo. Jūs ieškote postūmio.

Kiek laiko turėtų trukti kryptinis vertinimas? Pakankamai ilgai, kad pamatytumėte modelį, ir pakankamai trumpai, kad neprarastumėte mėnesio. Jei ta pati versija laimi kiekvieną dieną, tai signalas. Jei laimėtojas kasdien keičiasi, tai triukšmas. Pasirinkite versiją, kuri atrodo tinkama, ir judėkite toliau.

Naudokite paprastą skaičiuoklę, kad kasdien sektumėte rezultatus. Tai priverčia tikrai pažvelgti į modelį, o ne laukti pabaigos.

Tai nėra formalus A/B testavimas. Neapsimeskite, kad tai jis. Nepridėkite reikšmingumo slenksčių prie kryptinio vertinimo. Nepraneškite suinteresuotai šaliai „mes tai ištestavome". Sakykite „atlikome greitą patikrą, ir kryptis atrodė daug žadanti". Perdėtai teigdami kryptinio vertinimo rezultatus, galite įgyti klaidingą pasitikėjimą ir priimti blogesnius sprendimus kitą mėnesį.

Jei jums reikia išsamesnės sistemos mažo srauto testavimui, kryptinio vertinimo vadovas apžvelgia visą metodą.

Paleidimas ir matavimas: kai testavimas yra neteisingas pasirinkimas

Jūsų atsiskaitymo puslapyje yra privalomas laukas „įmonės pavadinimas". Jūs gavote pasikartojančius palaikymo el. laiškus iš klientų, kurie nežino, ką įvesti. Jūsų konversijų rodiklis kenčia. Ką jūs testuojate?

Pašalinkite lauką. Netestuokite jo.

Tai skamba per daug akivaizdžiai, kad būtų verta sakyti, bet dažniausias savęs sabotavimas tarp vienų dirbančių rinkodaros specialistų yra akivaizdžių pataisymų pavertimas eksperimentais. Jūs sutrumpinate ilgą formą iki minimumo, nes žinote, kad trintis naikina konversijas. Jūs perkeliate pasitikėjimo signalus į pirmąjį ekraną, nes jūsų klientų interviu pilni pasitikėjimo prieštaravimų. Jūs pakeičiate mygtuko tekstą, kuris akivaizdžiai klaidina lankytojus. Nė vienam iš šių dalykų nereikia testo. Jiems reikia paleidimo.

Po paleidimo matuokite. Savaitę stebėkite formos užpildymus savo analitikoje. Jei skaičius juda teisinga kryptimi, palikite. Jei juda neteisinga, grąžinkite atgal. Dabar turite pradinį rodiklį ir duomenų tašką. To pakanka.

Prieštaringa tiesa: testavimas nėra dorybė. Per mažos imties testas, kuris tęsiasi savaites ir baigiasi „neaiškus", kainuoja jums laiką, kurį galėjote skirti akivaizdaus patobulinimo paleidimui. Tai taip pat išmoko jūsų laukti įrankio leidimo, kai jūsų pačių įrodymai jau yra stiprūs.

Kas laikoma „akivaizdu"? Turite kelis įrodymų šaltinius: vartotojų atsiliepimus, palaikymo el. laiškus, analitiką, rodančią, kur žmonės iškrenta, savo akis puslapyje. Kai keli rodikliai rodo tą pačią kryptį, jums nereikia eksperimento patvirtinimui. Jums reikia paleidimo.

Vienas įspėjimas: jei pakeitimas pigiai testuojamas ir turite srauto, drąsiai testuokite. Taisyklė nėra „niekada netestuokite akivaizdžių dalykų". Taisyklė yra „netestuokite akivaizdžių dalykų, kai testas truktų ilgiau nei pats pataisymas".

Sukurkite paprastą sistemą paleistų pakeitimų sekimui. Skaičiuoklę su data, pakeitimu, metrika ir rezultatu. Tai paverčia kiekvieną paleidimą mažu eksperimentu. Laikui bėgant susikursite sprendimų dienoraštį.

Prieš įtraukdami ką nors į savo užduočių sąrašą, paklauskite savęs: „Ar jau žinau atsakymą?" Jei taip, paleiskite. Jei ne ir negalite atlikti tikro testo, atlikite kryptinį vertinimą. Tik tikrai neaiškūs ir didelės rizikos klausimai nusipelno formalaus eksperimento. Jei jums sunku įžvelgti, kurios idėjos vertos jūsų laiko, šis vadovas, kaip prioritizuoti testus, kurie tikrai konvertuoja, padės.

AI eksperimentų spąstai: greitesnės klaidos, o ne greitesni atsakymai

Esate girdėję apie AI pagrįstą A/B testavimą. Jis dinamiškai paskirsto srautą, generuoja variantus ir realiuoju laiku analizuoja rezultatus. Tai skamba kaip duomenų mokslininkas dėžutėje – būtent tai, ko jums reikia kaip vieno asmens rinkodaros skyriui.

Štai koks kabliukas: AI nesukuria srauto. Jis perskirsto jau turimą srautą. Jei jūsų srautas yra nedidelis, AI eksperimentas vis tiek yra kryptinis vertinimas, tik su didesniu varikliu ir garsesniu balsu, kuris vadina jį reikšmingu. Jis gali rasti klaidingus laimėtojus greičiau, nei jūs spėsite juos patikrinti.

Atnaujinimas yra realus komandoms, turinčioms mastą. Jei turite pakankamai sesijų, kad padalijus 50/50 kiekvienas variantas gautų pakankamai apimties, AI eksperimentas gali padėti greitai išbandyti daugybę variacijų. Jei srautas vos teka, sutelkite dėmesį į rankinį metodą. AI nesukurs duomenų iš nieko.

Kai naudojate AI eksperimentą, nustatykite apsaugas. Pats apibrėžkite pagrindinę metriką. Nustatykite sustabdymo taisyklę. Prieš paleisdami nuspręskite, kaip atrodo reikšmingas pagerėjimas. Neleiskite įrankiui pasirinkti, kas laikoma sėkme. Taip pat apsvarstykite, ką AI optimizuoja. Jei jis optimizuoja paspaudimus, gali paaukoti svarbesnę metriką, pavyzdžiui, registracijas ar pajamas. Jūs turite nustatyti tikslą. AI eksperimentas yra įrankis, o ne vadovas.

Ir niekada neleiskite žodžiui „AI" pakeisti pagrindinių dalykų: vieno aiškaus klausimo, pagrįsto laiko rėmo ir veiksmų slenksčio. Kuo didesnis eksperimento duomenų apetitas, tuo daugiau jis iš jūsų reikalaus. Jei jau turite per mažai srauto, kiekviena sesija, kurią skiriate variantui, yra sesija, kai nemokotės iš kontrolinės grupės. Šis kompromisas svarbus.

Jei jau vykdote testą ir nesate tikri, ar jį sustabdyti, perskaitykite kada sustabdyti A/B testą, prieš švaistydami dar vieną savaitę.

Sudėkite viską

Išsitraukite savo testavimo užduočių sąrašą. Peržiūrėkite kiekvieną elementą ir pažymėkite jį.

• Formalus testas.
• Kryptinis vertinimas.
• Paleidimas ir matavimas.

Pašalinkite tuos, kurie netinka. Jūs galite šalinti testus. Tikslas nėra paleisti daugiau testų; tai priimti geresnius sprendimus su jau turimu srautu.

Peržiūrėkite šį sąrašą kiekvieną ketvirtį. Jūsų svetainė keičiasi, auditorija keičiasi, o srautas gali augti. Kai taip atsitinka, iš naujo įvertinkite testus, kuriuos pašalinote. Testas, kuris prieš šešis mėnesius buvo neįmanomas, dabar gali būti paruoštas.

Vieno rinkodaros specialisto pranašumas nėra statistinis sudėtingumas. Tai greitis. Išleiskite akivaizdų pataisymą, atlikite kryptinį vertinimą neaiškiu atveju ir išleiskite formalaus testavimo biudžetą tik tiems klausimams, kurie tikrai gali jums pakenkti. Taip darydami, jūsų A/B testavimas nustos būti prievole ir taps sprendimų įrankiu.