Agentūrų A/B testavimo brandos kreivė: nuo sprintų iki mokymosi sistemos

Santrauka

Dauguma patarimų apie A/B testavimą daro prielaidą, kad procesas tinka visiems vienodai, tačiau tinkamas eksperimentų kruopštumo lygis keičiasi jūsų agentūrai augant. Pradžioje jums reikia lengvų testų, kurie stiprina klientų pasitikėjimą, neįklimpdami į procesus. Kai turite kelias sąskaitas, paprastas vieno puslapio testo aprašas sukuria bendrą žodyną ir išvengia ginčų dėl to, ką reiškia „geriau“. Plėsdami portfelį, brangiausiu ištekliu tampa dėmesys, todėl testus turite išdėlioti pagal sprendimo vertę ir būti pasirengę nutraukti eksperimentus, kurie negali pakeisti sprendimo. Visiškoje brandoje tikrasis turtas yra tarpklientinė patvirtintų šablonų mokymosi biblioteka. Šis straipsnis apžvelgia kiekvieną etapą su praktiniais pavyzdžiais ir nuosekliu palyginimu.

Dauguma patarimų, kaip atlikti A/B testus klientams, daro prielaidą, kad jūsų procesas turėtų atrodyti identiškai, nesvarbu, ar atliekate pirmąjį eksperimentą, ar šimtąjį. Ši prielaida tyliai pražudo daugiau agentūrų CRO programų nei bet kokia statistinė klaida. Tiesa ta, kad brandi eksperimentų praktika vos primena atsitiktinį testų sprintą – ne todėl, kad keičiasi pagrindai, o todėl, kad juos supantys apribojimai smarkiai pasikeičia. To esmė yra konversijos tikslas, kurį apibūdina „Wordstream“: padidinti lankytojų, kurie atlieka norimą veiksmą, procentą. Keičiasi tai, kiek proceso, prioritetų ir institucinės atminties galite sau leisti turėti. Žemiau pateikiama agentūrų testavimo brandos kreivė: keturi etapai, rodantys, į ką sutelkti dėmesį, kai jūsų darbas yra tai atlikti pakartotinai, o ne tik vieną kartą.

Pirmas etapas: vienas klientas, vienas testas, daug pamokų

Kai turite vieną klientą ir neturite ankstesnių eksperimentų sąrašo, blogiausia, ką galite padaryti, – kurti procesą. Šabloningas darbo srautas šiame etape atima daugiau, nei duoda. Vienintelis jūsų tikras darbas – pasiekti vieną matomą laimėjimą ir užrašyti, kodėl taip atsitiko. Jums reikia ne pamokos „mūsų procesas veikia“, o „šis konkretus šablonas, atrodo, veikia šį konkretų elgesį“.

Konkretus pavyzdys: įsivaizduokite, kad pirmasis jūsų klientas yra namų priežiūros paslaugų rangovas. Jų svetainėje yra viena kontaktų forma, paslėpta puslapio „Apie“ apačioje, kurią retas aplanko. Įdiegiate sesijos įrašymo įrankį ir matote, kaip lankytojai patenka, slenka pro herojaus paveikslėlį ir išeina. Suformuluojate paprastą hipotezę: perkėlus formą į pagrindinio puslapio viršų, su vieno sakinio aprašymu, ką jie daro, padidės užpildytų kontaktų skaičius. Sukuriate du variantus ir paleidžiate juos dvi savaites, kad abi versijos apimtų kiekvieną savaitės dieną. Variantas su matoma forma laimi. Parašote vieną pastraipą apie tai, kodėl manote, kad tai suveikė – vieta, o ne dizainas – ir pateikiate ją. Kai esate šiame etape, svarbiausia disciplina yra asmeninė atranka: žinoti, ką apskritai testuoti, o ne laikytis ritualo. Jei bandote tai daryti vieni su ribotu laiku, solo rinkodaros specialisto atrankos sąrašas yra naudingas atspirties taškas.

Antras etapas: du klientai, vienas bendras žodynas

Pridėkite antrą klientą, ir numanomos žinios pradeda strigti. Dabar atliekate testus rangovo pagrindiniame puslapyje ir el. prekybos produkto puslapyje. Be bendro būdo apibūdinti eksperimentus, kiekvieną sprendimą teks iš naujo išsiaiškinti, o neišsakytos prielaidos įsiskverbs į jūsų analizę. Sprendimas – ne 14 puslapių valdymo dokumentas, o vieno puslapio testo aprašas, kuris priverčia jus ir klientą susitarti, ką reiškia „geriau“, prieš išleidžiant bet kokį srautą.

Štai kaip šis aprašas veikė el. prekybos klientui, parduodančiam smulkias partijas. Produkto puslapyje buvo kelios produkto nuotraukos ir ilgas aprašymas prieš mygtuką „Į krepšelį“. Jūsų aprašas turi šešis laukus. Dabartinis elgesys: lankytojai nustoja slinkti maždaug po trijų nuotraukų; nedaugelis pasiekia mygtuką. Hipotezė: parodyti vieną herojaus nuotrauką ir vieną pakuotės nuotrauką pašalina pasirinkimo trintį ir pritraukia daugiau lankytojų prie mygtuko. Pagrindinė metrika: įdėjimo į krepšelį rodiklis. Apsauginis rodiklis: pajamos už sesiją nemažėja. Minimalus veikimo laikas: keturiolika dienų. Sprendimo taisyklė: paleisti, jei įdėjimas į krepšelį pakyla, o pajamos išlieka. Tai užpildyti užtrunka penkiolika minučių ir sutaupo savaitę ginčų, ar testas „suveikė“. Pastebėkite, ko nedarote: dar nesiginčijate dėl imties dydžio ar reikšmingumo slenksčių. Klientui su mažu srautu visa statistikos sistema dažnai būna perteklinė – mažo srauto žaidimo planas parodo, kada pakanka kryptinių įrodymų.

Brandos etapas	Pagrindinė užduotis	Proceso svoris	Didžiausia rizika
Vienkartiniai sprintai	Stiprinti klientų pasitikėjimą greitais laimėjimais	Kiek įmanoma lengvesnis	Per didelis inžinerijos sudėtingumas, kol neturite duomenų
Standartizuotas testavimas	Sukurti bendrą žodyną	Vieno puslapio aprašas kiekvienam testui	Biurokratija be mokymosi
Portfelio valdymas	Išdėlioti pagal sprendimo vertę	Savaitinė atranka	Testai, kurie neturi reikšmės
Mokymosi sistema	Pakartotinai naudoti išvadas skirtingose sąskaitose	Dokumentuotos šablonų kortelės	Išradinėti dviratį kiekvienam klientui

Trečias etapas: testų eilė yra verslo sprendimas

Dažniausias patarimas šioje srityje – testuoti vieną kintamąjį vienu metu ir leisti kiekvienam testui eiti iki galo. Portfelio mastu tai ne tik lėta, bet ir aktyviai švaistoma. Jūsų darbas nebėra paleisti kuo daugiau eksperimentų. Tai užtikrinti, kad kiekvienas atliekamas eksperimentas galėtų pakeisti sprendimą. Testas, kurio rezultato vis tiek nepaisytumėte, turėtų būti nutrauktas, kol nesudegino savaitės srauto. Tai prieštaringas posūkis, skiriantis agentūras, kurios tik kuria ataskaitas, nuo agentūrų, kurios kuria mokymąsi.

Tarkime, dabar turite penkis klientus. Vienas nori pakeisti antraštę kainų puslapyje; kitas nori trumpesnės formos prisijungimo sraute; trečias nori perkelti patikimumo ženklą produkto puslapyje. Jei paleisite visus tris, kiekvieną penktadienį praleisite žiūrėdami į informacijos suvestines ir planuodami susitikimus. Vietoj to, įvertinate kiekvieną idėją pagal pasiekiamumą (kiek lankytojų mato pakeitimą), pasitikėjimą (koks stiprus jūsų įsitikinimas, kad jis laimės) ir pastangas (kiek laiko užtruks sukurti ir ištestuoti). Pasirenkate patikimumo ženklą: vidutinis pasiekiamumas, didelis pasitikėjimas, dvi minutės darbo. Testas paleidžiamas, konversijos metrika juda teisinga kryptimi, ir jūs jį išleidžiate. Antraštės keitimas vis dar jūsų sąraše – tiesiog supratote, kad jo numatoma sprendimo vertė šią savaitę mažesnė nei ženklo. Taip pat nutraukiate testą, kuriam reikėtų aštuonių savaičių, kad pasiektų reikšmingumą mažo srauto puslapyje; iš ankstesnio rangovo testo žinote, kad vieta keičia elgesį, todėl pakeitimą išleidžiate ir stebite jį vietoj to. Tai ne kruopštumo praradimas; tai žinojimas, kada sustabdyti testą.

Ketvirtas etapas: jūsų mokymosi biblioteka tampa produktu

Kai valdote keliolika ar daugiau eksperimentų įvairiose sąskaitose, turtas, kuris kaupiasi, yra ne patys testai – tai priežastinės žinios, kurias kaupiate apie tai, kokie veiksmai veikia, kur ir kokiomis sąlygomis. Jei aktyviai nedokumentuojate ir nestruktūruojate šių žinių, nuolat mokėsite tą pačią mokymosi kainą už kiekvieną naują klientą. Būtent čia dirbtinio intelekto pagrįstas eksperimentavimas tampa tikrai įdomus, ne todėl, kad žada rasti laimėtojus už jus, o todėl, kad gali padėti suformuluoti hipotezes ir pastebėti modelius tarp rezultatų – tol, kol pateikiate vertinimą.

Pavyzdys: jūsų vidinė biblioteka dabar turi kortelę, kurioje rašoma: „Formos laukų mažinimas padidina užpildymą, kai forma yra žemiau užlenkimo; jokio pastebimo poveikio, kai forma jau yra virš užlenkimo.“ Kortelės ribinės sąlygos sako, kad ji buvo išbandyta paslaugų svetainėse ir „SaaS“ prisijungimo sraute, bet ne daugiapakopio atsiskaitymo metu. Kai naujas klientas su aštuonių laukų kontaktine forma prašo nuomonės, pradedate nuo šios kortelės, o ne nuo nulio. Suformuluojate hipotezę: sumažinti iki keturių laukų ir perkelti formą virš užlenkimo. Nesivarginate iš naujo atlikti vietos testo – tas modelis jau yra jūsų bibliotekoje. Atliekate tik laukų mažinimą ir galite tiksliai pasakyti klientui, kokiais ankstesniais įrodymais šis eksperimentas remiasi. Įspėjimas: modeliai perduodami, bet konkretus tekstas ir dizainas – retai. Antraštė, kuri laimėjo rangovui, gali netikti el. prekybos svetainei. Perduodamas mechanizmas: trinties mažinimas veiksmo vietoje. Laikykite mechanizmą kortelėje, o ne tikslius žodžius.

Tai visos praktikos viršūnė. Kai esate čia, testų, kurie konvertuoja, prioritetų nustatymas tampa natūralus, o jūsų biblioteka kiekvieną naują sąskaitą padaro pigesnę įdiegti.

---

Jei iš viso pasiimsite vieną mintį, tegul ji būna tokia: leiskite savo procesui augti tokiu pat greičiu kaip ir jūsų portfeliui. Pradėkite nuo vertinimo ir vieno matomo laimėjimo. Pridėkite vieno puslapio aprašą, kai atsiranda antrasis klientas. Vertinkite testų eilę kaip portfelio sprendimą, kai negalite paleisti visko. Ir investuokite į mokymosi biblioteką, kol dar neskauda jos prarasti. Agentūros, kurios laimi CRO, retai turi sudėtingiausias statistines mašinas; jos turi aiškiausius atsakymus į „ko išmokome?“ A/B testas nėra pristatomas rezultatas, kurį paleidžiate ir pamirštate. Tai klausimas, kurį užduodate kartą, tokiomis sąlygomis, kurias iš tikrųjų galite valdyti – ir tada užduodate vėl, geriau, su kitu klientu.