Agentuuri A/B testimise küpsuskõver: sprintidest õppivasse süsteemi

Kokkuvõte

Enamik nõuandeid A/B testimise kohta eeldab, et protsess sobib kõigile ühtemoodi, kuid õige eksperimenteerimise rangus muutub, kui teie agentuur kasvab. Alguses vajate kergeid teste, mis suurendavad kliendi usaldust ilma protsessi uppumata. Kui teil on mitu kontot, loob lihtne üheleheküljeline testibriif ühise sõnavara ja hoiab ära vaidlused selle üle, mida 'parem' tähendab. Kui portfell laieneb, muutub napp ressursiks tähelepanu, nii et peate testid järjestama otsuseväärtuse alusel ja olema valmis katkestama eksperimendid, mis ei saa muuta otsust. Täieliku küpsuse juures on tegelik vara valideeritud mustrite klientideülene õpikogu. See artikkel annab ülevaate igast etapist praktiliste näidete ja etapiviisilise võrdlusega.

Enamik nõuandeid klientidele A/B testide tegemise kohta eeldab, et teie protsess peaks välja nägema identne, olenemata sellest, kas viite läbi oma esimest või sajandat eksperimenti. See eeldus tapab vaikselt rohkem agentuuride CRO-programme kui ükski statistiline viga. Tõde on see, et küps eksperimenteerimispraktika ei sarnane peaaegu üldse juhusliku testisprindiga — mitte sellepärast, et alused muutuksid, vaid sellepärast, et nende ümber olevad piirangud muutuvad drastiliselt. Kogu selle keskmes on konversioonieesmärk, mida Wordstream kirjeldab: külastajate protsendi suurendamine, kes sooritavad soovitud toimingu. Muutub see, kui palju protsessi, prioriseerimist ja institutsionaalset mälu saate endale lubada. Allpool on agentuuri testimise küpsuskõver: neli etappi, mis näitavad, millele keskenduda, kui teie töö on muuta see toimima korduvalt, mitte ainult üks kord.

Esimene etapp: üks klient, üks test, palju õppetunde

Kui teil on üks klient ja puudub varasemate eksperimentide tagavara, on halvim, mida saate teha, protsessi loomine. Mallipõhine töövoog selles etapis maksab rohkem, kui tagasi toob. Teie ainus tegelik töö on toota üks nähtav võit ja panna kirja, miks see juhtus. Õppetund, mida vajate, ei ole 'meie protsess töötab'; see on 'see konkreetne muster näib mõjutavat seda konkreetset käitumist'.

Konkreetne näide: kujutage ette, et teie esimene klient on koduteenuste töövõtja. Nende veebisaidil on üks päringuvorm, maetud sissejuhatava lehe lõppu, mida vaevalt keegi külastab. Lisate seansisalvestuse tööriista ja näete, et külastajad maanduvad, kerivad hero-pildist mööda ja lahkuvad. Sõnastate lihtsa hüpoteesi: vormi teisaldamine esilehe ülaossa koos ühelauselise kirjeldusega, mida nad teevad, suurendab täidetud päringuid. Ehitate kaks varianti ja kasutate neid kaks nädalat, nii et iga nädalapäev oleks mõlemas versioonis esindatud. Variant, kus vorm on nähtav, võidab. Kirjutate ühe lõigu selle kohta, miks te arvate, et see töötas — asukoht, mitte disain — ja arhiveerite selle. Kui olete selles etapis, on oluline distsipliin isiklik triaaž: teadmine, mida üldse testida, mitte rituaali järgimine. Kui proovite seda üksi teha piiratud ajaga, on üksikturundaja triaažiloend kasulik lähtepunkt.

Teine etapp: kaks klienti, ühine sõnavara

Lisage teine klient ja vaikiv teadmus hakkab alt vedama. Nüüd testite töövõtja esilehte ja e-kaubanduse tootelehte. Ilma ühise viisita eksperimente kirjeldada tuletate iga otsuse nullist uuesti ja väljaütlemata eeldused hiilivad teie analüüsi. Lahendus ei ole 14-leheküljeline haldusdokument; see on üheleheküljeline testibriif, mis sunnib teid ja klienti enne liikluse kulutamist kokku leppima, mida 'parem' tähendab.

Siin on, kuidas see briif töötas e-kaubanduse kliendi puhul, kes müüb väikestes partiides tooteid. Tootelehel oli mitu tootepilti ja pikk kirjeldus enne 'osta' nuppu. Teie briifil on kuus välja. Praegune käitumine: külastajad lõpetavad kerimise umbes kolme pildi kõrgusel; vähesed jõuavad nupuni. Hüpotees: ühe hero-pildi ja ühe pakendi pildi näitamine eemaldab valikuhõõrdumise ja toob rohkem külastajaid nupuni. Peamine mõõdik: ostukorvi lisamise määr. Piirde: tulu seansi kohta ei lange. Minimaalne kestus: neliteist päeva. Otsustusreegel: lase välja, kui ostukorvi lisamised kasvavad ja tulu püsib. Selle täitmine võtab viisteist minutit ja säästab teid nädalast vaidlemisest, kas test 'töötas'. Pange tähele, mida te ei tee: te ei vaidle veel valimi suuruse ega olulisusläve üle. Õhukese liiklusega kliendi jaoks on täielik statistiline raamistik sageli üleliigne — madala liiklusega mänguraamat näitab, millal piisab suunavatest tõenditest.

Fookus nihkub, kui skaleerite

Küpsusaste	Teie peamine töö	Protsessi kaal	Suurim risk
Ühekordsed sprintid	Suurendage kliendi usaldust kiirete võitudega	Nii kerge kui võimalik	Üle-inseneerimine enne, kui teil on andmeid
Standardiseeritud testimine	Looge ühine sõnavara	Üheleheküljeline briif testi kohta	Bürokraatia ilma õppimiseta
Portfelli haldamine	Järjestage otsuseväärtuse järgi	Iganädalane triaaž	Testide käitamine, millel pole tähtsust
Õppiv süsteem	Kasutage leide kontode lõikes uuesti	Dokumenteeritud mustrikaardid	Iga kliendi jaoks ratta uuesti leiutamine

Kolmas etapp: testijärjekord on äriotsus

Kõige levinum nõuanne selles valdkonnas on testida ühte muutujat korraga ja lasta igal testil oma tee läbida. Portfelli skaalal pole see mitte ainult aeglane, vaid aktiivselt raiskav. Teie töö ei ole enam nii paljude eksperimentide läbiviimine kui võimalik. See on veenduda, et iga eksperiment, mida teete, suudab muuta otsust. Test, mille tulemust te niikuinii ignoreeriksite, tuleks tappa enne, kui see kulutab nädala liiklust. See on vastupidine pööre, mis eraldab agentuure, mis lihtsalt toodavad aruandeid, agentuuridest, mis tekitavad õppimist.

Oletame, et teil on nüüd viis klienti. Üks soovib hinnalehel pealkirja vahetust; teine soovib lühemat vormi sisseelamise voos; kolmas soovib tootelehel usaldusmärki liigutada. Kui käitate kõiki kolme, veedate iga reede armatuurlaudade vahtimise ja kohtumiste ajastamisega. Selle asemel hindate iga ideed ulatuse (mitu külastajat muudatust näevad), usalduse (kui tugev on teie eelarvamus, et see võidab) ja vaeva (kui kaua kulub ehitamiseks ja testimiseks) järgi. Valite usaldusmärgi: keskmine ulatus, kõrge usaldus, kaks minutit tööd. Test jookseb, konversioonimõõdik liigub õiges suunas ja saadate selle välja. Pealkirjavahetus on endiselt teie ootel — olete just mõistnud, et selle eeldatav otsuseväärtus on sel nädalal madalam kui märgil. Lisaks lõpetate testi, mis vajaks madala liiklusega lehel olulisuse saavutamiseks kaheksa nädalat; teate töövõtja varasemast testist, et asukoht mõjutab käitumist, nii et saadate muudatuse välja ja jälgite seda hoopis. See ei ole lõtvus ranges; see on teadmine, millal test lõpetada.

Neljas etapp: teie õpikogu muutub tooteks

Selleks ajaks, kui juhendate tosina või enama eksperimendi kontosid, on kasvav vara mitte testid ise — vaid põhjuslik teadmus, mida kogute selle kohta, millised sekkumised töötavad, kus ja millistel tingimustel. Kui te seda teadmust aktiivselt ei dokumenteeri ja struktureeri, maksate iga uue kliendi eest sama õppimiskulu. See on ka koht, kus AI-toega eksperimenteerimine muutub tõeliselt huvitavaks — mitte sellepärast, et see lubab teie eest võitjaid leida, vaid sest see saab aidata teil hüpoteese koostada ja mustreid tulemustes märgata — seni, kuni otsustusvõime on teie käes.

Näide: teie sisemine õpikogu sisaldab nüüd kaarti, millel on kirjas: 'Vormiväljade vähendamine suurendab täitmist, kui vorm asub voltimisjoone all; tuvastatavat mõju pole, kui vorm on juba voltimisjoone kohal.' Kaardi piirtingimused ütlevad, et seda testiti teenuste saitidel ja SaaS-i sisseelamise voos, kuid mitte mitmeastmelises kassas. Kui uus klient, kellel on kaheksaväljaline kontaktvorm, küsib arvamust, alustate sellest kaardist, mitte nullist. Püstitate hüpoteesi: lõigake neljale väljale ja liigutage vorm voltimisjoone kohale. Te ei viitsi paigutustesti uuesti teha — see muster on juba teie õpikogus. Käitate ainult väljade vähendamist ja saate kliendile täpselt öelda, millistele varasematele tõenditele see eksperiment tugineb. Hoiatus: mustrid kanduvad üle, kuid konkreetne tekst ja disain harva. Pealkiri, mis töövõtja puhul võitis, võib e-kaubanduse saidil valesti tunduda. Üle kandub mehhanism: hõõrdumise vähendamine tegevuse punktis. Hoidke kaardil mehhanismi, mitte täpseid sõnu.

See on kogu praktika tipp. Kui olete siin, muutub testide prioriseerimine, mis konverteerivad teiseks loomuseks ja teie õpikogu muudab iga uue konto sisseelamise odavamaks.

---

Kui võtate kaasa ühe idee, olgu see järgmine: laske oma protsessil kasvada sama kiirusega kui teie portfellil. Alustage otsustusvõime ja ühe nähtava võiduga. Lisage üheleheküljeline briif, kui teine klient ilmub. Käsitlege testijärjekorda portfelliotsusena, kui te ei saa kõike käitada. Ja investeerige õpikogusse enne, kui selle kaotamine hakkab haiget tegema. Agentuurid, mis CRO-s võidavad, on harva need, kellel on kõige keerukam statistiline masinavärk; need on need, kellel on kõige selgemad vastused küsimusele 'mida me õppisime?' A/B test ei ole tarnitav asi, mille saata ja unustada. See on küsimus, mida esitate üks kord, tingimustes, mida saate tegelikult hallata — ja esitate siis uuesti, paremini, järgmise kliendiga.