Test, ktorému sa vyhýbate, je ten, ktorý najviac potrebujete

Zhrnutie

A/B testovanie nevyžaduje vedecký tím, kopu návštevnosti ani plný kalendár testovania. Skutočnou prekážkou je súbor pohodlných námietok, ktoré sólo marketéri považujú za obmedzenia. Tento článok rozoberá najčastejšie výhovorky – žiadna návštevnosť, žiadny čas, AI nahrádza testovanie, dôvera intuícii, štatistická zložitosť a príliš skoro – a mení každú z nich na konkrétny krok. Dozviete sa, ako spustiť jeden vysoko účinný test s tým, čo máte, kedy sa spoľahnúť na AI a kedy na klasické testovanie, a prečo je test, ktorý stále odkladáte, často práve ten, ktorý vaše podnikanie najviac potrebuje. Cieľom je, aby vás náklady nečinnosti boleli viac ako riziko zlého experimentu.

Test, ktorému sa vyhýbate, je ten, ktorý najviac potrebujete

Väčšina rád o A/B testovaní je písaná pre ľudí, ktorí už A/B testy robia. Preto jediná skutočne užitočná vec, ktorú vám môžem povedať, je táto: test, ktorý by vášmu podnikaniu najviac pomohol, je pravdepodobne ten, ktorému sa vyhýbate, pretože sa zdá príliš malý, príliš neistý alebo príliš pravdepodobný, že potvrdí niečo, čo by ste radšej nevedeli. Námietky, ktoré sólo marketérom bránia vôbec otvoriť testovací nástroj, znejú racionálne, ale každá z nich je skrytým únikom konverzií maskovaným ako rozvážnosť.

A/B testovanie je vo svojej podstate zvyk rozhodovania. Ako hovorí slovník Optimizely, je to metóda porovnávania dvoch verzií webovej stránky alebo aplikácie medzi sebou, aby sa zistilo, ktorá funguje lepšie. Nepotrebujete firemný dashboard za 50 000 dolárov. Potrebujete hypotézu, jednu premennú a dostatok trpezlivosti, aby čísla mohli hovoriť. A nepohodlná pravda je, že ľudia, ktorí testovanie odkladajú najviac, sú často tí, ktorých podnikanie by z neho profitovalo najviac. Ak ste niekedy povedali: „Nie sme pripravení na A/B testovanie,“ už ste urobili najdrahšie rozhodnutie v optimalizácii konverzií.

Takže prestaňme prikyvovať týmto námietkam a začnime ich rozoberať.

Námietka	Čo v skutočnosti rozhodujete
„Nemám dosť návštevnosti.“	„Nedovolím svojim zákazníkom hlasovať.“
„Nemám čas.“	„Deravý lievik je asi v poriadku.“
„AI spôsobí, že testovanie zastará.“	„Stroj bez údajov o mojich zákazníkoch ich pozná lepšie ako ja.“
„Verím svojej intuícii.“	„Moje posledné tri rozhodnutia na základe intuície boli správne, a toto nie je selektívna pamäť.“
„Je to príliš technické.“	„P-hodnota ma desí viac ako stagnujúci rast.“
„Sme príliš skoro.“	„Radšej budem rok budovať nesprávnu vec, ako sa učiť týždeň.“

Každá z nich sa nižšie dostane k slovu. Ale spravodlivé vypočutie nie je to isté ako spravodlivý rozsudok.

„Nemám dosť návštevnosti“

Vezmite si stránku s cenami, ktorá má dvesto návštev mesačne. Veľmi tradičný konzultant optimalizácie by vám povedal, aby ste počkali, kým nebudete mať desaťnásobok tohto čísla. Mali by pravdu, ak by vaším cieľom bolo zistiť 2% zmenu v miere konverzie. Ale ide o to: nesnažíte sa zistiť 2% zmenu. Snažíte sa zistiť, či je neznáma hodnotová ponuka materiálne lepšia alebo horšia ako súčasná, a tieto rozdiely sú zvyčajne veľké.

Matematika hrá vo váš prospech, akonáhle prestanete naháňať maličké vylepšenia. Zmenu, ktorá zdvojnásobí mieru konverzie – napríklad objasnenie toho, čo produkt skutočne robí – možno zistiť aj s miernou návštevnosťou počas niekoľkých týždňov. A ak testujete niečo ako označenie tlačidla, možno nebudete potrebovať ani štatisticky robustnú vzorku, aby ste si všimli, že „Zobraziť ceny“ v klikoch drví „Začať“. Stačí nechať test bežať dostatočne dlho.

Ako dlho je dosť dlho? Väčšina testovacích nástrojov obsahuje kalkulačku veľkosti vzorky a online nájdete aj samostatné kalkulačky. Pravidlo: chcete dostatok konverzií (kliknutí, registrácií, nákupov) v každej variante, nielen dostatok návštev. Ak má stránka 200 návštev mesačne a konvertuje na úrovni 2 %, sú to len 4 konverzie za mesiac. Na zmysluplný vzorec si počkáte. Ale ak testujete nadpis, ktorý priamo ovplyvňuje hlavnú hodnotovú ponuku, rozdiel v miere konverzie môže byť 15 % oproti 5 % a tento vzorec uvidíte skôr, než si myslíte.

Ďalším únikovým východiskom z problému s návštevnosťou je, že vaša webová stránka nie je jediným miestom, kde môžete spustiť experiment. Odberatelia e-mailov, kliknutia z platenej reklamy a dokonca aj zverejnený odkaz v úzko zameranej komunite vám poskytnú kontrolované publikum. A/B testovanie funguje rovnako dobre na e-mailoch, dizajnoch produktov a tokoch v aplikáciách ako na vstupných stránkach – čo slovník Optimizely uvádza, keď vymenúva prvky, ktoré môžete testovať. Námietka „nemám návštevnosť“ je takmer vždy v skutočnosti „nemám návštevnosť na svojej domovskej stránke“, čo je oveľa užší problém.

A tu AI skutočne pomáha. Podľa rámca AI experimentov od Optimizely dokáže strojové učenie dynamicky pridelovať návštevnosť lepšie fungujúcej variante v reálnom čase, takže nie ste uviaznutí na striktnom rozdelení 50/50, ktoré plytvá polovicou návštev na pravdepodobného porazeného. To znamená, že návštevnosť, ktorú máte, sa využije lepšie. Pre sólo marketéra je to rozdiel medzi „testovanie je nemožné“ a „testovanie je pomalšie, než by som chcel, ale dá sa“.

Praktická protiváha: definujte jeden ukazovateľ úspechu, ktorý je pre podnikanie dôležitý, vyberte jeden prvok, ktorý by mohol tento ukazovateľ materiálne zmeniť, a zaväzujte sa spustiť test na stanovený počet dní na základe vzorky, ktorú navrhne váš nástroj. Podrobný rámec na to, kedy prestať, nájdete v našom článku kedy ukončiť A/B test.

„Nemám čas“

Skutočný problém nie je čas; je to to, že ste si nevytvorili návyk testovania hypotéz. Je to maličký návyk, nie program. Nepotrebujete kalendár testovania, plán ani „backlog experimentov“. Potrebujete jednu hypotézu o úzkom mieste, na ktorom vám skutočne záleží.

Tu je príklad matematiky s časom. Predpokladajme, že váš registračný formulár má sedem polí a máte podozrenie, že zabíja dokončenie. Hypotéza je, že odstránenie štyroch polí zvýši registrácie. Nastavenie testu trvá asi pätnásť minút, ak používate nástroj, ktorý vám umožní upraviť variant formulára. Potom čakáte. Kým beží, venujete dve minúty denne kontrole výsledkov – alebo nula minút, ak necháte nástroj, aby vás upozornil. Skutočná „práca“ je päť minút, ktoré strávite formulovaním hypotézy a metriky.

Nástroje na A/B testovanie za vás vybavia aj analýzu. Vypočítajú štatistickú významnosť, navrhnú, kedy prestať, a dokonca zdokumentujú výsledok. Hlavným časovým žrútom v minulosti bolo spracovávanie štatistických výstupov, a to je dnes automatizované väčšinou platforiem. Ak stále robíte tabuľky manuálne, zbytočne si to komplikujete.

Hlbší zmysel je v tom, že námietka nedostatku času je v skutočnosti maskovanou námietkou nákladov a prínosov. Náklady na netestovanie sú pokračujúce nasadzovanie neoverených predpokladov. Každý odhad, ktorý zostane netestovaný, je stávka bez kurzu. Hodina mesačne venovaná testu nie je daňou z vášho času; je to návratnosť rozhodnutia, ktoré by ste aj tak urobili.

A tu je trik, ako to udržať: spojte svoj test s niečím, čo už robíte. Ak každý pondelok ráno kontrolujete Google Analytics, pridajte do tohto okna päťminútovú úlohu „skontrolovať test“. Ak píšete mesačný newsletter, zahrňte riadok o „tom, čo testujeme“, aby ste sa prinútili sformulovať hypotézu. Návyk sa pripne na existujúce rutiny, takže nepôsobí ako ďalší projekt.

Začnite s jednoduchou prioritizáciou. Jeden test za štvrťrok vás posunie pred drvivú väčšinu malých tímov. Ak ste paralyzovaní výberom, naučiť sa prioritizovať testy, ktoré naozaj záležia je prvá zručnosť, ktorú si osvojiť – ale nedovoľte, aby vás parciálna analýza tlačila k tomu, aby ste si len tak niečo vybrali.

„AI spôsobí, že A/B testovanie zastará“

Áno, AI mení mechaniku testovania. Ale „AI nahradí A/B testovanie“ je len najnovší spôsob, ako sa vyhnúť časti, ktorá nikdy nezmizne: empirickému rozhodovaniu. Buďme presní, čo AI experimenty skutočne sú, pretože humbuk predbieha prax.

A/B testovanie poháňané AI využíva strojové učenie na generovanie variantov, rozhodovanie o tom, koľko návštevnosti poslať každému variantu, a analýzu výsledkov v reálnom čase. Je to skutočne užitočné. Je to rýchlejší a adaptívnejší spôsob spustenia experimentu. Výskum o AI experimentoch – vrátane dokumentácie Optimizely – ho opisuje ako vylepšenie klasickej metódy, nie jej náhradu. Stroj preberá opakujúce sa časti: dokáže generovať testovacie varianty, vykonávať analýzu údajov a dokonca automatizovať prioritizáciu na základe výkonnosti toho, čo testovať ďalej. To všetko je cenné.

Ale háčik, ktorý vám humbuk nehovorí, je tento: stroj nepozná kontext vášho zákazníka, jeho problém ani dôvod, prečo pristál na vašej stránke o 23:00. Stále je vašou úlohou definovať obchodnú otázku. AI experiment je len taký dobrý, ako otázka, ktorú mu dáte. Algoritmus vám môže povedať, ktorý variant vyhral, ale nepovie vám, prečo tento variant vyhral – „prečo“ je to, čo potrebujete pochopiť, aby ste poznatok rozšírili na celý web.

Takže protichodné stanovisko nie je „AI je zlé“. Je to „AI je nástroj v rámci testovania, nie náhrada testovania.“ Keď počujete predajcu tvrdiť, že testovanie je mŕtve, pretože AI vie najlepšie, preložte si to ako „AI vie najlepšie, pokiaľ je vzorka reprezentatívna a metrika zmysluplná.“ To je stále test. Tí, ktorí hovoria, že AI nahradí A/B testovanie, vám predávajú čarovný prútik. Tí, ktorí vyvíjajú AI experimenty, vám predávajú lepšie kalibrovaný test. Rozdiel je dôležitý.

Prakticky by ste mali použiť AI na ťažkú prácu: nechajte ju generovať nové varianty, navrhovať, ktoré testy spustiť ďalej na základe toho, čo sa naučila, a dynamicky pridelovať návštevnosť. Ale experimentátorom zostávate vy. Ak chcete podrobnejšie porovnanie, pozrite si náš podrobný rozbor klasické A/B testovanie vs. AI experimenty.

„Len poznám svojich zákazníkov“

Najnebezpečnejšia veta v optimalizácii konverzií je „naši zákazníci sú iní.“ Každý zakladateľ tomu verí a každý zakladateľ má čiastočne pravdu. Ale „čiastočná pravda“ nie je dobrým základom pre stratégiu rastu.

Tu je to, čo sa skutočne stane, keď sa spoľahnete na intuíciu: urobíte zmenu, metrika sa pohne (alebo nie) a potom okolo toho vytvoríte príbeh. Ak zmena farby tlačidla „sedela“ a registrácie stúpli, pripíšete to farbe. V skutočnosti ste zmenili tri veci naraz a tá, ktorá bola dôležitá, bol nadpis, ktorý ste netestovali. Jedným z hlavných princípov CRO – zdôrazňovaným v príručke WordStream o optimalizácii konverzií – je, že by ste mali izolovať premenné, aby ste videli, čo naozaj robí prácu. Vaša intuícia to nedokáže; len si pamätá vzor, ktorý chce vidieť.

Dôvod, prečo A/B testovanie záleží, je, že izoluje premenné. Zmeňte jednu vec, zmerajte účinok a dozviete sa konkrétnu pravdu o svojich zákazníkoch. Vaša intuícia je skvelý generátor hypotéz – povie vám, že „zákazníci váhajú pri formulári.“ Test vám povie, či je to naozaj pravda.

Povedzme, že vaša intuícia hovorí: „naši zákazníci sú citliví na cenu, preto by sme mali ísť s cenou ako prvou.“ Test dvoch verzií vstupnej stránky – jednej s cenou na prvom mieste a jednej s výsledkami na prvom mieste – vám dá definitívnu odpoveď. Môžete zistiť, že verzia s výsledkami pritiahne viac kvalifikovaných leadov a vaša intuícia videla svet cez optiku vášho vlastného tabuľkového strachu. Alebo sa intuícia potvrdí. V každom prípade ste vymenili presvedčenie za fakt.

Existuje hlbšia cena za „jednoducho poznať“ svojich zákazníkov: neškáluje sa. Keď ste sólo marketér, vaša intuícia žije vo vašej hlave. V momente, keď privediete copywritera, dizajnéra, agentúru alebo aj svoje budúce ja, ktoré zabudlo na kontext, táto intuícia zmizne. Zdokumentovaný výsledok testu je naproti tomu trvalým aktívom. Vášmu tímu (alebo budúcemu ja) presne povie, čo sa naučil, od ktorého publika, na ktorej stránke a s akou mierou spoľahlivosti. Preto je dokumentovanie poznatkov hlavným osvedčeným postupom v A/B testovaní – nielen niečím, čo je pekné mať v archíve.

Praktický krok: každý intuíciou poháňaný inštinkt, podľa ktorého sa chystáte konať, si zapíšte ako hypotézu. Potom si vyberte tú jednu s najvyšším vplyvom a spustite test. To je rozdiel medzi prístupom k CRO ako k názoru a prístupom k CRO ako k disciplíne.

„Je to pre mňa príliš štatistické“

Začnite s jedinou štatistikou, ktorú potrebujete: definujte cieľ, zmeňte jednu vec, nechajte test bežať dostatočne dlho a nechajte nástroj vypočítať významnosť. To nie je nadmerné zjednodušenie; to je celá hra pre sólo marketéra.

Buďme úprimní o štatistickej panike. Slová ako „p-hodnota“, „sila“ a „interval spoľahlivosti“ spôsobujú, že ľudia očami blúdia. Ale tu je tajomstvo: nástroje už štatistiku robia. Vašou úlohou je dodržiavať niekoľko pravidiel, nie ručne počítať chí-kvadrát.

Pravidlá sú jednoduché a pochádzajú priamo z príručky osvedčených postupov: stanovenie jasných cieľov, testovanie jednej premennej naraz, zabezpečenie dostatočnej veľkosti vzorky a trvania testu pre štatistickú významnosť a zdokumentovanie toho, čo sa naučíte. Ak dodržíte tieto štyri pravidlá, ste už pred väčšinou ľudí, ktorí si hovoria „experti na rast“.

Najväčším štatistickým hriechom pri sólovom testovaní nie je nepochopenie intervalu spoľahlivosti – je to nazeranie do výsledkov. Skontrolujete test po troch dňoch, uvidíte 20% nárast a predčasne zastavíte. Nástroj vám povie, že to ešte nie je významné, ale aj tak zastavíte, pretože „to sedí.“ Takto sa rodia falošne pozitívne výsledky, a preto existujú odporúčania týkajúce sa veľkosti vzorky a trvania. Testovací nástroj, ktorý si zaslúži svoje meno, vás bude neustále varovať pred predčasným zastavením.

Väčším rizikom nie je štatistická nevedomosť – je to „štatistické divadlo“, keď je test zle navrhnutý, vzorka je príliš malá a tím číta významnosť v šume. Preto je náš článok o správnej interpretácii výsledkov A/B testov plný pascí, ktorým sa môžete vyhnúť s trochou disciplíny.

Takže keď nabudúce niekto povie: „na spustenie testu potrebujete dátového vedca,“ pamätajte, že „dátový vedec“ ste vy, sediaci pri kuchynskom stole s nástrojom, ktorý počíta všetko. Vy prinášate otázku, premennú a trpezlivosť. Nástroj prináša matematiku. Nie je to podmienka PhD; je to podmienka procesu.

„Sme na to príliš skoro“

Ak ste pred dosiahnutím príjmov alebo pracujete sólo, existuje pokušenie myslieť si, že testovanie je niečo, čo robíte po tom, čo „ste to dokázali.“ Ale opak je pravdou. A/B testovanie je najhodnotnejšie vtedy, keď máte najmenšiu istotu. V tejto fáze vec, ktorú treba testovať, nie je mikro-výzva na akciu; je to samotná hlavná hodnotová ponuka.

Predstavte si, že ste vytvorili jednoduchú vstupnú stránku so svojou ponukou. Máte dva možné nadpisy: „Najjednoduchší spôsob, ako sledovať príjem z freelancingu“ a „Presne viete, čo zarobíte budúci mesiac.“ Nepotrebujete obrovskú návštevnosť, aby ste videli, ktorý z nich získa viac e-mailových registrácií alebo kliknutí. A odpoveď vám ušetrí mesiace budovania komunikácie okolo nesprávneho háku.

Testovanie v ranom štádiu vás núti sformulovať predpoklad o tom, prečo by ľudia kupovali. To je bolestivé, ale je to lacnejšie, ako to zistiť po tom, čo ste strávili rok budovaním nesprávnej produktovej komunikácie. Zoznam techník CRO od WordStream zahŕňa zníženie trenia vo formulároch a využitie sociálnych dôkazov a signálov dôvery – oboje je obzvlášť účinné, keď práve začínate. Jediný dobre umiestnený referenčný zákazník alebo formulár s tromi poľami namiesto siedmich môže byť rozdielom medzi registráciou a odchodom.

Akcia: exportujte svoj e-mailový zoznam, vytvorte dve varianty vstupnej stránky pomocou jednoduchého nástroja a pošlite polovicu zoznamu na každú. Alebo ešte jednoduchšie, spustite dve variácie reklamy s rôznymi nadpismi. To je test a nie je drahý. Výskum o A/B testovaní potvrdzuje, že ho možno aplikovať na e-maily, aplikácie a používateľské toky – nielen na domovskú stránku, ktorej sa bojíte dotknúť.

Navyše, rané testy majú často „nespravodlivú výhodu“: vaša malá vzorka nie je slabosť, je to signál. Pri malom a vysoko angažovanom publiku stojí za pozornosť aj mierny rozdiel v odozve, pretože toto publikum je často váš najvhodnejší zákazník. V tomto prostredí nehľadáte 1% nárast; hľadáte indikátor smeru. Kľúčové slovo je indícia, nie dôkaz. To je v poriadku. Ste na tom lepšie ako pri hádaní.

Prestaňte čakať, začnite testovať

Tu je vzor za každou námietkou: všetky sú rovnakým strachom v rôznych klobúkoch. Strach, že test zlyhá, že stratíte čas, že čísla vám povedia niečo nepríjemné. Ale jediné skutočné zlyhanie je pokračovať v hádaní.

Cesta von je krátka. Vyberte si jednu stránku, jeden prvok a jednu metriku. Napíšte hypotézu. Definujte variant. Spustite test na dobu, ktorú navrhuje váš nástroj. Zaznamenajte výsledok, aj keď je to „žiadny štatisticky významný rozdiel“ (aj to je výsledok). Potom sa rozhodnite pre ďalší test.

Jedným z najuspokojivejších dôsledkov testovania je, že disciplína sa znásobuje. Každý test vám poskytne údajový bod o vašich zákazníkoch, ktorý vám nemôže dať žiadny článok, žiadny poradca ani žiadny model AI, pretože pochádza z vášho špecifického kontextu. Po niekoľkých testoch začnete robiť rozhodnutia rýchlejšie a s väčšou sebadôverou, pretože už nehádžete – odvolávate sa na súbor dôkazov, ktorý ste si sami vytvorili.

Postupom času tento proces zmení váš marketing zo série názorov na sériu experimentov. A krásne je, že keď začnete, budete sa čudovať, prečo ste vôbec čakali. Test, ktorému sa vyhýbate, je pravdepodobne ten, ktorý vám povie, či váš produkt rezonuje. Môžete sa mu naďalej vyhýbať, alebo môžete nechať svojich zákazníkov, aby vám povedali pravdu.