A/B test, orientačný test, alebo proste nasadiť? Rámec založený na riziku pre sólových marketérov

Zhrnutie

Väčšina rád o A/B testovaní predpokladá, že máte neobmedzenú návštevnosť a trpezlivý tím. V skutočnosti sólový marketér často musí vybrať medzi plným experimentom, krátkym orientačným testom a nasadením zmeny bez akéhokoľvek testu. Tento článok predstavuje rámec založený na riziku pre toto rozhodnutie, zameraný na náklady na to, že sa mýlite, a náklady na čakanie. Venuje sa tomu, čo robiť, keď je výsledok „štatisticky nevýznamný“ a prečo to nie je to isté ako neúspešná zmena. Dozviete sa, kedy môže byť skorý pohľad užitočný, kedy je nasadenie teraz lepšie ako čakanie na dôkaz a ako merať pred/po, keď vynecháte test. Záverom nie je testovať menej, ale prispôsobiť štandard dôkazov skutočným stávkam.

Mali by ste spustiť A/B test, kratší „orientačný“ test, alebo proste vykonať zmenu a sledovať, čo sa stane? Ak ste zodpovední za mieru konverzie svojej webovej stránky a nemáte okolo seba vyhradený tím, toto je pravdepodobne najčastejšie rozhodnutie, ktoré robíte. Štandardná rada hovorí testovať všetko, ale táto rada predpokladá, že máte dostatok návštevnosti a času a jasnú metriku na sledovanie. Často nemáte žiadnu z týchto vecí. Tento článok prechádza tri štandardy dôkazov a dáva vám spôsob, ako si medzi nimi vybrať za minúty, nie za dni.

Prvá vec, ktorú treba pochopiť, je, že A/B testovanie nie je v skutočnosti o samotnej zmene. Je o tom, koľko ste ochotní zaplatiť za to, že sa mýlite. Zvážte dve zmeny na tej istej stránke. Prevádzkujete nástroj na riadenie projektov. Chcete zmeniť nadpis na domovskej stránke z „Spravovať projekty“ na „Plánovať projekty za polovičný čas.“ Taktiež chcete zmeniť stránku s cenami tak, aby si návštevníci mohli vybrať ročný plán popri mesačnom. Obe zmeny sa týkajú tej istej webovej stránky a obe by sa dali testovať rovnako. Ale náklady na to, že sa mýlite, sú veľmi odlišné. Ak je nadpis nesprávny, návštevník niekoľko dní vidí o niečo menej efektívny odkaz a môžete starý vrátiť bez problémov. Ak je štruktúra cien nesprávna, môžete zmiasť potenciálnych zákazníkov, zaplaviť podporu otázkami a nastaviť očakávania, ktoré nezodpovedajú tomu, ako v skutočnosti fakturujete. Vrátenie späť nie je zadarmo. Rovnaká logika sa vzťahuje na každú zmenu, ktorú zvažujete, od štítkov tlačidiel až po kompletné redizajny stránok.

Preto vám nikto nemôže dať univerzálnu odpoveď na otázku „mám testovať?“ Odpoveď závisí od toho, koľko vás stojí falošne pozitívny výsledok, koľko vás stojí falošne negatívny výsledok a čoho sa vzdávate, kým čakáte. Pozrime sa na tri možnosti podrobnejšie.

Plný experiment: Keď je hranica dôkazov vysoká

Predstavte si, že testujete, či zmeniť tlačidlo na svojej hlavnej registračnej stránke z „Začať bezplatnú skúšku“ na „Začať.“ Pre sólového zakladateľa je to zmena s vysokou viditeľnosťou, ktorá sa nachádza pri vstupe do lievika. Môže ovplyvniť registrácie na skúšobné verzie, ktoré živia všetko nižšie. Máte stabilný tok návštevníkov, ale nie obrovský. Toto je dobrý kandidát na plný experiment.

Plný experiment má konkrétny význam. Náhodne rozdelíte svojich návštevníkov, jednej skupine ukážete pôvodnú verziu a druhej upravenú verziu a porovnáte správanie na metrike, ktorú si vyberiete pred začiatkom. Ako je definované v slovníku Optimizely, A/B testovanie je metóda porovnávania dvoch verzií webovej stránky alebo aplikácie s cieľom určiť, ktorá sa darí lepšie. Kľúčové je, že necháte rozhodnúť dáta, nie svoju intuíciu. V praxi to znamená stanoviť jasnú primárnu metriku – napríklad podiel návštevníkov, ktorí prejdú na registračný formulár – a meniť vždy iba jednu premennú. Ak zmeníte tlačidlo aj okolitý text, nebudete vedieť, ktorá zmena spôsobila rozdiel. A musíte sa vopred rozhodnúť, ako dlho experiment pobeží a aké dôkazy vás prinútia konať.

Tento posledný krok väčšina ľudí vynechá. Mali by ste sa pred začiatkom rozhodnúť, akú úroveň spoľahlivosti potrebujete a aký veľký účinok sa snažíte odhaliť. Štatistický aparát za veľkosťou vzorky a trvaním je presne to, čo robí A/B test odlišným od bežného pozorovania. Ak je vaša návštevnosť príliš nízka na dosiahnutie tohto dôkazu v primeranom čase, plný experiment sa pravdepodobne skončí ako „neuzavretý“ – a to je skutočná cena. Podrobný pohľad na to, ako sa rozhodnúť, kedy ste čakali dostatočne dlho, nájdete v našom praktickom rámci o tom, kedy zastaviť A/B test, ktorý je dobrým doplnkom k tomuto článku.

Je tu jemná pasca. Ak sa plný experiment skončí a výsledok je „štatisticky nevýznamný“, môžete byť v pokušení uzavrieť, že „zmena nezáleží.“ To nie je to, čo výsledok znamená. Znamená to, že váš test nebol dostatočne presný na to, aby odhalil rozdiel, alebo je rozdiel menší, než ste chceli zistiť. To je užitočná informácia – teraz sa môžete rozhodnúť nasadiť zmenu na základe iných dôkazov, spustiť dlhší test alebo vybrať podstatnejšiu zmenu. Ale nie je to dôkaz, že nová verzia je horšia. Ak používate platformu na testovanie poháňanú umelou inteligenciou, ktorá dynamicky prideľuje návštevnosť a generuje varianty, experiment môže dosiahnuť rozhodnutie rýchlejšie, ale platí rovnaká logika: výsledok je dôveryhodný len do takej miery, do akej dokážete čakať na dostatok dôkazov.

Je tu tiež disciplína dokumentovania toho, čo sa naučíte. Test, ktorý nezaznamenáte, je príbeh, ktorý budete rozprávať so zaujatosťou. Aj neuzavretý test vás naučí niečo o veľkosti účinku, ktorý dokážete na svojej stránke skutočne odhaliť, o vašej návštevnosti a o trpezlivosti vašich návštevníkov. Zapíšte si hypotézu, variant, metriku a výsledok do jednej vety. Po niekoľkých mesiacoch sa tento záznam stane mapou toho, na čo vaše publikum reaguje, a urýchli každé budúce rozhodnutie.

Orientačný test: Keď je rýchlosť súčasťou odpovede

Teraz zvážte zmenu s nižším rizikom: hlavný obrázok na vašej vstupnej stránke. Máte dve možnosti – snímku obrazovky svojho dashboardu a fotografiu človeka používajúceho váš produkt. Neviete, ktorá z nich osloví vaše publikum. Nevýhoda výberu nesprávneho obrázka je malá. Môžete ho vymeniť späť za pár minút. Ale možno nemáte dostatok návštevnosti na dosiahnutie výsledku s učebnicovou spoľahlivosťou do mesiaca. Tu patrí orientačný test.

Orientačný test je stále náhodné porovnanie, ale zámerne používate nižšiu hranicu dôkazov. Vopred sa rozhodnete, že nový obrázok nasadíte, ak bude na primárnej metrike lepší počas väčšiny týždňového okna, alebo ak bude jasne vpredu na konci pevného obdobia. S výsledkom zaobchádzate ako s odporúčaním, nie ako s verdiktom. Disciplína je tu rovnako dôležitá ako pri plnom experimente. Ak sa vopred nezaviažete k pravidlu, budete civieť na živé výsledky a urobíte neplánované rozhodnutie – a takto oklamete sami seba, aby ste videli to, čo chcete vidieť.

Čo ma privádza k rade, ktorú nájdete vo väčšine príručiek o A/B testovaní: „nikdy sa nepozerajte na svoje výsledky pred dokončením testu.“ Toto odporúčanie je správne pre formálny experiment, ktorý rozhodne o veľkom spustení. Ale pre sólového marketéra s miernou návštevnosťou je nahliadnutie spôsob, ako sa rýchlo učiť. Problém nie je v tom, že ste sa pozreli na čísla. Problém je, že ste nechali pohľad urobiť rozhodnutie, ktoré ste neplánovali. Ak sa vopred rozhodnete, aký vzor by zmenil váš názor, potom to, čo vyzerá ako „nahliadnutie“, je v skutočnosti štruktúrovaný spôsob, ako zvládnuť nízku návštevnosť. Vyberáte si rýchlosť učenia pred istotou. To je legitímna výmena, pokiaľ ste úprimní o tom, čo robíte, a nevyhlasujete výsledok za dôkaz.

Po orientačnom teste neprestaňte merať. Ak nasadíte nový hlavný obrázok, sledujte mieru konverzie v nasledujúcich týždňoch. Ak sa zhorší, vráťte sa. Ak sa zlepší, máte určitý dôkaz, že váš orientačný signál bol správny. Orientačný test je spôsob, ako sa rýchlo rozhodnúť, nie spôsob, ako sa vyhnúť zodpovednosti. Dobre sa dopĺňa aj s druhom praktického triedenia opísaného v našom návode na triedenie A/B testov pre sólových marketérov – ak máte backlog možných zmien, môžete pomocou orientačných testov rozhodnúť, ktoré si zaslúžia plný experiment.

Proste to nasaď: Keď súčasná verzia už prehráva

Niekedy je najviac založené na dôkazoch rozhodnutie nespúšťať žiadny test. Predpokladajme, že váš registračný formulár pýta telefónne číslo. V nahrávkach relácií vidíte, ako niekoľko návštevníkov príde k tomuto poľu, zastavia sa a odídu. Dostali ste e-maily na podporu s otázkou, či je telefónne číslo povinné. Pole nie je na nič potrebné. Mali by ste A/B testovať, či ho odstrániť? Nie. Odstránenie je oprava, nie experiment. Súčasná verzia má známy nedostatok a zmena sa dá ľahko vrátiť. Nasadenie opravy a sledovanie miery dokončenia je lepšie využitie vášho času.

Rovnaká úvaha sa vzťahuje na zastarané stránky. Ak vaša vstupná stránka stále opisuje funkciu, ktorú už neponúkate, testovať starú stránku proti novej nedáva zmysel. Míňate návštevnosť na to, aby ste dokázali, že verzia, ktorú by ste si nikdy nechali, je horšia ako tá, ktorú by ste chceli nasadiť. To už viete. Správny krok je najprv nasadiť aktuálnu verziu a potom, keď je živá, spúšťať experimenty na jej optimalizáciu.

Toto je kompromis, ktorý väčšina príručiek o A/B testovaní nespomína. Každý týždeň, počas ktorého necháte slabú verziu živú, kým čakáte na dokončenie testu, je týždeň, za ktorý platíte náklady obete. Ak je zmena nízkoriziková a ľahko zvratná, očakávaná hodnota okamžitého nasadenia často prevyšuje hodnotu neskoršieho dokazovania zlepšenia. Nepreskakujete meranie – nahrádzate randomizovaný experiment porovnaním pred/po. Porovnanie pred/po je slabší dôkaz, ale stále je to dôkaz a je lepšie ako stráviť štyri týždne bez akéhokoľvek rozhodnutia.

Test pred/po, ktorý už spúšťate

Keď nasadíte zmenu bez testu, meranie nekončí. Teraz spúšťate experiment pred/po so všetkými výhradami, ktoré s tým súvisia. Najlepší spôsob, ako to spraviť menej hlučným, je stanoviť základnú metriku predtým, ako čokoľvek zmeníte, nasadiť v čase nízkej návštevnosti, ak môžete, a sledovať trend aspoň celý týždeň, aby ste nereagovali na náhodný pondelok. Ak sa metrika pohne smerom, ktorý chcete, ponechajte zmenu. Ak sa pohne proti vám, vráťte ju. Ak sa nepohne vôbec, zistili ste, že zmena bola neutrálna – čo je tiež informácia.

Toto je režim, ktorý väčšina ľudí ignoruje. Nasadia a potom sa už nikdy nepozrú a neskôr si nie sú istí, či zmena pomohla alebo ublížila. Porovnanie pred/po nie je prísne, ale je oveľa lepšie ako nič, čo sa deje na väčšine webových stránok. Ak je vaša návštevnosť naozaj príliš nízka aj na orientačný test, porovnanie pred/po je často jediný nástroj, ktorý máte. Signál môžete stále získať z nahrávok relácií, spätnej väzby od podpory a z toho, ako sa metrika vyvíja po zmene – ani jedna z týchto vecí nevyžaduje randomizáciu. Toto je oblasť, ktorej sa venuje náš článok o A/B testovaní bez návštevnosti.

Tri prístupy vedľa seba

Tu je porovnanie v jednej tabuľke.

Prístup	Najvhodnejší, keď	Riziko pri omyle	Čo získate	Čoho sa vzdávate
Plný experiment	Zmena ovplyvňuje príjmy, ceny alebo kľúčové toky; máte dostatok návštevnosti na dosiahnutie rozhodnutia	Nízke (ak dodržiavate štatistiky); na šum môžete reagovať, len ak ich ignorujete	Sebavedomú, opakovateľnú odpoveď	Čas, návštevnosť a schopnosť konať rýchlo
Orientačný test	Zmena je nízkoriziková, návštevnosť je mierna a potrebujete signál na učenie sa v priebehu dní	Stredné – občas môžete nasadiť prehrávajúci variant	Rýchly náznak toho, čo stojí za to robiť ďalej	Dôkaz a schopnosť zachytiť jemné účinky
Nasadenie bez testovania	Súčasná verzia je jednoznačne slabá, zmena je oprava alebo sa dá ľahko vrátiť	Nízke, najmä pri monitorovaní po nasadení	Rýchlosť a dynamiku	Schopnosť pripísať zmenu jedinému faktoru

Tabuľka podceňuje silu tretieho riadku. „Nasadenie bez testovania“ je kritizované v kruhoch zaoberajúcich sa optimalizáciou konverzií, ale pre sólového marketéra s dlhým backlogom a obmedzenou návštevnosťou je to často racionálna voľba. Skutočný hriech je nasadiť a potom nesledovať, čo sa stane.

Ako sa rozhodnúť za 15 minút

Ak chcete rýchlejší proces, ako si zapamätať celý rámec, použite tieto štyri otázky.

Po prvé, ak sa mýlim, čo sa pokazí? Ak je odpoveď príjmy, dôvera alebo súlad, zvýšte hranicu dôkazov. Ak je odpoveď „až tak nič“, znížte ju. Po druhé, ako dlho môžem čakať? Odhadnite, ako dlho by trval plný experiment. Ak je to dlhšie, než ste ochotní zmenu odložiť, už ste zúžili výber na orientačný test alebo nasadenie. Po tretie, čo urobím s odpoveďou? Ak na základe výsledku nezmeníte svoje správanie, nespúšťajte test. Test by mal zmeniť rozhodnutie. Po štvrté, môžem to ľahko vrátiť? Zvratné zmeny sú lacné na nasadenie; nezvratné alebo nákladné na vrátenie si zaslúžia viac dôkazov.

Potom si vyberte: ak je riziko vysoké a môžete čakať, spustite plný experiment. Ak je riziko nízke a chcete rýchlosť, spustite orientačný test. Ak je súčasná verzia jednoznačne horšia a zmena je oprava, nasaďte ju a monitorujte. Ak zistíte, že spúšťate testy, pretože máte pocit, že by ste mali, a nie preto, že zmeníte rozhodnutie, pravdepodobne máte problém s určovaním priorít, nie s testovaním. Naším článkom o tom, ako prestať strácať čas na A/B testy, ktoré nezaberajú, je dobré ďalšie čítanie.

Aplikujme to na úvodnú otázku. Máte nový nadpis a miernu návštevnosť. Nadpis je zvratný, nevýhoda je malá a nechcete čakať mesiac. Podľa tejto logiky by ste preskočili plný experiment. Buď by ste spustili krátky orientačný test, ak chcete nejaký signál, alebo by ste nadpis nasadili a porovnali budúcomesačnú mieru konverzie s tou tohtomesačnou. Obe sú obhájiteľné. Čo obhájiteľné nie je, je stráviť štyri týždne „riadnym“ testom, ktorý nemáte návštevnosť dokončiť, a potom vyhlásiť neuzavretý výsledok za zlyhanie.

Pasca štatistickej významnosti, na ktorú si treba dávať pozor

Štatistická významnosť vám hovorí, či je výsledok pravdepodobne skutočný, nie či je dôležitý. Zmena môže byť štatisticky významná a stále príliš malá na to, aby ospravedlnila úsilie. Na druhej strane orientačný test môže ukázať vzor, ktorý je skutočný, ale príliš malý na to, aby ho vaša návštevnosť odhalila. Keď si vyberiete nižšiu hranicu dôkazov, akceptujete viac falošne pozitívnych aj viac falošne negatívnych výsledkov. To je kompromis, nie zlyhanie.

Ďalšie rozlíšenie, ktoré si so sebou stojí za to odniesť, je praktická vs. štatistická významnosť. Zmena môže byť štatisticky významná a stále príliš malá na to, aby záležala. Predpokladajme, že nové tlačidlo zvýši kliknutia o tak nepatrné množstvo, že by trvalo mesiace, kým by sa prejavilo v jednej ďalšej registrácii. Tento výsledok je skutočný, ale nestojí za to prestavať stránku. Na druhej strane zmena, ktorá nie je štatisticky významná, môže byť stále prakticky dôležitá, ak je vzor konzistentný a náklady na konanie sú takmer nulové. Keď si vyberáte medzi tromi prístupmi, opýtajte sa, či veľkosť účinku, ktorý vás zaujíma, je niečo, čo váš experiment dokáže skutočne odhaliť. Ak nie, nevyberáte si medzi testovaním a nasadením; vyberáte si medzi dvoma formami nevedomosti.

To je dôvod, prečo je rozhodovací rámec v tomto článku založený na nákladoch na to, že sa mýlite. Ak je falošne pozitívny výsledok lacný – povedzme, nasadíte o niečo horší nadpis a vrátite ho – môžete si dovoliť nízku hranicu dôkazov. Ak falošne negatívny výsledok znamená, že prídete o zmysluplné zlepšenie, možno budete chcieť testovať dlhšie. Ako sólový marketér nemôžete optimalizovať všetko. Vyberáte si rovnováhu medzi rýchlosťou učenia a istotou. Hlbší pohľad na čítanie čísel bez toho, aby vás zaviedol šum, nájdete v našom návode, ako správne interpretovať výsledky A/B testov.

Praktické závery

Zmyslom tohto rámca nie je testovať menej. Je to prispôsobiť štandard dôkazov stávkam. Plný experiment je silný nástroj, keď je zmena dôležitá a máte trpezlivosť čakať. Orientačný test je rozumný stred, keď sa potrebujete učiť rýchlejšie, než vám návštevnosť dovoľuje. A nasadenie bez testu je niekedy najúprimnejšia voľba, keď súčasná verzia už prehráva – pokiaľ sledujete, čo sa stane potom.

Nabudúce, keď vás bude lákať otázka „mám to A/B testovať?“, položte si lepšiu otázku: „Čo by ma stálo, keby som sa mýlil?“ Odpoveď vám povie, ktorý z troch prístupov použiť, a toto rozhodnutie vám ušetrí viac času a návštevnosti než akýkoľvek testovací nástroj.