A/B тест, насочен тест или просто пускане? Риск-базирана рамка за самостоятелни маркетолози

Резюме

Повечето съвети за A/B тестване предполагат, че имате неограничен трафик и търпелив екип зад себе си. В действителност самостоятелният маркетолог често трябва да избира между пълен експеримент, кратък насочен тест и пускане на промяна без никакъв тест. Тази статия представя рамка, основана на риска, за това решение, фокусирана върху цената на грешката и цената на чакането. Тя обхваща какво да правите, когато резултатът не е „статистически значим“ и защо това не е същото като неуспешна промяна. Ще научите кога ранният поглед може да бъде полезен, кога пускането сега е по-добре от чакането за доказателства и как да измервате преди/след, когато пропуснете теста. Изводът не е да тествате по-малко, а да съобразите стандарта си за доказателства с реалните залози.

Трябва ли да проведете A/B тест, по-кратък „насочен“ тест или просто да направите промяната и да наблюдавате какво ще се случи? Ако отговаряте за процента на конверсия на уебсайта си и нямате специален екип около себе си, това вероятно е най-честото решение, което вземате. Стандартният съвет гласи да тествате всичко, но този съвет предполага, че имате излишен трафик, време за чакане и ясен показател за наблюдение. Често нямате нито едно от тези. Тази статия преминава през трите стандарта за доказателства и ви дава начин да изберете между тях за минути, не за дни.

Първото нещо, което трябва да разберете, е, че A/B тестването всъщност не е за самата промяна. Става въпрос за това колко сте готови да платите, за да сгрешите. Помислете за две промени на същия сайт. Управлявате инструмент за управление на проекти. Искате да промените заглавието на началната страница от „Управление на проекти“ на „Планирайте проекти за половината време“. Също така искате да промените страницата с цените, така че посетителите да могат да избират годишен план заедно с месечния. И двете промени засягат същия уебсайт и и двете могат да бъдат тествани по същия начин. Но цената на грешката е много различна. Ако заглавието е грешно, посетителят вижда леко по-неефективно съобщение за няколко дни и можете да върнете старото без проблем. Ако структурата на цените е грешна, може да объркате потенциални клиенти, да напълните входящата кутия за поддръжка с въпроси и да създадете очакване, което не съответства на начина, по който всъщност фактурирате. Връщането назад не е безплатно. Същата логика се прилага за всяка промяна, която обмисляте, от етикети на бутони до цялостни редизайни на страници.

Ето защо никой не може да ви даде универсален отговор на въпроса „трябва ли да тествам?“ Отговорът зависи от това какво ви струва фалшиво положителният резултат, колко струва фалшиво отрицателният и от какво се отказвате, докато чакате. Нека разгледаме трите варианта подробно.

Пълният експеримент: Когато летвата за доказателства е висока

Представете си, че тествате дали да промените бутона на основната си страница за регистрация от „Започнете безплатен пробен период“ на „Започнете сега“. За самостоятелен основател това е промяна с висока видимост, която се намира на входа на вашата фуния. Тя може да повлияе на регистрациите за пробен период, които захранват всичко надолу по веригата. Имате стабилен поток от посетители, но не и огромен. Това е добър кандидат за пълен експеримент.

Пълният експеримент има конкретно значение. Вие разделяте посетителите си на случаен принцип, показвате на едната група оригиналната версия, а на другата — променената, и сравнявате поведението по показател, който сте избрали преди да започнете. Както е дефинирано в речника на Optimizely, A/B тестването е метод за сравняване на две версии на уеб страница или приложение, за да се определи коя се представя по-добре. Ключът е да позволите на данните да решат, а не на инстинкта си. На практика това означава да зададете ясен основен показател — например делът на посетителите, които кликват до формуляра за регистрация — и да променяте само една променлива наведнъж. Ако промените както бутона, така и обграждащия текст, няма да знаете кой е причинил разликата. И трябва предварително да решите колко дълго ще тествате и какво доказателство ще ви накара да действате.

Последната стъпка е тази, която повечето хора пропускат. Трябва да решите преди да започнете какво ниво на увереност ви трябва и колко голям ефект се опитвате да откриете. Статистическият механизъм зад размера на извадката и продължителността е точно това, което прави A/B теста различен от случайното наблюдение. Ако трафикът ви е твърде нисък, за да достигнете до това доказателство за разумно време, пълният експеримент вероятно ще завърши с „неубедителен“ — и това е реална цена. За подробен поглед как да решите кога сте чакали достатъчно дълго, нашата практическа рамка за това кога да спрете A/B тест е добър спътник на тази.

Тук има скрит капан. Ако пълният експеримент приключи и резултатът не е „статистически значим“, може да се изкушите да заключите, че „промяната няма значение“. Това не е смисълът на резултата. Той означава, че тестът ви не е бил достатъчно прецизен, за да открие разликата, или че разликата е по-малка, отколкото ви е интересувало да откриете. Това е полезна информация — сега можете да решите да пуснете промяната въз основа на други доказателства, да проведете по-дълъг тест или да изберете по-съществена промяна. Но това не е доказателство, че новата версия е по-лоша. Ако използвате платформа за тестване, захранвана с ИИ, която динамично разпределя трафика и генерира варианти, експериментът може да достигне до решение по-бързо, но същата логика важи: резултатът е толкова надежден, колкото е способността ви да изчакате достатъчно доказателства.

Съществува и дисциплината да документирате това, което научавате. Тест, който не документирате, е история, която ще разказвате с пристрастие. Дори неубедителният тест ви учи на нещо за размера на ефекта, който всъщност можете да откриете на вашата страница, вашия трафик и търпението на посетителите ви. Запишете хипотезата, варианта, показателя и резултата в едно изречение. След няколко месеца този дневник се превръща в карта на това, на което аудиторията ви реагира, и прави всяко бъдещо решение по-бързо.

Насочен тест: Когато скоростта е част от отговора

Сега разгледайте промяна с по-нисък риск: hero изображението на вашата целева страница. Имате два варианта — екранна снимка на таблото ви и снимка на човек, който използва продукта ви. Не знаете кое ще резонира с аудиторията ви. Недостатъкът на избора на грешно изображение е малък. Можете да го смените обратно за минути. Но може да нямате достатъчно трафик, за да достигнете до резултат с учебникова увереност в рамките на месец. Тук е мястото на насочения тест.

Насочен тест все още е рандомизирано сравнение, но умишлено използвате по-ниска летва за доказателства. Решавате предварително, че ще пуснете новото изображение, ако се представя по-добре по основния показател през повечето време в рамките на една седмица, или ако е ясно напред до края на фиксиран период. Отнасяте се към резултата като към препоръка, а не като присъда. Дисциплината е също толкова важна, колкото и при пълния експеримент. Ако не се ангажирате предварително с правило, ще се окажете, че гледате резултатите на живо и вземате непланирано решение — и така се заблуждавате да виждате това, което искате да видите.

Което ме води до съвет, който ще намерите в повечето ръководства за A/B тестване: „никога не надничайте в резултатите си, преди тестът да приключи.“ Това ръководство е правилно за формален експеримент, който ще реши голямо пускане. Но за самостоятелен маркетолог със скромен трафик надничането е начинът да учите бързо. Проблемът не е, че сте погледнали числата. Проблемът е, че сте позволили на погледа да вземе решение, което не сте планирали. Ако решите предварително какъв модел би променил мнението ви, тогава това, което изглежда като „надничане“, всъщност е структуриран начин за справяне с нисък трафик. Избирате скоростта на учене пред сигурността. Това е легитимен компромис, стига да сте честни за това, което правите, и да не обявявате резултата за доказателство.

След насочения тест не спирайте да измервате. Ако пуснете новото hero изображение, следете процента на конверсия през следващите седмици. Ако се влоши, върнете се назад. Ако се подобри, имате някакво доказателство, че насоченият сигнал е бил правилен. Насочен тест е начин да вземете решение бързо, а не начин да избегнете отговорност. Той също така се съчетава добре с вида практическа триаж, описан в нашето ръководство за триаж на A/B тестове за самостоятелни маркетолози — ако имате списък с възможни промени, можете да използвате насочени тестове, за да решите кои заслужават пълен експеримент.

Просто го пусни: Когато текущата версия вече губи

Понякога най-обоснованото решение е да не провеждате тест изобщо. Да предположим, че формата ви за регистрация иска телефонен номер. В записите на сесиите виждате няколко посетители да стигат до това поле, да спират и да напускат. Получавали сте имейли за поддръжка с въпрос дали телефонният номер е задължителен. Полето не е необходимо за нищо. Трябва ли да проведете A/B тест дали да го премахнете? Не. Премахването му е поправка, а не експеримент. Текущата версия има известен недостатък и промяната е лесно обратима. Пускането на поправката и наблюдението на процента на завършване е по-добра употреба на времето ви.

Същата логика важи и за остарелите страници. Ако целевата ви страница все още описва функция, която вече не предлагате, тестването на старата страница срещу новата е безсмислено. Вие харчите трафик, за да докажете, че версия, която никога не бихте запазили, е по-лоша от тази, която бихте искали да пуснете. Вие вече знаете това. Правилният ход е първо да пуснете текущата версия и след като е на живо, да проведете експерименти, за да я оптимизирате.

Това е компромисът, който повечето ръководства за A/B тестване не споменават. Всяка седмица, в която държите слаба версия на живо, докато чакате тестът да приключи, е седмица, в която плащате алтернативна цена. Ако промяната е с нисък риск и лесно обратима, очакваната стойност на пускането сега често надвишава стойността на доказването на подобрението по-късно. Не пропускате измерването — заменяте рандомизиран експеримент със сравнение преди/след. Сравнението преди/след е по-слабо доказателство, но все пак е доказателство и е по-добре от това да прекарате четири седмици, без да вземете никакво решение.

Тестът преди/след, който вече провеждате

След като пуснете промяна без тест, измерването не спира. Сега провеждате експеримент преди/след, с всички уговорки, които идват с него. Най-добрият начин да го направите по-малко шумен е да установите базов показател, преди да промените каквото и да било, да пуснете промяната в момент с нисък трафик, ако можете, и да гледате тенденцията за поне една пълна седмица, така че да не реагирате на случаен понеделник. Ако показателят се движи в посоката, която искате, запазете промяната. Ако се движи срещу вас, върнете се назад. Ако изобщо не се движи, сте научили, че промяната е неутрална — което също е информация.

Това е режимът, който повечето хора игнорират. Те пускат, после никога не поглеждат отново и по-късно не са сигурни дали промяната е помогнала или навредила. Сравнението преди/след не е строго, но е много по-добро от нищото, което се случва на повечето уебсайтове. Ако трафикът ви е наистина твърде нисък дори за насочен тест, сравнението преди/след често е единственият инструмент, който имате. Все още можете да получите сигнал от записи на сесии, обратна връзка от поддръжката и как се движи показателят след промяната — нито едно от тях не изисква рандомизация. Това е територията, обхваната в нашата статия за A/B тестване без трафик.

Трите подхода един до друг

Ето сравнението в една таблица.

Подход	Кога е най-добър	Риск при грешка	Какво получавате	Какво губите
Пълен експеримент	Промяната засяга приходите, цените или основните потоци; имате достатъчно трафик, за да вземете решение	Нисък (ако следвате статистиката); можете да действате по шум само ако ги игнорирате	Уверен, повтаряем отговор	Време, трафик и способност за бързи действия
Насочен тест	Промяната е с нисък риск, трафикът е скромен и имате нужда от сигнал за учене в рамките на дни	Умерен — понякога може да пуснете губещ вариант	Бърза подсказка за това, което си струва да правите повече	Доказателство и способност за улавяне на фини ефекти
Пускане без тестване	Текущата версия е явно лоша, промяната е поправка или е лесно обратима	Нисък, особено с наблюдение след пускането	Скорост и инерция	Способността да припишете промяната на един фактор

Таблицата подценява силата на третия ред. „Пускането без тестване“ е критикувано в средите за оптимизация на конверсията, но често е рационалният избор за самостоятелен маркетолог с дълъг списък от задачи и ограничен трафик. Истинският грях е да пуснете и след това да не наблюдавате какво се случва.

15-минутен начин да изберете

Ако искате по-бърз процес от запаметяването на цялата рамка, използвайте тези четири въпроса.

Първо, ако греша, какво се счупва? Ако отговорът е приходи, доверие или съответствие, вдигнете летвата си за доказателства. Ако отговорът е „не много“, свалете я. Второ, колко дълго мога да чакам? Преценете колко време би отнел пълният експеримент. Ако това е по-дълго, отколкото сте готови да забавите промяната, вече сте стеснили избора до насочен тест или пускане. Трето, какво ще направя с отговора? Ако няма да промените поведението си въз основа на резултата, не провеждайте теста. Тестът трябва да промени решение. Четвърто, мога ли лесно да го върна назад? Обратимите промени са евтини за пускане; необратимите или скъпите за връщане заслужават повече доказателства.

След това изберете: ако рискът е висок и можете да чакате, проведете пълен експеримент. Ако рискът е нисък и искате скорост, проведете насочен тест. Ако текущата версия е очевидно по-лоша и промяната е поправка, пуснете я и наблюдавайте. Ако установите, че провеждате тестове, защото смятате, че трябва, а не защото ще промените решение, вероятно имате проблем с приоритизирането, а не с тестването. Нашата статия за това как да спрете да губите време за A/B тестове, които нямат значение, е добро следващо четиво.

Нека приложим това към първоначалния въпрос. Имате ново заглавие и скромен трафик. Заглавието е обратимо, недостатъкът е малък и не искате да чакате месец. По тази логика бихте пропуснали пълния експеримент. Бихте или провели кратък насочен тест, ако искате някакъв сигнал, или бихте пуснали заглавието и сравнили процента на конверсия за следващия месец с този за текущия. И двете са защитими. Това, което не е защитимо, е да прекарате четири седмици в „правилен“ тест, за който нямате трафик да завършите, и след това да наречете неубедителния резултат провал.

Капанът на значимостта, за който трябва да внимавате

Статистическата значимост ви казва дали даден резултат вероятно е реален, а не дали има значение. Една промяна може да бъде статистически значима и все пак твърде малка, за да оправдае усилията. От друга страна, насочен тест може да покаже модел, който е реален, но твърде малък, за да бъде открит с вашия трафик. Когато изберете по-ниска летва за доказателства, приемате както повече фалшиво положителни, така и повече фалшиво отрицателни резултати. Това е компромис, а не провал.

Друго разграничение, което си струва да носите със себе си, е практическата срещу статистическата значимост. Една промяна може да бъде статистически значима и все пак твърде малка, за да има значение. Да предположим, че новият бутон увеличава кликовете с толкова малко количество, че ще са нужни месеци, за да се превърне в един допълнителен абонамент. Този резултат е реален, но не си струва да пренареждате страницата си около него. От друга страна, промяна, която не е статистически значима, може все пак да бъде практически важна, ако моделът е последователен и цената на действието е близо до нула. Когато избирате между трите подхода, попитайте дали размерът на ефекта, който ви интересува, е нещо, което вашият експеримент може действително да открие. Ако не, вие не избирате между тестване и пускане; вие избирате между две форми на невежество.

Ето защо рамката за вземане на решения в тази статия се основава на цената на грешката. Ако фалшиво положителният резултат е евтин — например, пускате леко по-лошо заглавие и го връщате обратно — можете да си позволите ниска летва за доказателства. Ако фалшиво отрицателният резултат означава, че пропускате смислено подобрение, може да поискате да тествате по-дълго. Като самостоятелен маркетолог не можете да оптимизирате всичко. Вие избирате баланс между скоростта на учене и увереността. За по-задълбочен поглед върху четенето на числата, без да бъдете подведени от шума, вижте нашето ръководство за това как правилно да интерпретирате резултатите от A/B тестове.

Практическият извод

Смисълът на тази рамка не е да тествате по-малко. Тя е да съобразите стандарта си за доказателства със залозите. Пълният експеримент е мощен инструмент, когато промяната е важна и имате търпение да изчакате. Насочен тест е разумен компромис, когато трябва да учите по-бързо, отколкото трафикът ви позволява. И пускането без тест понякога е най-честният избор, когато текущата версия вече губи — стига да наблюдавате какво се случва след това.

Следващият път, когато се изкушите да попитате „трябва ли да направя A/B тест на това?“, задайте по-добър въпрос: „Какво би ми струвало да сгреша?“ Отговорът ви казва кой от трите подхода да използвате и това решение ще ви спести повече време и трафик, отколкото всеки инструмент за тестване някога ще го направи.