A/B тестване без трафик: Наръчник за насочени решения

Обобщение

Целевите страници с нисък трафик правят традиционното A/B тестване бавно, скъпо и ненадеждно. Ако страницата ви получава само шепа посещения на месец, ще прекарате седмици в очакване на резултат, който пак няма да ви каже нищо. Решението е да промените подхода си: първо отстранете видимото триене, тествайте само там, където трафикът е концентриран, и третирайте резултатите от малки извадки като насочващи улики, а не като доказателство. Тази статия ви превежда през практически одит, стратегия за тестване с една променлива и 30-дневен план, който създава инерция дори без статистическа значимост. Тя също така посочва честния компромис: може да действате по фалшиво положителен резултат, но ще учите по-бързо, отколкото ако чакате данни, които никога не идват. Използвайте сравнителната таблица, за да промените мисленето си за тестване и започнете да действате още днес.

Накрая проведохте тест. Пренаписахте заглавието, пуснахте разделението и зачакахте. Две седмици по-късно платформата показва разлика между версиите, която изглежда като победа. Но размерът на извадката е мъничък, доверителният интервал е широк и дълбоко в себе си знаете: това не са данни. Това е хвърляне на монета с табло. Това е капанът на ниския трафик. Решението не е да тествате по-упорито, а да тествате по различен начин.

Капанът на тестовете, които не можете да прочетете

Математиката тук не е ваша вина. Това е ограничение на системата. A/B тестването работи, като разделя аудиторията на две групи и сравнява поведението им. Това сравнение става смислено едва когато всяка група е достатъчно голяма, за да могат реалните разлики да се отделят от случайния шум. На страница, която получава само шепа посещения на месец, дори голямо подобрение може да не успее да достигне до доверителен резултат, преди да се наложи да публикувате нещо.

Според глосара на Optimizely, A/B тестването е метод за сравняване на две версии на уебстраница или приложение, за да се определи коя се представя по-добре. Акцентът трябва да бъде върху „определянето“. С мънички извадки не определяте нищо. Познавате с прикачен резултат на доверие.

Ето я неприятната първа стъпка: спрете да провеждате A/B тестове, които не можете да прочетете. Това не е отстъпка. Това е пренасочване. Тест, който няма да достигне до доверителна значимост, е загуба на време, трафик и внимание. Запазете бюджета си за тестване, докато нямате достатъчно данни. Засега използвайте различен подход.

Идете да видите причините, поради които хората си тръгват

Най-голямото прозрение за малък сайт не е в резултатите от тестовете. То е в поведението на реалните ви посетители. С малко трафик можете да наблюдавате значителна част от всички, които идват. Това е лукс, на който големите компании биха завидели. Използвайте го.

Започнете с анализите си. Намерете страниците, които получават най-много трафик и най-рязък спад. След това отидете по-дълбоко: гледайте записи на сесии, изучавайте heatmaps и задайте на скорошните посетители един честен въпрос: „Какво почти ви спря да купите?“ Отговорите ще ви покажат триене, което мозъкът ви не може да измисли.

Ето конкретен пример. Представете си целева страница за инструмент за управление на проекти. Страницата получава постоянен поток от посещения от популярна публикация в блог. CTA казва „Започнете безплатен пробен период“. Пускате записите на сесии и гледате как посетителите превъртат до секцията с цени и след това си тръгват. Таблицата с цени има план, наречен „Екип“, но нищо не обяснява какво означава „Екип“. Тази двусмисленост е триене. Променяте името на плана на „Малък екип (до 10)“ и коригирате текста. Без разделен тест. Без период на изчакване. Просто корекция, насочена към видимо препятствие.

Това гарантирана победа ли е? Не. Това е корекция с висока увереност, основана на директно наблюдение. Когато причината за изоставянето е видима, не ви трябва контролна група, за да ви каже, че има проблем. Трябва ви смелост да го премахнете.

Това е основното предимство на малкия размер. Можете да говорите с потребителите си, да ги видите в естествената им среда и да хванете това, което таблото не може да измери. Пуснете кратко проучване на страницата си за благодарност. Попитайте потребителите, които не са конвертирали, какво почти ги е накарало да си тръгнат. Прочетете отговорите. Ще откриете модели, които никой A/B тест не би разкрил. Хората са много добри в описването къде е проблемът, дори и да не могат да ви кажат как да го поправите. Оставете поведението им да ви насочи към елемента на страницата и използвайте преценката си, за да поправите текста.

Отнасяйте се към това като към същинска задача. Заделете два часа, затворете имейла си и четете суровите записи на сесии един по един. Не превъртайте бързо. Когато за втори път видите същата пауза, същото превъртане, същия колеблив курсор, сте открили модел. Моделите са вашите доказателства. Пътят на отделен посетител е анекдот; няколко посетители, правещи едно и също нещо, са улика. Тази улика струва повече от хиляди редове обобщени данни.

Поставете теста там, където е трафикът ви

Сайт с нисък трафик почти винаги има моменти с висок трафик. Не е нужно да тествате на слабата си начална страница. Намерете страницата или канала, където хората реално се концентрират, и проведете експеримента там.

Това може да бъде платена целева страница, която получава по-голямата част от рекламния ви трафик. Може да е публикация в блог, която е на първа страница. Може да е имейл кампания, изпратена до значителен списък с абонати. Местоположението на теста е също толкова важно, колкото и самият тест. Ако проведете тест на място с твърде малка аудитория, ще видите шум. Ако го проведете там, където е тълпата, имате шанс.

Съобразете експеримента с плътността на трафика. Имейл за добре дошли с висок процент на отваряне е по-добра среда за тестване от страницата „За нас“, която получава почти никакви посещения. Продуктова страница, задвижвана от търсене, е по-добра от начална страница, на която никой не каца.

Преди да стартирате, проверете дали разделението ви е наистина случайно. Някои инструменти или ръчни заобиколни решения могат случайно да изпратят всички мобилни потребители към една версия. Това съсипва теста, преди да е започнал. Ако платформата ви за експерименти се грижи за рандомизацията, доверете ѝ се, но проверете разпределението след ден. Ако го правите ръчно, редувайте варианта по час или по ден, а не по тип посетител. Последователността е по-малко важна от случайността.

И дръжте хипотезата тясна. Не тествайте „по-добър дизайн“. Тествайте една променлива: едно заглавие, една оферта, един брой полета. Колкото по-тясна е промяната, толкова по-лесно се чете дори при умерен трафик. Когато решавате какво да тествате, заложете на променливата с най-голямо потенциално влияние върху основното ви действие, а не на най-лесната за промяна. Рамката в това ръководство за приоритизиране на A/B тестове ви дава точното изчисление.

Отнасяйте се към резултатите като към насочващи, а не категорични

Ето компромисът, който никой не написва на лепящо листче: статистическата строгост и скоростта са в пряк конфликт. Повечето статии за най-добри практики предполагат, че можете да си позволите и двете. Не можете. Затова ви трябва правило за вземане на решения, което работи във вашия мащаб.

Спрете да изисквате 95% увереност. Този праг е създаден за екипи с достатъчно трафик, за да го достигнат. Вместо това третирайте теста си с нисък трафик като насочващ сигнал. Ако една версия е ясно напред и откритието съвпада с това, което сте видели в записите и проучванията, можете да действате според него — внимателно. Наречете го силна хипотеза, а не доказан победител. След това проверете по-късно.

Ето промяната в мисленето една до друга:

	Класически A/B тест	Експеримент с нисък трафик
Начална точка	„Ще докажа коя версия печели.“	„Ще събера улики за това какво има значение.“
Праг за решение	Увереност от 95% или по-висока	Голяма насочваща разлика плюс качествено съгласие
Време за действие	Седмици или месеци	Дни
Ниво на риск	Ниско, защото чакате	По-високо, затова проверявате по-късно

Означава ли това, че понякога ще действате по фалшиво положителен резултат? Да. Това е честната цена. Приемате малък шанс да действате по шум в замяна на по-бързо учене. Алтернативата — да чакате, докато имате достатъчно трафик — означава да не промените нищо цяло тримесечие.

Номерът е да се защитите от собственото си пристрастие. Преди да погледнете числата, запишете какво бихте направили, ако резултатът е близък: ще го игнорирате. Запишете какво бихте направили, ако разликата е голяма и в очакваната посока: ще внедрите, но ще документирате старата версия. Ако резултатът ви изненада, третирайте го като подтик за повече проучване, а не като заключение. Тази предварителна регистрация е това, което отличава насоченото решение от маймуна, натискаща бутони.

Думата „значим“ има техническо значение. При нисък трафик не сте достигнали това доказателство. Затова променете езика си. Казвайте „тази посока изглежда обещаваща“ или „данните леко подсказват“. Този език ви държи честни пред себе си и пред всеки, който преглежда работата. За по-задълбочен поглед кога един резултат е наистина надежден, прочетете как да интерпретирате резултатите от A/B тестове, без да се поддавате на шума.

Тествайте офертата, не боята

Най-честата загуба на време на малките страници е тестването на цветовете на бутоните, шрифтовете и разстоянията. Тези микро-промени обикновено дават малки ефекти. Малките ефекти изискват огромни извадки, за да бъдат открити. Вие ги нямате. Така че спрете да тествате боята и започнете да тествате структурните части на страницата.

Офертата, ценовата рамка, социалното доказателство, гаранцията, дължината на формата и текстът на основното стойностно предложение са променливи с голямо влияние. Гаранция, поставена до CTA, променя възприемания риск. Форма, намалена от много полета до няколко, променя процента на завършване. Заглавие, което назовава конкретния резултат, вместо неясна полза, променя усещането кой е за кого страницата. Тези промени са достатъчно големи, за да покажат сигнал дори в малка извадка.

Един от начините да идентифицирате променливите с голямо влияние е да попитате: „Ако посетителят прочете само един ред на тази страница, кой трябва да бъде той?“ Този ред е вашето заглавие. Вложете енергията си за тестване там, преди да пипнете бутон. Следващият въпрос: „Какво възражение вдигат посетителите най-често?“ Това възражение е вашата гаранция. Напишете такава, която директно му отговаря. Това не са дизайнерски решения; те са ценностни решения.

Помислете така: A/B тестването е за оптимизиране на нещо, което вече работи. Ако страницата ви има фундаментално несъответствие между това, което предлагате, и това, което посетителят иска, никакъв тест няма да го поправи. Първо поправете офертата. След това тествайте.

Това е класическата грешка на малките екипи: да скачат в тестване, преди да са запушили основните течове на конверсия. Ръководството за най-честите грешки при A/B тестване покрива останалите капани, така че можете да ги пропуснете.

Вашите следващи 30 дни

Ето планът, без нужда от десетстъпкова рамка.

Седмица първа, одит. Отворете анализите и идентифицирайте страниците си с най-висок трафик и най-резките спадове. Гледайте записи на сесии. Изпратете проучване на всички, които не са купили. Избройте всяко препятствие, което виждате, по големина.

Седмица втора, отстранете директно първите три препятствия. Без тестване. Просто подобрете текста, оформлението, формата или офертата. Премахнете триенето, което сте потвърдили със собствените си очи.

Седмица трета, изберете единственото място с най-висок трафик и проведете там един контролиран тест. Една променлива. Определете правилото си за решение, преди да погледнете. Оставете го да тече, докато разликата стане ясна или докато времето изтече.

Седмица четвърта, решете. Ако резултатът е насочващ и съвпада с качествените ви доказателства, внедрете го. Ако е граничен, включете наученото в следващата итерация. След това подгответе следващия тест.

Този подход няма да ви даде чиста статистическа сигурност. Ще ви даде инерция. Ще учите по-бързо, ще пускате подобрения по-рано и ще изградите навик да питате „какво ще ме научи това“, преди да стартирате каквото и да било. Този навик е истинският инструмент за конверсия.

Когато трафикът ви расте — а той ще расте — вече ще знаете какво да тествате, къде да го тествате и как да четете резултатите. Периодът с нисък трафик не е време за изчакване. Това е време за различна игра. Играйте добре тази игра и по-голямата игра ще ви чака там.