5 visbiežāk pieļautās A/B testēšanas kļūdas un kā tās labot

Kopsavilkums

A/B testēšana ir spēcīga metode reklāmguvumu optimizēšanai, taču daudzas komandas sabotē savus eksperimentus ar izplatītām kļūdām. Šis raksts apskata piecas kritiskas kļūdas: testu pāragra pārtraukšana, vairāku izmaiņu testēšana vienlaikus, statistiskās nozīmības ignorēšana, rezultātu nesegmentēšana un testu veikšana lapās ar zemu apmeklējumu. Katra kļūda ir izskaidrota ar reālās dzīves piemēriem un praktiskiem soļiem, kā no tās izvairīties. Jūs uzzināsiet, kā aprēķināt nepieciešamo izlases lielumu, izolēt mainīgos, pareizi interpretēt p-vērtības, atklāt Simpsona paradoksu un novērtēt, vai lapai ir pietiekami daudz apmeklētāju jēgpilnam testam. Beigās jums būs kontrolsaraksts, lai nodrošinātu, ka jūsu nākamais A/B tests sniedz uzticamus un praktiski izmantojamus ieskatus.

Ievads

Jūs uzsākāt A/B testu, pagaidījāt dažas dienas un redzējāt daudzsološu pieaugumu. Dedzīgi to izmantot, jūs pasludināt variantu par uzvarētāju un ieviešat to tiešraidē. Pēc nedēļas reklāmguvumi samazinās. Kas notika? Jūs iekritāt klasiskā A/B testēšanas slazdā.

A/B testēšana ir reklāmguvumu līmeņa optimizācijas stūrakmens, taču to ir ļoti viegli veikt nepareizi. Šajā rakstā mēs izpētīsim piecas visbiežāk pieļautās kļūdas, kas rada maldinošus rezultātus un izšķērdē resursus. Katrai no tām ir pievienots konkrēts risinājums, ko varat piemērot jau šodien.

---

1. kļūda: testa pāragra pārtraukšana

Problēma: Ir vilinoši palūkoties uz rezultātiem un pasludināt uzvarētāju, tiklīdz parādās statistiskā nozīmība. Bet agrīna skatīšanās palielina nepatiesi pozitīvu rezultātu īpatsvaru. Ja jūs pārbaudāt testu katru dienu un pārtraucat to brīdī, kad p < 0,05, jūsu faktiskais nozīmības līmenis var būt tuvāks 0,20 vai augstāks.

Piemērs: Pieņemsim, ka testējat divas pogu krāsas. Pēc 200 apmeklētājiem zaļā poga uzrāda 15% pieaugumu ar p=0,04. Jūs pārtraucat un ieviešat zaļo. Ja jūs būtu ļāvuši testam darboties līdz 1000 apmeklētājiem, pieaugums varētu izzust vai pat mainīties.

Risinājums: Pirms sākuma nosakiet nepieciešamo izlases lielumu. Izmantojiet tiešsaistes izlases lieluma kalkulatoru – ievadiet savu bāzes reklāmguvumu līmeni, minimālo nosakāmo efektu un vēlamo nozīmības līmeni (parasti 0,05) un jaudu (0,80). Nelūkojieties uz rezultātiem, kamēr nav sasniegts šis izlases lielums. Ja jāuzrauga, izmantojiet secīgās testēšanas metodi vai Bonferroni korekciju.

Piezīme: Pat ar iepriekš noteiktu izlases lielumu ārējie faktori (svētki, mārketinga kampaņas) var izkropļot rezultātus. Veiciet testus vismaz viena pilna biznesa cikla garumā (piemēram, vienu nedēļu), lai ņemtu vērā nedēļas dienu efektus.

---

2. kļūda: pārāk daudzu izmaiņu testēšana vienlaikus

Problēma: Uzsākot testu ar jaunu virsrakstu, attēlu, aicinājumu uz darbību un izkārtojumu vienlaikus, jūs nevarat noteikt, kura izmaiņa izraisīja rezultātu. To sauc par salikto testu.

Piemērs: Jūs pārveidojat galveno lapu ar jaunu varoņattēlu, īsāku tekstu un zaļu pogu. Reklāmguvumi palielinās par 20%. Vai tas bija attēls? Teksts? Poga? Jums nav ne jausmas – un jūs nevarat optimizēt tālāk bez papildu testiem.

Risinājums: Testējiet vienu elementu vienlaikus. Ja vēlaties testēt vairākas izmaiņas, veiciet secīgus vai multivariācijas testus, bet lielākajai daļai komandu A/B testēšana ar vienu mainīgo katrā eksperimentā ir praktiskāka. Prioritizējiet izmaiņas ar vislielāko potenciālo ietekmi. Lai iegūtu satvaru, kā izvēlēties, ko testēt, skatiet šo ceļvedi par testu prioritizēšanu.

Piezīme: Dažas izmaiņas mijiedarbojas (piemēram, virsraksts un attēls). Apsveriet faktoru dizainu, ja jums ir pietiekami daudz apmeklētāju, bet turiet to vienkāršu, lai iegūtu ticamus rezultātus.

---

3. kļūda: statistiskās nozīmības ignorēšana

Problēma: Daudzi mārketinga speciālisti pasludina uzvarētāju, pamatojoties uz neapstrādātiem reklāmguvumu līmeņiem, nepārbaudot, vai starpība ir statistiski nozīmīga. Ar mazām izlasēm nejaušas svārstības var izskatīties kā lielas atšķirības.

Piemērs: Variants A iegūst 5 reklāmguvumus no 100 (5%), variants B iegūst 8 no 100 (8%). 3% atšķirība izskatās nozīmīga, bet hī kvadrāta tests atklāj p-vērtību 0,27 – nav nozīmīgi.

Risinājums: Pirms secinājumu izdarīšanas vienmēr aprēķiniet p-vērtību vai ticamības intervālu. Izmantojiet rīku, piemēram, Optimizely vai Google Optimize, vai veiciet ātru aprēķinu, izmantojot statistiskās nozīmības kalkulatoru. Parasts slieksnis ir p < 0,05 (95% ticamība). Apsveriet arī ticamības intervālus – tie parāda iespējamā pieauguma diapazonu.

Piezīme: Statistiskā nozīmība negarantē praktisku nozīmību. 0,5% pieaugums var būt statistiski nozīmīgs, bet nav vērts ieviest, ja izmaiņas ir dārgas. Koncentrējieties uz efekta lielumu un biznesa ietekmi.

---

4. kļūda: rezultātu nesegmentēšana

Problēma: Kopējie rezultāti var slēpt to, kas notiek dažādos segmentos. Slavenais Simpsona paradokss var parādīt uzvarētāju variantu, kas faktiski zaudē katrā segmentā.

Piemērs: Jūs testējat jaunu norēķinu plūsmu. Kopumā variantam B ir augstāks reklāmguvumu līmenis. Bet, sadalot pēc mobilās ierīces un datora, variants A uzvar abos. Paradokss rodas tāpēc, ka satiksmes sastāvs atšķiras starp variantiem (piemēram, vairāk mobilo lietotāju B, kuri kopumā veic reklāmguvumus biežāk).

Risinājums: Segmentējiet rezultātus pēc galvenajiem parametriem: ierīces veids, satiksmes avots, lietotāju ģeogrāfija, jauni un atgriezušies apmeklētāji. Izmantojiet rīku, kas automātiski sadala rezultātus, vai veiciet atsevišķus aprēķinus. Ja segmentam ir mazs izlases lielums, ņemiet vērā tā ierobežoto statistisko jaudu.

Piezīme: Esiet piesardzīgi ar pārlieku segmentēšanu – daudzi segmenti palielina nepatiesi pozitīvu rezultātu iespējamību. Iepriekš nosakiet, kurus segmentus analizēsit, un, ja nepieciešams, piemērojiet vairākkārtējas testēšanas korekcijas.

---

5. kļūda: testēšana lapās ar zemu apmeklējumu

Problēma: Veicot A/B testu lapā ar 100 ikdienas apmeklētājiem, būs nepieciešami mēneši, lai sasniegtu nozīmību, īpaši maziem efekta lielumiem. Daudzi testi tiek atmesti vai rada nepatiesi negatīvus rezultātus.

Piemērs: Jūsu privātuma politikas lapu apmeklē 50 apmeklētāju dienā. Jūs testējat divus aicinājumu uz darbību izvietojumus, bet pēc četrām nedēļām ir tikai 1400 apmeklētāju – un nav būtiskas atšķirības. Tests bija lemts neveiksmei jau no sākuma, jo nepieciešamais izlases lielums bija 10 000.

Risinājums: Pirms testēšanas novērtējiet minimālo nosakāmo efektu, kas jums ir svarīgs. Izmantojiet jaudas analīzi, lai redzētu, vai jūsu lapa var nodrošināt šo izlases lielumu saprātīgā laikā (piemēram, 2 nedēļas). Ja nē, apsveriet alternatīvas pieejas: veiciet testu lapā ar lielāku apmeklējumu, izmantojiet bandītu algoritmus vai izlaidiet A/B testēšanu šai lapai un paļaujieties uz kvalitatīvu lietotāju izpēti.

Piezīme: Pat lapas ar lielu apmeklējumu var būt sezonāli ietekmētas. Izvairieties no testēšanas neparastos periodos (Melnā piektdiena, vietnes pārveidošana), ja vien tas nav daļa no jūsu hipotēzes.

---

Secinājums

A/B testēšana nav tikai eksperimentu uzsākšana un cerēšana uz uzvarētāju. Tas ir disciplinēts process, kas prasa plānošanu, pacietību un rūpīgu analīzi. Izvairoties no šīm piecām kļūdām, jūs iegūsiet uzticamus rezultātus, kas patiešām uzlabo reklāmguvumus.

Jūsu darbību kontrolsaraksts:

• Pirms sākuma aprēķiniet izlases lielumu.
• Testējiet vienu mainīgo vienlaikus.
• Pārbaudiet statistisko nozīmību ar atbilstošiem rīkiem.
• Segmentējiet rezultātus, lai atklātu slēptos modeļus.
• Nodrošiniet pietiekamu satiksmi testam.

Ieviesiet šīs prakses, un jūsu A/B testi pārstās būt minējumi un kļūs par uzticamu izaugsmes dzinēju.