Kaçındığın Test, En Çok İhtiyacın Olan Testtir

Özet

A/B testi bir veri bilimi ekibi, dağ gibi trafik veya dolu bir test takvimi gerektirmez. Asıl engel, bireysel pazarlamacıların kısıtlamalarla karıştırdığı bir dizi konforlu itirazdır. Bu makale en yaygın bahaneleri—trafik yok, zaman yok, yapay zeka testin yerini alacak, içgüdülerinize güvenmek, istatistiksel karmaşa ve çok erken olmak—çürütüyor ve her birini somut bir eyleme dönüştürüyor. Elinizdekiyle nasıl yüksek etkili bir test yapacağınızı, yapay zekaya ne zaman güvenip ne zaman klasik teste yaslanacağınızı ve sürekli ertelediğiniz testin neden genellikle işletmenizin en çok ihtiyaç duyduğu test olduğunu öğreneceksiniz. Amaç, eylemsizliğin maliyetini kötü bir deneyimin riskinden daha fazla hissettirmek.

Kaçındığın Test, En Çok İhtiyacın Olan Testtir

Çoğu A/B testi tavsiyesi, halihazırda A/B testi yapan kişiler için yazılmıştır. Bu yüzden size söyleyebileceğim tek gerçekten yararlı şey şu: işinizi en çok geliştirecek test, muhtemelen çok küçük, çok belirsiz veya bilmek istemediğiniz bir şeyi doğrulama olasılığı yüksek olduğu için kaçındığınız testtir. Bireysel pazarlamacıların bir test aracını hiç açmamasına neden olan itirazlar mantıklı görünür, ancak her biri sağduyu kılığına girmiş gizli bir dönüşüm sızıntısıdır.

A/B testi özünde bir karar alışkanlığıdır. Optimizely'nin sözlüğünde belirtildiği gibi, bir web sayfasının veya uygulamanın iki sürümünü birbiriyle karşılaştırarak hangisinin daha iyi performans gösterdiğini belirleme yöntemidir. 50.000 dolarlık kurumsal bir panele ihtiyacınız yok. Bir hipoteze, tek bir değişkene ve sayıların konuşmasına izin verecek kadar sabra ihtiyacınız var. Ve rahatsız edici gerçek şu ki, testi en çok erteleyenler genellikle işletmeleri bundan en çok fayda sağlayacak olanlardır. Eğer 'A/B testi için hazır değiliz' dediyseniz, dönüşüm optimizasyonunda en pahalı kararı zaten vermişsinizdir.

Öyleyse bu itirazlara başımızı sallamayı bırakalım ve onları çürütmeye başlayalım.

İtiraz	Aslında neye karar veriyorsunuz
“Yeterli trafiğim yok.”	“Müşterilerimin oy kullanmasına izin vermeyeceğim.”
“Zamanım yok.”	“Sızdıran huni sorun değil, sanırım.”
“Yapay zeka testi gereksiz kılacak.”	“Müşterilerim hakkında verisi olmayan bir makine, onları benden daha iyi tanıyor.”
“İçgüdülerime güveniyorum.”	“Son üç içgüdüsel kararım doğruydu ve bu seçici hafıza değil.”
“Bu çok teknik.”	“Bir p-değeri, durmuş bir büyüme oranından daha çok korkutuyor.”
“Bunun için çok erken.”	“Bir haftada öğrenmek yerine bir yıl boyunca yanlış şeyi kurmayı tercih ederim.”

Bunların her biri aşağıda adil bir şekilde ele alınıyor. Ancak adil bir dinleme, adil bir karar anlamına gelmez.

“Yeterli Trafiğim Yok”

Ayda iki yüz ziyaret alan fiyatlandırma sayfasını ele alalım. Çok geleneksel bir optimizasyon danışmanı, bu sayının on katına ulaşana kadar beklemenizi söyler. Amacınız dönüşüm oranındaki %2'lik bir değişimi tespit etmek olsaydı haklı olurlardı. Ama olay şu: siz %2'lik bir değişimi tespit etmeye çalışmıyorsunuz. Alışılmadık bir değer önerisinin mevcut olandan önemli ölçüde daha iyi mi yoksa daha kötü mü olduğunu öğrenmeye çalışıyorsunuz ve bu farklar genellikle büyüktür.

Küçük iyileştirmelerin peşinden koşmayı bıraktığınızda matematik sizden yana çalışır. Dönüşüm oranınızı ikiye katlayan bir değişiklik—örneğin, ürünün gerçekte ne yaptığını netleştirmek—birkaç hafta içinde makul bir trafikle tespit edilebilir. Ve bir buton etiketi gibi bir şeyi test ediyorsanız, 'Fiyatları Gör'ün 'Başlayın'ı tıklamalarda ezdiğini fark etmek için istatistiksel olarak güçlü bir örneğe ihtiyacınız olmayabilir. Sadece testin yeterince uzun süre çalışmasına izin vermeniz gerekir.

Ne kadar uzun yeterli? Çoğu test aracı örneklem boyutu hesaplayıcısı içerir ve çevrimiçi olarak bağımsız hesaplayıcılar da bulabilirsiniz. Temel kural: her varyantta yeterli sayıda dönüşüm (tıklama, kayıt, satın alma) istersiniz, yalnızca yeterli ziyaret değil. Bir sayfa ayda 200 ziyaret alıyorsa ve %2 dönüşüm oranına sahipse, bu ayda yalnızca 4 dönüşümdür. Anlamlı bir örüntü için bir süre beklemeniz gerekecek. Ancak test ettiğiniz öğe, temel değer önerisini doğrudan etkileyen bir başlıksa, dönüşüm oranı farkı %15'e karşı %5 olabilir ve bu örüntüyü düşündüğünüzden daha erken görürsünüz.

Diğer trafik kaçış yolu, web sitenizin bir deney yapabileceğiniz tek yer olmamasıdır. E-posta aboneleri, ücretli reklam tıklamaları ve hatta niş bir toplulukta paylaşılan bir bağlantı size kontrollü bir kitle sağlar. A/B testi, açılış sayfalarında olduğu kadar e-postalarda, ürün tasarımlarında ve uygulama akışlarında da işe yarar—Optimizely'nin sözlüğünün test edebileceğiniz öğeleri listelerken belirttiği bir nokta. 'Trafik yok' itirazı neredeyse her zaman gerçekte 'ana sayfama trafik yok' anlamına gelir; bu çok daha dar bir sorundur.

Ve yapay zekanın gerçekten yardımcı olduğu yer burası. Optimizely'nin yapay zeka deneylerine yaklaşımına göre, makine öğrenimi trafiği daha iyi performans gösteren varyanta gerçek zamanlı olarak dinamik şekilde tahsis edebilir; böylece ziyaretlerinizin yarısını muhtemel bir kaybedene harcayan katı bir 50/50 bölünmeye takılı kalmazsınız. Bu, sahip olduğunuz trafiğin daha verimli kullanılması anlamına gelir. Bireysel bir pazarlamacı için bu, “test yapmak imkansız” ile “test yapmak istediğimden daha yavaş ama yapılabilir” arasındaki farktır.

Pratik çözüm: işletme için önemli olan tek bir başarı metriği tanımlayın, bu metriği önemli ölçüde değiştirebilecek tek bir öğe seçin ve aracınızın önerdiği örnekleme dayanarak testi belirli bir gün sayısı boyunca çalıştırmayı taahhüt edin. Ne zaman duracağınızı bilmek için ayrıntılı bir çerçeve, tam olarak A/B testini durdurma karar çerçevesi yazımızda bulacaksınız.

“Zamanım Yok”

Gerçek sorun zaman değil; hipotez testi alışkanlığı edinmemiş olmanız. Bu küçük bir alışkanlık, bir program değil. Bir test takvimine, bir yol haritasına veya bir “deney birikiminize” ihtiyacınız yok. Gerçekten önemsediğiniz bir darboğaz hakkında tek bir hipoteze ihtiyacınız var.

İşte zaman hesabına bir örnek. Kayıt formunuzun yedi alanı olduğunu ve bunun tamamlamaları öldürdüğünden şüphelendiğinizi varsayalım. Hipotez, dört alanı kaldırmanın kayıtları artıracağıdır. Form varyantını düzenlemenize izin veren bir araç kullanıyorsanız testin kurulumu yaklaşık on beş dakika sürer. Sonra beklersiniz. Çalışırken, sonuçlara günde iki dakika bakarsınız—veya aracın size bildirmesine izin verirseniz sıfır dakika. Asıl “iş”, hipotezi ve metriği ifade etmek için harcadığınız beş dakikadır.

A/B testi araçları analizi de sizin için yapar. Anlamlılığı hesaplar, ne zaman duracağınızı önerir ve hatta sonucu belgeler. Eski günlerdeki en büyük zaman kaybı istatistiksel çıktıyı ayrıştırmaktı ve bu artık çoğu platform tarafından otomatikleştiriliyor. Hâlâ elektronik tabloları elle yapıyorsanız, işi gereğinden fazla karmaşıklaştırıyorsunuz.

Daha büyük nokta, zaman itirazının aslında gizlenmiş bir fayda-maliyet itirazı olmasıdır. Test etmemenin maliyeti, doğrulanmamış varsayımların sürekli olarak uygulanmaya devam etmesidir. Test edilmeyen her tahmin, oranı olmayan bir bahistir. Ayda bir saatinizi bir teste harcamak, zamanınıza uygulanan bir vergi değildir; zaten vereceğiniz bir kararın getirisidir.

Ve bunu kalıcı kılmak için bir numara: testinizi zaten yaptığınız bir şeyle eşleştirin. Her Pazartesi sabahı Google Analytics'inizi inceliyorsanız, bu aralığa beş dakikalık bir “testi kontrol et” görevi ekleyin. Aylık bir bülten yazıyorsanız, hipotezi ifade etmek için kendinizi zorlamak üzere “neyi test ediyoruz” diye bir satır ekleyin. Alışkanlık mevcut rutinlere bağlanır, böylece başka bir proje gibi hissettirmez.

Basit bir önceliklendirme ile başlayın. Üç ayda bir test yapmak, küçük ekiplerin büyük çoğunluğunun önüne geçmenizi sağlar. Seçenekler karşısında felç olduğunuzu hissediyorsanız, gerçekten önemli olan testleri önceliklendirmeyi öğrenmek geliştirmeniz gereken ilk beceridir—ancak analiz felcinin sizi rastgele bir şey seçmeye itmesine izin vermeyin.

“Yapay Zeka A/B Testini Gereksiz Kılacak”

Evet, yapay zeka testin mekaniğini değiştiriyor. Ancak “yapay zeka A/B testinin yerini alacak” ifadesi, asla ortadan kalkmayan tek şeyden kaçınmanın en yeni yoludur: ampirik karar. Yapay zeka deneylerinin gerçekte ne olduğu konusunda net olalım, çünkü abartı uygulamanın önüne geçiyor.

Yapay zeka destekli A/B testi, varyantları oluşturmak, her varyanta ne kadar trafik gönderileceğine karar vermek ve sonuçları gerçek zamanlı olarak analiz etmek için makine öğrenimini kullanır. Bu gerçekten kullanışlıdır. Bir deney yürütmenin daha hızlı ve daha uyarlanabilir bir yoludur. Yapay zeka deneyleri üzerine yapılan araştırmalar—Optimizely'nin kendi dokümantasyonu dahil—bunu klasik yöntemin bir yükseltmesi olarak tanımlar, bir yerine geçme değil. Makine tekrarlayan kısımları üstlenir: test varyantları üretebilir, veri analizini yapabilir ve hatta sırada ne test edileceğine ilişkin performans tabanlı önceliklendirmeyi otomatikleştirebilir. Bunların hepsi değerlidir.

Ama abartının size söylemediği bir yakalama var: makine, müşterinizin bağlamını, sorununu veya saat 23:00'te sayfanıza gelme nedenini bilmez. İş sorununu tanımlamak hâlâ sizin işiniz. Bir yapay zeka deneyi, ona beslediğiniz soru kadar iyidir. Algoritma size hangi varyantın kazandığını söyleyebilir, ancak bu varyantın neden kazandığını söylemez—içgörüyü sitenizde ölçeklendirmek için anlamanız gereken şey “neden”dir.

Yani buradaki karşıt görüş “yapay zeka kötü” değil. “Yapay zeka, testin içinde bir araçtır; testin yerine geçmez.” Bir satıcının, yapay zeka en iyisini bildiği için testin öldüğünü iddia ettiğini duyduğunuzda, bunu “Örneklem temsilci ve metrik anlamlı olduğu sürece yapay zeka en iyisini bilir” şeklinde çevirin. Bu hâlâ bir testtir. Yapay zekanın A/B testinin yerini alacağını söyleyenler size sihirli bir değnek satıyorlar. Yapay zeka deneyleri geliştirenler ise size daha iyi kalibre edilmiş bir test satıyorlar. Fark önemlidir.

Pratikte, ağır işi yapması için yapay zekayı kullanmalısınız: yeni varyantlar üretmesine, öğrendiklerine dayanarak sırada hangi testlerin yapılacağını önermesine ve trafiği dinamik olarak tahsis etmesine izin verin. Ancak deneyi yapan siz kalırsınız. Daha kapsamlı bir karşılaştırma istiyorsanız, klasik A/B testi ve yapay zeka deneyleri hakkındaki ayrıntılı analizimize bakın.

“Müşterilerimi Tanıyorum”

Dönüşüm optimizasyonundaki en tehlikeli cümle “bizim müşterilerimiz farklıdır.” Her kurucu buna inanır ve her kurucu kısmen haklıdır. Ancak “kısmen haklı olmak” bir büyüme stratejisi için iyi bir temel değildir.

İçgüdülerinize güvendiğinizde gerçekte olan şudur: bir değişiklik yaparsınız, metrik hareket eder (veya etmez) ve sonra etrafında bir hikaye inşa edersiniz. Buton rengi değişikliği “doğru” hissettirdiyse ve kayıtlar arttıysa, bunu renge bağlarsınız. Gerçekte, aynı anda üç şeyi değiştirdiniz ve önemli olan, test etmediğiniz başlıktı. WordStream'in dönüşüm oranı optimizasyonu rehberinde vurgulanan temel CRO ilkelerinden biri, gerçekte neyin işe yaradığını görmek için değişkenleri izole etmeniz gerektiğidir. İçgüdünüz bunu yapamaz; sadece görmek istediği örüntüyü hatırlar.

A/B testinin önemli olmasının nedeni, değişkenleri izole etmesidir. Tek bir şeyi değiştirin, etkisini ölçün ve müşterileriniz hakkında kesin bir gerçek öğrenin. İçgüdünüz parlak bir hipotez üreticisidir—size “müşteriler formda tereddüt ediyor” der. Bir test, bunun gerçekten doğru olup olmadığını söyler.

Diyelim ki içgüdünüz “müşterilerimiz fiyata duyarlı, bu yüzden fiyatla öne çıkmalıyız” diyor. İki açılış sayfası sürümünün testi—biri fiyatla öne çıkan, diğeri sonuçlarla öne çıkan—size kesin bir cevap verecektir. Sonuçlar sürümünün daha nitelikli potansiyel müşteri çektiğini ve içgüdünüzün dünyayı kendi elektronik tablo kaygınızın merceğinden gördüğünü fark edebilirsiniz. Veya içgüdü doğrulanacaktır. Her iki durumda da, bir inancı bir gerçekle değiştirdiniz.

“Müşterilerinizi tanımak” ifadesinin daha derin bir maliyeti vardır: ölçeklenmez. Bireysel bir pazarlamacı olduğunuzda, sezgileriniz kafanızda yaşar. Bir metin yazarı, tasarımcı, ajans veya bağlamı unutmuş gelecekteki benliğinizi getirdiğiniz anda bu sezgi kaybolur. Öte yandan, belgelenmiş bir test sonucu kalıcı bir varlıktır. Ekibinize (veya gelecekteki benliğinize) hangi kitleden, hangi sayfada, hangi güven düzeyiyle tam olarak ne öğrenildiğini söyler. Bu yüzden öğrenimleri belgelemek A/B testinde temel bir en iyi uygulamadır—arşiv için sadece olması güzel bir şey değil.

Pratik hamle: uygulamak üzere olduğunuz her içgüdüsel sezgiyi bir hipotez olarak yazın. Ardından en yüksek kaldıraçlı olanı seçin ve bir test yapın. CRO'yu bir görüş olarak ele almak ile bir disiplin olarak ele almak arasındaki fark budur.

“Benim İçin Çok İstatistiksel”

İhtiyacınız olan tek istatistikle başlayın: hedefi tanımlayın, tek bir şeyi değiştirin, testi yeterince uzun süre çalıştırın ve aracın anlamlılığı hesaplamasına izin verin. Bu aşırı basitleştirme değil; bireysel bir pazarlamacı için oyunun tamamı budur.

İstatistiksel panik konusunda açık konuşalım. “p-değeri”, “güç” ve “güven aralığı” gibi kelimeler insanların gözlerinin kararmasına neden olur. Ama işte sır: araçlar zaten istatistiği yapıyor. Sizin işiniz birkaç kurala uymak, elle ki-kare hesaplamak değil.

Kurallar basittir ve doğrudan en iyi uygulama oyun planından gelir: net hedefler belirleyin, her seferinde tek bir değişkeni test edin, istatistiksel anlamlılık için yeterli örneklem boyutu ve test süresi sağlayın ve öğrendiklerinizi belgeleyin. Bu dört kurala uyarsanız, kendilerine “büyüme uzmanı” diyen çoğu insanın zaten önündesiniz.

Bireysel testteki en büyük istatistiksel günah, bir güven aralığını yanlış anlamak değil—gözetlemektir. Testi üç gün sonra kontrol eder, %20'lik bir artış görür ve erken durursunuz. Araç size bunun henüz anlamlı olmadığını söyler, ancak yine de “doğru hissettirdiği” için durursunuz. Yanlış pozitifler böyle doğar ve örneklem boyutu ile süre rehberliğinin var olmasının nedeni budur. Adına layık bir test aracı, erken durmaya karşı sizi sürekli uyarır.

Daha büyük risk istatistiksel cehalet değil—testin kötü tasarlandığı, örneklemin çok küçük olduğu ve ekibin gürültüden anlamlılık çıkardığı “istatistiksel tiyatro”dur. Bu yüzden A/B testi sonuçlarını doğru yorumlama hakkındaki makalemiz, küçük bir disiplinle kaçınabileceğiniz tuzaklarla doludur.

Bu yüzden bir dahaki sefere biri “test yapmak için bir veri bilimcisine ihtiyacınız var” derse, “veri bilimcisi”nin, mutfak masasında her şeyi hesaplayan bir araçla oturan siz olduğunuzu hatırlayın. Siz soruyu, değişkeni ve sabrı getirirsiniz. Araç matematiği getirir. Bu bir doktora gereksinimi değil; bir süreç gereksinimidir.

“Bunun İçin Çok Erkeniz”

Gelir öncesi veya bireysel çalışıyorsanız, test etmenin “başardıktan” sonra yapacağınız bir şey olduğunu düşünme cazibesi vardır. Ancak bunun tersi doğrudur. A/B testi, en az kesinliğe sahip olduğunuzda en değerlidir. Bu aşamada test edilecek şey mikro bir harekete geçirici mesaj değil; temel değer önerisinin kendisidir.

Pitch'inizi içeren basit bir açılış sayfası oluşturduğunuzu hayal edin. İki olası başlığınız var: “Serbest gelirini takip etmenin en basit yolu” ve “Gelecek ay ne kazanacağını tam olarak bil.” Hangisinin daha fazla e-posta kaydı veya tıklama aldığını görmek için devasa bir trafiğe ihtiyacınız yok. Ve cevap, yanlış kanca etrafında mesajlaşma oluşturmak için aylarca harcamaktan sizi kurtaracak.

Erken aşamadaki testler, insanların neden satın alacağına dair varsayımınızı ifade etmeye zorlar. Bu acı vericidir, ancak bir yıl boyunca yanlış ürün mesajı oluşturduktan sonra keşfetmekten daha ucuzdur. WordStream'in CRO teknikleri listesi, formlardaki sürtünmeyi azaltmayı ve sosyal kanıt ile güven sinyallerinden yararlanmayı içerir; her ikisi de daha yeni başlarken özellikle güçlüdür. Tek bir iyi yerleştirilmiş referans veya yedi alanlı bir form yerine üç alanlı bir form, kayıt ile hemen çıkma arasındaki fark olabilir.

Aksiyon: e-posta listenizi dışa aktarın, basit bir araçla iki açılış sayfası varyantı oluşturun ve listenin yarısını her birine gönderin. Ya da daha da basiti, farklı başlıklarla iki reklam varyasyonu yayınlayın. Bu bir testtir ve pahalı değildir. A/B testi üzerine yapılan araştırmalar, testin dokunmaya korktuğunuz ana sayfa dışında e-postalara, uygulamalara ve kullanıcı akışlarına da uygulanabileceğini doğrulamaktadır.

Dahası, erken testlerin genellikle “haksız bir avantajı” vardır: küçük örnekleminiz bir zayıflık değil, bir sinyaldir. Küçük, son derece ilgili bir kitleyle, yanıttaki mütevazı bir fark bile dikkate değerdir çünkü bu kitle genellikle en uygun müşterinizdir. Bu ortamda %1'lik bir artış aramıyorsunuz; bir yön göstergesi arıyorsunuz. Anahtar kelime kanıt değil, işarettir. Bu sorun değil. Bir tahminden daha iyisinizdir.

Beklemeyi Bırakın, Test Etmeye Başlayın

Her itirazın arkasındaki desen şudur: hepsi farklı şapkalar giymiş aynı korkudur. Testin başarısız olacağı, zaman kaybedeceğiniz, sayıların size rahatsız edici bir şey söyleyeceği korkusu. Ama tek gerçek başarısızlık tahmin etmeye devam etmektir.

Çıkış yol haritası kısadır. Bir sayfa, bir öğe ve bir metrik seçin. Hipotezi yazın. Varyantı tanımlayın. Testi aracınızın önerdiği süre boyunca çalıştırın. “İstatistiksel olarak anlamlı bir fark yok” olsa bile sonucu kaydedin (bu da bir sonuçtur). Ardından bir sonraki teste karar verin.

Test etmenin en tatmin edici sonuçlarından biri, disiplinin bileşik etki yaratmasıdır. Her test, müşterileriniz hakkında hiçbir makalenin, danışmanın veya yapay zeka modelinin size sunamayacağı bir veri noktası verir, çünkü bu sizin özel bağlamınızdan gelir. Birkaç testten sonra, artık tahmin yürütmediğiniz için daha hızlı ve daha güvenli kararlar almaya başlarsınız—kendinizin oluşturduğu bir kanıt bütününe atıfta bulunursunuz.

Zamanla bu süreç, pazarlamanızı bir dizi görüşten bir dizi deneye dönüştürür. Ve güzel olan şey, bir kez başladığınızda neden beklediğinizi merak edeceksiniz. Kaçındığınız test, muhtemelen ürününüzün yankı bulup bulmadığını söyleyen testtir. Kaçınmaya devam edebilir veya müşterilerinizin size gerçeği söylemesine izin verebilirsiniz.