A/B Testi mi, Yönlü Test mi, Yoksa Sadece Yayınlamak mı? Solo Pazarlamacılar için Risk Temelli Bir Çerçeve

Özet

Çoğu A/B testi tavsiyesi, sınırsız trafiğiniz ve arkanızda sabırlı bir ekip olduğunu varsayar. Gerçekte, solo bir pazarlamacı genellikle tam bir deney, kısa bir yönlü test ve herhangi bir test olmadan bir değişikliği yayınlama arasında seçim yapmak zorunda kalır. Bu makale, yanılmanın maliyeti ve beklemenin maliyeti etrafında şekillenen bu karar için risk temelli bir çerçeve sunar. "İstatistiksel olarak anlamlı olmayan" bir sonuçla karşılaşıldığında ne yapılacağını ve bunun neden başarısız bir değişiklikle aynı şey olmadığını ele alır. Erken bir bakışın ne zaman faydalı olabileceğini, kanıt için beklemek yerine şimdi yayınlamanın ne zaman daha iyi olduğunu ve testi atladığınızda önce/sonra nasıl ölçüm yapılacağını öğreneceksiniz. Sonuç, daha az test etmek değil, kanıt standardınızı gerçek risklere uydurmaktır.

A/B testi mi yapmalısınız, daha kısa bir "yönlü" test mi, yoksa sadece değişikliği yapıp ne olduğunu mu izlemelisiniz? Web sitenizin dönüşüm oranından sorumluysanız ve çevrenizde adanmış bir ekip yoksa, bu muhtemelen yaptığınız en sık karar çağrısıdır. Standart tavsiye her şeyi test etmenizi söyler, ancak bu tavsiye harcayacak trafiğiniz, bekleyecek zamanınız ve izleyecek net bir metriğiniz olduğunu varsayar. Çoğu zaman bunların hiçbirine sahip değilsiniz. Bu makale üç kanıt standardını gözden geçiriyor ve günler değil dakikalar içinde aralarından seçim yapmanızı sağlayan bir yol sunuyor.

Anlaşılması gereken ilk şey, A/B testinin gerçekte değişikliğin kendisiyle ilgili olmadığıdır. Yanılma için ne kadar ödemeye razı olduğunuzla ilgilidir. Aynı sitede iki değişikliği düşünün. Bir proje yönetim aracı işletiyorsunuz. Ana sayfa başlığını "Projeleri yönet" yerine "Projeleri yarı sürede planlayın" olarak değiştirmek istiyorsunuz. Ayrıca fiyatlandırma sayfasını ziyaretçilerin aylık planın yanında yıllık planı da seçebileceği şekilde değiştirmek istiyorsunuz. Her iki değişiklik de aynı web sitesini etkiler ve ikisi de aynı şekilde test edilebilir. Ancak yanılmanın maliyeti çok farklıdır. Başlık yanlışsa, ziyaretçi birkaç gün boyunca biraz daha az etkili bir mesaj görür ve eski haline sorunsuzca geri dönebilirsiniz. Fiyatlandırma yapısı yanlışsa, potansiyel müşterilerin kafasını karıştırabilir, destek gelen kutunuzu sorularla doldurabilir ve gerçekte nasıl faturalandırdığınızla örtüşmeyen bir beklenti oluşturabilirsiniz. Geri almak bedava değildir. Aynı mantık, düğme etiketlerinden tüm sayfa yeniden tasarımlarına kadar düşündüğünüz her değişiklik için geçerlidir.

Bu yüzden kimse size "test etmeli miyim?" sorusuna evrensel bir cevap veremez. Cevap, yanlış pozitifin size ne kadara mal olduğuna, yanlış negatifin size ne kadara mal olduğuna ve beklerken nelerden vazgeçtiğinize bağlıdır. Üç seçeneğe ayrıntılı olarak bakalım.

Tam Deney: Kanıt Çıtası Yüksekken

Ana kayıt sayfanızdaki düğmeyi "Ücretsiz denemeyi başlat" yerine "Başlayın" olarak değiştirip değiştirmeyeceğinizi test ettiğinizi düşünün. Solo bir kurucu için bu, huninizin girişinde yer alan yüksek görünürlüklü bir değişikliktir. Aşağı akıştaki her şeyi besleyen deneme kayıtlarını etkileyebilir. İstikrarlı bir ziyaretçi akışınız var, ancak çok büyük değil. Bu, tam bir deney için iyi bir adaydır.

Tam bir deneyin belirli bir anlamı vardır. Ziyaretçilerinizi rastgele bölersiniz, bir gruba orijinal sürümü, diğer gruba değiştirilmiş sürümü gösterirsiniz ve başlamadan önce seçtiğiniz bir metrik üzerindeki davranışı karşılaştırırsınız. Optimizely sözlüğünde tanımlandığı gibi, A/B testi, hangisinin daha iyi performans gösterdiğini belirlemek için bir web sayfasının veya uygulamanın iki sürümünü karşılaştırma yöntemidir. Önemli olan, içgüdünüz yerine verilerin karar vermesine izin vermenizdir. Pratikte bu, net bir birincil metrik belirlemek — örneğin, kayıt formuna tıklayan ziyaretçilerin oranı — ve her seferinde yalnızca bir değişkeni değiştirmek anlamına gelir. Hem düğmeyi hem de çevresindeki metni değiştirirseniz, herhangi bir farklılığa hangisinin neden olduğunu bilemezsiniz. Ayrıca ne kadar süre çalıştıracağınıza ve hangi kanıtın sizi harekete geçireceğine önceden karar vermeniz gerekir.

Bu son adım çoğu insanın atladığı adımdır. Başlamadan önce hangi güven düzeyine ihtiyacınız olduğuna ve ne kadar büyük bir etki tespit etmeye çalıştığınıza karar vermelisiniz. Örneklem boyutu ve sürenin arkasındaki istatistiksel mekanizma, bir A/B testini sıradan bir gözlemden ayıran şeydir. Trafiğiniz makul bir sürede bu kanıta ulaşamayacak kadar düşükse, tam deney muhtemelen "sonuçsuz" ile biter ve bu gerçek bir maliyettir. Ne kadar beklediğinizin yeterli olduğuna nasıl karar vereceğinize dair ayrıntılı bir bakış için, bir A/B testini ne zaman durduracağınıza dair pratik çerçevemiz buna iyi bir eşlikçidir.

Burada ince bir tuzak var. Tam bir deney sona erer ve sonuç "istatistiksel olarak anlamlı değil" ise, "değişikliğin önemsiz olduğu" sonucuna varma eğiliminde olabilirsiniz. Sonucun anlamı bu değildir. Testinizin farkı tespit edecek kadar hassas olmadığı veya farkın umursadığınızdan daha küçük olduğu anlamına gelir. Bu yararlı bir bilgidir — artık diğer kanıtlara dayanarak yayınlamaya, daha uzun bir test yapmaya veya daha büyük bir değişiklik seçmeye karar verebilirsiniz. Ancak bu, yeni sürümün daha kötü olduğunun kanıtı değildir. Trafiği dinamik olarak tahsis eden ve varyantlar üreten yapay zeka destekli bir test platformu kullanıyorsanız, deney daha hızlı bir karara ulaşabilir, ancak aynı mantık geçerlidir: sonuç, yeterli kanıt için bekleme yeteneğiniz kadar güvenilirdir.

Ayrıca öğrendiklerinizi belgeleme disiplini de vardır. Belgelemediğiniz bir test, önyargıyla yeniden anlatacağınız bir hikayedir. Sonuçsuz bir test bile, sayfanızda, trafiğinizde ve ziyaretçilerinizin sabrında gerçekte tespit edebileceğiniz etki boyutu hakkında size bir şeyler öğretir. Hipotezi, varyantı, metriği ve sonucu bir cümleyle yazın. Birkaç ay sonra bu kayıt, kitlenizin neye yanıt verdiğinin bir haritası haline gelir ve gelecekteki tüm kararları hızlandırır.

Yönlü Test: Hız Cevabın Bir Parçasıyken

Şimdi daha düşük riskli bir değişikliği düşünün: açılış sayfanızdaki kahraman görseli. İki seçeneğiniz var — kontrol panelinizin ekran görüntüsü ve ürününüzü kullanan bir kişinin fotoğrafı. Hangisinin kitlenizle bağ kuracağını bilmiyorsunuz. Yanlış görseli seçmenin dezavantajı küçüktür. Dakikalar içinde geri değiştirebilirsiniz. Ancak bir ay içinde ders kitabı düzeyinde güven sonucuna ulaşacak kadar trafiğiniz olmayabilir. Yönlü testin yeri burasıdır.

Yönlü test hala rastgele bir karşılaştırmadır, ancak bilinçli olarak daha düşük bir kanıt çıtası kullanırsınız. Yeni görseli, bir haftalık pencere boyunca çoğunlukla birincil metrikte daha iyi performans gösterirse veya belirli bir sürenin sonunda açıkça öndeyse yayınlayacağınıza önceden karar verirsiniz. Sonuca bir karar değil, bir tavsiye olarak bakarsınız. Disiplin burada da tam bir deneydeki kadar önemlidir. Önceden bir kurala bağlanmazsanız, canlı sonuçlara bakıp plansız bir karar verirsiniz ve kendinizi görmek istediğinizi görürken aldatırsınız.

Bu da beni çoğu A/B test kılavuzunda bulacağınız bir tavsiyeye getiriyor: "test tamamlanmadan sonuçlarınıza asla göz atmayın." Bu rehberlik, büyük bir lansmana karar verecek resmi bir deney için doğrudur. Ancak mütevazı trafiğe sahip bir solo pazarlamacı için göz atmak hızlı öğrenmenin yoludur. Sorun sayılara bakmanız değil. Bakışın, planlamadığınız bir karar vermesine izin vermenizdir. Hangi kalıbın fikrinizi değiştireceğine önceden karar verirseniz, "göz atmak" gibi görünen şey aslında düşük trafiği yönetmenin yapılandırılmış bir yoludur. Kesinlik yerine öğrenme hızını seçiyorsunuz. Bu, ne yaptığınız konusunda dürüst olduğunuz ve sonucu kanıt olarak ilan etmediğiniz sürece meşru bir takastır.

Yönlü bir testten sonra ölçümü bırakmayın. Yeni kahraman görselini yayınlarsanız, sonraki haftalarda dönüşüm oranına göz kulak olun. Kötüleşirse, geri alın. İyileşirse, yönlü sinyalinizin doğru olduğuna dair bazı kanıtlarınız var. Yönlü test, hızlı bir karar vermenin bir yoludur, hesap verebilirlikten kaçınmanın değil. Ayrıca, solo pazarlamacılar için A/B test triyajı kılavuzumuzda açıklanan türden pratik triyajla da iyi uyum sağlar — olası değişikliklerin birikmiş işleri varsa, hangilerinin tam bir deneyi hak ettiğine karar vermek için yönlü testleri kullanabilirsiniz.

Hemen Yayınla: Mevcut Sürüm Zaten Kaybediyorken

Bazen en kanıta dayalı karar hiç test yapmamaktır. Kayıt formunuzun telefon numarası istediğini varsayalım. Oturum kayıtlarında birkaç ziyaretçinin o alana ulaşıp duraksadığını ve ayrıldığını görüyorsunuz. Telefon numarasının gerekli olup olmadığını soran destek e-postaları aldınız. Alan hiçbir şey için gerekli değil. Kaldırıp kaldırmayacağınızı A/B testi yapmalı mısınız? Hayır. Kaldırmak bir düzeltmedir, deney değil. Mevcut sürümün bilinen bir kusuru var ve değişiklik kolayca geri alınabilir. Düzeltmeyi yayınlamak ve tamamlanma oranını izlemek, zamanınızı daha iyi kullanmaktır.

Aynı mantık eski sayfalar için de geçerlidir. Açılış sayfanız artık sunmadığınız bir özelliği hâlâ anlatıyorsa, eski sayfayı yeni sayfaya karşı test etmek anlamsızdır. Asla korumayacağınız bir sürümün, yayınlamak istediğiniz sürümden daha kötü olduğunu kanıtlamak için trafik harcıyorsunuz. Bunu zaten biliyorsunuz. Doğru hamle, önce mevcut sürümü yayınlamak ve ardından canlı olduğunda onu optimize etmek için deneyler yapmaktır.

Bu, çoğu A/B test kılavuzunun bahsetmediği takastır. Bir testin bitmesini beklerken zayıf bir sürümü canlı tuttuğunuz her hafta, fırsat maliyeti ödediğiniz bir haftadır. Değişiklik düşük riskliyse ve kolayca geri alınabiliyorsa, şimdi yayınlamanın beklenen değeri, sonraki iyileşmeyi kanıtlamanın değerinden genellikle daha yüksektir. Ölçümü atlamıyorsunuz — rastgele bir deneyi önce/sonra karşılaştırmasıyla değiştiriyorsunuz. Önce/sonra karşılaştırması daha zayıf kanıttır, ancak yine de kanıttır ve hiç karar vermeden dört hafta harcamaktan iyidir.

Zaten Yürüttüğünüz Önce/Sonra Testi

Bir değişikliği test olmadan yayınladığınızda, ölçüm durmaz. Artık, beraberinde gelen tüm uyarılarla birlikte bir önce/sonra deneyi yürütüyorsunuz. Bunu daha az gürültülü hale getirmenin en iyi yolu, herhangi bir şeyi değiştirmeden önce bir temel metrik oluşturmak, mümkünse düşük trafikli bir zamanda yayınlamak ve rastgele bir Pazartesi'ye tepki vermemek için en az bir tam hafta boyunca eğilime bakmaktır. Metrik istediğiniz yönde hareket ederse, değişikliği koruyun. Aleyhinize hareket ederse, geri alın. Hiç hareket etmezse, değişikliğin nötr olduğunu öğrendiniz — bu da bilgidir.

Bu, çoğu insanın görmezden geldiği moddur. Yayınlarlar, sonra bir daha bakmazlar ve sonra değişikliğin yardımcı mı yoksa zararlı mı olduğundan emin olamazlar. Önce/sonra karşılaştırması titiz değildir, ancak çoğu web sitesinde olan hiçbir şeyden çok daha iyidir. Trafiğiniz gerçekten yönlü bir test için bile çok düşükse, önce/sonra karşılaştırması genellikle sahip olduğunuz tek araçtır. Yine de oturum kayıtlarından, destek geri bildirimlerinden ve değişiklik sonrası metrik eğiliminden sinyal alabilirsiniz; bunların hiçbiri rastgeleleştirme gerektirmez. Bu, trafik olmadan A/B testi hakkındaki makalemizde ele alınan alandır.

Üç Yaklaşım Yan Yana

İşte karşılaştırma tek bir tabloda.

Yaklaşım	En uygun olduğu durum	Yanlışsa risk	Ne elde edersiniz	Nelerden vazgeçersiniz
Tam deney	Değişiklik gelir, fiyatlandırma veya temel akışları etkiliyor; karara ulaşmak için yeterli trafiğiniz var	Düşük (istatistikleri takip ederseniz); gürültüye ancak onları görmezden gelirseniz hareket edebilirsiniz	Güvenilir, tekrarlanabilir bir cevap	Zaman, trafik ve hızlı hareket etme yeteneği
Yönlü test	Değişiklik düşük riskli, trafik mütevazı ve günler içinde bir öğrenme sinyaline ihtiyacınız var	Orta düzey — ara sıra kaybeden bir varyantı yayınlayabilirsiniz	Daha fazla yapmaya değer olan hakkında hızlı bir ipucu	Kanıt ve ince etkileri yakalama yeteneği
Test etmeden yayınlama	Mevcut sürüm açıkça kötü, değişiklik bir düzeltme veya değişiklik kolayca geri alınabilir	Düşük, özellikle yayınladıktan sonra izleme ile	Hız ve ivme	Değişikliği tek bir faktöre atfetme yeteneği

Tablo, üçüncü satırın gücünü küçümsüyor. "Test etmeden yayınlamak" dönüşüm optimizasyonu çevrelerinde eleştirilir, ancak uzun birikmiş işleri ve sınırlı trafiği olan bir solo pazarlamacı için genellikle rasyonel bir seçimdir. Gerçek günah, yayınlamak ve sonra ne olacağını izlememektir.

Seçim Yapmanın 15 Dakikalık Yolu

Tam çerçeveyi ezberlemekten daha hızlı bir süreç istiyorsanız, şu dört soruyu kullanın.

Birincisi, yanılıyorsam ne bozulur? Cevap gelir, güven veya uyum ise, kanıt çıtanızı yükseltin. Cevap "çok değil" ise, düşürün. İkincisi, ne kadar bekleyebilirim? Tam bir deneyin ne kadar süreceğini tahmin edin. Bu, değişikliği ertelemek istediğinizden daha uzunsa, seçeneğinizi zaten yönlü bir teste veya yayınlamaya daralttınız. Üçüncüsü, cevapla ne yapacağım? Sonuca göre davranışınızı değiştirmeyecekseniz, testi çalıştırmayın. Bir test bir kararı değiştirmelidir. Dördüncüsü, kolayca geri alabilir miyim? Geri alınabilir değişiklikler yayınlamak için ucuzdur; geri alınamaz veya geri alınması maliyetli değişiklikler daha fazla kanıtı hak eder.

Sonra seçin: risk yüksekse ve bekleyebiliyorsanız, tam bir deney yapın. Risk düşükse ve hız istiyorsanız, yönlü bir test yapın. Mevcut sürüm açıkça daha kötüyse ve değişiklik bir düzeltmeyse, yayınlayın ve izleyin. Kendinizi bir kararı değiştireceğiniz için değil de yapmanız gerektiğini hissettiğiniz için test yaparken buluyorsanız, muhtemelen bir test sorununuz değil, bir önceliklendirme sorununuz vardır. Önemli olmayan A/B testlerinde zaman harcamayı nasıl durduracağınıza dair makalemiz iyi bir sonraki okumadır.

Bunu açılış sorusuna uygulayalım. Yeni bir başlığınız ve mütevazı trafiğiniz var. Başlık geri alınabilir, dezavantajı küçük ve bir ay beklemek istemiyorsunuz. Bu mantıkla, tam deneyi atlarsınız. Biraz sinyal istiyorsanız kısa bir yönlü test yaparsınız ya da başlığı yayınlayıp gelecek ayın dönüşüm oranını bu ayınkiyle karşılaştırırsınız. Her ikisi de savunulabilir. Savunulamaz olan, bitirecek trafiğiniz olmayan "uygun" bir teste dört hafta harcamak ve sonra sonuçsuz sonucu başarısızlık olarak adlandırmaktır.

Dikkat Etmeniz Gereken Anlamlılık Tuzağı

İstatistiksel anlamlılık, bir sonucun gerçek olup olmadığını söyler, önemli olup olmadığını değil. Bir değişiklik istatistiksel olarak anlamlı olabilir ve yine de çabayı haklı çıkaramayacak kadar küçük olabilir. Diğer yandan, yönlü bir test, gerçek olan ancak trafiğinizle tespit edilemeyecek kadar küçük bir örüntü gösterebilir. Daha düşük bir kanıt çıtası seçtiğinizde, hem daha fazla yanlış pozitifi hem de daha fazla yanlış negatifi kabul ediyorsunuz. Bu bir başarısızlık değil, bir takastır.

Yanınızda taşımaya değer bir diğer ayrım, pratik ve istatistiksel anlamlılıktır. Bir değişiklik istatistiksel olarak anlamlı olabilir ve yine de önemli olmayacak kadar küçük olabilir. Yeni düğmenin tıklamaları, bir ek kaydolmaya dönüşmesi aylar sürecek kadar küçük bir miktarda artırdığını varsayalım. Bu sonuç gerçektir, ancak sayfanızı bunun etrafında yeniden oluşturmaya değmez. Öte yandan, istatistiksel olarak anlamlı olmayan bir değişiklik, örüntü tutarlıysa ve harekete geçmenin maliyeti sıfıra yakınsa yine de pratik olarak önemli olabilir. Üç yaklaşım arasında seçim yaparken, umursadığınız etkinin boyutunu deneyinizin gerçekten tespit edip edemeyeceğini sorun. Değilse, test etme ile yayınlama arasında seçim yapmıyorsunuz; iki cehalet biçimi arasında seçim yapıyorsunuz.

Bu yüzden bu makaledeki karar çerçevesi, yanılmanın maliyetine dayanır. Yanlış bir pozitif ucuzsa — örneğin, biraz daha kötü bir başlık yayınlar ve geri değiştirirsiniz — düşük bir kanıt çıtası karşılayabilirsiniz. Yanlış bir negatif, anlamlı bir iyileştirmeyi kaçırdığınız anlamına geliyorsa, daha uzun süre test etmek isteyebilirsiniz. Bir solo pazarlamacı olarak her şeyi optimize edemezsiniz. Öğrenme hızı ile güven arasında bir denge seçiyorsunuz. Sayıları gürültü tarafından yanıltılmadan okumaya daha derinlemesine bakmak için, A/B test sonuçlarının doğru şekilde nasıl yorumlanacağına dair kılavuzumuza bakın.

Pratik Sonuç

Bu çerçevenin amacı daha az test etmek değil. Kanıt standardınızı risklere uydurmaktır. Değişiklik önemli olduğunda ve bekleme sabrınız olduğunda tam bir deney güçlü bir araçtır. Trafiğinizin izin verdiğinden daha hızlı öğrenmeniz gerektiğinde yönlü bir test mantıklı bir orta yoldur. Ve mevcut sürüm zaten kaybediyorsa, ne olduğunu izlediğiniz sürece test etmeden yayınlamak bazen en dürüst seçimdir.

Bir dahaki sefere "bunu A/B testi etmeli miyim?" diye sormaya meyilli olduğunuzda, daha iyi bir soru sorun: "Yanılmak bana ne kaybettirir?" Cevap size üç yaklaşımdan hangisini kullanacağınızı söyler ve bu karar size herhangi bir test aracından daha fazla zaman ve trafik kazandırır.