ए/बी टेस्ट, डायरेक्शनल टेस्ट, या सिर्फ शिप करें? सोलो मार्केटर्स के लिए जोखिम-आधारित ढांचा

सारांश

अधिकांश ए/बी परीक्षण सलाह मानती है कि आपके पास असीमित ट्रैफ़िक और आपके पीछे एक धैर्यवान टीम है। वास्तव में, एक एकल विपणक को अक्सर पूर्ण प्रयोग, एक छोटे दिशात्मक परीक्षण, और बिना किसी परीक्षण के बदलाव भेजने के बीच चयन करना पड़ता है। यह लेख उस निर्णय के लिए एक जोखिम-आधारित ढांचा प्रस्तुत करता है, जो गलत होने की लागत और प्रतीक्षा की लागत पर केंद्रित है। यह कवर करता है कि जब कोई परिणाम "सांख्यिकीय रूप से महत्वपूर्ण नहीं" होता है तो क्या करना चाहिए और यह असफल परिवर्तन के समान क्यों नहीं है। आप सीखेंगे कि प्रारंभिक झलक कब उपयोगी हो सकती है, कब अभी शिप करना प्रमाण की प्रतीक्षा करने से बेहतर है, और जब आप परीक्षण छोड़ देते हैं तो पहले/बाद में कैसे मापें। निष्कर्ष यह है कि कम परीक्षण करना नहीं है, बल्कि अपने साक्ष्य मानक को वास्तविक दांव से मिलाना है।

क्या आपको ए/बी परीक्षण चलाना चाहिए, एक छोटा "दिशात्मक" परीक्षण चलाना चाहिए, या बस बदलाव करके देखना चाहिए कि क्या होता है? यदि आप अपनी वेबसाइट की रूपांतरण दर के लिए ज़िम्मेदार हैं और आपके आसपास कोई समर्पित टीम नहीं है, तो यह शायद सबसे लगातार निर्णय है जो आपको लेना पड़ता है। मानक सलाह कहती है कि सब कुछ परीक्षण करें, लेकिन यह सलाह मानती है कि आपके पास खर्च करने के लिए ट्रैफ़िक, प्रतीक्षा करने का समय, और देखने के लिए एक स्पष्ट मीट्रिक है। आपके पास अक्सर इनमें से कुछ भी नहीं होता। यह लेख तीन साक्ष्य मानकों के माध्यम से चलता है और आपको उनके बीच मिनटों में चयन करने का एक तरीका देता है, दिनों में नहीं।

पहली बात यह समझना है कि ए/बी परीक्षण वास्तव में परिवर्तन के बारे में नहीं है। यह इस बारे में है कि आप गलत होने के लिए कितना भुगतान करने को तैयार हैं। एक ही साइट पर दो बदलावों पर विचार करें। आप एक प्रोजेक्ट-प्रबंधन टूल चलाते हैं। आप होमपेज की हेडलाइन को "प्रोजेक्ट प्रबंधित करें" से "आधे समय में प्रोजेक्ट की योजना बनाएं" में बदलना चाहते हैं। आप मूल्य निर्धारण पृष्ठ भी बदलना चाहते हैं ताकि आगंतुक मासिक योजना के साथ वार्षिक योजना चुन सकें। दोनों बदलाव एक ही वेबसाइट को छूते हैं और दोनों का एक ही तरह से परीक्षण किया जा सकता है। लेकिन गलत होने की लागत बहुत अलग है। यदि हेडलाइन गलत है, तो एक आगंतुक को कुछ दिनों के लिए थोड़ा कम प्रभावी संदेश दिखाई देता है, और आप बिना किसी परेशानी के पुराने को वापस रख सकते हैं। यदि मूल्य निर्धारण संरचना गलत है, तो आप संभावित ग्राहकों को भ्रमित कर सकते हैं, अपने समर्थन इनबॉक्स को प्रश्नों से भर सकते हैं, और एक उम्मीद निर्धारित कर सकते हैं जो आपके वास्तविक बिलिंग तरीके से मेल नहीं खाती। रोलबैक मुफ्त नहीं है। यही तर्क हर उस बदलाव पर लागू होता है जिस पर आप विचार करते हैं, बटन लेबल से लेकर पूरे पेज के पुन: डिज़ाइन तक।

यही कारण है कि कोई भी आपको "क्या मुझे परीक्षण करना चाहिए?" का सार्वभौमिक उत्तर नहीं दे सकता। उत्तर इस बात पर निर्भर करता है कि गलत सकारात्मक की लागत क्या है, गलत नकारात्मक की लागत क्या है, और प्रतीक्षा करते समय आप क्या छोड़ रहे हैं। आइए तीन विकल्पों को विस्तार से देखें।

पूर्ण प्रयोग: जब साक्ष्य मानक उच्च हो

कल्पना करें कि आप परीक्षण कर रहे हैं कि आपके मुख्य साइनअप पृष्ठ पर बटन को "मुफ्त परीक्षण शुरू करें" से "शुरू करें" में बदलना है या नहीं। एक एकल संस्थापक के लिए, यह एक उच्च-दृश्यता परिवर्तन है जो आपके फ़नल के प्रवेश द्वार पर बैठता है। यह परीक्षण साइनअप को प्रभावित कर सकता है, जो आगे की सभी चीजों को फ़ीड करता है। आपके पास आगंतुकों की एक स्थिर धारा है, लेकिन बहुत बड़ी नहीं। यह पूर्ण प्रयोग के लिए एक अच्छा उम्मीदवार है।

एक पूर्ण प्रयोग का एक विशिष्ट अर्थ है। आप अपने आगंतुकों को बेतरतीब ढंग से विभाजित करते हैं, एक समूह को मूल संस्करण दिखाते हैं और दूसरे समूह को संशोधित संस्करण, और एक मीट्रिक पर व्यवहार की तुलना करते हैं जिसे आप शुरू करने से पहले चुनते हैं। जैसा कि Optimizely शब्दावली में परिभाषित किया गया है, ए/बी परीक्षण एक वेबपेज या ऐप के दो संस्करणों की तुलना करने की एक विधि है ताकि यह निर्धारित किया जा सके कि कौन सा बेहतर प्रदर्शन करता है। मुख्य बात यह है कि आप डेटा को अपनी प्रवृत्ति के बजाय निर्णय लेने देते हैं। व्यवहार में, इसका मतलब है एक स्पष्ट प्राथमिक मीट्रिक निर्धारित करना — मान लीजिए, आगंतुकों का अनुपात जो साइनअप फॉर्म पर क्लिक करते हैं — और एक समय में केवल एक चर बदलना। यदि आप बटन और आसपास की प्रतिलिपि दोनों बदलते हैं, तो आपको पता नहीं चलेगा कि किसी अंतर का कारण क्या था। और आपको पहले से तय करने की आवश्यकता है कि आप कितने समय तक चलेंगे और कौन सा साक्ष्य आपको कार्य करने पर मजबूर करेगा।

वह अंतिम चरण वह है जिसे अधिकांश लोग छोड़ देते हैं। आपको शुरू करने से पहले तय करना चाहिए कि आपको किस आत्मविश्वास स्तर की आवश्यकता है और आप कितने बड़े प्रभाव का पता लगाने की कोशिश कर रहे हैं। नमूना आकार और अवधि के पीछे की सांख्यिकीय मशीनरी वास्तव में वही है जो ए/बी परीक्षण को आकस्मिक अवलोकन से अलग करती है। यदि आपका ट्रैफ़िक उस साक्ष्य तक उचित समय में पहुंचने के लिए बहुत कम है, तो पूर्ण प्रयोग शायद "अनिर्णायक" में समाप्त होगा — और यह एक वास्तविक लागत है। आप कब तक इंतजार किया है यह तय करने के तरीके पर विस्तृत जानकारी के लिए, ए/बी परीक्षण को कब रोकें पर हमारा व्यावहारिक ढांचा इसके लिए एक अच्छा साथी है।

यहां एक सूक्ष्म जाल है। यदि एक पूर्ण प्रयोग समाप्त होता है और परिणाम "सांख्यिकीय रूप से महत्वपूर्ण नहीं" है, तो आप यह निष्कर्ष निकालने के लिए ललचा सकते हैं कि "परिवर्तन मायने नहीं रखता।" इसका मतलब यह नहीं है। इसका मतलब है कि आपका परीक्षण अंतर का पता लगाने के लिए पर्याप्त सटीक नहीं था, या अंतर उससे छोटा है जिसे आप खोजना चाहते थे। यह उपयोगी जानकारी है — अब आप अन्य साक्ष्य के आधार पर शिप करने, लंबा परीक्षण चलाने, या अधिक महत्वपूर्ण परिवर्तन चुनने का निर्णय ले सकते हैं। लेकिन यह प्रमाण नहीं है कि नया संस्करण खराब है। यदि आप एक एआई-संचालित परीक्षण प्लेटफ़ॉर्म का उपयोग कर रहे हैं जो गतिशील रूप से ट्रैफ़िक आवंटित करता है और वेरिएंट उत्पन्न करता है, तो प्रयोग तेजी से निर्णय पर पहुंच सकता है, लेकिन वही तर्क लागू होता है: परिणाम केवल पर्याप्त साक्ष्य की प्रतीक्षा करने की आपकी क्षमता के रूप में भरोसेमंद है।

आप जो सीखते हैं उसका दस्तावेजीकरण करने का अनुशासन भी है। एक परीक्षण जो आप दस्तावेज़ नहीं करते वह एक कहानी है जिसे आप पूर्वाग्रह के साथ फिर से बताएंगे। यहां तक कि एक अनिर्णायक परीक्षण आपको उस प्रभाव के आकार के बारे में कुछ सिखाता है जिसे आप वास्तव में अपने पृष्ठ, अपने ट्रैफ़िक और अपने आगंतुकों के धैर्य पर पता लगा सकते हैं। परिकल्पना, संस्करण, मीट्रिक और परिणाम को एक वाक्य में लिखें। कुछ महीनों के बाद, वह लॉग आपके दर्शकों की प्रतिक्रिया का नक्शा बन जाता है, और यह हर भविष्य के निर्णय को तेज कर देता है।

दिशात्मक परीक्षण: जब गति उत्तर का हिस्सा होती है

अब एक कम-जोखिम वाले बदलाव पर विचार करें: आपके लैंडिंग पृष्ठ पर हीरो छवि। आपके पास दो विकल्प हैं — आपके डैशबोर्ड का एक स्क्रीनशॉट और आपके उत्पाद का उपयोग करते हुए एक व्यक्ति की तस्वीर। आप नहीं जानते कि कौन सा आपके दर्शकों से जुड़ेगा। गलत छवि चुनने का नकारात्मक पहलू छोटा है। आप इसे मिनटों में वापस बदल सकते हैं। लेकिन एक महीने के भीतर पाठ्यपुस्तक-आत्मविश्वास परिणाम तक पहुंचने के लिए आपके पास पर्याप्त ट्रैफ़िक नहीं हो सकता है। यह वह जगह है जहां दिशात्मक परीक्षण लागू होता है।

एक दिशात्मक परीक्षण अभी भी एक यादृच्छिक तुलना है, लेकिन आप जानबूझकर कम साक्ष्य मानक का उपयोग करते हैं। आप पहले से तय करते हैं कि आप नई छवि शिप करेंगे यदि यह एक सप्ताह की अवधि के अधिकांश समय प्राथमिक मीट्रिक पर बेहतर प्रदर्शन करती है, या यदि यह एक निश्चित अवधि के अंत तक स्पष्ट रूप से आगे है। आप परिणाम को एक सिफारिश के रूप में मानते हैं, फैसले के रूप में नहीं। अनुशासन यहां उतना ही मायने रखता है जितना पूर्ण प्रयोग में। यदि आप पहले से एक नियम के लिए प्रतिबद्ध नहीं हैं, तो आप लाइव परिणामों को घूरकर एक अनियोजित निर्णय लेंगे — और इस तरह आप खुद को वही देखने के लिए मूर्ख बनाते हैं जो आप देखना चाहते हैं।

जो मुझे एक सलाह पर लाता है जो आपको अधिकांश ए/बी परीक्षण गाइड में मिलेगी: "परीक्षण पूरा होने से पहले अपने परिणामों पर कभी नज़र न डालें।" यह मार्गदर्शन एक औपचारिक प्रयोग के लिए सही है जो एक प्रमुख लॉन्च का फैसला करेगा। लेकिन मामूली ट्रैफ़िक वाले एकल विपणक के लिए, झांकना ही आप जल्दी सीखने का तरीका है। समस्या यह नहीं है कि आपने संख्याओं को देखा। समस्या यह है कि आपने देखने को निर्णय लेने दिया जो आपने योजना नहीं बनाई थी। यदि आप पहले से तय करते हैं कि कौन सा पैटर्न आपका दिमाग बदल देगा, तो जो "झांकना" जैसा दिखता है वह वास्तव में कम ट्रैफ़िक को संभालने का एक संरचित तरीका है। आप निश्चितता पर सीखने की गति चुन रहे हैं। यह एक वैध व्यापार है, जब तक आप इस बारे में ईमानदार हैं कि आप क्या कर रहे हैं और आप परिणाम को प्रमाण के रूप में घोषित नहीं करते हैं।

दिशात्मक परीक्षण के बाद, मापना बंद न करें। यदि आप नई हीरो छवि शिप करते हैं, तो अगले हफ्तों के लिए रूपांतरण दर पर नज़र रखें। यदि यह बिगड़ती है, तो वापस लौटें। यदि यह सुधरता है, तो आपके पास कुछ सबूत हैं कि आपका दिशात्मक संकेत सही था। दिशात्मक परीक्षण जल्दी से निर्णय लेने का एक तरीका है, जवाबदेही से बचने का नहीं। यह एकल विपणक के लिए ए/बी परीक्षण ट्रायेज पर हमारी मार्गदर्शिका में वर्णित व्यावहारिक ट्रायेज के साथ भी अच्छी तरह से जोड़ा जाता है — यदि आपके पास संभावित परिवर्तनों का बैकलॉग है, तो आप यह तय करने के लिए दिशात्मक परीक्षणों का उपयोग कर सकते हैं कि कौन से पूर्ण प्रयोग के योग्य हैं।

बस इसे शिप करें: जब वर्तमान संस्करण पहले से ही हार रहा है

कभी-कभी सबसे अधिक साक्ष्य-आधारित निर्णय बिल्कुल भी परीक्षण नहीं चलाना है। मान लीजिए कि आपका साइनअप फॉर्म फोन नंबर मांगता है। सत्र रिकॉर्डिंग में, आप कई आगंतुकों को उस फ़ील्ड तक पहुंचते, रुकते और छोड़ते हुए देखते हैं। आपको सहायता ईमेल प्राप्त हुए हैं जिनमें पूछा गया है कि क्या फोन नंबर आवश्यक है। फ़ील्ड किसी भी चीज़ के लिए आवश्यक नहीं है। क्या आपको इसे हटाने के लिए ए/बी परीक्षण करना चाहिए? नहीं। इसे हटाना एक सुधार है, प्रयोग नहीं। वर्तमान संस्करण में एक ज्ञात दोष है, और परिवर्तन आसानी से प्रतिवर्ती है। सुधार को शिप करना और पूर्णता दर देखना आपके समय का बेहतर उपयोग है।

यही तर्क पुराने पृष्ठों पर लागू होता है। यदि आपका लैंडिंग पृष्ठ अभी भी ऐसी सुविधा का वर्णन करता है जो आप अब पेश नहीं करते हैं, तो पुराने पृष्ठ को नए के खिलाफ परीक्षण करना बेतुका है। आप यह साबित करने के लिए ट्रैफ़िक खर्च कर रहे हैं कि एक संस्करण जिसे आप कभी नहीं रखेंगे, उस संस्करण से भी बदतर है जिसे आप शिप करना चाहेंगे। आप पहले से जानते हैं। सही कदम पहले वर्तमान संस्करण को शिप करना है और फिर, एक बार यह लाइव हो जाए, इसे अनुकूलित करने के लिए प्रयोग चलाएं।

यह वह समझौता है जिसका अधिकांश ए/बी परीक्षण गाइड उल्लेख नहीं करते हैं। हर हफ्ते जब आप परीक्षण समाप्त होने की प्रतीक्षा करते हुए एक कमजोर संस्करण को लाइव रखते हैं, तो आप अवसर लागत का भुगतान कर रहे हैं। यदि परिवर्तन कम जोखिम वाला और आसानी से प्रतिवर्ती है, तो अभी शिप करने का अपेक्षित मूल्य अक्सर बाद में लिफ्ट साबित करने के मूल्य से बेहतर होता है। आप माप को छोड़ नहीं रहे हैं — आप एक यादृच्छिक प्रयोग को पहले/बाद की तुलना के साथ बदल रहे हैं। पहले/बाद की तुलना कमजोर साक्ष्य है, लेकिन यह अभी भी साक्ष्य है, और यह चार सप्ताह बिताने से बेहतर है जिसमें कोई निर्णय नहीं होता।

पहले/बाद का परीक्षण जो आप पहले से चला रहे हैं

एक बार जब आप बिना परीक्षण के बदलाव भेज देते हैं, तो माप बंद नहीं होता। अब आप एक पहले/बाद का प्रयोग चला रहे हैं, इसके साथ आने वाली सभी चेतावनियों के साथ। इसे कम शोर करने का सबसे अच्छा तरीका है कि कुछ भी बदलने से पहले एक आधार रेखा मीट्रिक स्थापित करें, यदि संभव हो तो कम-ट्रैफ़िक समय पर शिप करें, और कम से कम एक पूरे सप्ताह में प्रवृत्ति को देखें ताकि आप एक यादृच्छिक सोमवार पर प्रतिक्रिया न कर रहे हों। यदि मीट्रिक उस दिशा में चलता है जो आप चाहते थे, तो परिवर्तन रखें। यदि यह आपके खिलाफ जाता है, तो वापस लौटें। यदि यह बिल्कुल नहीं चलता है, तो आपने सीखा है कि परिवर्तन तटस्थ था - जो जानकारी भी है।

यह वह मोड है जिसे अधिकांश लोग अनदेखा करते हैं। वे शिप करते हैं, फिर कभी नहीं देखते, और बाद में उन्हें यकीन नहीं होता कि परिवर्तन ने मदद की या नुकसान पहुंचाया। पहले/बाद की तुलना कठोर नहीं है, लेकिन यह उस कुछ भी नहीं से कहीं बेहतर है जो अधिकांश वेबसाइटों पर होता है। यदि आपका ट्रैफ़िक वास्तव में एक दिशात्मक परीक्षण के लिए भी बहुत कम है, तो पहले/बाद की तुलना अक्सर एकमात्र उपकरण है जो आपके पास है। आप अभी भी सत्र रिकॉर्डिंग, समर्थन प्रतिक्रिया, और परिवर्तन के बाद मीट्रिक के रुझान से संकेत प्राप्त कर सकते हैं — इनमें से किसी को भी यादृच्छिकरण की आवश्यकता नहीं है। यह ट्रैफ़िक के बिना ए/बी परीक्षण पर हमारे लेख में शामिल क्षेत्र है।

तीन दृष्टिकोण साथ-साथ

यहाँ एक तालिका में तुलना है।

दृष्टिकोण	सबसे अच्छा कब	गलत होने पर जोखिम	आपको क्या मिलता है	आप क्या छोड़ते हैं
पूर्ण प्रयोग	परिवर्तन राजस्व, मूल्य निर्धारण, या कोर फ्लो को प्रभावित करता है; आपके पास निर्णय तक पहुंचने के लिए पर्याप्त ट्रैफ़िक है	कम (यदि आप आँकड़ों का पालन करते हैं); आप केवल शोर पर कार्य कर सकते हैं यदि आप उन्हें अनदेखा करते हैं	एक आत्मविश्वासपूर्ण, दोहराने योग्य उत्तर	समय, ट्रैफ़िक, और जल्दी से कार्य करने की क्षमता
दिशात्मक परीक्षण	परिवर्तन कम जोखिम वाला है, ट्रैफ़िक मामूली है, और आपको दिनों के भीतर एक सीखने के संकेत की आवश्यकता है	मध्यम — आप कभी-कभी एक हारने वाले संस्करण को शिप कर सकते हैं	एक त्वरित संकेत कि और क्या करने लायक है	प्रमाण, और सूक्ष्म प्रभावों को पकड़ने की क्षमता
बिना परीक्षण के शिप करें	वर्तमान संस्करण स्पष्ट रूप से खराब है, परिवर्तन एक सुधार है, या परिवर्तन आसानी से प्रतिवर्ती है	कम, विशेष रूप से शिपिंग के बाद निगरानी के साथ	गति और संवेग	परिवर्तन को एक कारक के लिए जिम्मेदार ठहराने की क्षमता

तालिका तीसरी पंक्ति की शक्ति को कम आंकती है। "बिना परीक्षण के शिप करें" की रूपांतरण अनुकूलन मंडलियों में आलोचना की जाती है, लेकिन यह अक्सर एक लंबे बैकलॉग और सीमित ट्रैफ़िक वाले एकल विपणक के लिए तर्कसंगत विकल्प होता है। असली पाप शिप करना और फिर यह नहीं देखना है कि क्या होता है।

चुनने का 15 मिनट का तरीका

यदि आप पूरे ढांचे को याद करने की तुलना में एक तेज़ प्रक्रिया चाहते हैं, तो इन चार प्रश्नों का उपयोग करें।

पहला, अगर मैं गलत हूं, तो क्या टूटता है? यदि उत्तर राजस्व, विश्वास, या अनुपालन है, तो अपने साक्ष्य मानक को बढ़ाएं। यदि उत्तर "बहुत कुछ नहीं" है, तो इसे कम करें। दूसरा, मैं कितनी देर प्रतीक्षा कर सकता हूं? अनुमान लगाएं कि एक पूर्ण प्रयोग में कितना समय लगेगा। यदि यह उससे अधिक है जितना आप परिवर्तन में देरी करने को तैयार हैं, तो आप पहले ही विकल्प को दिशात्मक परीक्षण या शिपिंग तक सीमित कर चुके हैं। तीसरा, मैं उत्तर के साथ क्या करूंगा? यदि आप परिणाम के आधार पर अपना व्यवहार नहीं बदलने जा रहे हैं, तो परीक्षण न चलाएं। एक परीक्षण को एक निर्णय बदलना चाहिए। चौथा, क्या मैं इसे आसानी से उलट सकता हूं? प्रतिवर्ती परिवर्तन शिप करने के लिए सस्ते हैं; अपरिवर्तनीय या वापस लेने के लिए महंगे परिवर्तन अधिक साक्ष्य के लायक हैं।

फिर चुनें: यदि जोखिम अधिक है और आप प्रतीक्षा कर सकते हैं, तो एक पूर्ण प्रयोग चलाएं। यदि जोखिम कम है और आप गति चाहते हैं, तो एक दिशात्मक परीक्षण चलाएं। यदि वर्तमान संस्करण स्पष्ट रूप से बदतर है और परिवर्तन एक सुधार है, तो इसे शिप करें और निगरानी करें। यदि आप अपने आप को परीक्षण चलाते हुए पाते हैं क्योंकि आपको लगता है कि आपको चाहिए, न कि इसलिए कि आप एक निर्णय बदल देंगे, तो आपके पास शायद एक प्राथमिकता समस्या है, परीक्षण समस्या नहीं। उन ए/बी परीक्षणों पर समय बर्बाद करना कैसे बंद करें जो मायने नहीं रखते, इस पर हमारा लेख एक अच्छा अगला पठन है।

आइए इसे शुरुआती प्रश्न पर लागू करें। आपके पास एक नई हेडलाइन और मामूली ट्रैफ़िक है। हेडलाइन प्रतिवर्ती है, नकारात्मक पहलू छोटा है, और आप एक महीने इंतजार नहीं करना चाहते हैं। इस तर्क से, आप पूर्ण प्रयोग को छोड़ देंगे। आप या तो एक छोटा दिशात्मक परीक्षण चलाएंगे यदि आप कुछ संकेत चाहते हैं, या हेडलाइन शिप करेंगे और अगले महीने की रूपांतरण दर की तुलना इस महीने से करेंगे। दोनों बचाव योग्य हैं। जो बचाव योग्य नहीं है वह चार सप्ताह एक "उचित" परीक्षण पर बिताना है जिसे आपके पास पूरा करने के लिए ट्रैफ़िक नहीं है, और फिर अनिर्णायक परिणाम को विफलता कहना।

महत्व का जाल जिसे आपको देखना चाहिए

सांख्यिकीय महत्व आपको बताता है कि परिणाम वास्तविक होने की संभावना है, न कि यह कि यह मायने रखता है। एक परिवर्तन सांख्यिकीय रूप से महत्वपूर्ण हो सकता है और फिर भी प्रयास को सही ठहराने के लिए बहुत छोटा हो सकता है। दूसरी ओर, एक दिशात्मक परीक्षण एक पैटर्न दिखा सकता है जो वास्तविक है लेकिन आपके ट्रैफ़िक के साथ पता लगाने के लिए बहुत छोटा है। जब आप कम साक्ष्य मानक चुनते हैं, तो आप अधिक गलत सकारात्मक और अधिक गलत नकारात्मक दोनों स्वीकार कर रहे हैं। यह एक समझौता है, विफलता नहीं।

एक और अंतर जो आपके साथ ले जाने योग्य है वह है व्यावहारिक बनाम सांख्यिकीय महत्व। एक परिवर्तन सांख्यिकीय रूप से महत्वपूर्ण हो सकता है और फिर भी मायने रखने के लिए बहुत छोटा हो सकता है। मान लीजिए कि नया बटन क्लिक को इतनी छोटी मात्रा में बढ़ाता है कि एक अतिरिक्त साइनअप में अनुवाद करने में महीनों लगेंगे। वह परिणाम वास्तविक है, लेकिन यह आपके पृष्ठ को फिर से बनाने के लायक नहीं है। दूसरी ओर, एक परिवर्तन जो सांख्यिकीय रूप से महत्वपूर्ण नहीं है वह व्यावहारिक रूप से महत्वपूर्ण हो सकता है यदि पैटर्न सुसंगत है और कार्य करने की लागत लगभग शून्य है। जब आप तीन दृष्टिकोणों के बीच चयन कर रहे हैं, तो पूछें कि क्या आपके प्रयोग द्वारा पता लगाए जाने योग्य प्रभाव का आकार आपके लिए मायने रखता है। यदि नहीं, तो आप परीक्षण और शिपिंग के बीच चयन नहीं कर रहे हैं; आप अज्ञानता के दो रूपों के बीच चयन कर रहे हैं।

यही कारण है कि इस लेख में निर्णय ढांचा गलत होने की लागत पर आधारित है। यदि एक गलत सकारात्मक सस्ता है — मान लीजिए, आप थोड़ी खराब हेडलाइन शिप करते हैं और इसे वापस बदलते हैं — तो आप कम साक्ष्य मानक बर्दाश्त कर सकते हैं। यदि एक गलत नकारात्मक का मतलब है कि आप एक सार्थक सुधार से चूक जाते हैं, तो आप लंबे समय तक परीक्षण जारी रखना चाह सकते हैं। एक एकल विपणक के रूप में, आप सब कुछ अनुकूलित नहीं कर सकते। आप सीखने की गति और आत्मविश्वास के बीच संतुलन चुन रहे हैं। शोर से गुमराह हुए बिना संख्याओं को पढ़ने पर गहराई से देखने के लिए, ए/बी परीक्षण परिणामों की सही व्याख्या कैसे करें पर हमारी मार्गदर्शिका देखें।

व्यावहारिक निष्कर्ष

इस ढांचे का बिंदु कम परीक्षण करना नहीं है। यह आपके साक्ष्य मानक को दांव से मिलाना है। एक पूर्ण प्रयोग एक शक्तिशाली उपकरण है जब परिवर्तन महत्वपूर्ण होता है और आपके पास प्रतीक्षा करने का धैर्य होता है। एक दिशात्मक परीक्षण एक समझदार मध्य मार्ग है जब आपको अपने ट्रैफ़िक की अनुमति से तेजी से सीखने की आवश्यकता होती है। और बिना परीक्षण के शिप करना कभी-कभी सबसे ईमानदार विकल्प होता है जब वर्तमान संस्करण पहले से ही हार रहा है — जब तक आप देखते हैं कि बाद में क्या होता है।

अगली बार जब आप "क्या मुझे इसका ए/बी परीक्षण करना चाहिए?" पूछने के लिए ललचाएं, तो एक बेहतर प्रश्न पूछें: "गलत होने पर मुझे क्या खर्च आएगा?" उत्तर आपको बताता है कि तीन दृष्टिकोणों में से किसका उपयोग करना है, और वह निर्णय आपको किसी भी परीक्षण उपकरण से अधिक समय और ट्रैफ़िक बचाएगा।