Örneklem, Süre ve İstatistiksel Belirsizlik

Açılış sahnesi

Malatya'da kuru kayısı ve kayısı ezmesini internetten satan küçük bir firma, ürün sayfasına bir tadım garantisi ekliyor: beğenmeyen müşteri paketi açtıktan sonra da iade edebilecek. Deney pazartesi başlıyor. Salı sabahı ekipten biri sonuç panosunu açıyor ve heyecanla mesaj atıyor: garantiyi gören grup öbür gruptan neredeyse iki kat fazla sipariş vermiş.

Kurucu deneyi hemen bitirip garantiyi herkese açmak istiyor. Analist ise panodaki küçük bir satırı gösteriyor: her grupta yalnız birkaç düzine sipariş var. Deney bir hafta daha sürüyor. Perşembe günü fark neredeyse kapanıyor, cuma günü garantisiz grup öne geçiyor, pazartesi yeniden garantili grup önde. İki haftanın sonunda iki grup arasında küçük bir fark kalıyor.

Kurucu şaşkın: salı günü gördüğü büyük fark nereye gitmişti? Hiçbir yere gitmemişti. Salı günkü fark, birkaç düzine siparişin rastlantıyla bir gruba biraz fazla düşmesiydi ve hiçbir zaman gerçek bir etki değildi.

Bu derste ne olacak

Kayısı sitesinin ekibi, gördüğü farkın ne kadarının gerçek, ne kadarının tesadüf olduğunu bilmiyordu. Deneye başlamadan önce kaç siparişe ihtiyaç olduğunu hesaplamamış, farkın tesadüfle açıklanıp açıklanamayacağını sormamış, etkinin olası aralığına bakmamış ve deneyin haftanın bütün günlerini kapsaması gerektiğini düşünmemişti. Site de bu dersin öbür vakaları da kurgusal. Bu derste istatistiğin formüllerini değil, bir pazarlamacının deney sonucunu okurken sorması gereken soruları öğreneceğiz; hesapların çoğunu deney araçları ve hesaplayıcılar yapar, ama hangi sayıya bakılacağını ve ne zaman bakılacağını bilmek pazarlamacının işidir.

Bir önceki ders, kurulum hatalarını ayıklamakla bitmişti. Bu ders geriye kalan belirsizliği, yani tesadüfü ele alıyor: bir farkın tesadüfle açıklanıp açıklanamayacağını sormayı, etkinin olası aralığını okumayı, deneye başlamadan önce kaç gözleme ihtiyaç olduğunu hesaplamayı ve deneyi ne kadar süre çalıştırmak gerektiğini.

Sıfır noktası

Araştırma biriminde örneklemi, örneklem hatasını, belirsizlik aralığını ve pratik anlamlılığı; marka biriminde mevsim gürültüsünü; ürün biriminde erken bakmayı; reklam biriminde gürültü bandını ve saptanabilir etkiyi; sonra da bu kursun ilk üç dersinde rastgele gruplara dayalı karşılaştırmayı, beklenen etkinin önceden yazılmasını ve iç geçerliliği kurduk.

Bir deneydeki her grup, bütün müşterilerden rastgele seçilmiş bir örneklemdir. Araştırma biriminde gördüğümüz gibi, örneklemin sonucu, yalnız kimin düştüğüne bağlı olarak gerçek değerden sapar; bu sapma örneklem küçükken büyük, örneklem büyüdükçe küçüktür. İki grubu karşılaştırdığımızda, değişiklik hiçbir işe yaramasa bile gruplar arasında bir fark görürüz. Deney sonucunu okumak, görülen farkın bu kendiliğinden sapmadan büyük olup olmadığını sormaktır. Bu soru, deney bitmeden sorulduğunda ya da deney yeterince büyük olmadığında, cevabı çoğu zaman yanıltıcıdır.

Mekanizma — fark tesadüfle açıklanabilir mi

Bir deney aracı sonuç panosunda çoğu zaman bir kazanan gösterir. Bu kazananın arkasındaki soru basittir: değişiklik gerçekten hiçbir şey yapmasaydı, bu kadar büyük bir farkı yalnız tesadüfle görme ihtimalimiz ne olurdu?

Anlamlı, önemli demek değil.

Anlamsız, etkisiz demek değil.

Çok sayıda ölçüt, tesadüfi kazanan üretiyor.

Mekanizma — etkinin olası aralığı

Anlamlılık yalnız bir evet ya da hayır cevabı verir. Karar vermek için daha çok şey bilmek gerekir: etki ne kadar büyük olabilir, en kötü ihtimalle ne kadar küçük olabilir? Bu soruya bir aralık cevap verir.

Sıfırı içeren aralık, iki yöne de açık.

Aralık, sonuçları yan yana koymayı kolaylaştırıyor.

Mekanizma — başlamadan önce kaç gözlem gerekiyor

Bir deneyin bir etkiyi tesadüften ayırabilmesi için yeterince büyük olması gerekir. Ne kadar büyük olması gerektiği, deney bittikten sonra değil, başlamadan önce hesaplanır; aksi hâlde deney ya gereğinden kısa tutulur ya da gereğinden uzun sürer.

Ek grup, örneklemi büyütüyor.

Küçük örneklem, büyük salınım.

Usta katmanı — ne kadar süre, ne zaman bakmalı

Örneklem büyüklüğü, bir deneyin ne kadar süreceğine dair ilk cevabı verir. Ama iki şey daha süreyi belirler: müşterilerin davranışının haftanın günlerine, maaş dönemlerine ve teslimat döngülerine göre değişmesi ve deneyi izleyenlerin sonuca ne sıklıkla baktığı.

Erken durdurma, tesadüfü etkiye çeviriyor.

Abonelikte döngü, teslim dönemi.

Süre, dışarıdaki takvimle de çakışmasın.

Yaygın hatalar

Aklında kalsın

Her deney grubu bir örneklemdir ve değişiklik hiçbir işe yaramasa bile gruplar arasında bir fark görülür. Sonucu okumak, bu farkın tesadüften büyük olup olmadığını sormaktır.

İstatistiksel anlamlılık, farkın tesadüfle açıklanmasının ne kadar zor olduğunu söyler, büyüklüğünü söylemez. Anlamlı önemli demek değildir; anlamsız da etkisiz demek değildir.

Güven aralığı, etkinin gerçekte büyük ihtimalle içinde bulunduğu aralıktır. Genişliği belirsizliği gösterir; sıfırı içeriyorsa etkisizlik de olasıdır.

Örneklem büyüklüğü hesabı, deneyin başlamadan önce kaç gözleme ve kaç güne ihtiyaç duyduğunu söyler. Küçük etkiler ve düşük oranlar daha büyük örneklem ister; çok sayıda grup trafiği böler.

Tam döngü süresi, deneyin haftanın bütün günlerini ve teslim ya da faturalama dönemlerini kapsamasıdır. Süre önceden yazılır ve sonuç süre dolmadan okunmaz.

Sonraki derse köprü

Bu derste tesadüfle nasıl yaşanacağını konuştuk: istatistiksel anlamlılık, güven aralığı, örneklem büyüklüğü hesabı ve tam döngü süresi. Kök Kahve'nin deneyi artık hesaplanmış bir süreyle çalışıyor ve sonuç panosu süre dolana kadar kapalı.

Ama süre dolup sonuç panosu açıldığında başka bir tuzak bekliyor. Birincil ölçüt beklenen yönde hareket etmemişse, ekipten biri başka bir ölçüte bakmayı önerebilir; sonuç yalnız bir grupta iyi görünüyorsa, o grubun asıl hedef olduğu söylenebilir; fark eşiğin hemen üstündeyse, eşiğin aslında daha düşük olması gerektiği tartışılabilir. Sonucu gördükten sonra verilen her karar, deneyin öğrettiği şeyi biraz daha eğer.

Sıradaki ders ön kaydı ve karar kurallarını ele alıyor: sonucu gördükten sonra ölçütü ya da eşiği değiştirme riskini nasıl azaltacağımızı orada öğreneceğiz.