Değişken, Kontrol ve Geçerlilik

Açılış sahnesi

Konya'da otomobil yedek parçası satan bir sitenin büyüme ekibi, arama sayfasına araç modeline göre filtreleme ekliyor ve ziyaretçileri iki gruba bölen bir deney başlatıyor. İki hafta sonra sonuç çarpıcı: filtreyi gören grup, belirgin biçimde daha çok sipariş vermiş. Ekip değişikliği herkese açmaya hazırlanırken veri analisti bir ayrıntıya takılıyor.

Deneyin iki grubu eşit bölünecek biçimde kurulmuştu, ama kontrol grubunda filtreli gruptan gözle görülür biçimde daha fazla ziyaretçi var. Analist nedenini arıyor ve buluyor: filtre yalnız masaüstü sitede çalışıyordu; mobil uygulamadan gelen ziyaretçiler, deney kodu uygulamada yüklenemediği için hep kontrol grubuna düşmüştü. Uygulama kullanıcıları ise sitedeki ziyaretçilerden daha az sipariş veriyordu.

Filtreli grubun daha çok sipariş vermesinin bir kısmı filtreden, bir kısmı ise iki grubun baştan farklı insanlardan oluşmasından geliyordu. Deney, farkında olmadan iki ayrı müşteri kitlesini karşılaştırmıştı.

Bu derste ne olacak

Yedek parça sitesinin deneyi rastgele atamayla kurulmuştu; ama atama bir yerde bozulmuştu ve kimse bozulduğunu kontrol etmemişti. Deneyin sonucu, değişikliğin kendisinden değil, deneyin kuruluşundaki bir hatadan etkilenmişti. Yedek parçacı ve ardından gelen vakalar gerçek kayıtlar değil. İki grup arasındaki ziyaretçi farkının ne kadar olunca alarm verileceği için bir eşik vermiyorum; bu, grupların büyüklüğüne bağlı bir istatistik sınamasıyla belirlenir ve deney aracının çoğu bunu kendisi hesaplar.

Önceki derste hipotezi güçlendirdik. Bu ders deneyin kendisini güçlendiriyor: farkın gerçekten değişiklikten gelip gelmediğini sormayı, grupların baştan eşit bölünüp bölünmediğini kontrol etmeyi, değişikliğin kontrol grubuna sızmasını önlemeyi ve bir deneyde bulunan sonucun başka müşterilere, başka zamanlara ne kadar taşınabileceğini değerlendirmeyi ele alıyor.

Sıfır noktası

Araştırma biriminde değişkeni, geçerliliği, yanlılığı ve karıştırıcı değişkeni; ürün biriminde yenilik etkisini; metin biriminde değişken yalıtımını; e-ticaret biriminde test çakışmasını; ve bu kursta kontrollü deneyi, mekanizma ölçütünü ve ayırt edici varyantı kurduk.

Bir deneyin sonucunda iki grup arasında bir fark görüldüğünde, bu farkın üç olası kaynağı vardır: denenen değişiklik, tesadüf ve deneyin kuruluşundaki bir kusur. Tesadüfü bir sonraki derste ele alacağız. Bu ders üçüncüsüyle ilgileniyor. Rastgele atama, karıştırıcı değişkenlerin büyük kısmını gruplar arasında eşit dağıtır; ama atama bozulursa, değişiklik kontrol grubuna sızarsa, iki grup farklı biçimde ölçülürse ya da deney süresince başka bir şey yalnız bir grubu etkilerse, rastgele atamanın koruması ortadan kalkar. Araştırma biriminde geçerliliği, ölçülen şeyin ölçülmek istenen şey olması olarak tanımlamıştık; deneylerde geçerlilik, iki soruya ayrılır: fark gerçekten değişiklikten mi geliyor ve bu fark deneyin dışında da geçerli mi?

Mekanizma — farkın kaynağı değişiklik mi

Bir deneyin sonucuna güvenebilmek için, iki grup arasındaki tek sistemli farkın denenen değişiklik olduğundan emin olmak gerekir. Bu güven, rastgele atamayla başlar ama onunla bitmez; deney süresince grupları farklılaştırabilecek her şey kontrol edilir.

Ölçüm iki grupta aynı olmalı.

Deney süresince bir olay, yalnız bir grubu vurabiliyor.

Yenilik, iç geçerliliği gölgeliyor.

Mekanizma — gruplar eşit bölündü mü

Rastgele atama, grupları belirli bir oranda bölmek üzere kurulur. Gerçekleşen oran, kurulan orandan tesadüfle açıklanamayacak kadar saparsa, atamada bir şey bozulmuştur ve deneyin sonucu güvenilmezdir; bu sapma, sonuç ne kadar çekici görünürse görünsün, sonuç okunmadan önce kontrol edilir.

Yavaş sayfa, ziyaretçiyi saymadan kaybediyor.

Otomatik trafik de bir gruba yığılabiliyor.

Uyumsuzluk bulunduğunda, düzeltme değil yeniden başlatma.

Mekanizma — değişiklik kontrol grubuna sızmasın

Kontrollü deney, kontrol grubunun değişiklikten etkilenmediğini varsayar. Ama müşteriler birbirleriyle konuşur, aynı cihazı paylaşır, aynı ürünü ya da aynı teslimatçıyı kullanır. Değişiklik bu yollardan kontrol grubuna ulaştığında, iki grup arasındaki fark küçülür ya da yanlış yöne kayar.

Ortak kaynak, grupları birbirine bağlıyor.

Ağızdan ağıza, kontrol grubuna ulaşıyor.

Usta katmanı — sonuç deneyin dışında da geçerli mi

İç geçerliliği sağlam bir deney bile, yalnız deneyin yapıldığı müşterilere, zamana ve koşullara dair güvenilir bir şey söyler. Bir sonuç, yaz aylarında, yalnız masaüstü kullanıcılarda ya da yalnız yeni müşterilerde bulunduysa, kışın, telefonda ya da sadık müşterilerde aynı biçimde çalışmayabilir.

Grup, sonucun sınırını çiziyor.

Önemli sonuç, tekrar ediliyor.

Kanal değişince sonuç değişebiliyor.

Yaygın hatalar

Aklında kalsın

Bir deneyde gözlenen farkın üç kaynağı olabilir: değişiklik, tesadüf ve deneyin kuruluşundaki bir kusur. Bu kusurları ayıklamak, sonucu okumadan önce yapılan bir iştir.

İç geçerlilik, farkın gerçekten değişiklikten geldiğine duyulan güvendir. Atamanın doğru çalışması, iki grubun aynı biçimde ölçülmesi ve deney süresince yalnız bir grubu etkileyen olayların olmaması bu güvenin koşullarıdır.

Örnek oran uyumsuzluğu, grupların kurulandan tesadüfle açıklanamayacak ölçüde farklı büyüklükte çıkmasıdır. Sonuç okunmadan önce kontrol edilir; uyumsuzluk varsa sonuç düzeltilmez, hata bulunur ve deney yeniden başlatılır.

Grup kirlenmesi, değişikliğin kontrol grubuna sızmasıdır. Kirlenme riskinde atama kişi yerine hesap, sokak, mağaza ya da şehir gibi daha büyük birimlerle yapılır.

Dış geçerlilik, sonucun deneyin dışındaki müşterilere, dönemlere ve kanallara taşınabilirliğidir. Sonucun kime ait olduğu yazılır; önemli sonuçlar başka bir dönemde ya da grupta tekrarlanır.

Sonraki derse köprü

Bu derste deneyin kuruluşundaki kusurları eledik: iç geçerlilik, örnek oran uyumsuzluğu, grup kirlenmesi ve dış geçerlilik. Kavurmacının öğütülmüş çekirdek sınaması artık teknik hatalardan arındırılmış ve iş yeri düzeyinde bölünmüş biçimde yeniden başladı.

Ama kusursuz kurulmuş bir deney de bir soruyla karşı karşıya: iki grup arasında görülen fark, gerçek bir etki mi yoksa tesadüf mü? Deneyin üçüncü gününde öğütülmüş seçeneği gören grup çok önde görünüyor ve ekipten biri deneyi hemen bitirip seçeneği herkese açmayı öneriyor. Birkaç gün sonra fark küçülüyor, sonra yeniden açılıyor. Deney ne kadar sürmeli, kaç aboneye ihtiyaç var ve erken bir sonucun neden yanıltıcı olabileceğini nasıl bileceğiz?

Sıradaki ders örneklemi, süreyi ve istatistiksel belirsizliği ele alıyor: deneyi erken durdurmanın ve küçük örneklemle karar vermenin yarattığı hataları nasıl önleyeceğimizi orada göreceğiz.