Ön Kayıt ve Karar Kuralları

Açılış sahnesi

Kayseri'de nevresim ve havlu satan bir çevrim içi mağazanın dört kişilik ekibi, üç haftalık bir deneyi yeni bitirmiş: ürün sayfasında müşteri fotoğraflarını yorumların üstüne taşımışlar. Sonuç panosu açılıyor. Birincil ölçüt olan dönüşüm oranında iki grup arasında anlamlı bir fark yok. Toplantı odasında kısa bir sessizlik oluyor.

Sonra ürün sorumlusu bir öneride bulunuyor: sayfada geçirilen süreye bakalım. Süre, fotoğraflı grupta biraz daha uzun. Pazarlama sorumlusu yalnız telefondan gelenlere bakmak istiyor; orada dönüşüm biraz yüksek. Biri de yeni müşterileri ayırıyor; onlarda fark daha da belirgin. Bir saat sonra toplantı, fotoğrafların telefondan gelen yeni müşteriler üzerinde güçlü bir etkisi olduğu sonucuyla bitiyor ve değişiklik herkese açılıyor.

İki ay sonra telefondan gelen yeni müşterilerin dönüşüm oranında hiçbir değişiklik yok. Ekip, deney bittiğinde verinin içinde bir hikâye aramış ve bulmuştu; ama o hikâye, deneyin sorduğu sorunun cevabı değildi.

Bu derste ne olacak

Ev tekstili ekibi sonuca bakmadan önce neye bakacağını, nasıl okuyacağını ve hangi sonuçta ne yapacağını yazmamıştı. Bu yüzden sonucu gördükten sonra ölçütü değiştirdi, alt grupları taradı ve tesadüfi bir parıltıyı bulgu diye sundu. Buradaki bütün işletmeler, açılıştaki site dahil, örnek amaçlı uydurmalar. Bir deneyde kaç alt gruba bakılabileceği için bir sayı vermiyorum; sayının kendisi değil, bakılacak grupların önceden yazılması önemli.

Örneklemin kendi salınımını bir önceki ders ele almıştı. Bu ders, tesadüfün bir başka kaynağını ele alıyor: deney bittikten sonra verinin içinde dolaşırken yapılan seçimler. Müşteri ilişkileri biriminde deney kaydını, reklam biriminde karar kuralını, araştırma biriminde analiz planını ve kanıt eşiğini kurmuştuk. Bu ders bunları bir deney ekibinin günlük pratiğine çeviriyor: esnek analizin tuzağını, alt grupların nasıl okunacağını, her olası sonuç için önceden yazılmış bir karar tablosunu ve deney sürerken plana yapılan değişikliklerin nasıl kayda geçirileceğini.

Sıfır noktası

Araştırma biriminde analiz planını ve kanıt eşiğini, marka biriminde sonradan eklenen ölçütü, ürün biriminde durdurma ölçütünü, müşteri ilişkileri biriminde deney kaydını, reklam biriminde karar kuralını ve bu kursta mekanizma ölçütünü, istatistiksel anlamlılığı ve tam döngü süresini kurduk.

Müşteri ilişkileri biriminde tanımladığımız deney kaydı, bilim dünyasında ön kayıt olarak bilinen uygulamanın pazarlamadaki karşılığıdır: deney başlamadan önce sorunun, grupların, ana ölçünün ve karar eşiğinin yazılması ve sonuç görüldükten sonra değiştirilmemesi. Ön kaydın amacı bürokrasi değil, deneyi yapan kişiyi kendi umudundan korumaktır. Bir deneyin sonucu beklenen gibi çıkmadığında, insan zihni neredeyse kendiliğinden başka bir açıklama, başka bir ölçüt, başka bir grup aramaya başlar. Bu arayış çoğu zaman bir şey bulur, çünkü yeterince çok yere bakılırsa bir yerde tesadüfen bir fark mutlaka vardır.

Mekanizma — sonucu gördükten sonra yapılan seçimler

Bir deney bittiğinde, sonucu okuyan kişinin önünde çok sayıda seçenek vardır: hangi ölçüte bakılacağı, hangi günlerin sayılacağı, aykırı siparişlerin çıkarılıp çıkarılmayacağı, hangi grupların ayrılacağı. Bu seçenekler sonucu gördükten sonra yapıldığında, her biri sonucu istenen yöne biraz daha iter.

Aykırı değerler de önceden tanımlanmalı.

Dönem de seçilebilir bir değişken.

Yöntem değiştirmek de bir seçim.

Mekanizma — alt gruplar nasıl okunur

Bir deneyin sonucu genel olarak farksız çıktığında, alt gruplara bakmak cazip gelir: yeni müşteriler, telefon kullanıcıları, belirli bir şehir, belirli bir kanal. Alt grupların bazıları gerçekten farklı tepki verir; ama yeterince çok alt gruba bakıldığında, bazıları yalnız tesadüfen farklı görünür.

Önceden yazılmış alt grup, bulgu sayılır.

Alt grup sayısı, kayıtta sınırlı tutulmalı.

Mekanizma — her sonuç için önceden yazılmış bir karar

Bir deneyin sonucu yalnız iki biçimde çıkmaz. Açık bir kazanç, açık bir kayıp, belirsiz bir sonuç, birincil ölçütte kazanç ama koruyucu ölçütte kayıp gibi durumlar vardır. Hangi durumda ne yapılacağı önceden yazılmadığında, belirsiz sonuçlar en çok savunulan kararla sonuçlanır.

Koruyucu ölçüt, kazancı durdurabiliyor.

Tablo, sorumluluğu dağıtıyor.

Usta katmanı — plan değişirse kayda geçsin

Hiçbir deney planı kusursuz değildir. Deney sürerken bir teknik sorun ortaya çıkabilir, bir ölçüm kodunun yanlış çalıştığı anlaşılabilir, bir kampanya planı bozabilir. Planı değiştirmek bazen zorunludur; sorun değişiklik değil, değişikliğin iz bırakmamasıdır.

Sonuçtan sonra yapılan sapma, raporda görünmeli.

Kör okuma, sapmayı azaltıyor.

Sapma kaydı, deneyler arasında öğrenme bırakıyor.

Yaygın hatalar

Aklında kalsın

Ön kayıt, deneyi yapan kişiyi kendi umudundan korur. Yeterince çok yere bakılırsa bir yerde tesadüfen bir fark mutlaka bulunur.

Esnek analiz, sonucu gördükten sonra ölçüt, dönem, veri ve yöntem seçimlerinin istenen yöne kaymasıdır. Bu seçimler deney kaydında önceden sabitlenir.

Alt grup taraması, sonuç görüldükten sonra çok sayıda gruba bakıp farkın belirgin olduğu grubu bulgu diye sunmaktır. Önceden yazılmış birkaç alt grup okunur; yazılmamış bir gruptaki fark bir sonraki deneyin hipotezi olur.

Karar tablosu, olası her sonuç için ekibin alacağı kararın önceden yazıldığı tablodur. En değerli satırı çoğu zaman belirsiz sonuç satırıdır.

Sapma kaydı, deney sürerken plana yapılan her değişikliğin ne zaman ve neden yapıldığıyla birlikte yazılmasıdır. Plan değişebilir; ama değişiklik görünür olur ve sonuçtan sonra yapılanlar raporda belirtilir.

Sonraki derse köprü

Bu derste sonucu okumadan önce neyi sabitleyeceğimizi konuştuk: esnek analiz, alt grup taraması, karar tablosu ve sapma kaydı. Kök Kahve'nin deney kaydı artık sonuç panosu açılmadan önce tamamlanmış durumda.

Deney bittiğinde karar tablosu bir satırı işaret edecek: yay, geri al, uzat ya da yeniden sına. Ama bir deneyin değeri yalnız o kararda değil. Öğütülmüş seçenek işe yaradıysa, demleme aracı olmayanlarda mı yaradı, yoksa herkeste mi? Mekanizma ölçütü hipotezi doğruladı mı, yoksa sonuç başka bir yoldan mı geldi? Bu deneyden çıkan bilgi, fikir havuzundaki hangi fikirlerin güvenini artırıyor ya da azaltıyor? Kazandı ya da kaybetti etiketi bu soruların hiçbirine cevap vermiyor.

Sıradaki ders sonucu, öğrenimi ve devam kararını ele alıyor: bir deneyden kazandı ya da kaybetti ikiliğinin ötesinde, mekanizma hakkında bilgi çıkarmayı orada çalışacağız.