Güçlü Hipotez Yazma

Açılış sahnesi

İzmit'te çevrim içi çiçek siparişi alan bir dükkânın büyüme ekibi, ödeme sayfasına yeni bir kutu ekliyor: siparişe ücretsiz, el yazısıyla yazılmış bir not kartı eklenebiliyor. Deney kaydına hipotez olarak tek bir cümle yazılmış: ücretsiz not kartı satışları artırır. Deney iki hafta sürüyor ve not kartını gören grup, görmeyen gruptan daha çok sipariş veriyor.

Ekip sevinçle kutuyu herkese açıyor. Bir ay sonra pazarlama sorumlusu, not kartı fikrini hediye kutularına da uygulamak istiyor ve soruyor: kart neden işe yaradı? Müşteriler siparişin hediye olduğunu hissettikleri için mi daha çok aldı, yoksa ödeme sayfasında kişisel bir dokunuş markayı daha güvenilir gösterdiği için mi? Belki de kart kutusu, ödeme sayfasını yavaşlatan bir hatayı dolaylı olarak düzeltmişti.

Kimse cevap veremiyor. Hipotez yalnız bir sonucu tahmin etmişti; neyin, kimde, neden değişeceğini söylememişti. Deney bir kazanan bulmuş, ama bir şey öğretmemişti.

Bu derste ne olacak

Çiçekçinin hipotezi yanlış değildi, zayıftı. Hangi davranışı değiştireceğini, bunun hangi işleyişle olacağını ve ne büyüklükte bir etki beklediğini söylemiyordu; bu yüzden sonuç, iki farklı açıklamanın ikisine de uyuyordu. Çiçekçiyi ve sonraki vakaları konuyu göstermek için uydurduk. Bir hipotezde hangi etki büyüklüğünün makul olduğu için bir oran vermiyorum; beklenen etki, işletmenin geçmiş deneylerinden ve teşhisteki kanıttan tahmin edilir.

Önceki kursta büyüme hipotezinin kalıbını, yani bir fikri kimin için, nerede, hangi gerekçeyle ve hangi kanıta yaslanarak değiştireceğimizi söyleyen cümleyi kurmuştuk. Bu ders o kalıbı güçlendiriyor: mekanizmanın gerçekleşip gerçekleşmediğini gösteren bir ölçüt eklemeyi, beklenen etkiyi önceden tahmin etmeyi, hipotezin dayandığı varsayımlardan en riskli olanını bulmayı ve iki rakip açıklamayı birbirinden ayıracak bir deney tasarlamayı.

Sıfır noktası

Araştırma biriminde hipotezi, varsayım kaydını ve açıklayıcı mekanizmayı; strateji biriminde varsayım izini; reklam biriminde saptanabilir etkiyi ve yüzeysel varyantı; önceki kursta büyüme hipotezini ve davranış kaldıracını; ve bu kursun ilk dersinde kontrollü deneyi ve doğrulanmış öğrenmeyi kurduk.

Araştırma biriminde hipotezi, hangi sonucun onu çürüteceği söylenebilen bir beklenti olarak tanımlamıştık. Büyüme deneylerinde bu şart, bir adım daha ileri götürülür: güçlü bir hipotez yalnız hangi sonucun onu çürüteceğini değil, sonuç çıktığında neyi öğreneceğimizi de söyler. Neyin değişeceğini, hangi hareketin hedeflendiğini, bunun hangi yoldan olacağını ve ne kadar fark beklendiğini açıkça söyleyen bir hipotez, deney nasıl sonuçlanırsa sonuçlansın bir öğrenme üretir. Bunlardan biri eksik bir hipotez ise, deney bir kazanan bulsa bile ne öğrettiğini söyleyemez.

Mekanizma — mekanizmanın izini ölçmek

Bir hipotez, bir değişikliğin belirli bir nedenle bir davranışı değiştireceğini söyler. Deney yalnız sonucu ölçtüğünde, sonuç doğru çıksa bile nedenin doğru olup olmadığı bilinmez. Mekanizmanın kendisinin gerçekleşip gerçekleşmediğini gösteren bir ölçüt, hipotezin neden kısmını da sınanabilir kılar.

Sonuç iyi, mekanizma yanlış olabilir.

Mekanizma, kolay ölçülebilir bir iz bırakmalı.

Mekanizma ölçütü, birincil ölçütten önce hareket ediyor.

Mekanizma — beklenen etkiyi önceden yazmak

Bir hipotez, bir değişikliğin bir ölçütü artıracağını söylerken ne kadar artıracağını söylemezse, iki sorun doğar. Birincisi, deneyin o etkiyi saptayıp saptayamayacağı bilinmez. İkincisi, sonuç geldiğinde küçük bir iyileşmenin başarı mı hayal kırıklığı mı olduğu tartışmaya açık kalır.

Tahmin, sonucu yorumlamayı kolaylaştırıyor.

Tahminin kaynağı yazılmalı.

Mekanizma — en riskli varsayımı önce sınamak

Her hipotez, birkaç varsayımın üzerinde durur: müşterinin gerçekten bir sorunu vardır, sorun hipotezin söylediği nedenden kaynaklanır, değişiklik o nedene dokunur ve müşteri değişikliği fark eder. Bu varsayımlardan biri yanlışsa, hipotez de yanlış çıkar. Hepsini aynı anda sınamak pahalıdır; en kolay yanlış çıkabilecek olanı önce sınamak ucuzdur.

Varsayım, veride zaten cevaplanmış olabilir.

Sahte kapı, talebi ucuza sınıyor.

Usta katmanı — iki açıklamayı ayıracak bir deney

Bir deney sonucu çoğu zaman birden fazla açıklamaya uyar. Açılıştaki not kartı, hediye hissini de güçlendirmiş olabilirdi, markayı daha özenli de göstermiş olabilirdi. İki sürümlü bir deney, bu açıklamalardan hangisinin doğru olduğunu söyleyemez. Rakip açıklamalar önceden yazıldığında, deney onları birbirinden ayıracak biçimde tasarlanabilir.

Ayırt edici varyant, fikri taşınabilir kılıyor.

Trafik yetmiyorsa, ardışık deney.

Rakip açıklamalar, deneyden önce yazılmalı.

Yaygın hatalar

Aklında kalsın

Güçlü bir hipotez dört şeyi saklamaz: ne değişecek, kimin hangi hareketi hedefleniyor, bu hangi işleyişle olacak ve ne kadarlık bir fark bekleniyor. Deney nasıl sonuçlanırsa sonuçlansın, neyin öğrenileceğini baştan söyler.

Mekanizma ölçütü, hipotezin öne sürdüğü işleyişin gerçekleştiğini gösteren ara ölçüttür. Birincil ölçüt kazananı, mekanizma ölçütü nedenini gösterir.

Etki tahmini, deneyden önce yazılan ve kaynağı belirtilen bir alt ve üst değerdir. Saptanabilir etkiyle birlikte okunur; deneyin o etkiyi görüp göremeyeceğini baştan söyler.

En riskli varsayım, hem yanlış çıkma ihtimali en yüksek hem de hipotezi en çok çökertecek varsayımdır. Tam bir deneyden önce görüşme, sahte kapı ya da veri okumasıyla ucuza sınanır.

Ayırt edici varyant, rakip mekanizmalardan yalnız birini tetikleyen ek sürümdür. Hangi açıklamanın doğru olduğunu gösterir ve öğrenmeyi başka yerlere taşınabilir kılar.

Sonraki derse köprü

Bu derste hipotezi güçlendirdik: mekanizma ölçütü, etki tahmini, en riskli varsayım ve ayırt edici varyant. Kök Kahve'nin öğütülmüş kahve hipotezi artık neyin, kimde, neden ve ne kadar değişeceğini söylüyor ve rakip bir açıklamayı ayıracak bir sürüm taşıyor.

Ama güçlü bir hipotez bile, deneyin kendisi sağlam kurulmadığında yanlış bir sonuca varabilir. Deney süresince bir kampanya başlarsa, iki grup farklı cihazlardan gelirse, kayıt formu bir grupta bozulursa ya da deney yalnız bir tür müşteride çalışıp başkalarına genellenemezse, fark değişiklikten değil başka bir şeyden gelebilir. Sonucu etkileyebilecek her şeyi tanımak ve alternatif açıklamaları elemek, deney tasarımının ayrı bir işi.

Sıradaki ders değişkenleri, kontrolü ve geçerliliği ele alıyor: sonucu etkileyen etkenleri ve alternatif açıklamaları nasıl yöneteceğimizi orada göreceğiz.