Kontrollü Deneyler

Açılış sahnesi

Aydın'da kuru incir ve incir reçeli gönderen bir aile şirketi, ilk kez bir reklamın gerçek etkisini ölçmeye karar veriyor. Genç pazarlama sorumlusu heyecanlı: bir sosyal medya kampanyasını bir ay boyunca yürütecek, sonra reklamı görenlerle görmeyenlerin satın alma oranlarını karşılaştıracak. Bir ay sonra sonuç parlak çıkıyor; reklamı görenler, görmeyenlerden kat kat fazla alışveriş yapmış.

Şirketin kurucusu, emekli bir istatistik öğretmeni, tabloya bakıp başını sallıyor. Reklamı kimin göreceğine platform karar vermişti ve platform, reklamı zaten incir almaya en yakın kişilere göstermişti. Görenlerle görmeyenler baştan farklı insanlardı; karşılaştırma, reklamın etkisini değil, platformun seçimini ölçüyordu.

İkinci denemede kurucu, kitleyi baştan rastgele ikiye bölmeyi öneriyor. Bu kez şirketin satış müdürü itiraz ediyor: kitlenin bir kısmına reklam göstermemek, en yoğun sezonda satış kaybetmek demek. Aynı toplantıda bir başka soru daha çıkıyor: şirket yerel televizyona da reklam veriyor ve televizyonda kişileri rastgele ayırmak mümkün değil. Rastgele bir deney istemek kolay; hangi deneyin, hangi bedelle ve hangi birimle yapılacağına karar vermek zor.

Bu derste ne olacak

Aile şirketinin sorunu deneyi istememek değildi; deneyin kurulma biçimine dair üç kararı yanlış ya da hiç vermemişti. Kimin ya da neyin rastgele ayrılacağı, sonucun hangi gruplar arasında karşılaştırılacağı ve deneyin ne kadar satışı feda edeceği, her deneyden önce yazılması gereken kararlardı. Aydınlı aile şirketi uydurma; vakalardaki mutfaklar, mandıralar ve dükkânlar da. İki yerde basit bir hesap kuruyorum; sayılar, bir deneyin sonucunun ve bedelinin nasıl okunacağını göstermek için seçildi.

Bir önceki ders atıfın hiçbir biçiminin gerçek etkiyi ölçmediğini, bu soruyu bir karşılaştırma grubunun cevaplayacağını gösterdi. Bu ders o karşılaştırma grubunu kurmayı ele alıyor: neyin rastgele ayrılacağına karar vermeyi, sonucu reklamı gerçekten görenlerle değil gruba atananlarla okumayı, bir bekletme grubunun bedelini tartmayı ve kontrol grubunda kimin reklamı görecek olduğunu bilmenin sonucu nasıl keskinleştirdiğini.

Sıfır noktası

Bu akademide deneyler birkaç kez kuruldu. Deney kursu kontrollü deneyi, iç ve dış geçerliliği, grup kirlenmesini ve örneklem büyüklüğü hesabını getirdi. Müşteri ilişkileri birimi e-posta için bekletme grubunu ve kalıcı bekletme grubunu, reklam optimizasyonu kursu da kitle bölme deneyini, kapat-aç deneyini, bölge deneyini, bölge eşleştirmeyi ve saptanabilir etkiyi kurdu. Bu kursun ilk dersinde hedefleme seçilimini ve kanıt merdivenini gördük.

Bu araçlar kendi birimlerinde ayrı ayrı tanıtıldı. Bu ders onları bir seçim tablosuna koyuyor: bir pazarlama harcamasının etkisini ölçmek için hangi deney, hangi durumda, hangi bedelle ve hangi hatalardan korunarak kurulur?

Mekanizma — neyin rastgele ayrılacağı

Her kontrollü deneyin merkezinde bir rastgele ayırma vardır: bir şeyler iki gruba ayrılır ve yalnız birine değişiklik uygulanır. Ama ayrılan şey her zaman kişi değildir. Bazı kanallarda kişileri ayırmak mümkündür; bazılarında yalnız bölgeleri ya da zaman dilimlerini ayırmak mümkündür. Neyin ayrılacağı, hangi deneyin kurulabileceğini belirler.

Hane, kişiden daha temiz bir birim olabiliyor.

Az birim, geniş belirsizlik.

Mekanizma — atananlar karşılaştırılır, görenler değil

Kişi düzeyinde rastgele bir ayırma yapıldığında bile, deney grubundaki herkes reklamı görmez: bazıları o dönem platforma hiç girmez, bazıları için reklam açık artırmayı kaybeder. Bu durumda en kolay yol, deney grubunda reklamı görenleri kontrol grubunun tamamıyla karşılaştırmaktır. Ama bu, rastgele ayırmanın sağladığı eşitliği bozar.

Düşük maruz kalma, etkiyi sulandırıyor.

Oran, gören başına çevrilebiliyor.

Mekanizma — bekletmenin bedeli

Bir deney için bir grubu reklamdan, e-postadan ya da bir tekliften bekletmek, o grubun reklam olsaydı yapacağı ek alışverişlerden vazgeçmek demektir. Bu bedel gerçektir ve çoğu zaman deneyin önündeki en büyük engel olur. Ama bedel hesaplanabilir ve deneyin getireceği bilgiyle karşılaştırılabilir.

Bekletme payı, kesinlik ile bedeli dengeliyor.

Deney, en yoğun dönemden kaçmak zorunda değil.

Küçük işletmede bölge yerine zaman.

Usta katmanı — kontrol grubunda kimin göreceğini bilmek

Atanan grup karşılaştırması doğru ama bulanıktır: deney grubundaki herkes reklamı görmediği için etki, hiç görmeyenlerin içinde sulanır. Görenlerin sonucunu doğrudan okumanın yolu, kontrol grubunda da reklamı görecek olan kişileri bilmektir. Bazı reklam sistemleri bunu, kontrol grubunda reklamı göstermeden, gösterecek olduğu anı kaydederek yapar.

Kamu yararı duyurusu, bedelsiz değil.

Yöntem yoksa, maruz kalma raporlanıyor.

Seçim tablosu, her deneyden önce.

Yaygın hatalar

Aklında kalsın

Kontrollü deney, etkiyi ölçmenin en güçlü yoludur; ama her deney, kurulmadan önce birkaç kararın verilmesini ister.

Rastgeleleştirme birimi, neyin rastgele ayrılacağını belirler: kişi, hane, bölge ya da zaman. Birim, kanalın izin verdiği ayırmaya, sızma tehlikesine ve birim sayısına göre seçilir.

Atanan grup karşılaştırması, sonucu reklamı görenler arasında değil, gruplara atananların tamamı arasında okur. Rastgele ayırmanın eşitliği yalnız böyle korunur.

Bekletme bedeli, kontrol grubunun vazgeçtiği ek satıştır. Deneyin sonucunun değiştireceği kararın değeriyle karşılaştırılır.

Hayalet reklam, kontrol grubunda reklamı görecek olanları kaydeder ve sonucu keskinleştirir. Mümkün olmadığı yerde maruz kalma oranı ayrıca raporlanır.

Sonraki derse köprü

Bu derste kontrollü deneyi kurmanın kararlarını ele aldık: rastgeleleştirme birimi, atanan grup karşılaştırması, bekletme bedeli ve hayalet reklam. Aydınlı aile şirketi, sosyal medya reklamını kişi düzeyinde, yerel televizyonu ise ilçe düzeyinde ölçmeyi planlıyor ve sonucu gruba atananlar arasında okuyacağını baştan yazdı.

Ama deneyler bir anda yalnız bir iki soruya cevap verebiliyor. Televizyon, açık hava, arama, sosyal medya, e-posta ve fiyat indirimleri yıllar boyunca aynı anda çalışıyor; hepsini sürekli deneye almak mümkün değil. Üstelik bir kanala harcanan her ek liranın getirisi, harcama büyüdükçe azalıyor olabilir; bir deney bunu yalnız tek bir bütçe düzeyinde gösterir.

Sıradaki ders pazarlama karması modellemesine giriş yapıyor: haftalık ya da aylık toplu satış ve harcama verisinden her kanalın katkısını tahmin etmeyi ve harcama arttıkça getirinin nasıl doyduğunu orada anlamaya çalışacağız.