Medya Deneyleri

Açılış sahnesi

Bir zincir kafenin pazarlama ekibi, sosyal reklamların gerçekten yeni müşteri getirip getirmediğini öğrenmek istiyor. Ekip üyelerinden biri basit bir plan öneriyor: reklamları bir ay kapatıp satışların ne olduğuna bakmak. Plan hemen uygulanıyor.

Reklamların kapatıldığı ay satışlar düşüyor. Ekip reklamların önemli olduğu sonucuna varıyor ve reklamları yeniden açıyor. Ama muhasebe müdürü, aynı ay şehirde okulların tatile girdiğini, iki yeni rakip kafenin açıldığını ve üç gün boyunca kar yağdığını hatırlatıyor. Satışların düşüşünün ne kadarı reklamların kapanmasından, ne kadarı bunlardan geldi?

Kimse bilmiyor. Bir ay boyunca reklamlardan vazgeçilmiş, bir aylık satış riske atılmış; karşılığında elde edilen sonuç ise hiçbir şeyi kanıtlamıyor. Soru doğruydu; ama onu cevaplamak için seçilen yöntem, soruyu cevaplayamayacak kadar zayıftı.

Bu derste ne olacak

Kafe zincirinin deneyi, karşılaştırılacak bir grup olmadan kurulmuştu; aynı ay değişen her şey, reklamın etkisine karışıyordu. Kafe zinciri de, dersteki öbür işletmeler de uydurma. Bir deneyin kaç hafta sürmesi ya da kaç bölge gerektirmesi için bir sayı vermiyorum; bunlar satış hacmine, beklenen etkinin büyüklüğüne ve satışların ne kadar dalgalandığına bağlı.

Önceki ders, gözlenemeyen karşı olgusal durumu bir düşünme aracı olarak kurdu. Bu ders o durumu ölçmenin üç yolunu karşılaştırıyor: kişileri rastgele iki gruba ayırmak, bölgeleri iki gruba ayırmak ve reklamı zaman içinde kapatıp açmak. Her yöntemin ne zaman işe yaradığını, nerede kırıldığını ve bir deneyin gerçekten bir şey saptayıp saptayamayacağını baştan nasıl anlayacağımızı ele alacağız.

Sıfır noktası

Deney dilinin parçaları önceki akademilerde kuruldu: ürün yönetiminde karşılaştırma grubu ve deney payı, e-posta programlarında bekletme grubu, müşteri ilişkilerinde deney kaydı. Bu alanda bölge deneyini, önceki derste de karşı olgusal durumu ve artımsallık katsayısını kurduk.

Bir medya deneyi, karşı olgusal durumu yaklaşık olarak kurmanın bilinçli bir yoludur: reklamdan uzak tutulan, geri kalan her özelliğiyle reklamı gören tarafa benzeyen bir grup yaratılır ve iki grubun sonuçları aynı dönemde karşılaştırılır. Aradaki fark, reklamın artımsal etkisinin tahminidir. Yöntemler, bu benzer grubu nasıl yarattıklarıyla ayrılır; ve her yöntemin gücü, grupların gerçekten benzer kalabilmesine bağlıdır.

Mekanizma — kişileri ikiye ayırmak

En temiz karşılaştırma, aynı kitleden rastgele seçilmiş iki grup arasında yapılır: birine reklam gösterilir, öbürüne gösterilmez. Rastgele seçim, iki grubu bütün öbür özellikleriyle birbirine benzetir.

Platformun sonucu, işletmenin kendi kayıtlarıyla da okunmalı.

Kendi müşteri listesiyle kurulan bir bekletme, uzun süre korunabiliyor.

Rastgele ayrım bozulursa deney de bozuluyor.

Mekanizma — bölgeleri ikiye ayırmak

Bazı kanallarda kişileri tek tek ayırmak mümkün değildir: açık hava reklamı, radyo ya da platformun kişi düzeyinde ayrım sunmadığı durumlar. O zaman bölgeler ayrılır.

Komşu bölgeler birbirine sızabiliyor.

Tek bir büyük bölge, sonucu yutabiliyor.

Deney öncesi dönem, eşleştirmenin sınavı.

Mekanizma — zamanı ikiye ayırmak

Ne kişiler ne de bölgeler ayrılabildiğinde, geriye bir yol kalır: reklamı belirli dönemlerde kapatıp açmak ve açık dönemleri kapalı dönemlerle karşılaştırmak.

Gecikmeli etki, kapalı dönemi de etkiliyor.

Marka araması gibi kısa gecikmeli kanallarda yöntem daha iyi işliyor.

Usta katmanı — deney bir şey görebilecek mi

Bir deney kurmadan önce sorulması gereken soru şu: bu deney, beklediğimiz büyüklükteki bir etkiyi görebilecek kadar güçlü mü? Güçsüz bir deney, reklam işe yarasa bile «fark yok» sonucu verir ve yanlış bir karara yol açar.

Fark yok sonucu, dikkatle okunuyor.

Yöntem, bağlama göre seçiliyor.

Deneyin maliyeti de hesaba katılıyor.

Yaygın hatalar

Aklında kalsın

Medya deneyi, reklamdan uzak tutulan ikiz bir grup kurarak karşı olgusal durumu yaklaşık olarak ölçmektir. Yöntemler bu grubu kişilerle, bölgelerle ya da zamanla kurar; güçleri grupların benzer kalabilmesine bağlıdır.

Kitle bölme deneyi, kitleyi rastgele ikiye ayırıp yalnız birine reklam göstermektir. En temiz yöntemdir; sonuç işletmenin kendi kayıtlarıyla da okunmalı ve ayrım gerçekten rastgele olmalıdır.

Bölge eşleştirme, bölgeleri deney öncesi eğilimlerine göre çiftlere ayırıp rastgele atamaktır. Komşu bölgeler arasındaki sızıntı, tek büyük bölgenin ağırlığı ve farklı takvimler deneyi bozabilir.

Kapat-aç deneyi, reklamı kısa ve rastgele sıralanmış dönemlerde kapatıp açmaktır. En zayıf ama bazen tek erişilebilir yöntemdir; gecikmeli etki taşıyan kanallarda etkiyi küçük gösterir.

Saptanabilir etki, deneyin gürültüden ayırt edebileceği en küçük etkidir. Deneyden önce tahmin edilir; güçsüz bir deneyin «fark yok» sonucu, «etki yok» anlamına gelmez.

Sonraki derse köprü

Bu derste medya deneylerini konuştuk: kitle bölme deneyi, bölge eşleştirme, kapat-aç deneyi ve saptanabilir etki. Kök Kahve'nin iki kanalı için deneyler yayında ve sonuçlar abonelik sisteminden sayılıyor.

Ama bir deneyin sonucu, ek bir abone ya da ek bir sipariş sayısı olarak gelir. Bir kanal çok sayıda ek abone getiriyor olabilir; ama bu aboneler büyük indirimlerle geliyor, kısa sürede ayrılıyor ya da düşük marjlı ürünler alıyorsa, ek satış kâra dönüşmeyebilir. Hangi kanalın gerçekten değerli olduğu, satış sayısıyla değil, bu satışların işletmeye bıraktığı kârla ölçülür.

Sıradaki ders marj ve müşteri değeriyle optimizasyonu konuşuyor: kararları gelir yerine kârlılığa ve uzun vadeli değere göre nasıl vereceğimizi orada ele alacağız.