Üçgenleme ve Karar

Açılış sahnesi

Ordu'da fındık ezmesi ve fındıklı çikolata gönderen bir kooperatifin yönetim kurulu, sosyal medya reklamlarının geleceğini konuşmak için toplanıyor. Masada aynı hafta gelmiş üç rapor var. Reklam platformunun raporuna göre her lira üç lira satış getiriyor. Geçen bahar yapılan bölge deneyine göre reklamın gerçek ek etkisi çok daha küçük: her lira bir liradan biraz fazla ek satış getiriyor. Danışmanın kurduğu pazarlama karması modeli ise ikisinin arasında, ama geniş bir aralık veriyor.

Kurul başkanı sabırsızlanıyor: hangisi doğru, bize tek bir sayı verin. Pazarlama sorumlusu platformun sayısını savunuyor, finans sorumlusu deneyinkini. Tartışma bir saat sürüyor ve kimse ikna olmuyor; çünkü herkes, üç raporun aynı şeyi ölçtüğünü ve ikisinin yanıldığını varsayıyor.

Toplantının sonunda kooperatifin en genç üyesi farklı bir soru soruyor: bu üç rapor neden farklı çıkıyor ve farkın kendisi bize bir şey söylüyor mu? Oda bir an sessizleşiyor. Üç rapor aynı soruyu cevaplamıyordu; her biri ayrı bir şeyi görüyordu ve aralarındaki fark, kooperatifin reklamları hakkında hiçbirinin tek başına söyleyemeyeceği bir şey anlatıyordu.

Bu derste ne olacak

Kooperatifin kurulu yanlış sayılara bakmıyordu; tek bir doğru sayı arıyordu. Oysa atıf, deney ve model aynı soruya farklı yerlerden bakan araçlardı; her birinin gördüğü ve göremediği şeyler vardı ve bir karar ancak üçü birlikte okunduğunda sağlam bir zemine oturabiliyordu. Ordulu kooperatif gerçek değil; vakalarda geçen mandıralar, kasaplar ve dükkânlar da öyle. Açılıştaki sayılar da bir karşılaştırmayı göstermek için seçildi.

Bu kurs atıfı, deneyleri ve modellemeyi ayrı ayrı kurdu. Kapanış dersi üçünü aynı masaya oturtuyor: her yöntemin hangi kararda ve hangi sıklıkla kullanılacağını, yöntemler ayrıştığında farkın nasıl okunacağını, kesin bir sayı olmadan karar vermeyi sağlayan çalışan bir tahmini ve ölçümün kendisini bir takvime bağlamayı.

Sıfır noktası

Üçgenlemeyi bu akademi ilk kez araştırma biriminde tanıttı: veri üçgenleme, yani aynı soruya farklı yerlerden bakan kaynakları birini seçmeden bir arada okumak; ve sahte yakınsama, yani bağımsız olmayan kaynakların uyuşmasının kesinlik sanılması. Aynı birim kanıt eşiğini, reklam biriminin brief dersi karar kuralını getirdi. Artımsallık katsayısı reklam optimizasyonu kursundan geliyor. Bu kursun beş dersi de kanıt merdivenini, kural tabanlı ve veri odaklı atıfı, kontrollü deneyleri ve pazarlama karması modelini kurdu.

Araştırma birimindeki üçgenleme, anket, görüşme ve satış verisi gibi farklı türde kaynaklarla yapılıyordu. Bu ders aynı ilkeyi ölçüm yöntemlerine uyguluyor: atıf raporu, deney ve model üç farklı kaynaktır, farklı hatalara açıktır ve aralarındaki uyum da uyumsuzluk da okunacak bir bilgidir.

Mekanizma — her yönteme bir görev

Üç yöntem, üç farklı iş için yapılmıştır. Atıf raporları her gün gelir, kanal ve reklam düzeyinde ayrıntı verir, ama etkiyi değil kredi paylaşımını gösterir. Deneyler gerçek etkiyi ölçer, ama pahalı, yavaş ve dar kapsamlıdır. Modeller bütün kanalları birlikte ve izlenemeyen kanalları da kapsayarak açıklar, ama belirsizlikleri geniştir ve yılda birkaç kez güncellenir. Birini ötekinin işine koşmak, ikisini birden bozar.

Aynı yöntem, her karar için değil.

Model, görünmeyeni kapsıyor.

Mekanizma — farkın kendisi bir bilgidir

Üç yöntem aynı kanal için farklı sayılar verdiğinde, ilk tepki hangisinin yanlış olduğunu sormaktır. Oysa her yöntemin hangi yöne yanıldığı önceden bilinir: atıf, zaten alacak kişilere dokunan kanalları şişirir; model, birlikte hareket eden kanalları ayıramaz; deney, dar bir dönemi ve kitleyi ölçer. Farkın yönü ve büyüklüğü, bu bilinen hatalarla karşılaştırıldığında bir teşhise dönüşür.

Model büyük, atıf küçükse, etki başka yoldan geçiyor.

Uyum da sorgulanıyor.

Mekanizma — kesin sayı olmadan karar

Üç yöntem birlikte okunduğunda bile ortaya tek bir kesin sayı çıkmaz; bir aralık çıkar. Kararlar ise beklemez. Her kanal için, bugünkü en iyi tahmini, belirsizliğini, kaynağını ve tarihini birlikte yazan bir sayı, kararların dayanacağı ortak zemini oluşturur ve yeni bir kanıt geldiğinde güncellenir.

Düzeltme katsayısı, günlük raporu kurtarıyor.

Tahmin, bir eşik aşılmadıkça değişmiyor.

Usta katmanı — ölçümün takvimi

Her ölçüm bir anın fotoğrafıdır. Bir deneyin sonucu, kitleler, rakipler, fiyatlar ve mevsim değiştikçe eskir; bir model, yeni kanallar eklendikçe ve harcamalar değiştikçe güncelliğini yitirir. Ölçüm ancak bir takvime bağlandığında sürekli bir karar düzenine dönüşür: hangi kanal ne zaman yeniden ölçülecek ve hangi olay, takvimi beklemeden yeni bir ölçümü tetikleyecek?

Büyük değişiklik, takvimi beklemiyor.

Deneyler dönüşümlü.

Küçük işletmede küçük takvim.

Uyuşmazlık, takvimi tetikliyor.

Karar, belgeyle birlikte yaşıyor.

Yaygın hatalar

Aklında kalsın

Atıf, deney ve model aynı soruya farklı yerlerden bakar. Tek bir doğru sayı aramak yerine, üçünü birlikte okumak kararı sağlamlaştırır.

Ölçüm üçgeni, her yönteme güçlü olduğu karar türünü verir: atıf günlük ayarlara, deney doğrulamaya, model bütçe dağılımına.

Uyuşmazlık okuması, yöntemler arasındaki farkı bilinen zayıflıklarla karşılaştırıp bir teşhise çevirir. Birbirine bağlı yöntemlerin uyumu tek bir kanıttır.

Çalışan tahmin, bir sonraki ölçüme kadar bütün kararlarda kullanılan en iyi tahmindir: bir orta değer, bir aralık, bir kaynak ve bir tarih.

Ölçüm takvimi, yöntemlerin ne zaman yeniden kurulacağını ve hangi olayların takvimi beklemeden yeni bir ölçümü tetikleyeceğini belirler.

Sonraki derse köprü

Bu dersle atıf, nedensellik ve artımsallık kursunu kapattık: ölçüm üçgeni, uyuşmazlık okuması, çalışan tahmin ve ölçüm takvimi. Ordulu kooperatifin kurulu artık tek bir sayı istemiyor; sosyal medya için bir çalışan tahmin, bir aralık ve bir sonraki deneyin tarihi var.

Ama bir çalışan tahmin hâlâ bir sayıdır, bir karar değil. Kooperatifin masasında duran bu sayıdan bir bütçe değişikliğine, oradan da bir kampanya planına geçmek için başka adımlar gerekiyor: sayının ne anlama geldiğini yorumlamak, bir öneri kurmak, birinin karar vermesi ve kararın bir eyleme dönüşmesi. Bu adımların her biri, bir önceki adımla sıkça karıştırılıyor.

Sıradaki kurs gösterge panellerini, tahmini ve karar bilimini ele alıyor. İlk ders, analizden karara geçişte bilgi, içgörü, öneri, karar ve eylem arasındaki farkları kurarak başlıyor.