Optimizasyon Kararları

Açılış sahnesi

Salı sabahı, bir mobilya mağazasının reklam paneli kırmızıya boyanmış. Dünün sonuçları berbat görünüyor: harcama normal, ama satış neredeyse yok. Reklam sorumlusu hemen harekete geçiyor; en pahalı iki reklamı kapatıyor, teklif stratejisini değiştiriyor ve bütçeyi başka bir kampanyaya aktarıyor.

Perşembe günü panel yeniden açıldığında salı gününün satışları gelmiş. Kanepe gibi büyük alımlarda insanlar reklama tıkladıktan sonra birkaç gün düşünüyor, eşine danışıyor, mağazayı bir kez daha ziyaret ediyor; satış, tıklamadan günler sonra kayda geçiyor. Salı günü kırmızı görünen tablo, yalnız henüz tamamlanmamış bir tabloydu.

Ama iş işten geçmiş. Kapatılan iki reklam aslında en iyi satış getirenlerdi; değiştirilen teklif stratejisi, kampanyayı yeniden öğrenme dönemine sokmuş. Bir hafta boyunca kampanya, sorumlunun müdahale etmeden önceki hâlinden daha kötü çalışıyor.

Bu derste ne olacak

Mobilya mağazasının sorumlusu doğru bir sayıya bakıp yanlış bir karar verdi; sayı gerçekti ama henüz olgunlaşmamıştı. Mağaza da, aşağıdaki işletmelerin hepsi de kurgu. Bir kampanyaya kaç gün dokunulmaması ya da bir sonucun kaç dönüşümden sonra güvenilir sayılması için bir rakam vermiyorum; bunlar ürünün satın alma süresine, günlük hacme ve reklam sisteminin kendi öğrenme koşullarına göre değişiyor.

Önceki dersler yaratıcı hipotezleri, sayfayı ve sürtünmeyi konuştu. Bu ders bütün bunların üstünde duran soruyu soruyor: sonuçlara ne zaman bakıp ne zaman müdahale etmeli? Verinin geç gelmesini, küçük hacimde sayıların oynaklığını, ucuz görünen sonuçların arkasındaki niteliği ve müdahalelerin kendisinin bir maliyeti olduğunu ele alacağız.

Sıfır noktası

Bu alanda öğrenme dönemini, öğrenme hacmini, karar kuralını, harcama temposunu ve yeniden dağıtım kuralını kurduk. Ürün yönetiminde erken bakmayı, içerik ölçümünde birikim gecikmesini, arama optimizasyonunda hacim yanılgısını tanımlamıştık.

Bir reklam panelinde her sayı aynı anda görünür ve aynı kesinlikle yazılır: dünün satışı da, geçen ayın satışı da. Oysa bu sayıların güvenilirliği çok farklıdır. Dünün sayısı henüz eksiktir; küçük bir kampanyanın sayısı rastlantıya açıktır; ucuz bir sonuç sonradan pahalıya patlayabilir. Optimizasyon kararı, bir sayının ne kadar değiştiğine değil, o değişikliğin güvenilir, anlamlı ve harekete değer olup olmadığına bakar. Çoğu zaman en iyi karar, bekleme kararıdır.

Mekanizma — veri geç geliyor

Bir reklama tıklamak ile satın almak arasında zaman geçer; satın almanın panele yansıması da ayrıca zaman alır. En yeni günler, her zaman eksik görünür.

Gecikme, ürünün türüne göre değişiyor.

Uzun gecikmede ara göstergeler yardım ediyor.

Gecikmeyi bilmek, raporlama biçimini de değiştiriyor.

Mekanizma — küçük sayılar oynak

Günde birkaç dönüşüm getiren bir kampanyada, bir günde bir dönüşüm fazla ya da eksik gelmesi, sonucu büyük ölçüde değiştirir. Bu değişim çoğu zaman bir sinyal değil, rastlantıdır.

Hacmi artırmak için süre uzatılıyor ya da gruplar birleştiriliyor.

Bandın dışına çıkmak da tek başına yetmiyor.

Bant, sezon değişince de değişiyor.

Mekanizma — ucuz sonuç ucuz olmayabilir

Reklam paneli çoğu zaman bir dönüşümün ne kadara mal olduğunu gösterir; o dönüşümün işletmeye ne getirdiğini göstermez. Maliyeti düşüren bir değişiklik, niteliği de düşürebilir.

İade, sipariş maliyetini değiştiriyor.

Nitelik, bazen aylar sonra ortaya çıkıyor.

Niteliği reklam sistemine öğretmek de bir seçenek.

Usta katmanı — müdahalenin de bir maliyeti var

Her müdahale, kampanyayı bir miktar sarsar: öğrenme dönemini yeniden başlatabilir, önceki değişikliğin etkisini okunamaz hâle getirebilir, ekibin zamanını alır. Bu yüzden iyi optimizasyon, çok müdahale etmek değil, doğru müdahaleyi doğru zamanda ve tek tek yapmaktır.

Müdahale, bir sıraya göre yapılıyor.

Bekleme kararı da günlüğe yazılıyor.

Yaygın hatalar

Aklında kalsın

Optimizasyon kararı, bir sayının ne kadar değiştiğine değil, o değişikliğin güvenilir, anlamlı ve harekete değer olup olmadığına bakar. Çoğu zaman en iyi karar beklemektir.

Dönüşüm gecikmesi, etkileşim ile dönüşümün raporda görünmesi arasındaki süredir. En yeni günler her zaman eksik görünür; kararlar verisi olgunlaşmış dönemlere göre verilir ve uzun gecikmede güvenilir ara göstergeler kullanılır.

Gürültü bandı, hiçbir şey değişmediğinde bile görülen olağan dalgalanmadır. Hacim küçüldükçe genişler; bir değişiklik bu bandın dışına ve bir süre boyunca çıkmadıkça sinyal sayılmaz.

Nitelik ayarlı maliyet, sonuç başına maliyetin o sonuçların sonradan ortaya çıkan değerine göre düzeltilmiş hâlidir. Ucuzlayan bir sonuç, niteliği düşmüşse pahalanmış olabilir.

Değişiklik günlüğü, her müdahalenin gözlemini, beklenen etkisini ve değerlendirme tarihini kaydeder. Müdahaleler tek tek ve en az sarsandan başlayarak yapılır; bekleme kararları da gerekçesiyle yazılır.

Sonraki derse köprü

Bu derste optimizasyon kararlarının zamanlamasını konuştuk: dönüşüm gecikmesi, gürültü bandı, nitelik ayarlı maliyet ve değişiklik günlüğü. Kök Kahve'nin değişiklik günlüğü artık her kararın gözlemini, beklentisini ve sonucunu taşıyor.

Ama günlükteki satırlar, tek tek birer kayıttan ibaret. Hediye reklamının neden işe yaradığı, ofis reklamının neden çürüdüğü, kısa formun neden niteliği düşürdüğü, ekip değişince ya da bir yıl geçince unutulabiliyor; aynı hipotez yeniden sınanıyor, aynı hata yeniden yapılıyor.

Sıradaki ders öğrenim arşivini konuşuyor: bir test sonucunu, ekibin yeniden kullanabileceği bir yaratıcı ilkeye ve bir sonraki dönemin hipotezine nasıl dönüştüreceğimizi orada ele alacağız.