Ölçüm Planı Yönetişimi

Açılış sahnesi

Kayseri'de el dokuması halı ve kilim satan bir mağazanın geliştiricisi, bir salı öğleden sonra küçük bir düzeltme yapıyor. Muhasebe, sipariş tamamlandı olayındaki tutar alanının vergiyi içermesini istemişti; geliştirici alanı değiştiriyor, adını da daha açık olsun diye yeniden yazıyor ve değişikliği yayına alıyor. Kimseye haber vermesine gerek görmüyor; ona göre bu, tek satırlık bir iyileştirme.

Ertesi gün üç ayrı ekip üç ayrı sorunla uyanıyor. Pazarlama ekibinin reklam platformuna gönderdiği dönüşüm verisi durmuş, çünkü platform eski alan adını bekliyor. E-posta ekibinin yüksek tutarlı sipariş verenlere giden teşekkür akışı kimseye gitmemiş. Yönetim panosundaki ortalama sipariş tutarı ise bir gecede belirgin biçimde yükselmiş ve bir yönetici bunu yeni koleksiyonun başarısı sanmış.

Toplantıda herkes aynı soruyu soruyor: bu olayı kim kullanıyordu? Kimse tam bir liste veremiyor. Geliştirici haklı olarak, değişikliği yapmadan önce kime sorması gerektiğini bilmediğini söylüyor. Ölçüm planı vardı, ama planın nasıl değiştirileceğine dair hiçbir kural yoktu.

Bu derste ne olacak

Mağazanın sorunu hatalı bir değişiklik değildi; değişikliğin kendisi makuldü. Sorun, planın bir sürümünün, her parçasının bir sahibinin, bir değişikliğin izleyeceği bir yolun ve olayların kimler tarafından kullanıldığını gösteren bir haritanın olmamasıydı. Kayserili mağaza hayal ürünüdür; vakalardaki atölyeler, dükkânlar ve markalar da.

Bu kurs veri toplamayı sorudan başlatıp adlandırdı, kişilere bağladı, sınırladı ve sınadı. Son ders bütün bu düzeni zaman içinde ayakta tutmayı ele alıyor: ölçüm planının sürümlerini ve belgelenmesini, bir değişikliğin önerilip onaylanma yolunu, bir olayı kullanan rapor, kitle ve akışların haritasını ve bir değişikliğin yayına çıkmadan önce sınanmasını.

Sıfır noktası

Yönetişimin parçalarını bu akademi farklı yerlerde kurdu. Strateji biriminde sürüm notunu ve değişiklik gerekçesini, içerik biriminde geçerli sürümü ve sahiplik devrini, reklam optimizasyonu kursunda değişiklik günlüğünü, büyüme kursunda deneyler için risk düzeyine göre onay kademesini gördük. Ölçüm kursunda ölçüt sahibini ve ölçüt emekliliğini ekledik. Bu kursun önceki dersleri ölçüm planını, olay taksonomisini ve veri sınamasını kurdu.

Bu parçaların hiçbiri tek başına yetmiyordu: sürüm notu neyin değiştiğini söyler ama değişikliğin kimi etkileyeceğini söylemez; veri sınaması kırılmayı yakalar ama önlemez. Yönetişim bu parçaları tek bir akışa bağlar: bir değişiklik önerilir, etkilediği yerler bulunur, sahibi onaylar, sınanır, yayına çıkar ve kayda geçer.

Mekanizma — planın sürümü ve belgesi

Ölçüm planı, bir işletmenin sürekli değişen bir belgesidir: yeni sorular gelir, yeni olaylar açılır, eski olaylar birleştirilir ya da emekliye ayrılır. Planın hangi hâlinin geçerli olduğu ve neyin ne zaman değiştiği bilinmezse, bir yıl önceki bir rapor bugünkü tanımlarla okunur ve yanlış yorumlanır.

Kıran değişiklik, geçiş süresi istiyor.

Ekleme ile kırma ayrı tartılıyor.

Mekanizma — değişikliğin yolu

Bir değişiklik, en küçüğü bile, planın başka bir yerini kullanan birini etkileyebilir. Değişikliği yapan kişi çoğu zaman kimin etkileneceğini bilmez; bilmesi de beklenmemelidir. Bunun yerine her değişiklik önceden tanımlı bir yoldan geçer ve bu yol, etkilenecek kişileri değişiklik yapılmadan önce masaya getirir.

Onay, sahipten geliyor.

Kişisel veri, ağır yoldan geçiyor.

Mekanizma — kim neyi kullanıyor

Bir olay, kaydedildiği yerde bitmez: bir panoya, bir rapora, bir reklam kitlesine, bir e-posta akışına, bir tahmin modeline, bir reklam platformuna aktarılan bir dönüşüme dönüşür. Bu kullanımların listesi olmadığında, bir değişikliğin etkisi ancak bir şey kırıldığında görülür.

Harita, kullanan tarafından güncelleniyor.

Dış sistemler de haritada.

Kullanılmayan olay, haritada ortaya çıkıyor.

Usta katmanı — yayından önce sınama

En iyi değişiklik talebi ve en eksiksiz etki haritası bile, değişikliğin kodda doğru uygulandığını garanti etmez. Bir olay yanlış sayfada tetiklenebilir, bir özellik yanlış biçimde gelebilir, eski ve yeni hâl geçiş süresinde birbirini ezebilir. Bu hataların canlı veride, müşterilerin gerçek siparişleri üzerinde keşfedilmesi, bozuk verinin geri dönülemez biçimde raporlara karışması demektir.

Geri alma yolu, önceden yazılıyor.

Geçiş süresinde iki hâl birlikte sınanıyor.

Küçük işletmede yönetişim de küçük.

Yaygın hatalar

Aklında kalsın

Ölçüm planı yazıldığı gün bitmez; her değişiklikle ya güçlenir ya da bozulur. Yönetişim, bu değişikliklerin kontrollü bir yoldan geçmesidir.

Ölçüm sürümü, planın her hâlini bir numara ve bir notla saklar. Ekleme ile kıran değişiklik ayrılır; kıran değişikliğe bir geçiş süresi tanınır.

Değişiklik talebi, her değişikliğin uygulanmadan önce yazılı olarak önerilmesi ve sahibinin onayından geçmesidir. Risk arttıkça onay ağırlaşır.

Etki haritası, her olayın hangi rapor, kitle, akış ve dış sistemde kullanıldığını ve bu kullanımların sahiplerini gösterir. Kullanan, haritaya kendini yazar.

Yayın öncesi sınama, değişikliği canlıya çıkmadan ayrı bir ortamda planla karşılaştırır. Geri alma yolu önceden yazılır ve yayından sonra yakın izleme yapılır.

Sonraki derse köprü

Bu dersle veri toplama kursunu kapattık: ölçüm sürümü, değişiklik talebi, etki haritası ve yayın öncesi sınama, önceki derslerde kurulan düzeni zaman içinde ayakta tutuyor. Kayserili halı mağazasında tutar alanındaki değişiklik artık bir talep olarak açılıyor, etki haritası reklam platformunu, e-posta akışını ve yönetim panosunu gösteriyor ve değişiklik önce sınama ortamında deneniyor.

Veri artık güvenilir; ama güvenilir veri, pazarlamanın en eski sorusuna tek başına cevap vermiyor. Kök Kahve'nin hediye abonelikleri her yılbaşı artıyor; aynı haftalarda reklam harcaması da artıyor, e-posta kampanyaları da gidiyor, insanlar da zaten hediye arıyor. Hangi reklam kaç aboneliği getirdi, reklam olmasaydı bu aboneliklerin kaçı yine gelirdi?

Sıradaki kurs atıf, nedensellik ve artımsallığı ele alıyor. İlk ders, iki sayının birlikte hareket etmesi, bir satışın kredisinin kanallara paylaştırılması ve bir pazarlama harcamasının gerçekten yarattığı ek sonuç arasındaki farkları ayırarak başlıyor.