Veri Kalitesi ve Doğrulama

Açılış sahnesi

Samsun'da çocuk ayakkabısı satan bir markanın pazarlama ekibi pazartesi sabahı panoyu açıyor ve donup kalıyor: hafta sonunun satışları bir önceki haftanın çok altında görünüyor. Cuma günü yeni bir reklam kampanyası başlamıştı. Pazarlama müdürü kampanyayı durdurmayı, bütçeyi eski reklamlara geri çekmeyi öneriyor.

Öğleye doğru analist tabloyu parçalara ayırıyor. Satış düşüşünün büyük kısmı tek bir ödeme yönteminden geliyor: cuma akşamı sitede yapılan küçük bir güncelleme, kapıda ödeme seçeneğinde sipariş tamamlandı olayını kaydeden kodu bozmuş. Siparişler gelmiş, depo onları paketlemiş; yalnız analitik araç onları görmemiş. Üstelik pazar gününün verisi henüz tamamlanmamış, bazı kayıtlar gecikmeyle geliyor.

Aynı analist, bir önceki haftanın rekor görünen cumartesisine de bakıyor. O gün bir ödeme sayfası yenilendiğinde aynı sipariş iki kez kaydedilmiş. Yani rekor biraz şişirilmiş, düşüş ise büyük ölçüde hayali. Kampanya hakkında bir karar vermek için elde güvenilir bir sayı yok.

Bu derste ne olacak

Markanın sorunu yanlış bir karar vermek üzere olması değildi; verinin bozulduğunu kimse bozulduğu anda fark etmemişti. Eksik kayıtlar, iki kez yazılmış siparişler ve henüz gelmemiş veriler, gerçek bir değişiklikten ayırt edilemiyordu. Samsunlu marka kurgudur, dersin öbür örnekleri de öyle. Kesinleşme bölümündeki küçük hesabın sayıları da uydurma; gecikmenin bir sonucu nasıl küçülttüğünü göstermek için seçildi.

Önceki dersler veriyi sorudan türetti, adlandırdı, kişilere bağladı ve sınırlarını çizdi. Bu ders verinin güvenilirliğini ele alıyor: her kaydın beklenen biçimde gelip gelmediğini kurallarla sınamayı, aynı olayın iki kez sayılmasını önlemeyi, geç gelen veriyi erken okumamayı ve kaydın sessizce durduğunu, hacmin beklenen aralıktan çıkmasıyla yakalamayı.

Sıfır noktası

Verinin doğruluğunu bu akademide birkaç kez sorduk. Dönüşüm kursunda, bir sorunu teşhis etmeden önce yapılan ölçüm denetimini ve hata günlüğünü tanımladık. Reklam biriminde platform raporlarını işletmenin kendi kayıtlarıyla karşılaştıran rapor mutabakatını ve çifte sayımı gördük. Bu kursta izinli değer listesini, olay birleştirmeyi ve izin boşluğunu ekledik.

Ölçüm denetimi tek seferlik bir kontroldü: bir teşhise başlamadan önce yapılır. Rapor mutabakatı ise dönemlik bir karşılaştırmaydı. Bu ders doğrulamayı sürekli bir iş olarak ele alıyor: veri her gün akarken, bozulduğu anda fark edilmesini sağlayan kurallar ve eşikler.

Mekanizma — her kayıt kurala göre sınanır

Bir olay kaydedildiğinde, taşıdığı özelliklerin beklenen biçimde olup olmadığı otomatik olarak kontrol edilebilir: zorunlu alanlar dolu mu, değerler izinli listede mi, tutarlar makul bir aralıkta mı, tarih geçerli mi? Bu kontroller olmadan, bozuk bir kayıt da sağlam bir kayıt gibi rapora girer.

Makul aralık, yazım hatasını yakalıyor.

Olay, karşılığıyla eşleşiyor.

Mekanizma — bir olay, bir kayıt

Aynı olay birden fazla kez kaydedilebilir: kullanıcı teşekkür sayfasını yenileyebilir, geri tuşuna basabilir, ödeme sistemi aynı bildirimi iki kez gönderebilir, aynı olay hem tarayıcıdan hem sunucudan gelebilir. Her tekrar bir sayımı şişirir ve tekrarlar rastgele değil, belirli sayfalarda ve belirli cihazlarda toplanır.

Anahtar, kaynağında veriliyor.

Bildirimler de tekrarlanıyor.

Mekanizma — veri kesinleşmeden okunmaz

Bir günün verisi o gün bitince tamamlanmış olmaz. Bazı olaylar cihazdan gecikmeyle gönderilir, bazı sistemler verisini gece toplu olarak aktarır, bazı siparişler günler sonra iptal edilir ya da iade edilir. Dünün sayısı bu sabah okunduğunda eksiktir ve bu eksiklik, gerçek bir düşüş gibi görünür.

Erken okuma, deneyi de yanıltıyor.

Net gelir, iade süresini bekliyor.

Kaynaklar farklı hızda kesinleşiyor.

Usta katmanı — sessiz kırılmayı hacimle yakalamak

Kural sınamaları, gelen bir kaydın bozuk olduğunu yakalar. Ama en tehlikeli kırılma, hiç kayıt gelmemesidir: bir olayı gönderen kod bir güncellemeyle silinmiş, bir ödeme yöntemi ölçümden düşmüş, bir sayfa olayı artık tetiklemiyordur. Gelmeyen kayıt hiçbir kurala takılmaz. Bu tür kırılmalar, ancak bir olayın hacmi beklenen aralığın dışına çıktığında görünür.

Dağılım da izleniyor.

Bağımsız kaynak, sorunun yerini söylüyor.

Eşik, gürültüyle dengeleniyor.

Yaygın hatalar

Aklında kalsın

Veri akarken bozulur ve bozulduğu anda fark edilmezse, gerçek bir değişiklikten ayırt edilemez.

Veri sınaması, her kaydın zorunlu alan, izinli değer, makul aralık ve eşleşme kurallarına uyup uymadığını her gün kendiliğinden kontrol eder. Kurala uymayan kayıt silinmez, ayrılır ve sayılır.

Tekilleştirme anahtarı, aynı gerçek olayın bütün kopyalarında aynı kalan kimliktir. Kaynağında verilir; tahminle yapılan tekilleştirme hem tekrarları kaçırır hem gerçek kayıtları siler.

Kesinleşme süresi, bir dönemin verisinin tamamlanması için geçen süredir. Kesinleşmemiş dönemler raporda işaretlenir ve karar için beklenir.

Hacim alarmı, gelmeyen kaydı hacmin ve dağılımın beklenen aralıktan çıkmasıyla yakalar. Bağımsız bir kaynakla karşılaştırma, sorunun ölçümde mi işte mi olduğunu söyler.

Sonraki derse köprü

Bu derste verinin güvenilirliğini sınamaya aldık: veri sınaması, tekilleştirme anahtarı, kesinleşme süresi ve hacim alarmı. Samsunlu ayakkabı markasının panosunda artık kapıda ödeme olayı düştüğü saat içinde bir uyarı çalıyor ve hafta sonunun verisi salıya kadar soluk renkte duruyor.

Ama kırılmaların çoğunun ortak bir kökeni var: biri bir şeyi değiştirmişti. Bir site güncellemesi bir olayı silmiş, bir geliştirici bir özelliğin adını değiştirmiş, bir ekip başka bir ekibin kullandığı bir olayı kendi ihtiyacına göre yeniden tanımlamıştı. Alarm kırılmayı sonradan yakalıyor; kırılmayı baştan önleyen şey, değişikliklerin nasıl önerildiği, onaylandığı ve kayda geçtiğidir.

Sıradaki ders ölçüm planının yönetişimini ele alıyor: planın sürümlerini, her parçasının sahibini, bir değişikliğin hangi adımlardan geçerek yayına çıkacağını ve bütün bunların nasıl belgeleneceğini orada çalışacağız.