Veri sızıntısı

Açılış

Nisanın üçüncü çarşambası Melis, sahte hasar modelinin yeni sürümünü Elif'in masasına getirdi. Bu kez her adımı kitabına uygun attığını söylüyordu. Kaza numaraları bölünmemişti, son üç ayın kapanmış dosyaları baştan ayrılmış ve yalnız bir kez açılmıştı. O üç ayda dokuz bin altı yüz dosya kapanmış, soruşturma bunların yüz ellisinde sahtecilik bulmuştu. Model dosyaları riskine göre sıraladığında en üstteki yüz dosyanın seksen biri sahte çıkıyordu. Elli iki kurallık eski listenin ilk yüz uyarısında bu sayı hiçbir ay yirmiyi geçmemişti.

Elif önce sevindi. Sonra sayının büyüklüğü canını sıktı. Sahtecilik, soruşturma biriminin yıllardır peşinden koştuğu, her yakalanışta biçim değiştiren bir işti. Bir stajyerin üç haftada kurduğu modelin onu bu kadar kolay bulması ona fazla güzel geldi. Melis'ten modelin en çok dayandığı sütunların listesini istedi. Listenin en başında, öteki bütün sütunların çok önünde, «sorumlu müfettiş» duruyordu.

Soruşturma biriminin şefi Sabri Bey'i aradılar. Sabri Bey sütunu tek cümleyle açıkladı: müfettiş, dosya ihbardan iki üç gün sonra şüpheli diye birime aktarıldığında atanıyordu; aktarılmayan dosyada sütun boş kalıyordu. En ağır şüpheleri de birimin en kıdemli müfettişi alıyordu. "O sütunda bir ad görüyorsanız," dedi, "birisi o dosyadan zaten şüphelenmiş demektir."

Melis ekrana baktı. Model ihbar günü, dosya açılır açılmaz çalışacaktı. O gün hiçbir dosyanın müfettişi olmayacaktı. Sütunu çıkarıp modeli yeniden eğitti. İlk yüz dosyadaki sahte sayısı otuz dörde indi.

Kenan Bey'e ise ilk sayı taslak bir e-postayla gitmişti bile. Öğleden sonra aradı ve yönetim kurulu sunumuna "her beş uyarıdan dördü isabetli" yazıp yazamayacağını sordu.

Tek fikir

Bir sınama sonucu, model sınamada kullanımda bileceğinden fazlasını bilmiyorsa dürüsttür. Tahmin anında var olmayacak bir sütun ya da sınama örneklerinden eğitime sızan bir iz, sayıyı şişirir; şüpheli derecede iyi bir sonuç ilk uyarıdır.

Nasıl çalışır

Ders 3.3'te Melis'in önerdiği onarım faturası sütunu, açık dosyaların hiçbirinde dolu değildi; fatura araç servisten çıktıktan haftalar sonra geliyordu. O gün yalnız bir soru sormuştuk: bu değer, tahminin yapılacağı anda var mıydı? Müfettiş sütunu aynı sorunun ikinci örneği. Artık adını koyabiliriz.

Müfettiş sütunu bu ikinci tanıma tam oturuyor. Sahte etiketi ancak soruşturmadan geçen dosyaya konabiliyordu; Ders 4.2'de gördüğümüz gibi soruşturmaya gitmeyen dosyalar hiç incelenmemişti. Müfettiş de yalnız soruşturmaya giden dosyaya atanıyordu. Yani sütunun dolu olması, "bu dosya sahte olabilecek tek dosya grubunda" demekti; kıdemli müfettişin adı ise "şüphe güçlü" demekti. Model sahtecilik hakkında bir şey öğrenmemişti, Sabri Bey'in ekibinin kararını okumayı öğrenmişti.

Makalenin aktardığı ders kitabı örneklerinden biri neredeyse Melis'in sütunudur. Bir cep telefonu şirketinde müşterinin aboneliği bırakıp bırakmayacağını tahmin eden bir modelde "görüşmeyi yapan çalışanın adı" sütunu çok güçlü çıkmış; meğer belirli bir satış temsilcisi, aboneliği bırakacağını zaten bildirmiş müşterileri devralmakla görevlendirilmiş. Yazarlar en yaygın sızıntı biçimini bir zaman şartıyla anlatır: meşru bir model yalnız hedeften önce gözlenebilen bilgiyle kurulur. Sorun, veritabanlarının bu şartı görmeye elverişsiz olmasıdır. Bir kayıt güncellendiğinde hangi alanın ne zaman değiştiği çoğunlukla saklanmaz; satırın yalnız son hâli kalır. Makale bu bilgi kaybını sızıntının asıl kaynağı sayar. Melis'in tablosu da her dosyanın kapanış günündeki hâliydi; ihbar günü boş olan müfettiş sütunu orada dolu görünüyordu.

Sızıntı yalnız sütunlardan girmez. Bu modülde birkaç yolunu adını koymadan gördük. Ders 6.1'de Onur'un yönergesindeki nüfus cüzdanı örneği, birkaç kelimesi değişmiş hâliyle sınama listesinde de duruyordu; aynı örnek iki kümede birden yer alıyordu. Ders 6.2'de Dr. Seda Hanım, aynı hastanın iki gözünün eğitim ve sınama kümelerine ayrı ayrı düştüğünü fark etmişti; model sınavda tanıdığı bir retinayı görüyordu. Aynı derste Onur, elli başvuruya bir ay boyunca bakarak yönerge düzeltmiş ve sınama kümesini farkında olmadan eğitimin parçası yapmıştı. Üçü de aynı sonucu doğurur: sınama, modelin daha önce bir yoldan gördüğü bir şeyi sorar.

Dördüncü yol daha sessizdir ve Melis'in tablosunda da vardı. Araç piyasa değeri sütununda boş hücreler vardı; Melis onları, tablo daha bölünmeden bütün dosyaların ortancasıyla doldurmuştu. Para sütunlarını Ders 4.3'teki gibi ölçeklerken de ortalamayı ve yayılımı bütün tablodan hesaplamıştı. Böylece sınama dosyalarının değerleri, eğitimde kullanılan sayıların içine karışmıştı. Doğrusu, doldurma ve ölçekleme sayılarını yalnız eğitim kümesinden hesaplamak, sınama kümesine de aynı sayıları dokunmadan uygulamaktır. Sınamaya hangi sütunların gireceğini bütün tabloya bakarak seçmek de aynı türden bir sızıntıdır.

Makalenin ikinci yarısı sızıntının ne kadar büyük bir yanılgı üretebileceğini tek bir alanda gösterir. İç savaşların başlamasını tahmin eden on iki makaleyi yeniden çalıştırırlar.

Ders 3.5'teki astım örneği bu tablonun dışında durur. Astım öyküsü, hasta hastaneye geldiği anda bilinen meşru bir sütundu; sorun, düşük riskin aldığı yoğun bakımdan kaynaklanmasıydı, yani bir karıştırıcıydı. Sızıntıda ise sütun ya tahmin anında hiç yoktur ya da sınamanın cevabını taşır.

Sahada

Nerede yanılır

"Fazla iyi sonuç" belirtisi en güçlü uyarıdır ama her sızıntıyı yakalamaz. Kaufman ve arkadaşlarının aktardığı bir finans yarışmasında, katılımcılardan bir saat sonraki hisse fiyatı hareketini tahmin etmeleri istenmişti. Otuz kadar takım çok yüksek bir ayırma skoru elde etti, en iyisi kusursuza dokunuyordu; sonradan verinin içinde ve dışarıdaki açık kaynaklarda gelecekten bilgi bulunduğu anlaşıldı. Orada sayı o kadar şaşırtıcıydı ki herkes şüphelendi. Melis'in ön işleme sızıntısı ise sayıyı belki bir iki puan yükseltir; kimse bir iki puanlık iyiliği soruşturmaz. Küçük sızıntı sessizdir ve en uzun o yaşar.

Belirtinin ikinci zayıflığı, neye göre "fazla iyi" olduğudur. Makaleye göre beklenmedik bir sonucu tanımak için ya alanı bilmek ya da daha önceki sonuçları bilmek gerekir. Melis sahteciliğin ne kadar zor yakalandığını bilmeseydi seksen bir sayısı ona yalnız başarı gibi görünecekti. Elif'i durduran, elli iki kurallık listenin yıllardır yirminin altında kaldığını bilmesiydi.

Üçüncüsü, sızıntılı sütunu silmek her zaman sorunu bitirmez. Makale perakendeden bir örnek aktarır: büyük harcama yapan müşteriyi tahmin eden bir çalışmada mücevher alışverişi sütunu çıkarıldığında, "hiçbir reyonda alışverişi yok" bilgisi birden güçlü hâle gelmiş; çünkü veritabanındaki herkes bir şey satın almıştı ve başka hiçbir reyonda alışverişi olmayan müşterinin aldığı şey mücevher olmak zorundaydı. Melis müfettiş sütununu sildiğinde "soruşturmaya aktarım tarihi" ve "dosya notunun uzunluğu" da aynı izi taşıyordu. Sızıntılı bir sütun bulunduğunda soru, sütunun kendisinden çok onu dolduran süreçtir.

Son olarak, sahada erken deneme bile sızıntıyı ayrı göstermez. Sınamadaki sayı ile kullanımdaki sayı ayrılırsa bunun nedeni sızıntı da olabilir, aşırı öğrenme de, dünyanın değişmesi de.

Uygulama

Bu çalışmada, eline geçmiş bir tablonun sütunlarını tahmin anına göre ayıklayacaksın. Kâğıt kalem yeter. Kurgusal bir kargo firması, bir paketin geç teslim edilip edilmeyeceğini paket şubeye bırakıldığı anda tahmin etmek istiyor. Eğitim tablosu teslim edilmiş paketlerden oluşuyor ve şu on sütunu taşıyor: gönderici ilçesi, paket ağırlığı, şubeye bırakılma saati, varış iline göre aktarma merkezi sayısı, o günkü hava tahmini, şubenin o günkü paket yoğunluğu, teslim eden kuryenin adı, müşteri hizmetlerine yapılan arama sayısı, paketin şikâyet kaydı olup olmadığı ve gerçek teslim tarihi.

1. Kâğıda dört sütunlu bir tablo çiz: sütun adı, kim yazar, ne zaman yazılır, tahmin anında var mı.
2. On sütunu tek tek doldur. "Ne zaman" için olayın kendisini yaz: şubeye bırakılırken, yolda, teslimde, teslimden sonra.
3. Son sütuna "var", "yok" ya da "belirsiz" yaz.
4. "Belirsiz" dediklerin için, öğrenmek üzere firmaya soracağın soruyu bir cümleyle yaz.
5. "Yok" dediklerinin her biri için, modeli sınamada nasıl yanıltacağını bir cümleyle anlat.
6. Bir sütun tahmin anında var olsa bile sınama sırasında başka bir yoldan cevabı taşıyabilir mi, düşün ve varsa not et.

Benim okumamda gerçek teslim tarihi hedefin kendisidir. Kuryenin adı, arama sayısı ve şikâyet kaydı teslim sürecinde ya da sonrasında yazılır; geciken pakete müşteri arar, şikâyet açar, bazı firmalar geciken paketleri belirli kuryelere devreder. Ağırlık, ilçe, saat ve aktarma sayısı bırakılma anında bellidir. Hava tahmini ile şube yoğunluğu belirsizdir: tablodaki değer o sabahın tahmini mi, yoksa sonradan girilen gerçek hava mı? Gün sonunda sayılan yoğunluk, paket bırakıldığında henüz bilinmeyen saatleri de içerir. Bu iki soruyu firmaya sormadan sütunları kullanmamak gerekir.

Defter: "Tahmin anı" adlı bir sayfaya kargo tablonu geçir ve altına, kullandığın ya da gördüğün bir tabloda kaydın son hâlini tutan, ne zaman değiştiği görünmeyen bir sütun hatırlıyorsan onu yaz.

Hata köşesi

Sorumluluk

Bir sütunun meşru olup olmadığına model karar veremez; o sütunu kimin, hangi anda doldurduğunu bilen insan karar verir. Müfettiş sütununun ne zaman dolduğunu Melis tablodan göremedi, Sabri Bey bir cümleyle söyledi. Elif bu yüzden model belgesine yeni bir satır ekledi: her sütun için kim yazar, ne zaman yazar, ihbar günü dolu mudur. Satırı Sabri Bey ve hasar biriminden bir eksper doğrulayıp imzaladı. Kenan Bey'in sunumuna seksen bir değil otuz dört gitti; ilk sayının neden geri çekildiği de iki cümleyle yazıldı. Yanlış sayı kurula gitseydi, soruşturma birimine boşuna aktarılacak dosyaların ve beklentisi boşa çıkacak bir bütçenin sorumluluğu sayıyı imzalayanda kalırdı.

Kapanış

1. Veri sızıntısı, modelin kullanımda sahip olmayacağı bilginin ya da sınama örneklerine ait bilginin eğitime, ön işlemeye veya seçime karışmasıdır ve sınama sayısını gerçek başarının üstüne çıkarır.
2. Hedef sızıntısı en yaygın biçimdir: sütun, sonuç belli olduktan ya da sonuca giden karar verildikten sonra doldurulur; her sütun için sorulacak soru, değerin tahmin anında var olup olmadığıdır.
3. Fazla iyi sonuç ilk uyarıdır ama küçük sızıntıları göstermez; asıl korunma, her sütunu kimin, hangi anda yazdığını kayda geçirmek ve doldurma, ölçekleme gibi işleri yalnız eğitim kümesinden hesaplamaktır.

Üç soru

1. Melis'in modeli sınamada neden ilk yüz dosyanın seksen birini sahte buldu, ve bu sayı ihbar günü neden tekrarlanamazdı?
2. Melis araç piyasa değerindeki boşlukları tablo bölünmeden bütün dosyaların ortancasıyla doldurdu. Bu neden sızıntıdır ve nasıl düzeltilir?
3. Ders 3.5'teki astım sütunu ile müfettiş sütunu arasındaki fark nedir?

Yanıtlar

1. Müfettiş yalnız soruşturmaya aktarılan dosyalara atanıyordu ve sahte etiketi ancak soruşturmadan geçen dosyaya konabiliyordu; en güçlü şüpheleri de kıdemli müfettiş alıyordu. Sütun, soruşturma biriminin kararını taşıyordu. Tablo dosyaların kapanış günündeki hâliydi, oysa model ihbar günü çalışacaktı ve o gün hiçbir dosyanın müfettişi yoktu.
2. Ortanca, sınama dosyalarının değerleri de katılarak hesaplandı; böylece sınama kümesinden bir bilgi eğitim verisinin içine girdi. Düzeltmek için önce tablo bölünür, ortanca ve ölçekleme sayıları yalnız eğitim kümesinden hesaplanır, sınama kümesine aynı sayılar değiştirilmeden uygulanır. Etki çoğu zaman küçüktür ama yönü hep iyimserdir.
3. Astım öyküsü hasta geldiği anda bilinen meşru bir bilgiydi; yanıltıcı olan, düşük riskin aldığı bakımdan gelmesiydi ve bu bir karıştırıcı sorunudur. Müfettiş sütunu ise tahmin anında hiç yoktu; sonuca giden karardan sonra yazılıyordu. Biri bir sütunun anlamını yanlış okumaktır, öteki modelin sahip olamayacağı bilgiyi kullanmasıdır.

Sonraki derse köprü

Melis'in sızıntısız modeli son üç ayın dosyalarında dürüst bir sayı verdi. Ama o sayı, geçmiş üç ayın dünyasında ölçüldü. Dolandırıcılar yakalanan yöntemi bırakıp yenisine geçer, yedek parça fiyatları değişir, yeni bir sigorta ürünü başka bir müşteri kitlesi getirir. Ders 6.6, Dağılım kayması, modelin kurulduğu dünya ile kullanıldığı dünya ayrıştığında dürüst bir sınama sayısının da nasıl eskidiğini ele alıyor.