Eksik Veri Türleri

Açılış sahnesi

Bir eğitim hastanesinin üroloji polikliniğinde hemşire Gökhan, sık idrara çıkma yakınmasıyla mesane eğitimi programına alınan hastaların üçüncü ay kontrollerini özetliyor. Programda hastalar tuvalet aralarını adım adım uzatmayı öğreniyor ve her kontrole üç günlük bir işeme günlüğü getiriyor; Gökhan günlükten her hasta için günde kaç kez idrara çıktığının ortalamasını hesaplıyor. Programa başlarken bu on hastanın ortalaması 9'du (kurgu değer). Üçüncü ayda yedi hasta günlüğünü getirmiş, üçünün hücresi boş. Gökhan boş hücreleri siliyor ve kalan yedi değerin ortalamasını hesaplıyor: 5,71. Toplantıda slaytı gösterdiğinde sorumlu uzman tek bir soru soruyor: "Günlüğünü getirmeyen üç kişi neden getirmedi?"

Gökhan telefonla üçüne de ulaşıyor. Biri egzersizleri ilk hafta bırakmış, çünkü tuvaleti tutmaya çalışırken iki kez yetişememiş ve utanmış. Biri "günde on kez kalkıyorum, o günlüğü getirecek yüzüm yoktu" diyor. Üçüncüsü başka bir şehre taşınmış ve egzersizlere orada devam ediyor. İlk ikisinin günlük getirmemesi bir rastlantı değildi; en yüksek değerleri taşıması muhtemel kişiler, tam da bu yüzden tablodan düşmüştü. Gökhan'ın 5,71'i, bu yüzden, programın durumunu değil, günlüğünü getirebilenlerin durumunu gösteriyordu.

Bu derste ne olacak

Bu ders eksik verinin tek bir tür olmadığını gösteriyor. Bazı eksiklikler gerçekten rastgele, bazıları kayıtta duran başka bir bilgiyle ilişkili, bazıları ise tam olarak eksik olan değerin kendisiyle ilişkili, ve bu üçü aynı yöntemle çözülemiyor. Önce Gökhan'ın tablosunda eksik hücreleri silmenin ortalamayı nasıl ve hangi yöne kaydırdığını elle hesaplayacağız. Sonra aynı tabloyu, eksikliğin nedeni kayıtta görünen bir bilgiye bağlı olduğunda, silmek yerine o bilgiyi kullanarak nasıl düzeltebileceğini göreceksin.

Sıfır noktası

Sansürlü veri dersinde elde en azından bir alt sınır vardı: gözlem kısmen biliniyordu, "en az şu kadar" bilgisi hücrede duruyordu. Eksik veride bu bile yok, gözlem tümüyle boş. Kayıp izlem dersinde benzer bir ayrımı çalışma katılımcıları için kurmuştun: rastgele kayıp kesinliği azaltır, sonuçla ilişkili bilgilendirici kayıp ise yanlılık üretir (L01-P02-M02-D07). Burada aynı fikri tek tek hücreler düzeyine indiriyor ve bir adım daha ayrıştırıyoruz.

Mekanizma

Eksikliğin nedeni, silmenin güvenli olup olmadığını belirliyor

Gökhan'ın on hastasının gerçek üçüncü ay değerlerini, hepsinin ölçüldüğü bir dünyada düşünelim (kurgu değerler, günde idrara çıkma sayısı olarak): 4, 5, 5, 6, 6, 7, 7, 8, 9 ve 11. Toplam 68, gerçek ortalama 68 ÷ 10 = 6,8. Gökhan'ın tablosunda en yüksek üç değer, 8, 9 ve 11, eksik kalmıştı. Kalan yedi değerin toplamı 40 ve 40 ÷ 7 = 5,71. Silme işlemi ortalamayı 1,09 aşağı çekti ve programın etkisini olduğundan büyük gösterdi.

Kaymanın yönü sabit değil; eksikliğin nedeni belirliyor. Başka bir polikliniği düşün: orada yakınması geçen hastalar "iyiyim" deyip kontrole gelmiyor ve eksik kalanlar en düşük üç değer, 4, 5 ve 5. Kalan yedi değerin toplamı 54 ve 54 ÷ 7 = 7,71. Bu kez silme ortalamayı 0,91 yukarı itti ve programı olduğundan etkisiz gösterdi. İki poliklinikte de eksiklik rastgele olmayan türden ama biri iyimser, öteki kötümser bir yanlılık üretiyor. Bu yüzden bir eksikliği görmenin ardından atılacak ilk adım silmek değil, "bu değer neden eksik?" sorusunu sormak.

Tamamen rastgele eksiklikte tablo farklı görünür. Polikliniğin kayıt sisteminin bir gün çöktüğünü ve o gün teslim edilen günlüklerin taranamadan kaybolduğunu düşün. Kimin günlüğünün kaybolduğu kişinin değerine bağlı değil; silmek örneklemi küçültür ve kesinliği azaltır, ama ortalamayı sistematik olarak bir yöne itmez. Bir veri setinde yalnızca bu tür eksiklik varsa silmek kabul edilebilir bir kısayoldur. Sorun, bir eksikliğin gerçekten bu türden olduğunu çoğu zaman kanıtlayamaman.

Üç eksiklik türü, üç farklı risk taşıyor

İki uç arasındaki basamak, pratikte en çok işe yarayanı. Aynı on hastayı bu kez başka bir senaryoyla düşün: altısı şehir merkezinde, dördü uzak ilçelerde oturuyor. Merkezdekilerin hepsi günlüğünü getirmiş, değerleri 4, 5, 5, 6, 6 ve 7. Uzak ilçelerdeki dört kişinin değerleri 7, 8, 9 ve 11, ama kontrole yalnız ikisi, değerleri 8 ve 9 olanlar gelebilmiş; yol uzun olduğu için iki kişi gelememiş ve kimin gelemediği değerine bağlı değil. İlçelerde oturanların değerleri genel olarak daha yüksek, belki programın haftalık grup seanslarına katılmak onlar için daha zor olduğu için. Eksiklik burada hastanın değerine değil, oturduğu yere bağlı, ve oturduğu yer kayıtta yazıyor.

Boş hücreleri silersen sekiz değer kalır: toplam 33 + 17 = 50 ve 50 ÷ 8 = 6,25. Uzak ilçeler tabloda olduklarından az temsil edildiği için ortalama aşağı kayıyor. Ama elinde bir bilgi var: ilçelerdeki hastalar polikliniğin onda dördü. Her grubu kendi ortalamasıyla ve gerçek payıyla hesaba katarsan merkezin ortalaması 33 ÷ 6 = 5,5, gelen iki ilçe hastasının ortalaması 8,5 olur ve (6 × 5,5 + 4 × 8,5) ÷ 10 = 6,7 çıkar. Bu, gerçek ortalamaya, 6,8'e, silmenin verdiği 6,25'ten çok daha yakın. Kalan fark, gelen iki ilçe hastasının gelmeyen ikisini tam temsil etmemesinden geliyor; küçük gruplarda bu kadarı beklenen bir sapma.

Üç mekanizma böylece bir merdiven oluşturuyor. Eksiklik hiçbir şeyle ilişkisizse silmek zarar vermiyor. Gözlenen başka bir değişkenle ilişkiliyse o değişken hesaba katılarak düzeltme mümkün, tıpkı oturulan yeri kullanan hesapta olduğu gibi. Eksik değerin kendisiyle ilişkiliyse hiçbir basit düzeltme yetmiyor, çünkü açılıştaki iki hastayı kontrolden alıkoyan şey, egzersizleri bırakmaları ve günde on kez kalkmaları, tabloda hiçbir sütunda yazmıyor. Kartın notundaki sınır da burada devreye giriyor: Gökhan telefonu açmasaydı, eksikliğin hangi basamakta durduğunu tablodan asla çıkaramazdı.

Klinik gerçeklik

Bir veri setinde eksik bir hücreyle karşılaştığında sorulacak soru "kaç tane eksik" değil, "neden eksik." Eksikliğin nedeni eksik olan değerin kendisiyle ilişkiliyse, o eksikliği silmek ya da basitçe bir ortalamayla doldurmak sonucu sessizce yanlış yöne çekiyor. Yönü de ancak nedeni bilirsen tahmin edebilirsin: kötüleşenler gelmiyorsa tablo iyimser, iyileşenler gelmiyorsa kötümser görünür.

Pratikte üç alışkanlık işe yarıyor. Bir özetin yanına kaç hücrenin boş olduğunu yaz, çünkü okur yedi kişinin mi on kişinin mi ortalamasına baktığını bilmeli. Eksikliğin nedenini, bilindiği kadarıyla, kayda geçir; Gökhan'ın telefon notları tablonun en değerli sütunu oldu. Ve eksikliği açıklayabilecek gözlenen bilgileri, oturulan yer, yaş, randevu türü gibi, veri setinde tut, çünkü düzeltmenin tek dayanağı onlar.

Kendini sına

1. Gökhan'ın tablosunda en yüksek üç değer eksik kaldığında ortalama kaç çıkıyor? Gerçek ortalamadan ne kadar ve hangi yönde sapıyor?
2. Eksik kalanlar en düşük üç değer olsaydı ortalama kaç olurdu? Yanlılığın yönünü ne belirliyor?
3. Eksik veri, sansürlü veriden hangi tek noktada ayrılıyor?
4. Uzak ilçe örneğinde silmek 6,25, gruplara göre ağırlıklandırmak 6,7 veriyor. İkinci hesap neden gerçek değere daha yakın? Bu düzeltme hangi eksiklik türünde mümkün?
5. "Eksik veri her zaman rastgele kaybolur" cümlesi neden her durumda doğru değil?
6. Açılıştaki iki hastanın eksikliği neden hiçbir tablo sütunuyla düzeltilemiyor?
7. Bir eksikliğin hangi türe girdiğini kesin olarak kanıtlamak neden çoğu zaman mümkün değil?
8. Vakadaki iki eksiklik aynı görünüp neden farklı risk taşıyor?

Bir sonraki derse köprü

Bu modülde bir sütuna bakınca sorman gereken soruları tek tek kurdun: kategorik mi sayısal mı, hangi ölçek, sayılmış mı ölçülmüş mü, yarım mı kalmış, hiç mi dolmamış. Gökhan'ın sorunu ise bir yıl sonra o tabloyu açan birinin bu cevapların hiçbirini hücrelerden okuyamayacak olması. Boş bir hücre ile "0" yazılmış bir hücre, sütun adı ne kadar açık görünse de, yazılı bir tanım olmadan birbirine karışır. Sıradaki derste bu cevapları verinin yanında taşıyan belgeyi kuracaksın ve özellikle eksik ve sansürlü değerlerin nasıl kodlandığını yazmanın neden en kritik satır olduğunu göreceksin (L02-P03-M01-D07).