Veri Sözlüğü

Açılış sahnesi

Bir verem savaş dispanserinde hemşire Berrin, limanda çalışan bir forklift operatörünün aktif tüberküloz tanısı almasının ardından temaslı taramasına hazırlanıyor. Aynı limanda geçen yıl da bir vaka görülmüş ve on iki çalışana tüberkülin deri testi yapılmıştı; Berrin bu yılın sonuçlarını onlarla karşılaştırmak için geçen yılın dosyasını açıyor. Tabloda "tdt" adlı bir sütun var ve on iki hücrenin yedisinde 0 yazıyor. Tabloyu hazırlayan hemşire Tayfun başka bir şehre tayin olmuş, dosyada ne bir not ne de bir açıklama sayfası var.

Deri testi, cilde yapılan küçük bir enjeksiyondan iki-üç gün sonra okunur ve kolda oluşan sertleşmenin çapı milimetre olarak kaydedilir. 0 yazmak, "test okundu, hiç sertleşme yok" demek olabilir. Ama okuma günü kontrole gelmeyen bir çalışanın hücresine de biri 0 yazmış olabilir; o zaman aynı rakam "bu kişinin sonucunu hiç bilmiyoruz" demektir. Berrin arşivdeki kâğıt formları tek tek çıkarıyor ve yedi sıfırın üçünün "okunmadı — gelmedi" notunu taşıdığını buluyor. Sütun adı bu farkı hiçbir zaman söylemedi; söyleyebilecek tek şey, tabloyla birlikte yazılmamış bir sayfaydı.

Bu derste ne olacak

Bu ders, Berrin'in arşivde geçirdiği öğleden sonrayı gereksiz kılacak belgeyi kuruyor: veri sözlüğü. Önce "tdt" sütunundaki üç okunmamış testin 0 sayılmasının ortalamayı ve "sertleşme yok" oranını ne kadar değiştirdiğini elle hesaplayacağız. Sonra aynı rakamın, 0'ın, bir sütunda üç ayrı anlama gelebildiğini ve bu üç anlamın üç ayrı hesap gerektirdiğini göreceksin. Son bölümde "tdt" sütunu için bir sözlük satırını birlikte yazacağız.

Sıfır noktası

Modülün ilk dersleri bir sütunun kimliğini sormayı öğretti: kategorik mi sayısal mı, sıralı mı değil, sıfırı gerçek bir yokluk mu, kesikli mi sürekli mi. Sansürlü veri dersinde yarım kalmış bir gözlemin "en az şu kadar" diye yazılması gerektiğini, eksik veri türleri dersinde de boş bir hücrenin neden boş kaldığını sormadan silinemeyeceğini gördün. Bütün bu cevapların ortak bir zaafı var: bir sütun adı ve içindeki sayılar, o verinin ne olduğunu kendiliğinden anlatmıyor. Bu bilgi ya birinin kafasında kalıyor ya da bir yerde yazılı oluyor, ve Tayfun'un tablosunda o kişi artık başka bir şehirde.

Tanımın son cümlesi sözlüğün asıl işini söylüyor. Veriyi toplayan kişi sütunun ne demek olduğunu bilir, çünkü her hücreyi kendi eliyle doldurmuştur. Sözlük, o bilgiyi kişinin belleğinden alıp verinin yanına koyar; böylece tablo el değiştirdiğinde anlamı da onunla birlikte gider.

Mekanizma

Açık görünen bir sütun adı, açıklığın kendisi değildir

"tdt" adı, Tayfun için yeterince açıktı: tüberkülin deri testi, milimetre cinsinden sertleşme çapı. Berrin de kısaltmayı hemen çözdü. Sorun adın neyi ölçtüğünde değil, adın neyi söylemediğindeydi: birimi, olası değerleri ve özellikle bir değer yokken hücreye ne yazıldığını. Bir kısaltmayı yazan kişi için bu bilgiler o kadar açıktır ki yazmaya değer görünmez.

Kartın notu, tutmadığı görülen varsayımı adıyla söylüyor: sütun adının kendi başına yeterli olduğu inancı. Berrin'in dosyası bunun küçük bir örneği. Ad doğru okundu, ama hücrelerin yarısından fazlasını dolduran 0 iki ayrı şeyi temsil ediyordu ve ad bu ikisini ayırmaya hiç çalışmıyordu. Bu yüzden bir değişkenin ne olduğu, adından değil, o adın yanına yazılmış açık bir tanımdan anlaşılmalı.

Üç okunmamış test, iki özeti birden kaydırıyor

Tabloyu açalım. Okunan dokuz testin sertleşme çapları milimetre cinsinden 0, 0, 0, 0, 5, 8, 12, 15 ve 17; toplamları 57. Okunmayan üç testin hücrelerinde de 0 yazıyor. Tabloyu olduğu gibi kullanırsan payda on iki olur ve ortalama 57 ÷ 12 = 4,75 çıkar. Okunmayan üç hücreyi eksik sayıp paydadan çıkarırsan 57 ÷ 9 ≈ 6,33 bulursun. Tek bir kodlama kararı, hiçbir çalışanın kolunda bir şey değişmeden, ortalamayı yaklaşık bir buçuk milimetre aşağı çekti.

İkinci özet daha çok şey söylüyor, çünkü taramada asıl merak edilen ortalama değil, kimde sertleşme olup kimde olmadığı. Tabloya bakan biri "sertleşme yok" oranını 7 ÷ 12 ≈ 0,58 diye hesaplar: çalışanların yarısından fazlası temiz görünür. Oysa gerçekte okunan dokuz testin dördünde sertleşme yok ve 4 ÷ 9 ≈ 0,44. Dürüst özet iki parçalıdır: "okunan dokuz testin dördünde sertleşme görülmedi; üç test okunamadı." Yanlış kodlama üç bilinmeyeni sessizce en güven verici sınıfa yazmış, bir limanın temaslı tablosunu olduğundan iyi göstermişti.

Hatanın yönüne dikkat et. Okunmayan testi 0 saymak, onu hep "sertleşme yok" tarafına iter; ortalama aşağı, temiz görünen oran yukarı kayar. Üstelik o üç kişinin kontrole neden gelmediğini bilmiyorsun. Eksik veri türleri dersinde gördüğün gibi, gelmeme nedeni sonuçla ilişkiliyse silmek bile tam bir çözüm değildir; ama eksik bir değeri gerçek bir ölçüm gibi yazmak, o soruyu sormayı bile imkânsız kılar.

Aynı sıfır, üç ayrı anlam

Bir veri sözlüğünün en kritik satırı, sıradan bir değer değil, "bu değer eksikse ya da sansürlüyse ne yazılır" sorusunun cevabı. Çünkü bir sütunda görünen 0 en az üç şey olabilir. Gerçek bir sıfır olabilir: test okundu ve kolda hiç sertleşme yok. Eksik bir değerin yerine yazılmış bir kod olabilir: test hiç okunmadı. Ya da sansürlü bir değer olabilir: bir laboratuvar cihazı sonucu saptama sınırının altında bulmuş ve biri bu durumu 0 diye kaydetmiş; gerçek değer sıfır ile sınır arasında bir yerde.

Kartın örneğindeki "-999" bu yüzden yaygın bir tercihtir: hiçbir ölçümün alamayacağı bir değer, gerçek bir sıfırla karışamaz. Ama tek başına -999 da yetmez. Sözlükte tanımlanmamış bir -999, ortalamaya bir kez girdiğinde bütün sütunu yüzlerce birim aşağı çeker ve bunu fark eden olursa şanslısındır. Kartın notundaki sınır da burada: sözlük satırı yanlış anlaşılmayı önler, ama hesabı yapan kişinin o satırı okuyup uygulaması gerekir.

Vakayı bir adım ileri taşı. Sözlükte bu kez "0 = saptama sınırı altı, sınır 2" yazsaydı, dört sıfırı ne ortalamaya 0 olarak katmak ne de atmak doğru olurdu. Gerçek değerleri sıfır ile iki arasında; en düşük ihtimalle toplam yine 30, en yüksek ihtimalle 30 + 4 × 2 = 38 olur. Ortalama böylece tek bir sayı değil, 30 ÷ 10 = 3,0 ile 38 ÷ 10 = 3,8 arasında bir aralık olarak raporlanabilir. Aynı dört rakam, sözlükte yazan cümleye göre 3,0, 5,0 ya da "3,0 ile 3,8 arası" sonucunu veriyor.

"tdt" sütunu için bir sözlük satırı

Berrin'in dosyasına dönelim ve Tayfun'un yazmadığı satırı yazalım. Değişken sayısal, oran ölçeğinde: 0 gerçekten "hiç sertleşme yok" demek ve on milimetrelik bir sertleşme beş milimetrelik olanın iki katı. Birimi milimetre, makul aralığı sıfırdan birkaç on milimetreye kadar. Eksik kodlaması en önemli kısım: okunmamış test 0 ile değil, ayrı bir kodla ve yanında nedenle yazılır. Tek cümleye indirilmiş hâli şöyle olabilir: "tdt — enjeksiyondan iki-üç gün sonra ölçülen sertleşme çapı, milimetre, oran ölçeği; 0 yalnızca okunmuş ve sertleşme görülmemiş testler için kullanılır; okunmamış test 'okunmadı' olarak kodlanır ve nedeni ayrı sütunda yazılır."

Aynı dosyada ikinci bir sütun daha var ve orada sorun sansür. Formda çalışanlara kaç haftadır öksürdükleri sorulmuş, son kutu da "sekiz haftadan uzun" diye bırakılmış. Tayfun bu kutuyu işaretleyen iki çalışanın hücresine 8 yazmış. Sansürlü veri dersindeki sigarasız süre gibi bu 8 de bir ölçüm değil, bir alt sınır: gerçek süre sekiz haftadan uzun, ne kadar uzun olduğu bilinmiyor. Sözlük satırı bunu açıkça yazmalı: "8, sekiz haftadan uzun anlamına gelir; sansürlüdür, gerçek süre değil alt sınırdır." Bu cümle olmadan öksürük süresinin ortalaması, eksik testlerin sıfırları gibi, sessizce aşağı kayar.

Klinik gerçeklik

Bir veri setiyle çalışmaya başlamadan önce sorulacak ilk soru "bu değerler ne anlama geliyor" değil, "bu anlamı nerede yazılı buluyorum." Yazılı bir yer yoksa, o veri seti henüz güvenle kullanılabilir durumda değildir. Berrin'in arşivi bir şans eseriydi; kâğıt formlar atılmış olsaydı yedi sıfırdan hangisinin gerçek olduğunu bilmenin hiçbir yolu kalmazdı ve geçen yılın tablosu bu yılın taramasıyla karşılaştırılamazdı.

Pratikte sözlük, verinin toplandığı gün yazıldığında en ucuzdur. O gün sütunu dolduran kişi her kodun ne demek olduğunu bilir, bir yıl sonra kimse bilmez. Sözlüğü tabloyla aynı klasörde, aynı adla tut ve tablo her el değiştirdiğinde onunla birlikte gönder. Bir satırı yazarken kendine şu testi uygula: bu tabloyu hiç görmemiş biri, yalnızca bu satırı okuyarak bir 0'ı ya da bir boş hücreyi doğru hesaba katabilir mi?

Kendini sına

1. "tdt" sütunundaki yedi sıfır neden belirsizlik taşıyordu ve Berrin bu belirsizliği nasıl çözdü?
2. Okunmayan üç test 0 sayıldığında ortalama kaç çıkıyor, eksik sayıldığında kaç? "Sertleşme yok" oranı iki durumda neye dönüşüyor?
3. Veri sözlüğü bir değişken hakkında hangi dört bilgiyi bir arada tutuyor?
4. Bir sütunda görünen 0'ın üç olası anlamı ne ve her biri hesapta nasıl ele alınır?
5. Vakadaki dört sıfır saptama sınırı altını temsil etseydi, ortalama neden tek bir sayı yerine bir aralık olarak raporlanırdı?
6. "Değişken adları açıksa sözlüğe gerek yok" cümlesi neden yanılıyor?
7. Eksik ya da sansürlü kodların belgelenmesi hangi riski azaltıyor, hangi adımı otomatik yapmıyor?
8. Öksürük süresi sütunundaki 8 neden bir ölçüm değil de bir alt sınır?

Bir sonraki derse köprü

Bu derste tek bir sütunun satırını yazdın; "tdt" ve öksürük süresi, her biri kendi tuzağıyla. Sıradaki derste karşına sekiz satırlık bir poliklinik tablosu çıkacak ve bir tablo programı her sütunun altına, türüne bakmadan, kendiliğinden birer ortalama yazmış olacak. Kadın ve erkek yerine yazılmış 1 ile 2'nin ortalaması da orada duracak, sıralı bir puanın ortalaması da. Orada bu dersteki dört bilgiye iki alan daha ekleyeceksin, değişkenin kesikli mi sürekli mi olduğunu ve tek cümlelik tanımını, ve her sütun için hangi özetin anlamlı olduğuna o kaydın üzerinden karar vereceksin.