Dağılım, aykırı değer ve eksik veri

Açılış sahnesi

Öğrenci bakım saatlerinin dağılımını bir çubuk grafiğe dönüştürüyor. Çubukların çoğu sol tarafta, düşük ve orta değerlerde toplanıyor. Sağ tarafa doğru çubuklar kısalıyor ve incelen bir kuyruk gibi uzanıyor. Kuyruğun en ucunda, diğerlerinden çok uzakta, tek bir çubuk duruyor. O çubuktaki kadın, haftada neredeyse uyanık olduğu bütün saatleri torunlarıyla geçirdiğini söylemiş.

Öğrenci önce bunun bir veri girişi hatası olduğunu düşünüyor. Forma dönüp bakıyor. Hata yok: kadın gerçekten bu cevabı vermiş. Anketörün notunda, kadının kızının yurt dışında çalıştığı ve iki torunun tamamen onunla yaşadığı yazıyor. Öğrenci bu kadını dağılımdan çıkarırsa ortalama düşecek, ama en ağır bakım yükünü taşıyan kişi de verisinden silinmiş olacak.

Grafiğin dışında kalan bir şey de var. Bakım saati sorusuna cevap vermeyen kadınlar da var ve öğrenci onları sessizce çözümlemenin dışında bırakmış. Onları inceleyince bir örüntü görüyor. Cevap vermeyenlerin çoğu, anketörün "görüşme sırasında torunlar etrafta koşuyordu, kadın sık sık kalkmak zorunda kaldı" diye not düştüğü kadınlar. Belki de en yoğun bakım yapanlar, bu soruya cevap veremeyecek kadar meşgul olanlar.

Bu derste ne olacak

Çubuk grafik, kuyruğun ucundaki kadın ve cevapsız bırakılan soru, dersin kurgusal düzeninin parçaları. Bir dağılımın biçimini okumak, uçtaki değerlerle ne yapılacağına karar vermek ve eksik cevapları hesaba katmak ise veriyle çalışan herkesin sürekli karşılaştığı gerçek sorunlar. Önceki ders değişim aralığını, varyansı ve standart sapmayı anlattı. Kapanışında sağa uzanan bir kuyruk, uçtaki kadınlar ve cevap vermeyenler üzerine bir soru kaldı.

Bu ders, merkez ve yayılım ölçülerinin ötesine geçip dağılımın bütün biçimine bakıyor. Bir dağılımın simetrik mi çarpık mı olduğu, uçta duran değerlerin bir hata mı yoksa önemli bir gerçeklik mi olduğu ve eksik verinin hangi örüntüyü izlediği dersin ana konuları. Her üç konuda da araştırmacının verdiği kararlar, sonuçları sessizce değiştirebilir. Bu yüzden her karar açıkça yazılmalıdır.

Sıfır noktası — Dağılımın biçimi

Önceki derslerde bir dağılımı merkeziyle ve yayılımıyla özetlemeyi gördük. Ama iki dağılım aynı merkeze ve aynı yayılıma sahip olsa bile farklı biçimlerde olabilir. Biri iki tarafa eşit biçimde yayılırken, öbürü bir tarafta yığılıp öbür tarafa uzun bir kuyruk uzatabilir. Dağılımın biçimi, hangi özet ölçülerin güvenilir olduğunu da belirler.

Bazı dağılımlar merkezin iki tarafında birbirinin ayna görüntüsü gibi durur. Böyle dengeli dağılımlarda üç merkez ölçüsü neredeyse aynı noktaya düşer. İstatistik derslerinde sık anılan çan biçimli dağılım, simetrik dağılımın en bilinen örneğidir. Ama toplumsal verilerin önemli bir kısmı simetrik değildir.

Dağılımın biçimini görmenin en kolay yolu onu çizmektir. Değerleri gruplara ayırıp her gruptaki birim sayısını çubuklarla gösteren grafikler, dağılımın simetrik mi çarpık mı olduğunu, bir mi yoksa birden çok tepesi mi olduğunu tek bakışta gösterir. Bu tür grafiklerin nasıl hazırlanacağı kursun ilerisinde ayrıca ele alınıyor.

Mekanizma — Uçtaki değerler ve boşluklar

Bir dağılımın kuyruğunda, diğer değerlerden belirgin biçimde uzakta duran değerler bulunabilir. Bu değerler çözümlemeyi büyük ölçüde etkileyebilir ve özel bir dikkat gerektirir.

Bir aykırı değerle karşılaşıldığında ilk soru, onun nereden geldiğidir. Bir yazım hatası mı, bir yanlış anlama mı, yoksa gerçek bir durum mu? Cevap, değerle ne yapılacağını belirler.

Aykırı değerlerle ne yapılacağına dair tek bir doğru cevap yoktur. Hatalar düzeltilir. Gerçek aykırı değerler ise çoğu zaman korunur ve etkileri, onlara duyarlı olmayan ölçüler kullanılarak ya da çözümleme onlarla ve onlarsız ayrı ayrı yapılarak incelenir. Önemli olan, kararın gerekçesiyle birlikte yazılmasıdır.

Dağılımın biçimini etkileyen bir başka sorun da eksik veridir. Önceki kursta madde yanıtlamama, önceki derslerde de eksik değer kodları tanıtılmıştı. Bu derste eksikliğin nasıl bir örüntü izlediğine ve betimlemeyi nasıl etkilediğine bakılıyor.

Eksik verilerle başa çıkmanın en yaygın ve en basit yolu, eksik değeri olan birimleri çözümlemeden çıkarmaktır.

Eksik değerleri silmek yerine, onların yerine makul bir değer koymak da mümkündür.

Kuramsal mercekler

Aykırı değerler ve eksik veriler istatistiksel olarak birer "sorun" gibi görünür, ama sosyolojik açıdan çoğu zaman en ilginç bilgileri taşır. Dağılımın kuyruğundaki kadın, ortalamanın görünmez kıldığı bir gerçekliği temsil eder. Cevap veremeyecek kadar meşgul olan kadınlar, bakım yükünün en ağır olduğu yeri gösterir. Bu değerleri temizlenecek pürüzler olarak değil, açıklanması gereken bulgular olarak görmek, betimlemeyi zenginleştirir.

Öte yandan her aykırı değerin ve her boşluğun anlamlı olduğunu varsaymak da yanıltıcı olabilir. Veri girişi hataları, yanlış anlaşılan sorular ve anketör hataları da uç değerler ve boşluklar üretir. Araştırmacının işi, anlamlı olanı hatalı olandan ayırmak ve her ikisini de açıkça raporlamaktır. Bu ayrım, önceki derslerde görülen süreç verisi, anketör notları ve kod kitabı olmadan yapılamaz.

Ölçek

Eksik veriyle başa çıkmanın yolları, araştırmacının ne kadar müdahale ettiğine göre sıralanabilir. En az müdahalede eksik değerler yalnız raporlanır ve her çözümlemede kaç birimin kullanıldığı açıkça yazılır. Bir adım ötede eksik değeri olan birimler çözümlemeden çıkarılır. Daha ileride eksik değerlerin yerine basit bir tahmin, örneğin ortanca konur. En fazla müdahalede, birimin diğer özelliklerinden yararlanan gelişmiş tahmin yöntemleri kullanılır.

Müdahale arttıkça örneklem korunur ama araştırmacının varsayımları sonuçlara daha çok karışır.

Türkiye bağlamı ve karşılaştırma

Türkiye'de sosyal bilim tezlerinde eksik veri çoğu zaman sessizce ele alınabilir. İstatistik programlarının varsayılan ayarları eksik değeri olan birimleri çıkarır ve araştırmacı çözümlemenin kaç birimle yapıldığını raporlamayabilir. Bu durumda okur, sonuçların örneklemin tamamına mı yoksa küçük bir alt kümesine mi dayandığını bilemez.

Türkiye'de gelir ve hane harcaması gibi sorular, önceki derslerde görüldüğü gibi, madde yanıtlamaya özellikle açık olabilir. Bu sorulardaki eksiklik çoğu zaman rastgele değildir ve belirli gelir gruplarında yoğunlaşabilir. Gelirle ilgili betimlemeler yapılırken eksikliğin örüntüsü mutlaka incelenmelidir.

Bu bilgiyi nasıl biliyoruz?

Bir betimlemenin güvenilirliği, dağılımın biçiminin, aykırı değerlerin ve eksik verinin nasıl ele alındığının açıkça raporlanmasına bağlıdır. Özenli çalışmalar, her değişkenin dağılımını gösteren grafikler, aykırı değerlerin nasıl tespit edildiğini ve ne yapıldığını anlatan notlar ve her çözümlemeye giren birim sayısını içerir. Bu bilgiler olmadan okur, sonuçların ne kadar sağlam olduğunu değerlendiremez.

Yaygın hatalar

Aklında kalsın

1. Aynı merkeze ve yayılıma sahip dağılımlar farklı biçimlerde olabilir ve biçim hangi özet ölçünün kullanılacağını belirler.
2. Çarpık bir dağılımda ortalama kuyruğa doğru kayar ve ortancadan uzaklaşır.
3. Aykırı değer yanlış değer demek değildir, gerçek ve önemli bir durumu temsil edebilir.
4. Hata olan aykırı değerler düzeltilir, gerçek olanlar korunup etkileri incelenir.
5. Eksik verinin örüntüsü, eksikliğin rastgele olup olmadığını ve sonuçların ne kadar güvenilir olduğunu belirler.
6. Liste bazında silme ve basit atama, eksiklik rastgele değilse sonuçları saptırabilir.
7. Uçtaki değerlere ve boşluklara dair her karar sonucu değiştirebilir, bu yüzden her biri raporda açıkça yazılmalıdır.

Sonraki derse köprü

Öğrenci artık tek tek değişkenlerin dağılımını okuyabiliyor. Ama asıl merak ettiği, değişkenler arasındaki ilişki. Kızı çalışan büyükanneler, kızı çalışmayanlara göre daha mı yoğun bakım yapıyor? Eski mahallelerdeki kadınlar yardım almakta sitelerdekilerden daha mı zorlanıyor? Bu soruları yanıtlamak için iki değişkeni birlikte bir tabloya dökmek, satırlarda bir değişkeni, sütunlarda öbürünü göstermek gerekiyor. Ama bu tabloda hangi yöne göre pay hesaplanacağı, sonucun nasıl okunacağını tamamen değiştiriyor. Çapraz tablolar ve grup karşılaştırmaları, iki değişken arasındaki ilişkiyi betimlemenin temel aracını ele alıyor.