Seçilim yanlılığı

Bir an

Cuma sabahı, fabrikanın eğitim odası. İnsan kaynakları geçen yıl başlattığı altı aylık bakım teknisyenliği kursunun sonuçlarını sunuyor. Kursu bitiren on iki çalışanın ücreti, bitirmeyenlerin ortalamasından yüzde 22 yüksek. Sunum tek bir cümleyle bitiyor: "Kurs ücretleri yüzde 22 artırıyor. Gelecek yıl kontenjanı üçe katlayalım."

Selin bir hafta önce öneri kutusunda yalnız yazılı önerilerin sayıldığını fark etmişti. Şimdi aynı soruyu kursa soruyor: kursu kimler bitirdi? Kayıt listesine bakınca otuz kişinin başladığını, on sekizinin yarıda bıraktığını görüyor. Bırakanların çoğu, vardiyası kursla çakışan ya da evde bakım yükü olan çalışanlarmış. Bitirenlerin çoğu ise kurstan önce de Rıza Usta'nın yanında bakım işine yardım eden, istekli ve zaten ilerlemekte olan çalışanlarmış.

Selin not alıyor: "Kursu bitirenler, bitirmeden önce de farklıydı. Yüzde 22'nin ne kadarı kurstan, ne kadarı kursa kimin kaldığından?"

Soru

Bir verinin kimden toplandığı, o veriden çıkan sonucu nasıl değiştirir? Elimizdeki örneklem, bakmak istediğimiz topluluğu temsil etmiyorsa ne olur?

Nasıl işler

Bir sonuca varmak için baktığımız grup, çoğu zaman topluluğun rastgele bir parçası değildir. Bir kursu bitirenler, bir ankete cevap verenler, bir işte kalanlar, bir hastaneye başvuranlar, belirli bir nedenle o grubun içindedir. O neden, ölçtüğümüz sonuçla da ilişkiliyse, grubun içinde gördüğümüz tablo, topluluğun tamamındaki tablodan farklı olur.

Bu seçilim iki biçimde olur. Birincisinde insanlar kendileri karar verir: kursa kim katılacak, ankete kim cevap verecek, işte kim kalacak.

Öbür biçimde ise seçimi veriyi toplayan ya da işleyen yapar: yalnız eksiksiz kaydı olanları almak, yalnız sonuna kadar izlenebilenleri saymak, yalnız yazılı önerileri listeye geçirmek gibi.

Akademinin ilk derslerinden 0.3, bu yanlılığın özel bir biçimini, hayatta kalanlara bakmayı ele almıştı: yalnız hayatta kalanları görünce başarının nedenlerini yanlış okuruz. Bu derste aynı mantığın daha genel hâlini, ölçümün kendisini nasıl çarpıttığını ele alıyoruz.

Kanıt

Heckman'ın ücret örneğinin ne kadar büyük bir çarpıklık yaratabileceğini bir benzetimle görebiliriz.

Nerede çöker

Seçilim yanlılığını fark etmek kolaydır, düzeltmek zordur. Heckman'ın iki aşamalı yöntemi, seçilim sürecinin nasıl işlediğine dair güçlü varsayımlara dayanır: örneğin hataların normal dağıldığına ve seçimi belirleyen sürecin doğru tanımlandığına. Bu varsayımlar tutmazsa, düzeltme yanlılığı azaltmak yerine başka bir yanlılık ekleyebilir. Bu yüzden en güvenilir çözüm çoğu zaman istatistik düzeltme değil, seçilimi baştan önleyen bir tasarımdır, örneğin kursa kimin katılacağını kurayla belirlemek.

Her seçilim aynı büyüklükte yanlılık yaratmaz. Seçilimi belirleyen etken ölçtüğümüz sonuçla ilişkili değilse, yanlılık küçük olabilir. Heckman'ın da belirttiği gibi, örnekleme girme olasılığı herkes için aynıysa yanlılık yalnız sabit terimde kalır ve ilişkinin eğimini bozmaz. Asıl tehlike, örnekleme girmeyi belirleyen şeyin, ölçmek istediğimiz şeyle iç içe olmasıdır.

Bir de ters yönde bir hata var: her bulguyu "seçilim yanlılığı olabilir" diye bir kenara atmak. Selin'in sorusu kursun işe yaramadığını göstermez; yalnız yüzde 22'nin kurstan ne kadarının geldiğini bilmediğimizi gösterir. Kurs gerçekten de ücretleri artırıyor olabilir. Seçilim yanlılığı bir bulguyu reddetmenin değil, onu nasıl sınayacağımızı sormanın gerekçesidir.

Yaygın yanılgılar

Sayılarla

Benzetimdeki tabloya biraz daha yakından bakalım. On bin kişiden yaklaşık 3.750'si çalışıyor. Herkesin ücretine bakınca az eğitimlilerin ortalama ücreti yaklaşık 19, çok eğitimlilerinki 25 birimdir; aradaki fark 6 birimden fazladır. Yalnız çalışanların ücretine bakınca az eğitimli çalışanlarınki yaklaşık 26, çok eğitimli çalışanlarınki 28 birimdir; fark 2,4 birime iner. Eğitimin ücrete etkisi, seçilim yüzünden yarıdan fazla küçük görünür.

Fabrikadaki kursa dönelim. Otuz başlayandan on ikisi bitirdi. Bitirenlerin ücreti, bitirmeyenlerden yüzde 22 yüksek. Diyelim ki kurs öncesinde bitirenlerin ücreti de bitirmeyenlerden yüzde 15 yüksekti. Bu durumda kursun etkisi en fazla yüzde 7 civarındadır, yüzde 22 değil. Bu sayılar varsayımsaldır; gerçek etkiyi bulmak için kurs öncesi ücretlere ve benzer bir karşılaştırma grubuna bakmak gerekir.

Örneklem büyüklüğünün yanlılığı neden düzeltmediğini de görelim. Benzetimi on bin yerine bir milyon kişiyle yapsaydık, çalışanlar arasında hesaplanan eğim yine 0,4 civarında çıkardı; yalnız bu yanlış sayıyı daha kesin bir biçimde ölçmüş olurduk.

Herkes için aynı mı?

Seçilim yanlılığı, en çok seçilim sürecinin dışında kalanları görünmez kılar. Kursu yarıda bırakan, vardiyası çakışan ya da evde bakım yükü olan çalışanlar, kursun sonuç tablosunda hiç yer almadı. Kontenjanı üçe katlama kararı da onların neden bıraktığını sormadan alınırsa, aynı engeller yeni katılımcıları da eleyecek ve sonuç tablosu yine yalnız engelle karşılaşmayanları gösterecektir.

Heckman'ın ilk örneği de bu açıdan anlamlıdır: çalışmayan kadınların ücreti gözlenmez. Çalışmayan bir kadının neden çalışmadığı, bakım yükü, iş bulma güçlüğü ya da düşük ücret teklifleri, ücret istatistiklerinde hiç görünmez. Görünen ücretler, piyasaya girebilenlerin ücretleridir. Bir topluluğun durumunu anlatan sayılar, o topluluğun en çok engelle karşılaşan kısmını sistemli biçimde dışarıda bırakabilir.

Kendi hayatında

Seçilim yanlılığını kendi kararlarında yakalamanın yolu, bir sayıyla karşılaştığında "bu sayıyı kimler oluşturdu ve kimler dışarıda kaldı?" diye sormaktır. Diyelim ki bir kursun reklamında "mezunlarımızın yüzde 90'ı iş buldu" yazıyor. Mezunlar, kursu bitirenlerdir; yarıda bırakanlar sayılmamış olabilir. Mezunlar arasında da ankete cevap verenler sayılmış olabilir. Kursa başlayanların kaçının iş bulduğunu sormak, çok farklı bir sayı verebilir.

Dışarıda kalanlar dahil edilseydi sayının nasıl değişebileceğini kabaca tahmin et. Bu tahmini ve kararını değiştirip değiştirmeyeceğini karar defterine yaz.

Kapanış

1. Bir sonucu ölçtüğümüz grup, sonuçla ilişkili bir süreçle seçilmişse, grubun içinde gördüğümüz tablo topluluğun tamamındaki tablodan farklı olur; buna seçilim yanlılığı denir.
2. Heckman 1979'da seçilim yanlılığını regresyondan bir değişkenin dışarıda bırakılması gibi ele aldı ve iki kaynağını gösterdi: kişilerin kendilerini seçmesi ve veriyi işleyenlerin seçimleri; çalışan kadınların ücreti, sendika üyelerinin kazancı ve eğitim programı mezunlarının kazancı bu yanlılığa açıktır.
3. Seçilim yanlılığı örneklem büyüdükçe küçülmez ve düzeltilmesi güçlü varsayımlar ister; en güvenilir çözüm çoğu zaman seçilimi baştan önleyen bir tasarım ve benzer bir karşılaştırma grubudur.

Beş soru

1. İnsan kaynaklarının "kurs ücretleri yüzde 22 artırıyor" sonucu neden seçilim yanlılığına açıktır?
2. Heckman seçilim yanlılığının hangi iki kaynağını sayar?
3. Benzetimde yalnız çalışanların ücretine bakınca eğitimin etkisi neden yarıdan fazla küçük görünür?
4. Örneklemi büyütmek seçilim yanlılığını neden düzeltmez?
5. Kursun gerçek etkisini ölçmek için nasıl bir tasarım daha güvenilir olur?

Yanıtlar

Kursu bitirenler, bitirmeyenlerden zaten farklıydı: daha istekli, bakım işine önceden yatkın, daha az engelle karşılaşan çalışanlardı. Yüzde 22'lik farkın bir kısmı kursun etkisi, bir kısmı ise kursa kimin kaldığının sonucu olabilir; iki etki ayrılmadan sonuç yanıltıcıdır.

Birincisi, incelenen kişilerin kendilerini seçmesidir; örneğin yalnız ücreti yeterince yüksek olanların çalışmayı seçmesi. İkincisi, analistlerin ya da veriyi işleyenlerin örneklemi seçme kararlarıdır; örneğin yalnız bütün dönem boyunca izlenebilenlerin alınması.

Az eğitimliler arasında yalnız ücreti eşiği aşanlar çalışır; bunlar gözlenmeyen becerileri ya da şansları sayesinde yüksek ücret alanlardır. Bu yüzden çalışan az eğitimlilerin ücreti, bütün az eğitimlilerinkinden çok yüksek görünür ve eğitimli ile eğitimsiz arasındaki fark küçülür.

Seçilim yanlılığı rastlantıdan değil, seçimin kendisinden gelir. Seçilmiş bir örneklemi büyütmek, aynı çarpık tabloyu daha kesin biçimde ölçmek demektir; yanlış sayı daha az oynar ama doğru sayıya yaklaşmaz.

Kursa kimin katılacağını kurayla belirlemek ve katılanlarla katılmayanları karşılaştırmak en güvenilir tasarımdır. Kura mümkün değilse, kurs öncesi ücretleri ve özellikleri benzer bir karşılaştırma grubuna bakmak ve yarıda bırakanları da sonuç tablosuna dahil etmek gerekir.

Sonraki derse köprü

Öğleden sonra Selin işe alım dosyalarına bakıyor. Son iki yılda alınan bakım teknisyenlerinde teknik sınav puanı yüksek olanların mülakat puanı düşük, mülakat puanı yüksek olanların teknik puanı düşük çıkmış. İnsan kaynakları "teknik bilgisi iyi olanın iletişimi zayıf" sonucuna varmış. Ama dosyalar yalnız işe alınanların dosyaları. Seçilmiş bir grupta iki özellik arasında olmayan bir ters ilişki nasıl doğar? 6.2, Berkson paradoksu dersi bunu ele alıyor.