Simpson paradoksu

Bir an

Pazartesi sabahı, üretim toplantısı. Kalite raporunda iki vardiyanın geçen ayki hata oranları yan yana: gündüz vardiyası bin parçada yirmi sekiz hata, yüzde 2,8; gece vardiyası bin parçada yetmiş üç hata, yüzde 7,3. Üretim müdürü kararını açıklıyor: "Gece vardiyası iki buçuk kat fazla hata yapıyor. Gece ustabaşını değiştireceğiz ve ek eğitim vereceğiz."

Selin raporu ürün tiplerine göre açıyor. Fabrika iki tip parça basıyor: kolay bir kapak ve zor bir gövde. Kapakta gündüzün hata oranı yüzde 2, gecenin yüzde 1. Gövdede gündüzün hata oranı yüzde 10, gecenin yüzde 8. Hangi parçaya bakılırsa bakılsın, gece ekibinin oranı düşük.

Selin bir an duruyor. İki parçada da daha iyi olan vardiya, toplamda nasıl daha kötü çıkabilir? Sonra bir sütun daha fark ediyor: gündüz vardiyası ağırlıklı olarak kolay kapağı, gece vardiyası ağırlıklı olarak zor gövdeyi basıyor.

Soru

Bir eğilim her alt grupta bir yönde görünürken, gruplar birleştirildiğinde nasıl ters yöne dönebilir? Hangi durumda toplama, hangi durumda alt gruplara bakmak gerekir?

Nasıl işler

Bir grubun toplam oranı, alt gruplarının oranlarının ağırlıklı bir ortalamasıdır. Ağırlıklar, her alt grubun toplam içindeki payıdır. İki grubu karşılaştırırken, alt grupların oranları kadar ağırlıkları da önemlidir. Ağırlıklar iki grupta çok farklıysa, toplam oranlar alt gruplardaki tabloyu tersine çevirebilir.

Gece vardiyası her parçada daha iyidir, ama işinin yüzde doksanı zor gövdedir. Gündüz vardiyası her parçada biraz daha kötüdür, ama işinin yüzde doksanı kolay kapaktır. Toplam oran, kimin daha iyi çalıştığından çok, kimin hangi işi yaptığını yansıtır.

Bu yüzden toplam bir oranla karşılaştığımızda, grupları anlamlı alt gruplara ayırıp her alt grubu kendi içinde karşılaştırmak çoğu zaman daha doğru bir tablo verir.

Ama hangi özelliğe göre ayıracağımızı veri kendisi söylemez. Bir özelliğe göre ayırmak tabloyu düzeltebilir, başka bir özelliğe göre ayırmak ise yanıltıcı yeni bir tablo yaratabilir. Bu seçim, olayların nasıl işlediğine dair bir anlayış gerektirir.

Kanıt

En büyük altı bölümün sayıları, paradoksu adım adım görmeyi sağlar.

Nerede çöker

Simpson paradoksunun en zor yanı, hangi tablonun doğru olduğunu verinin tek başına söylememesidir. Berkeley örneğinde bölümlere ayırmak doğru görünür, çünkü kabul kararları bölümlerde verilir. Ama başka bir soruda, örneğin "kadınların lisansüstü eğitime erişimi erkeklerinkine eşit mi?" sorusunda, toplam tablo da anlamlı bir şey söyler: kadınlar, girmesi zor alanlara yönelmektedir. Bickel ve arkadaşları da bunu bir kabul kurulu sorunu olarak değil, daha önceki eğitim aşamalarının bir sonucu olarak görür. Hangi tablonun doğru olduğu, sorulan soruya bağlıdır.

Katmanlara ayırmak her zaman çözüm de değildir. Bir özelliğe göre ayırmak, o özellik karşılaştırılan iki grubun bir sonucuysa, yanıltıcı olabilir. Örneğin bir ilacın etkisini, ilacın kendisinin etkilediği bir ölçüme göre ayırarak incelemek, ilacın etkisinin bir kısmını gizler. Bu ayrımı yapmak, olayların hangi yönde ilerlediğine dair bir anlayış gerektirir; 6.4'te bu soruyu açacağız.

Alt grupların seçimi de sonucu değiştirebilir. Vardiyalar parça tipine göre ayrıldığında gece iyi çıkar; makineye, operatöre ya da haftanın gününe göre ayrıldığında başka bir tablo çıkabilir. Yeterince çok farklı biçimde ayırıp istenen sonucu verenini seçmek, Simpson paradoksunu bir manipülasyon aracına çevirir.

Yaygın yanılgılar

Sayılarla

Vardiyaların tablosunu sayılarla kuralım. Gündüz vardiyası bir ayda 900 kapak ve 100 gövde basıyor; kapakta 18 hata, yüzde 2; gövdede 10 hata, yüzde 10. Toplam: 1.000 parçada 28 hata, yüzde 2,8. Gece vardiyası 100 kapak ve 900 gövde basıyor; kapakta 1 hata, yüzde 1; gövdede 72 hata, yüzde 8. Toplam: 1.000 parçada 73 hata, yüzde 7,3.

Gece vardiyası iki parçada da daha az hata yaptığı hâlde toplamda iki buçuk kat fazla hata yapıyor görünüyor. Vardiyaları aynı iş karışımıyla karşılaştırmak için, her ikisinin de 500 kapak ve 500 gövde bastığını düşünelim. Gündüzün beklenen hata oranı yüzde 6, gecenin yüzde 4,5 olurdu. Bu sayılar varsayımsaldır ve paradoksun işleyişini göstermek için seçildi.

Berkeley'in altı bölümünde de aynı mantık işler. Kabul oranı yüzde 60'ın üstünde olan A ve B bölümlerine erkek başvuruların yüzde 51,5'i, kadın başvuruların yüzde 7,2'si gitti. Kadınların çoğu, kabul oranı yüzde 6 ile 37 arasında olan C, D, E ve F bölümlerine başvurdu. Toplam kabul oranındaki 14 puanlık fark, büyük ölçüde bu dağılımdan doğuyordu.

Herkes için aynı mı?

Simpson paradoksunun yanlış okunması, en çok bileşimi farklı olan grupları etkiler. Gece ustabaşı, daha zor işi üstlendiği için toplamda kötü görünür ve değiştirilmekle karşılaşır. Bir hastane daha ağır hastaları kabul ettiği için ölüm oranı yüksek görünebilir; bir okul daha zorlu koşullardaki öğrencileri aldığı için başarı oranı düşük görünebilir. Toplam oranlara göre yapılan sıralamalar, zor işi üstlenenleri cezalandırma eğilimindedir.

Ama tersine, alt gruplara bakmak gerçek bir eşitsizliği de gizleyebilir. Berkeley'de kabul kurulları adil olsa da, kadınların lisansüstü eğitimde daha kalabalık, daha az finanse edilen ve daha zor girilen alanlara yönelmesi, Bickel ve arkadaşlarının da vurguladığı gerçek bir sorundu. Alt gruplardaki eşitlik, sistemin bütününde bir eşitsizlik olmadığı anlamına gelmez.

Kendi hayatında

Simpson paradoksunu kendi kararlarında yakalamanın yolu, iki seçeneği toplam oranlarla karşılaştırdığında "bu iki seçenek aynı karışımla mı çalışıyor?" diye sormaktır. Diyelim ki iki doktoru ya da iki hastaneyi başarı oranına göre karşılaştırıyorsun. Biri daha zor vakaları alıyorsa, toplam başarı oranı yanıltıcıdır; benzer vakalardaki başarı oranlarına bakmak gerekir. Aynı soru, iki okulun sınav sonuçlarını, iki şubenin satış oranlarını ya da iki çalışanın performansını karşılaştırırken de geçerlidir.

Alt gruplardaki karşılaştırma toplamdakiyle aynı yönde mi, yoksa ters mi? Sonucu karar defterine yaz ve kararını değiştirip değiştirmediğini not et.

Kapanış

1. Bir toplam oran, alt grupların oranlarının, her alt grubun payıyla ağırlıklandırılmış ortalamasıdır; iki grubun bileşimi çok farklıysa, toplam oranlar alt gruplardaki her karşılaştırmanın tersini gösterebilir.
2. Bickel ve arkadaşları Berkeley'in 1973 kabul verisinde toplamda kadınlara karşı görünen yanlılığın, bölüm düzeyinde kaybolduğunu ve kadınların girmesi zor bölümlere başvurma eğiliminden doğduğunu gösterdi; en büyük altı bölümün dördünde kadınların kabul oranı daha yüksekti.
3. Hangi tablonun doğru olduğunu veri tek başına söylemez; doğru karşılaştırma, sorulan soruya ve olayların nasıl işlediğine bağlıdır, ve çok sayıda ayırma denemesi paradoksu bir manipülasyon aracına çevirebilir.

Beş soru

1. Gece vardiyası iki parçada da daha az hata yaptığı hâlde toplamda neden daha kötü görünüyor?
2. Berkeley'in altı bölümünde toplam kabul oranlarındaki fark nereden geliyordu?
3. Vardiyaları adil karşılaştırmak için hangi hesap yapılabilir?
4. Katmanlara ayırmak hangi durumda yanıltıcı olabilir?
5. Bir hastanenin toplam ölüm oranına göre sıralanması neden yanıltıcı olabilir?

Yanıtlar

Gece vardiyasının işinin büyük kısmı, hata oranı her vardiyada yüksek olan zor gövdedir; gündüz vardiyasının işinin büyük kısmı ise hata oranı düşük kolay kapaktır. Toplam oran, kimin hangi işi yaptığını yansıtır; vardiyaların her parçadaki performansını değil.

Erkek başvuruların yarıdan fazlası kabul oranı yüksek A ve B bölümlerine gitti, kadın başvuruların ise yalnız yüzde 7'si. Kadınlar çoğunlukla kabul oranı düşük bölümlere başvurduğu için, bölümlerin çoğunda kadınların kabul oranı daha yüksek olduğu hâlde toplamda daha düşük çıktı.

İki vardiyanın her parçadaki hata oranlarını aynı iş karışımına uygulamak gerekir. Örneğin ikisinin de yarı yarıya kapak ve gövde bastığı varsayılırsa, gündüzün beklenen hata oranı yüzde 6, gecenin yüzde 4,5 olur.

Ayırmak için kullanılan özellik, karşılaştırılan grupların kendisinin bir sonucuysa yanıltıcı olabilir. Örneğin bir ilacın etkisini, ilacın etkilediği bir ölçüme göre ayırarak incelemek, ilacın gerçek etkisinin bir kısmını gizler.

Daha ağır hastaları kabul eden bir hastane, iyi tedavi uygulasa bile toplamda daha yüksek bir ölüm oranı gösterebilir. Adil bir karşılaştırma için benzer ağırlıktaki hastalarda ölüm oranlarına bakmak gerekir.

Sonraki derse köprü

Toplantıdan sonra Nermin Hanım Selin'e bir grafik gösteriyor: satış temsilcilerinin bir müşteriyi ne kadar sık ziyaret ettiği ile o müşterinin sipariş miktarı arasında güçlü bir ilişki var. "Ziyaretleri artıralım, siparişler artsın," diyor. Selin emin değil: belki büyük müşteriler zaten daha sık ziyaret ediliyor. Hangisi neden, hangisi sonuç? 6.4 bu soruyu ve bir ilişkinin üç farklı açıklamasını ele alıyor.