Sahte Korelasyon

Açılış sahnesi

Kasımın ikinci perşembesi, Kastamonu. Eğitim ve araştırma hastanesinin kalite yönetim biriminde Kıymet Hanım, yıllık faaliyet raporuna girecek gösterge sayfasını okuyor. Birimin veri analisti Alperen on iki yıllık kayıttan iki çizgiyi aynı grafiğe koymuş: hastanenin yıllık tiroid uyarıcı hormon (TSH) testi istemi 2014'te 57 binden 2025'te 92 bine, yıllık katarakt ameliyatı sayısı 526'dan 704'e çıkmış. İki serinin Pearson katsayısı 0,968 ve p değeri milyonda birin altında.

Alperen grafiğin altına bir öneri de yazmış: "Tiroid testi istemi, göz ameliyathanesinin gelecek yılki yükü için öncü gösterge olarak izlenebilir". Kıymet Hanım kalemini iki çizginin arasına koyuyor. "Bu iki iş arasında hangi hasta yürüyor, Alperen? Tiroid testini isteyen dahiliye hekimi ile göz cerrahı birbirinin listesini görmüyor bile" diyor. Tabloya iki sütun daha eklenmesini istiyor: hastanenin yıllık poliklinik başvurusu ve yılın kendisi.

Bu derste ne olacak

Önce ortak bir nedenin iki ölçüm arasında katsayıyı nasıl ürettiğini bir varyans hesabıyla göreceksin ve katsayının neden tam olarak o nedenin payına eşit çıktığını anlayacaksın. Sonra üçüncü değişkeni hesapta sabit tutan kısmi korelasyonu Alperen'in tablosuna uygulayacaksın. Ardından zaman serilerine geçeceksin: birbirinden tamamen bağımsız iki rastgele yürüyüşün ne sıklıkla güçlü bir katsayı verdiğini bir benzetimle ölçecek, fark almanın bu katsayıyı nasıl söndürdüğünü izleyeceksin. Son olarak örneklemin seçilme biçiminin sıfırdan bir katsayı yaratabildiğini bir kez daha, bu kez sayıyla göreceksin.

Sıfır noktası

Nedensellik modülünde bu soruların sözel tarafını kurmuştun. Ortak nedeni işleyen L01-P03-M01-D05, belediye bültenindeki kütüphane üyeliği ile hastaneye yatış ilişkisini yaşa göre bölüp kaybolduğunu göstermişti; karıştırıcıyı orada tanımlamış, ölçülmemiş karıştırıcının hiçbir düzeltmeyle giderilemediğini görmüştün. Birlikte değişim dersinde de öngörü ile açıklamanın ayrı şeyler olduğunu öğrenmiştin: bir değişken bir sonucu, nedeni olmadan da öngörebilir.

Geçen ders bu zemine bir hesap eklemişti. Ceyda Hanım'ın dört hastanesinde bin adım başına eğim hastaneler arasında artı, hastanelerin içinde eksi yönde çıkmıştı. İki eğim arasında kalan açıklık, hastanelerin kendisinde adım sayısına eşlik eden bir etkenin izi olarak cevapsız kalmıştı. O ders farkın varlığını gösterdi; bu ders o farkı üreten mekanizmanın içine giriyor.

Mekanizma

Ortak neden katsayıyı nasıl kurar

En yalın modeli yaz. Z bir ortak etken olsun; X ile Y'nin her biri Z'ye kendi bağımsız gürültüsünün eklenmesiyle oluşsun: X = Z + e₁ ve Y = Z + e₂. X ile Y arasında hiçbir ok yok. Kovaryansı modülün ilk dersinde sapma çarpımlarından kurmuştun; burada Z ile gürültüler ve iki gürültü birbiriyle ilişkisiz olduğu için çapraz terimlerin hepsi sıfıra düşer ve geriye Cov(X, Y) = Var(Z) kalır. Paydadaki varyanslar da Var(X) = Var(Z) + Var(e₁) ve Var(Y) = Var(Z) + Var(e₂).

Sayı koy. Z'nin varyansı 3, iki gürültünün varyansı 1 olsun. Katsayı 3 ÷ √(4 × 4) = 3 ÷ 4 = 0,75. Gürültülerin varyansı eşitken katsayı, X'in toplam varyansı içinde Z'den gelen payın ta kendisi: dörtte üç. İkinci gürültünün varyansı 3'e çıkarsa 3 ÷ √(4 × 6) = 3 ÷ 4,90 ≈ 0,61 olur. Yüz bin kişilik bir benzetim (numpy tohumu 20261010) bu iki değeri 0,749 ve 0,610 olarak verdi.

Bu hesabın söylediği şey rahatsız edici derecede basit. Katsayı X ile Y'nin birbirine ne yaptığını ölçmüyor, ikisinin aynı kaynaktan ne kadar beslendiğini ölçüyor. Ortak etkenin kendisi ne kadar geniş bir aralıkta değişirse, yani Var(Z) gürültülere göre ne kadar büyürse, katsayı 1'e o kadar yaklaşır. On iki yılda iki katına yakın büyüyen bir hastanede hemen her iş yükü göstergesi bu yüzden birbiriyle yüksek korelasyon verir.

Üçüncüyü hesapta sabit tutmak

Ortak etken ölçülmüşse onun payını çıkarabilirsin. Önce X'i Z'den, sonra Y'yi Z'den düz bir çizgiyle öngörüp artakalanları alırsın; iki artakalan serinin Pearson katsayısı kısmi korelasyondur. Aynı sonucu üç ikili katsayıdan doğrudan veren bir formül de var.

Formülü önce yapay modelde dene. X ile Z arasındaki katsayı √(3 ÷ 4) ≈ 0,866, Y ile Z arasındaki de aynı; çarpımları 0,75 ve pay 0,75 − 0,75 = 0. Kısmi korelasyon sıfır: bütün birliktelik Z'den geliyormuş. Olasılık bölümündeki koşullu bağımsızlık tam olarak buydu, orada tablo tabakalara bölünmüştü, burada doğrusal bir artık alınıyor.

Şimdi Alperen'in tablosu. Poliklinik başvurusu 412 binden 549 bine çıkmış; TSH istemiyle katsayısı 0,929, katarakt ameliyatıyla 0,930. Pay 0,968 − 0,929 × 0,930 = 0,968 − 0,864 = 0,104. Payda √((1 − 0,863) × (1 − 0,865)) = √0,0185 ≈ 0,136. Kısmi korelasyon 0,104 ÷ 0,136 ≈ 0,76. Başvuru hacmini sabit tutmak katsayıyı 0,97'den yalnız 0,76'ya indirdi. Aynı ayıklamayı birden çok değişkenle birlikte yapmayı ise regresyon modülünde, çoklu regresyonu kurarken göreceksin.

Alperen bunu bir zafer gibi okumak istiyor: düzeltildi ve ilişki güçlü kaldı. Kıymet Hanım tabloya eklettiği ikinci sütunu gösteriyor. Z yerine yılın kendisini koyunca, yani her iki seriden düz bir zaman çizgisini çıkarınca, kısmi korelasyon −0,02 çıkıyor. Yıl bir neden değil; ilin nüfusunun yaşlanması, yeni açılan poliklinikler, hekimlerin istem alışkanlıkları gibi yavaş değişen her şeyin taşıyıcısı. Başvuru sayısı bunların yalnız birini ölçüyordu ve kısmi korelasyon, ölçmediğin etkenin payına dokunamaz.

Aynı yöne akan iki seri

Zamanla ilgili sorunu istatistiğe açıkça ilk soranlardan biri George Udny Yule oldu. İngiltere Kraliyet İstatistik Derneği'nin dergisinde (JRSS) 1926'da yayımlanan "Why do we sometimes get nonsense-correlations between time-series?" makalesinde, 1866–1911 yıllarında İngiltere ve Galler'de Anglikan kilisesinde kıyılan nikâhların oranı ile standartlaştırılmış ölüm hızı arasında yaklaşık 0,95'lik bir katsayıyı ele aldı. Kimse nikâhın ölüm hızını ya da ölüm hızının nikâh yerini belirlediğini düşünmüyordu; iki seri de yarım yüzyıl boyunca düşüyordu. Yule'un teşhisi, ardışık değerleri birbirine sıkıca bağlı kısa serilerde katsayının dağılımının sıfır çevresinde toplanmadığı, iki uca doğru yayıldığıydı: kırk altı yıllık bir seri, kırk altı bağımsız gözlem kadar bilgi taşımıyordu. Bağımsızlık dersinde etkin bilgi miktarı adını verdiğin olgunun zaman eksenindeki biçimi bu.

Bunu benzetimle ölç. Birbirinden tamamen bağımsız iki rastgele yürüyüşü on iki adım üretip Pearson katsayısını hesapladım ve işlemi on bin kez tekrarladım (numpy tohumu 20261011). Mutlak katsayı 4.224 çiftte 0,5'i aştı. Bağımsız gözlemler için kurulmuş sınamayla 0,05 düzeyinde anlamlı çıkan çift sayısı 3.335 oldu, yani 3.335 ÷ 10.000 ≈ 0,33; olması gereken oran 0,05 idi. Seriler elli adıma uzatılınca oran 6.616 ÷ 10.000 ≈ 0,66'ya çıktı. Çoğu durumda daha çok veri yanılgıyı azaltırdı, burada büyütüyor: uzun seri, sürüklenmeye daha çok zaman tanıyor. Karşılaştırma için on iki bağımsız gözlemlik düz gürültü çiftlerinde 0,5'i aşan çift yalnız 957'ydi.

Aynı yürüyüşlerin adımlarını, yani yıldan yıla farklarını korele ettiğinde anlamlı çıkan çift sayısı on iki adımda 509, elli adımda 491 oldu; iki oran da 0,05 çevresinde. Adımlar zaten bağımsız üretilmişti ve fark alma onları geri getirdi. Alperen aynı işlemi kendi serilerine uyguluyor. TSH isteminin yıllık artışları 2, 2, 6, 4, 4, 2, 2, 5, 0, 3 ve 5 bin, ortalama 35 ÷ 11 ≈ 3,2 bin. Katarakt ameliyatının yıllık değişimleri 13, 40, −5, 48, −19, 9, 14, 39, 11, 8 ve 20, ortalama 178 ÷ 11 ≈ 16,2. İki değişim serisinin katsayısı −0,03. Testlerin çok arttığı yıllar ameliyatların çok arttığı yıllar değilmiş.

Fark almanın da bir sınırı var. Yavaş eğilimi siler, ama her yıl ikisini birden oynatan bir etkeni silmez: hastanenin bir yıl poliklinik kapasitesini yarıya indirdiğini düşün, iki seri o yıl birlikte düşer ve değişimlerin katsayısı da bunu taşır. Ters yönde, etkisi yıllara yayılan gerçek bir bağı da düzlüğe çevirebilir. Clive Granger ile Paul Newbold 1974'te Journal of Econometrics'te aynı sürüklenmenin regresyon katsayılarını da anlamlı gösterdiğini benzetimle gösterdi; zaman serisi çözümlemesinin koca bir bölümü bu sorunun üzerine kuruldu.

Seçimin yarattığı katsayı

Üçüncü kaynak ortak etken değil, ortak sonuç. Çarpıştırıcıyı işleyen L01-P03-M01-D07'de hastane paradoksunu görmüştün: toplumda bağımsız iki hastalık, yalnız hastanede yatanlara bakınca birbirine ters bağlı görünür. Olgu, 1946'da Biometrics Bulletin'de hastane verisindeki dörtlü tabloların sınırlarını yazan Joseph Berkson'un adıyla da anılır. Katsayının boyunu görmek için yüz bin kişilik bir benzetimde (numpy tohumu 20261012) iki bağımsız ölçüm ürettim; katsayı −0,002. Yalnız iki ölçümün toplamı belli bir eşiği aşan 14.318 kişiyi, yani "hastaneye yatanları" alınca katsayı −0,68 oldu. Alperen'in yıllık serilerinde böyle bir süzgeç yok, ama hastanenin hasta kaydından çekilen her ilişki bu süzgeçten geçmiş olarak doğar.

Klinik gerçeklik

Alperen gösterge sayfasını yeniden yazıyor. İki çizgi aynı grafikte kalıyor, altındaki not değişiyor: "İki gösterge de on iki yılda hastanenin genel büyümesiyle yükseldi. Yıllık değişimleri arasında birliktelik görülmedi; TSH istemi göz ameliyathanesi planlamasına yıl eğiliminin ötesinde bilgi eklemiyor". Öncü gösterge önerisi sayfadan çıkıyor. Katarakt yükünü öngörmek için yılın kendisi, tiroid testinin sağladığı her şeyi zaten sağlıyor.

Sağlık haberlerinde ve sosyal medyada en sık karşına çıkacak grafik tam da bu biçimde: bir takviyenin yıllık satışı ile bir hastalığın yıllık tanı sayısı, ya da bir gıdanın tüketimi ile bir yakınmanın sıklığı, aynı eksende birlikte tırmanır. Böyle bir grafikte üç soruyu sırayla sor. Noktalar yıllarsa değişimler de birlikte mi hareket ediyor? İkisini birden büyütebilecek ölçülmüş bir etken var mı ve sabit tutulduğunda ne kalıyor? Veri kimlerden geldi, bir süzgeçten geçti mi? Hiçbiri nedenselliği kanıtlamaz, ama üçü de geçilemiyorsa katsayının söylediği tek şey, iki çizginin aynı zamanda yükseldiğidir.

Kendini sına

1. Sahte korelasyonda sahte olan katsayı mı, ondan çıkarılan sonuç mu? Neden?
2. X = Z + e₁ ve Y = Z + e₂ modelinde Z'nin varyansı 8, iki gürültünün varyansı 2 olsaydı katsayı kaç çıkardı?
3. Üç ikili katsayı r_xy = 0,60, r_xz = 0,60 ve r_yz = 0,50 ise Z'ye göre kısmi korelasyon kaçtır?
4. Alperen'in tablosunda başvuruya göre kısmi katsayı 0,76, yıla göre −0,02 çıktı. Bu fark başvuru sayısı hakkında ne söylüyor?
5. Bağımsız iki rastgele yürüyüşte seri uzadıkça anlamlı çıkan çift oranı neden büyüyor?
6. Fark almanın gideremeyeceği bir ortak etkene hastane yönetiminden bir örnek ver.
7. Yalnız yoğun bakıma yatan hastalarda iki risk etkeni arasında ters bir katsayı buldun. İlk hangi olasılığı düşünürsün?

Bir sonraki derse köprü

Bu derste katsayıların hepsini tabloların ve formüllerin içinden okudun; oysa bir iddiayla ilk karşılaşman çoğu zaman bir grafikle olur. Bir sonraki ders bir uygulama görevi: önüne konan korelasyon grafiklerini kendin eleştireceksin. Bir saçılım ya da zaman grafiğinde noktaların neyi temsil ettiğini, eksenlerin nasıl ölçeklendiğini, çizginin hangi veriden çekildiğini ve bu derste gördüğün üç sahte korelasyon türünün grafikte nasıl iz bıraktığını hangi sırayla sorarsın?