Korelasyon nedensellik değildir

Açılış

Aralığın son perşembesi Trabzon'daki sağlık merkezine il sağlık müdürlüğünden bir yazı geldi. Müdürlük, aile hekimliği kayıtlarıyla kalp ve damar hastalıkları için bir risk modeli kurdurmak istiyordu; merkezlerden elli yaş üstü hastaların son iki yılını, belirli sütunlarla dökmeleri isteniyordu. Dr. Seda Hanım dökümü göndermeden önce tabloya bakmak istedi.

Dr. Necati Bey ekranı yanına çekti ve bir sütunda durdu. Tabloda «evde tansiyon ölçüp defter getiriyor» diye bir evet-hayır sütunu vardı. Bin sekiz yüz kırk hastanın üç yüz yirmisi defter getiriyordu. İki yıl içinde inme ya da kalp krizi geçirenlerin oranı, defter getirenlerde yüzde dokuz civarındaydı; getirmeyenlerde yüzde dört.

"İki katından fazla," dedi Necati Bey, gülerek. "Tansiyon aletlerini toplatalım mı?"

Seda Hanım gülmedi. Defteri kimlerin getirdiğini biliyordu, çünkü getirmelerini kendisi istemişti. Evde ölçüm, tansiyonu yüksek çıkan ve ilacı ayarlanan hastalara verilen bir ödevdi. Tabloya yeni bir süzgeç koydu: önce yalnız hipertansiyon tanısı olanlar, sonra tanısı olmayanlar.

Tanılı hastalarda defter getirenlerle getirmeyenlerin oranı aynıydı: yüzde on ve yüzde on. Tanısızlarda da aynıydı: yüzde iki buçuk ve yüzde iki buçuk. Fark, süzgeç konunca kaybolmuştu.

Necati Bey bir süre sustu, sonra müdürlüğün yazısını yeniden açtı. "Bu tabloyla eğitilen model defteri ne sanacak?"

Tek fikir

Birlikte değişen iki şey, birinin ötekine yol açtığını göstermez; arkada ikisini birden süren üçüncü bir şey olabilir. Model bu farkı bilmez, birlikte değişeni öğrenir; tahmini bir karara dönüştüğünde yanılgı da karara geçer.

Nasıl çalışır

Necati Bey'in gördüğü şeyin bir adı var.

Seda Hanım'ın tablosunda korelasyon gerçekti. Defter getirenlerde olay oranı gerçekten daha yüksekti; sayı yanlış değildi. Yanlış olan, sayıdan çıkarılacak cümleydi. "Defter getirenler daha çok inme geçiriyor" doğru bir cümleydi; "defter inmeye yol açıyor" yanlıştı. Arada ikisini birden belirleyen bir şey duruyordu: hastanın tansiyonu.

Seda Hanım'ın tablosunda hipertansiyon tanısı iki işi birden görüyordu. Tansiyonu yüksek olanlara defter verilmişti, yani tanı defteri yükseltiyordu. Tansiyonu yüksek olanlar inme ve kalp krizine daha yatkındı, yani tanı olayı da yükseltiyordu. Defterle olay, aynı kaynaktan beslenen iki kol gibi birlikte hareket ediyordu.

Süzgecin yaptığı şey, karıştırıcıyı sabit tutmaktı. Yalnız tanılı hastalara bakıldığında herkesin tansiyon durumu aynıdır; geriye kalan farkı tansiyon açıklayamaz. Orada fark sıfıra indiyse, ilk tablodaki farkın tamamı tansiyondan geliyordu.

Bir korelasyonun arkasında başka bir düzen de olabilir: ok ters yönde çalışıyordur.

Hasta dosyasında çok sayıda tahlil isteği olan hastaların daha hasta çıkması, tahlilin hastalık yapmasından değil, hastalığın tahlil istetmesindendir. Karıştırıcı değişkende iki ölçümün ortak bir kaynağı vardır; ters nedensellikte birisi ötekinin kaynağıdır, yalnız yönü yanlış okunmuştur.

Peki bunun yapay zekâyla ilgisi ne? Bir makine öğrenmesi modeli eğitilirken kendisine verilen sütunlarla hedef arasındaki düzenlilikleri arar. Hangi düzenliliğin bir sebepten, hangisinin bir karıştırıcıdan ya da ters yönden geldiğini ayırt edecek bilgi tabloda yoktur. Model için defter sütunu, olayla birlikte değişen işe yarar bir sütundur ve o kadar.

Bu sorunun en çok anılan örneği bir zatürre çalışmasından gelir.

Projenin amacı, zatürre olan hastaların ölüm olasılığını tahmin etmek ve düşük riskli hastaları evde tedavi ederken yüksek riskli olanları hastaneye yatırmaktı. Denenen yöntemlerden biri, okunabilir kurallar üreten bir öğrenme sistemiydi. Sistem verilerden şu kuralı çıkardı: astım öyküsü olan hastanın zatürreden ölme riski daha düşüktür.

Bu örneği ağır kılan, modelin nerede kullanılacağıdır. Model hastaneye yatırma kararını vermek için kurulmuştu. Verideki astım avantajı ise tam o kararın, yani hastaneye ve yoğun bakıma almanın bir sonucuydu. Model kullanıma girseydi, astımlı hastayı düşük riskli sayıp eve göndermeyi önerebilirdi; yani verideki düzeni yaratan bakımı ortadan kaldırırdı. Yazarlar ayrıca, en isabetli modeller olan yapay sinir ağlarının kullanılmadığını anlatır. Kural sistemi astım kuralını öğrendiyse sinir ağlarının da öğrendiği varsayılmıştı. Astım sorunu tek başına onarılabilirdi; ama içi okunamayan bir modelde başka hangi tehlikeli düzenin saklandığını bilmek zordu. Onun yerine katsayısı okunup düzeltilebilen daha basit bir model seçildi.

Sahada

Nerede yanılır

Korelasyonun tahmin için değeri vardır. Bir risk modelinin görevi yalnız "bu hastanın ölme olasılığı nedir" sorusunu cevaplamaksa ve kimse o tahmine göre bakımı değiştirmeyecekse, astım sütunu tahmin için gerçekten yararlı bilgi taşır: astımlılar, aldıkları bakım sürdükçe, bu veride gerçekten daha az ölmüştür. Sorun, tahmin bir müdahaleye dönüştüğü anda başlar. Model "bu hasta düşük riskli" dediği için hasta eve gönderilirse, verideki düşük riski yaratan koşul ortadan kalkar ve modelin dayandığı düzen bozulur.

Yanılgının en tehlikeli biçimi budur: modelin öğrendiği düzenin arkasında, modelin değiştirmeye çalıştığı kararın kendisi durur. Sağlıkta tedavi kararı, sigortada soruşturma kararı, belediyede yönlendirme kararı, geçmiş verinin içine işlenmiş olarak gelir. Model kararla sonucu birbirinden ayıramaz; ikisini tek bir düzenlilik olarak öğrenir.

Bir sütunun böyle bir izi taşıdığına dair işaretler genellikle görünür. Uzmanın bildiğinin tersi yönde etki eden bir sütun, Caruana ve arkadaşlarının kronik akciğer hastalığı ve göğüs ağrısı öyküsü için de şüphelendiği gibi, ilk alarmdır. Sütunun kendisi bir bakım, bir sevk ya da bir insan kararının kaydıysa ikinci alarm çalar. Üçüncüsü, farkın bir alt grup içinde süzüldüğünde küçülmesi ya da yön değiştirmesidir. Hiçbiri kesin bir sınama değildir; bir sütunun neden bir sonuçla birlikte değiştiğini söyleyen şey tablo değil, alanı bilen insandır.

Neden deney yapılmıyor diye sorulabilir. Makalenin yazarları bunu da söyler: hastalara verilen bakımı yalnız temiz veri toplamak için değiştirmek ya da rastgele dağıtmak çoğunlukla etik değildir. Model elde olan veriyle eğitilir, istenen veriyle değil.

Uygulama

Bu derste bir tabloyu iki kez okuyacaksın: önce bütün hâliyle, sonra bir üçüncü değişkene göre bölerek. Aşağıdaki tablo uydurmadır. Bir çevrimiçi kursun dört yüz öğrencisi var; kurs, final sınavından önce isteğe bağlı bir tekrar videosu sunuyor. Kurs ekibi videonun işe yarayıp yaramadığını soruyor ve öğrencilere video öneren bir öneri sistemi kurmayı düşünüyor.

Doğru hesapladıysan zayıf ara sınavlılarda videoyu izleyenlerin yüzde altmışı, izlemeyenlerin yüzde kırkı geçmiştir; iyi ara sınavlılarda izleyenlerin yüzde doksanı, izlemeyenlerin yüzde seksen beşi. İki grupta da video izleyenler daha iyidir. Birleşik tabloda ise izleyen yüz elli öğrencinin doksan dokuzu geçer, yani yüzde altmış altı; izlemeyen iki yüz elli öğrencinin yüz doksan dokuzu geçer, yaklaşık yüzde seksen. Bütün tabloya bakan, videonun zarar verdiğini sanır. Bunun sebebi, videoyu çoğunlukla ara sınavı zayıf geçen öğrencilerin izlemesidir: ara sınav sonucu hem video izlemeyi hem finali etkiler. Bir grubun içinde bir yönü, birleşik tabloda ters yönü gösteren bu durum istatistikte Simpson paradoksu adıyla bilinir. Birleşik tabloyla eğitilen bir öneri sistemi, en çok ihtiyacı olan öğrencilere videoyu önermemeyi öğrenebilir.

Defter: Video tablosunda bulduğun altı oranı, birleşik ve bölünmüş tablonun cümlelerini ve kendi iki örneğini yaz. 3.3'teki soru listene yeni bir soru ekle: bu sütun hedefle neden birlikte değişiyor, ve arkasında bir karar ya da üçüncü bir değişken var mı?

Hata köşesi

Sorumluluk

Bir modelin hangi sütunu kullanacağına ve çıktısının hangi karara bağlanacağına insanlar karar verir. Seda Hanım müdürlüğe dökümü gönderirken defter sütununun bir bakım kararının kaydı olduğunu ve modelde risk işareti olarak okunmaması gerektiğini yazılı not olarak ekledi. Bir tahminin müdahaleye dönüşeceği her yerde, modelin öğrendiği ilişkileri alanı bilen biri doğrulamalıdır: tersine işleyen bir sütun, bir karar izi, bir alt grupta kaybolan fark. Bu denetim yapılmazsa zararı en çok, geçmişte en yoğun bakımı almış olanlar görür, çünkü veride en iyi sonuç onlarda görünür. Sütunu modele koyan ve çıktıyı karara bağlayan, o sütunun ne anlattığından da sorumludur.

Kapanış

1. Korelasyon iki ölçümün birlikte değişmesidir; hangisinin ötekine yol açtığını söylemez. Arkada ikisini birden süren bir karıştırıcı değişken olabilir ya da ok ters yönde çalışıyor olabilir.
2. Model sebep bilmez; birlikte değişeni öğrenir. Geçmiş verideki bir bakım ya da yönlendirme kararı, modele risk ya da başarı işareti gibi görünebilir.
3. Tahmin bir müdahaleye dönüşecekse, her güçlü sütun için "bu neden birlikte değişiyor?" diye sorulur ve karıştırıcı olabilecek değişkene göre bölünmüş tabloya bakılır.

Üç soru

1. Seda Hanım'ın tablosunda defter getirenlerin olay oranı daha yüksekti, ama tanıya göre bölünmüş tablolarda fark yoktu. Bu iki gözlem birbirini nasıl açıklıyor?
2. Zatürre risk modeli neden yalnız isabetle değerlendirilemezdi, ve astım sütunu kullanımda hangi hastayı tehlikeye atardı?
3. Onur'un raporunda memura aktarılan başvurularda memnuniyet düşüktü. Aktarmaları azaltmak memnuniyeti artırır mıydı, ve bunu anlamak için hangi tabloya bakmak gerekir?

Yanıtlar

1. Defter getirenlerin çoğu hipertansiyon tanılı, yani zaten daha yüksek riskli gruptandır. Her grubun içinde oran eşit olduğu hâlde, birleşik tabloda defter getirenler ağırlıkla yüksek riskli gruptan geldiği için oranları yüksek görünür. Tanı hem defteri hem olayı belirleyen karıştırıcı değişkendir; süzgeç onu sabit tutunca fark kaybolur.
2. Model geçmiş hastaların ölümünü iyi tahmin edebilirdi, çünkü astımlılar o veride gerçekten daha az ölmüştü. Ama bu düşük risk, yoğun bakıma alınmanın sonucuydu. Model hastaneye yatırma kararı için kullanılsaydı astımlı zatürre hastasını eve göndermeyi önerebilir ve onu riski düşüren bakımdan yoksun bırakırdı.
3. Büyük olasılıkla artırmazdı, çünkü öfkeli ve zor başvurular hem aktarılıyor hem düşük puan alıyordu. Aktarmayı azaltmak zor başvuruları asistanda tutar, sorunu çözmez. Memnuniyeti başvuru türüne ve şikâyetin ağırlığına göre ayrı tablolarda, aktarılan ve aktarılmayanı aynı türün içinde karşılaştırarak okumak gerekir.

Sonraki derse köprü

Bu derste bir tablonun içindeki iki sütunun neden birlikte değiştiğini sorduk. Bir sonraki soru tablonun kenarında duruyor: tabloya kimler girmiş, kimler hiç girmemiş? Seda Hanım'ın kaydında yalnız merkeze kayıtlı ve muayeneye gelen hastalar var; hiç gelmeyenin tansiyonu da defteri de tabloda yok. Ders 3.6, örneklem ve temsil, verinin kimi kapsayıp kimi dışarıda bıraktığını ve modelin görmediği insanlar hakkında ne kadar az şey söyleyebileceğini ele alıyor.