Nedensellik problemi

Öğrenme çıktıları

• Hatırlama — Nedensel çıkarımın temel sorununu, seçilim yanlılığını, nedensel grafiği, çarpışan yanlılığını, kötü kontrolü ve hayatta kalan yanlılığını tanımlar.
• Uygulama — Gözlenen bir grup farkını, sayısal bir örnekte gerçek etki ile seçilimden doğan farka ayırır; basit bir nedensel grafikte hangi değişkenlerin kontrol edilmesi, hangilerinin edilmemesi gerektiğini belirler.
• Analiz — Bir korelasyonun nedensel bir etki olarak okunmasını engelleyen mekanizmaları, yani karıştırıcıları, seçilimi, çarpışanları ve aracı değişkenleri, iktisadi örnekler üzerinde ayırt eder.
• Değerlendirme — Deneysel bir sonucun deneysel olmayan yöntemlerle yeniden üretilip üretilemediğini sınayan ve seçilimi gidermeye çalışan ampirik çalışmalara dayanarak, gözlemsel verilerden nedensel sonuç çıkarmanın sınırlarını değerlendirir.

Sezgi

Açılış

Bir belediye, işsiz gençler için altı aylık bir meslek kursu açıyor. Bir yıl sonra bir değerlendirme yapılıyor: kursa katılanların ortalama aylık kazancı, katılmayan işsiz gençlerinkinden 2.000 lira düşük. Bir meclis üyesi «Kurs işe yaramıyor, hatta zarar veriyor» diyor. Bir başkası itiraz ediyor: «Kursa zaten en zor durumdakiler başvurdu; onları kursa katılmayanlarla karşılaştırmak haksızlık.» Hangisi haklı?

Bu soru, bu kursun bütün derslerinin arka planında duracak. Korelasyon nedensellik değildir; bunu ekonomiye giriş derslerinde ters nedensellik ve karıştırıcı değişkenlerle gördük. Ekonometrinin amacını ele aldığımız derste de bir politikanın etkisinin, gerçekleşen sonuç ile hiç gözlenemeyen karşı olgusal durum arasındaki fark olduğunu söyledik. Bu ders, bu sorunu daha keskin biçimde koyuyor: nedensel bir soru tam olarak neyi soruyor, neden verilerden doğrudan cevaplanamıyor ve hangi tuzaklar, en dikkatli araştırmacıyı bile yanlış bir sonuca götürebilir?

Hikâye — deneyle sınanan yöntemler

1970'lerde ABD'de, uzun süreli işsizlere ve eğitim düzeyi düşük gençlere yönelik bir istihdam ve eğitim programı, bir saha deneyi olarak yürütüldü: başvuranlar rastgele biçimde programa ya da kontrol grubuna atandı. Böylece programın gerçek etkisi, iki grubun kazançları karşılaştırılarak güvenilir biçimde ölçülebildi. Robert LaLonde bu deneyi, iktisatçıların o güne kadar kullandığı yöntemleri sınamak için kullandı.

LaLonde'nin yaptığı şey basit ama yıkıcıydı. Deneyin kontrol grubunu bir kenara koydu ve yerine, büyük ulusal anketlerden alınan, programa katılmamış kişileri karşılaştırma grubu olarak kullandı. Ardından o dönemin standart yöntemleriyle, yani regresyon kontrolleriyle ve seçilimi düzeltmeye yönelik modellerle, programın etkisini yeniden tahmin etti. Doğru cevabı deneyden bildiği için, hangi yöntemin bu cevaba ulaştığını görebildi. Yöntemlerin çoğu ulaşamadı; bazıları etkinin yönünü bile yanlış buldu.

Kavram — neden doğrudan göremiyoruz?

Bir kişinin kursa katıldığında kazanacağı ile katılmadığında kazanacağı arasındaki fark, kursun o kişi üzerindeki etkisidir. Ama her kişi ya kursa katılır ya katılmaz; ikisini birden yapamaz.

Gözlenmeyen durumu, müdahaleyi almayan başka kişilerle doldurmaya çalıştığımızda, bu kişilerin müdahaleyi alanlardan başka yönlerden de farklı olması sorun yaratır.

Açılıştaki meslek kursu örneğinde, kursa en zor durumdaki gençler başvurduysa, katılmayanlarla karşılaştırma, kursun etkisini seçilim yanlılığıyla karıştırır.

Veri ve kanıt — seçkin üniversite ne kazandırır?

Seçilim yanlılığının iktisattaki en bilinen örneklerinden biri, seçkin üniversitelerin getirisidir. Seçkin üniversite mezunları daha çok kazanır; ama bu üniversiteler öğrencilerini zaten gelecekte çok kazanacaklarını gösteren özelliklere göre seçer. Stacy Dale ve Alan Krueger bu sorunu yaratıcı bir karşılaştırmayla ele aldı.

Dale ve Krueger'in fikri şuydu: aynı seçkin üniversiteye kabul edilmiş iki öğrenci, üniversitenin kabul komitesinin gözünde benzer görünüyordu. Biri o üniversiteye gitmiş, öbürü başka bir nedenle daha az seçkin bir okulu seçmişse, ikisini karşılaştırmak, seçkin üniversiteye giden ve gitmeyen bütün öğrencileri karşılaştırmaktan çok daha adildir. Bu karşılaştırmada seçkin üniversitenin ek getirisi büyük ölçüde kayboldu; görülen farkın büyük kısmı seçilimdi. Ama etki herkes için sıfır değildi: düşük gelirli ailelerden gelenler için seçkin üniversite gerçek bir fark yaratıyordu.

Neden önemli? — politikanın sorusu nedenseldir

Bir politika yapıcının sorduğu soruların neredeyse hepsi nedenseldir: asgari ücreti artırırsak istihdam ne olur, okulları küçültürsek öğrenciler daha mı iyi öğrenir, bir kredi programı küçük işletmeleri büyütür mü? Bu soruların hiçbiri, iki değişken arasındaki bir korelasyona bakarak cevaplanamaz. Yanlış bir nedensel sonuç, işe yaramayan programlara kaynak harcanmasına, işe yarayanların kapatılmasına yol açar. Bu kursun bundan sonraki dersleri, nedensel soruları cevaplamak için geliştirilmiş araçları tek tek ele alacak: deneyler, araç değişkenler, fark içinde fark, süreksizlik tasarımları, sentetik kontroller ve eşleştirme. Her birinin ortak bir başlangıç noktası var: gözlenmeyen karşı olgusal durumu, hangi varsayımla, ne kadar inandırıcı biçimde doldurabiliriz?

Model

Bu bölümdeki kişiler, kurumlar ve sayılar örnek amaçlıdır; gerçek bir çalışmaya dayanmaz.

Çözümlü örnek — Gözlenen farkı parçalarına ayırmak

Açılıştaki meslek kursuna dönelim. Kursa katılan 100 gencin bir yıl sonraki ortalama aylık kazancı 8.000 lira, katılmayan 100 gencinki 10.000 lira. Gözlenen fark eksi 2.000 liradır.

Şimdi elimizde, normalde hiç olmayan bir bilgi olduğunu varsayalım: kursa katılan gençler katılmasalardı ortalama 7.500 lira kazanacaklardı. Bu, kursa katılan grubun karşı olgusal kazancıdır. Bu durumda kursun katılanlar üzerindeki etkisi 8.000 − 7.500 = 500 liradır: kurs, katılanların kazancını artırmıştır.

Gözlenen eksi 2.000 liralık fark nereden geliyor? Katılmayanların 10.000 lira kazanması ile katılanların kurs olmadan kazanacağı 7.500 lira arasındaki 2.500 liralık farktan. Bu fark, kursun etkisi değil, iki grubun kurstan önce de farklı olmasından kaynaklanır; seçilim yanlılığıdır. Gözlenen fark, etki ile seçilim yanlılığının toplamıdır: 500 + (−2.500) = −2.000. Kursun gerçek etkisi olumluyken, seçilim yanlılığı onu olumsuz gösterecek kadar büyüktür.

Sorun, 7.500 liralık karşı olgusal kazancı hiçbir zaman gözlememizdir. Bütün nedensel çıkarım yöntemleri, bu sayıyı makul bir biçimde tahmin etmenin farklı yollarıdır. Örneğin kursa katılımı bir kurayla belirleseydik, katılan ve katılmayan gruplar kurstan önce ortalama olarak aynı olurdu ve seçilim yanlılığı sıfıra inerdi.

Çözümlü örnek — Seçilimin yönü

Seçilim yanlılığı her zaman etkiyi küçültmez. Bir şirket, çalışanlarına gönüllü bir liderlik eğitimi sunuyor. Eğitime katılanların bir yıl sonra terfi alma oranı yüzde 40, katılmayanlarınki yüzde 15. Gözlenen fark 25 puan.

Ama eğitime en hırslı ve en yetenekli çalışanlar başvurmuştur. Eğitim olmasa da bu çalışanların terfi oranı, diyelim ki yüzde 32 olacaktı. O hâlde eğitimin katılanlar üzerindeki etkisi 40 − 32 = 8 puandır; seçilim yanlılığı ise 32 − 15 = 17 puandır. Bu kez seçilim, etkiyi olduğundan üç kat büyük göstermektedir.

İki örnek birlikte, seçilimin yönünün müdahaleye kimin katıldığına bağlı olduğunu gösteriyor. Programlar en ihtiyaç sahiplerine yöneliyorsa, seçilim etkiyi küçük gösterir; en hevesliler ya da en yetenekliler katılıyorsa, büyük gösterir. Bir değerlendirmeyi okurken ilk soru, katılımın nasıl belirlendiğidir.

Çözümlü örnek — Kura seçilimi nasıl siler?

Meslek kursuna 200 genç başvurmuş olsun ve kursta yalnızca 100 kişilik yer bulunsun. Başvuranların yarısı «zor durumda»: kurs olmadan aylık 6.000 lira kazanacaklar. Öbür yarısı «görece iyi durumda»: kurs olmadan 10.000 lira kazanacaklar. Kursun etkisi herkes için 500 lira olsun.

Belediye yerleri ihtiyaca göre dağıtırsa, kursa zor durumdaki 100 kişinin hepsi girer. Kursa girenler 6.500, girmeyenler 10.000 lira kazanır; gözlenen fark eksi 3.500 liradır. Gerçek etki 500 lira olduğu hâlde, seçilim yanlılığı eksi 4.000 liradır.

Belediye yerleri kurayla dağıtırsa, kursa girenlerin yaklaşık yarısı zor durumda, yarısı görece iyi durumdadır; girmeyenler için de aynısı geçerlidir. Kursa girenlerin ortalama kazancı yaklaşık 0,5 × 6.500 + 0,5 × 10.500 = 8.500, girmeyenlerinki 0,5 × 6.000 + 0,5 × 10.000 = 8.000 liradır. Gözlenen fark 500 liradır ve gerçek etkiye eşittir. Kura, iki grubu müdahaleden önce ortalamada birbirine benzetir ve seçilim yanlılığını ortadan kaldırır.

Bu sonucun bir bedeli de var: kurayla dağıtımda zor durumdaki gençlerin yarısı kursa giremez. Rastgele atamanın etik ve siyasi maliyeti, kursun bu konuya ayrılmış dersinde ayrıca ele alınacak. Ama buradaki hesap, rastgele atamanın neden nedensel çıkarımın ölçütü sayıldığını gösteriyor: kimin müdahaleyi alacağına, sonuçla ilişkili hiçbir özellik karar vermez.

Çözümlü örnek — Yanlış karşılaştırma grubu

LaLonde'nin yaptığı karşılaştırmanın mantığını, onun bulduğu tahminler değil, varsayımsal sayılarla kuralım. Bir istihdam programında başvuranlar kurayla iki gruba ayrılmış olsun. Program grubunun yıllık kazancı 5.800, kontrol grubununki 5.000 dolar; deneysel tahmin 800 dolardır.

Şimdi kontrol grubunu bir kenara koyalım ve yerine ulusal bir anketten alınmış, programa katılmamış kişileri koyalım. Bu kişilerin yıllık kazancı ortalama 14.000 dolardır, çünkü anket nüfusun tamamını kapsar ve çoğu kişi düzenli bir işte çalışmaktadır. Basit karşılaştırma, programın etkisini 5.800 − 14.000 = −8.200 dolar olarak gösterir.

Araştırmacı yaşı, eğitimi ve medeni durumu kontrol ederse, karşılaştırma grubu program katılımcılarına daha çok benzer ve tahmin, diyelim ki eksi 2.000 dolara yaklaşır. Program öncesi kazancı da kontrol ederse, tahmin artı 300 dolara çıkabilir. Ama hangi kontrol kümesinin doğru olduğunu, deneysel sonucu bilmeden söylemek mümkün değildir. Farklı kontrol kümeleri farklı sonuçlar verir ve bu sonuçların hepsi verilere eşit derecede iyi uyabilir. LaLonde'nin gösterdiği tam olarak budur: araştırmacı, doğru cevabı bilmediğinde, yanlış bir tahminin yanlış olduğunu anlayamaz.

Çözümlü örnek — Önce düşüş, sonra toparlanma

İşsizlere yönelik programlarda sık görülen bir tuzak daha var. İnsanlar bir programa genellikle kötü bir dönemin hemen ardından başvurur: işlerini yeni kaybetmişlerdir ve kazançları geçici olarak düşmüştür. Bir kişinin olağan yıllık kazancı 60.000 lira olsun. Başvurudan önceki yıl işini kaybettiği için 30.000 lira kazanmış. Program bir yıl sürüyor ve program sonrası yıl kazancı 55.000 lira.

Programın önce ve sonrasını karşılaştıran bir değerlendirici, kazancın 30.000'den 55.000'e çıktığını görür ve programın etkisini 25.000 lira olarak hesaplar. Ama bu kişi programa hiç katılmasaydı da, yeni bir iş bularak olağan düzeyine doğru dönecekti; diyelim ki 52.000 lira kazanacaktı. Programın gerçek etkisi 55.000 − 52.000 = 3.000 liradır. Kalan 22.000 lira, geçici bir düşüşten sonraki doğal toparlanmadır.

Bu örnek, ortalamaya dönüşün nedensel çıkarımda nasıl bir yanılgıya dönüştüğünü gösteriyor. Katılımcılar, kazançlarının geçici olarak en düşük olduğu anda seçildiği için, ardından gelen her toparlanma programın etkisi gibi görünür. Bu yüzden iyi bir değerlendirme, katılımcıların program öncesi birkaç yıllık kazanç geçmişine bakar ve karşılaştırma grubunu, aynı düşüşü yaşamış ama programa katılmamış kişilerden seçmeye çalışır. Program değerlendirme yazınında bu düşüş, eğitim programlarına katılanların kazançlarında bu örüntüyü 1978'de belgeleyen Orley Ashenfelter'in adıyla Ashenfelter düşüşü olarak anılır. Eğitim programlarının değerlendirilmesinde en çok tartışılan sorunlardan biridir, çünkü bir önce–sonra karşılaştırması onu hesaba katmadıkça her programı olduğundan başarılı gösterir; bir katılan–katılmayan karşılaştırması da katılmayanlar aynı düşüşü yaşamamışsa yanıltıcı olur.

Çözümlü örnek — Nedensel grafiği çizmek

Bir araştırmacı, eğitimin kazanç üzerindeki etkisini incelemek istiyor. Birkaç değişken var: ailenin geliri, kişinin eğitim yılı, kişinin mesleği ve kazancı. Bu değişkenler arasındaki ilişkileri oklarla gösteren bir diyagram çizelim.

Aile geliri hem eğitimi hem de kazancı etkiler: varlıklı aileler çocuklarını daha uzun okutur ve onlara iş ağları sağlar. Ok: aile geliri → eğitim, aile geliri → kazanç. Eğitim mesleği etkiler, meslek kazancı etkiler: eğitim → meslek → kazanç. Eğitim ayrıca kazancı doğrudan da etkiler: eğitim → kazanç.

Bu grafikte aile geliri bir karıştırıcıdır: eğitimden kazanca giden yolun dışında, iki değişkeni birden etkiler. Aile geliri kontrol edilmezse, eğitim ile kazanç arasındaki ilişki eğitimin etkisini olduğundan büyük gösterir. Meslek ise bir karıştırıcı değil, eğitimin kazancı etkilediği yolun bir parçasıdır, yani bir aracıdır. Araştırmacı eğitimin toplam etkisini ölçmek istiyorsa, mesleği kontrol etmemelidir.

Çözümlü örnek — Mesleği kontrol etmenin bedeli

Neden mesleği kontrol etmemeliyiz? Sayılarla bakalım. Eğitimin kazanca etkisinin iki parçası olsun: üniversite mezunlarının yüzde 80'i yönetici, yüzde 20'si memur olur; lise mezunlarının ise yüzde 20'si yönetici, yüzde 80'i memur. Yöneticiler ayda 20.000, memurlar 10.000 lira kazanıyor; aynı meslek içinde eğitimin ek bir etkisi yok.

Üniversite mezunlarının ortalama kazancı 0,8 × 20.000 + 0,2 × 10.000 = 18.000 lira; lise mezunlarınınki 0,2 × 20.000 + 0,8 × 10.000 = 12.000 lira. Eğitimin toplam etkisi 6.000 liradır ve tamamı, eğitimin kişileri daha iyi ödenen mesleklere taşımasından gelir.

Bir araştırmacı «aynı meslekteki kişileri karşılaştıralım» diyerek mesleği kontrol ederse, yöneticiler arasında üniversite ve lise mezunlarının kazancı aynıdır, memurlar arasında da aynıdır. Eğitimin etkisi sıfır çıkar. Oysa eğitim kazancı 6.000 lira artırıyor; yalnızca bunu meslek aracılığıyla yapıyor.

Gerçek hayatta durum daha da karmaşıktır: lise mezunu olup yönetici olmuş kişiler, büyük olasılıkla çok yetenekli ya da çok çalışkan kişilerdir. Meslek kontrol edildiğinde, yönetici grubunda lise mezunları ile üniversite mezunlarını karşılaştırmak, olağanüstü yetenekli lise mezunlarını sıradan üniversite mezunlarıyla karşılaştırmak olur. Bu da eğitimin etkisini daha da küçük, hatta eksi gösterebilir.

Çözümlü örnek — Hayatta kalan restoranlar

Bir şehirde açılan restoranlar iki özelliğe göre değişiyor: yemeklerin lezzeti ve konumun iyiliği. Bu iki özellik, restoranlar açılırken birbirinden bağımsız. Bir restoranın beş yıl hayatta kalması için ya lezzetinin ya da konumunun iyi olması yetiyor; ikisi de kötüyse kapanıyor.

Açılan 400 restoranı dört eşit gruba ayıralım: lezzeti iyi ve konumu iyi 100, lezzeti iyi ve konumu kötü 100, lezzeti kötü ve konumu iyi 100, lezzeti kötü ve konumu kötü 100. Başlangıçta lezzet ile konum arasında hiçbir ilişki yoktur: iyi konumdakilerin yarısının, kötü konumdakilerin de yarısının lezzeti iyidir.

Beş yıl sonra son grup kapanmıştır. Hayatta kalan 300 restorana bakan bir gözlemci, iyi konumdaki 200 restoranın yarısının lezzetinin iyi, kötü konumdaki 100 restoranın ise hepsinin lezzetinin iyi olduğunu görür. Kötü konumlu bir restoran hayatta kalmışsa, lezzeti kesinlikle iyidir. Gözlemci «iyi konumdaki restoranlar daha az lezzetli» sonucuna varabilir; oysa bu ilişki yalnızca kapananların verilerden düşmesiyle ortaya çıkmıştır.

Modelin sınırları

Bu örneklerde, gerçekte hiç bilinemeyen şeyleri bildiğimizi varsaydık: kursa katılanların kurs olmadan kazanacağını, eğitimin etkisinin yalnızca meslekten geçtiğini, restoranların neden kapandığını. Gerçek bir araştırmada nedensel grafik de bilinmez; araştırmacının kuramına, kurumsal bilgisine ve sağduyusuna dayanarak çizilen bir varsayımdır. Farklı araştırmacılar aynı veriler için farklı grafikler çizebilir ve hangisinin doğru olduğu verilerden çoğu zaman anlaşılamaz. Bu kurstaki yöntemlerin her biri, bu bilinmezliği belirli bir varsayımla aşar; her yöntemin değeri, o varsayımın ne kadar inandırıcı olduğuna bağlıdır.

Teknik

Nedensellik nedir?

Felsefede nedensellik üzerine tartışma yüzyıllar öncesine uzanır; ama modern istatistik ve iktisatta kullanılan tanım, karşı olgusal bir tanımdır: A'nın B üzerindeki etkisi, A gerçekleştiğinde B'nin alacağı değer ile A gerçekleşmeseydi B'nin alacağı değer arasındaki farktır. Paul Holland, 1986'da Journal of the American Statistical Association'da yayımlanan bir makalesinde, bu tanımın bir sonucunu nedensel çıkarımın temel sorunu olarak adlandırdı: aynı birim için iki değer birden gözlenemez.

Holland, bu tanımdan iki önemli sonuç çıkardı. Birincisi, nedensel sorular, «neden»lerin etkileri hakkında sorulduğunda iyi tanımlıdır: bir kursun, bir ilacın ya da bir vergi değişikliğinin etkisi nedir? Ama «etkilerin nedenleri» hakkındaki sorular, örneğin «bu kişi neden işsiz kaldı?», çok daha zordur, çünkü bir sonucun sayısız olası nedeni vardır. Bu kurs, birinci tür sorulara odaklanır. İkincisi, bir nedenin, en azından ilke olarak, değiştirilebilir olması gerekir. «Cinsiyetin kazanç üzerindeki etkisi» gibi bir soru, cinsiyetin neyinin değiştirildiğini açıkça belirtmeden iyi tanımlı değildir; bu yüzden iktisatçılar böyle soruları, örneğin işverenin algıladığı cinsiyeti değiştiren deneylerle, değiştirilebilir bir müdahaleye çevirmeye çalışır.

Üç temel yapı

Nedensel grafikler, iki değişken arasındaki ilişkinin üç temel yapıdan geçebileceğini gösterir. Zincir yapısında A → M → B: A, B'yi M aracılığıyla etkiler. M'yi kontrol etmek, A'nın B üzerindeki etkisini keser; Model bölümündeki meslek örneği budur. Çatal yapısında A ← K → B: K hem A'yı hem B'yi etkiler ve A ile B arasında nedensel olmayan bir ilişki yaratır. K'yi kontrol etmek, bu sahte ilişkiyi ortadan kaldırır; aile geliri bu türden bir karıştırıcıdır.

Üçüncü yapı, en sık gözden kaçanıdır: A → Ç ← B. Burada A ve B birbirinden bağımsızdır ve her ikisi de Ç'yi etkiler. Ç kontrol edilmedikçe A ile B arasında hiçbir ilişki görünmez. Ama Ç kontrol edilirse, ya da veriler Ç'ye göre seçilirse, A ile B arasında sahte bir ilişki ortaya çıkar.

Model bölümündeki restoran örneği tam bu yapıdadır: lezzet ve konum, hayatta kalmayı birlikte belirler; yalnızca hayatta kalanlara bakmak, hayatta kalma üzerinden seçmek demektir.

Nedensel çıkarımın üç geleneği

Bugün nedensel çıkarımda üç gelenek birlikte kullanılıyor. Birincisi, istatistikte Jerzy Neyman'ın tarım deneylerine ve Donald Rubin'in gözlemsel çalışmalara uyguladığı potansiyel sonuçlar yaklaşımıdır; nedensel etkiyi her birimin iki olası sonucu üzerinden tanımlar. İkincisi, bilgisayar biliminde Judea Pearl'ün geliştirdiği nedensel grafikler yaklaşımıdır; nedensel yapıyı diyagramlarla gösterir ve hangi etkilerin verilerden çıkarılabileceğini sistematik kurallarla belirler. Üçüncüsü, iktisatta Trygve Haavelmo'dan bu yana süren yapısal modeller geleneğidir; nedensel ilişkileri iktisat kuramından türetilen denklemlerle yazar.

Bu üç gelenek çoğu zaman aynı sorulara farklı dillerle cevap verir. Potansiyel sonuçlar yaklaşımı, belirli bir müdahalenin ortalama etkisini tanımlamakta ve deneysel tasarımları değerlendirmekte güçlüdür. Nedensel grafikler, karmaşık bir değişkenler ağında hangi değişkenlerin kontrol edilmesi gerektiğini görmekte güçlüdür. Yapısal modeller ise gözlenmemiş politikaların, örneğin hiç uygulanmamış bir vergi oranının, etkisini öngörmekte güçlüdür. Bu kurs ağırlıklı olarak ilk geleneği izleyecek, ama grafiklerin sezgisini ve yapısal modellerin sorularını da kullanacak.

Arka kapı ölçütü

Nedensel grafikler, hangi değişkenlerin kontrol edilmesi gerektiğini belirlemek için sistematik bir kural verir. Judea Pearl'ün geliştirdiği arka kapı ölçütüne göre, müdahaleden sonuca giden ve müdahaleye gelen bir okla başlayan, yani «arka kapıdan» giren her yol kapatılmalıdır. Bir çatal yolu, ortadaki karıştırıcı kontrol edilerek kapatılır. Bir çarpışan yolu ise kendiliğinden kapalıdır ve çarpışan kontrol edilirse açılır; bu yüzden çarpışanlar kontrol edilmemelidir. Müdahaleden sonuca giden doğrudan ve dolaylı yollar ise, toplam etki ölçülmek isteniyorsa, açık bırakılmalıdır; aracılar kontrol edilmemelidir.

Bu kuralın gücü, «hangi değişkenleri kontrol etmeliyim?» sorusunu bir istatistik sorusundan bir nedensel yapı sorusuna çevirmesidir. Bir değişkenin sonuçla güçlü bir korelasyonu olması, onu kontrol etmek için bir neden değildir; önemli olan, değişkenin grafikte nerede durduğudur. Ama ölçütün bir bedeli de vardır: grafik bilinmelidir. Kontrol edilmesi gereken bir karıştırıcı gözlenmiyorsa, arka kapı ölçütü sağlanamaz ve araştırmacı başka bir stratejiye, örneğin bir deneye ya da bir doğal deneye ihtiyaç duyar.

Özdeşleme ve tahmin

Nedensel çıkarımda iki ayrı soru vardır. Birincisi özdeşlemedir: sonsuz büyüklükte bir veri setimiz olsaydı, ilgilendiğimiz nedensel etkiyi verilerden ortaya çıkarabilir miydik? İkincisi tahmindir: elimizdeki sınırlı veriyle bu etkiyi ne kadar kesin biçimde ölçebiliriz? Ekonometri derslerinde daha çok ikinci soruyla, yani standart hatalarla, güven aralıklarıyla ve tahmincilerin özellikleriyle uğraştık. Bu kurs ise öncelikle birinci soruyla uğraşır.

Seçilim yanlılığı bir özdeşleme sorunudur: veri setini büyütmek onu ortadan kaldırmaz. Kursa katılanlarla katılmayanlar arasındaki gözlenen fark, bir milyon kişilik bir örneklemde de aynı seçilim yanlılığını taşır; yalnızca daha kesin biçimde tahmin edilmiş yanlış bir sayı olur. Büyük veri çağında bu ayrım özellikle önemlidir: milyonlarca gözlem, yanlış bir nedensel sonuca sahte bir kesinlik kazandırabilir. LaLonde'nin bulgusunun da asıl dersi budur: sorun örneklem büyüklüğünde değil, karşılaştırma grubunun seçiminde ve varsayımlardaydı.

Öngörü ve nedensellik

Son olarak, nedensel bir soru ile bir öngörü sorusu arasındaki fark hatırlanmalıdır. «Hangi öğrenciler okulu bırakma riski taşıyor?» bir öngörü sorusudur ve bu soruya cevap verirken nedensel yapıyı bilmek gerekmez; okulu bırakmayla ilişkili her değişken işe yarar. «Bu öğrencilere bir burs verirsek okulu bırakma oranı düşer mi?» ise nedensel bir sorudur ve bir öngörü modelinin başarısı bu soruya cevap vermez. Granger nedenselliği de, adına rağmen, bir öngörü kavramıdır: bir değişkenin geçmişinin öbürünü öngörmeye yardımcı olması, onun öbürünü etkilediği anlamına gelmez. Makine öğrenmesinin öngörü gücü, nedensel soruların zorluğunu ortadan kaldırmaz.

Uygulama

Özet kartı

1. Nedensel bir etki, bir birimin müdahaleyi aldığı ve almadığı durumlardaki sonuçları arasındaki farktır; ama iki durum aynı anda gözlenemez ve bu, nedensel çıkarımın temel sorunudur.
2. Müdahaleyi alan ve almayanlar arasındaki gözlenen fark, gerçek etki ile seçilim yanlılığının toplamıdır; seçilim, kimin katıldığına bağlı olarak etkiyi olduğundan büyük ya da küçük, hatta ters yönde gösterebilir.
3. LaLonde, rastgele atamalı bir istihdam programının deneysel sonuçlarını, o dönemin deneysel olmayan yöntemlerinin çoğunun yeniden üretemediğini gösterdi; Dale ve Krueger, aynı üniversitelere kabul edilmiş öğrencileri karşılaştırarak seçkin üniversite getirisinin büyük kısmının seçilimden kaynaklandığını, ama düşük gelirli ailelerden gelenler için gerçek bir etki olduğunu buldu.
4. Nedensel grafiklerde karıştırıcılar kontrol edilmeli, aracılar ve çarpışanlar ise toplam etki aranırken kontrol edilmemelidir; müdahalenin sonucu olan bir değişkeni kontrol etmek kötü kontroldür, ortak bir sonuca göre seçmek ise çarpışan ve hayatta kalan yanlılığı doğurur.
5. Seçilim yanlılığı bir özdeşleme sorunudur ve örneklem büyüdükçe kaybolmaz; nedensel çıkarım yöntemlerinin her biri, gözlenmeyen karşı olgusal durumu belirli bir varsayımla doldurur.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Nedensel çıkarımın temel sorununu bir cümleyle açıklayın ve bunun neden bireysel nedensel etkinin hiçbir zaman doğrudan ölçülemeyeceği anlamına geldiğini yazın.
2. (Çıktı 2) Bir sigara bırakma programına katılanların bir yıl sonra sigarayı bırakmış olma oranı yüzde 30, katılmayanlarınki yüzde 10. Programa katılanlar katılmasalardı da yüzde 22 oranında bırakacaklardı. Programın katılanlar üzerindeki etkisi ve seçilim yanlılığı nedir?
3. (Çıktı 2) Mesleği kontrol etme örneğinde, üniversite mezunlarının yüzde 60'ı yönetici, yüzde 40'ı memur olsaydı ve lise mezunlarının oranları aynı kalsaydı, eğitimin toplam etkisi ne olurdu? Meslek kontrol edildiğinde regresyon ne gösterirdi?
4. (Çıktı 3) Bir üniversitenin yalnızca yüksek lisans öğrencilerine bakan bir araştırmacı, lisans notu yüksek olanların sınav puanının daha düşük olduğunu görüyor. Kabul için ya yüksek bir lisans notu ya da yüksek bir sınav puanı yeterliyse, bu ilişkiyi nasıl açıklarsınız?
5. (Çıktı 3) Bir hastanede yatan hastaların, hastanede yatmayan aynı yaştaki kişilerden daha sağlıksız olduğu görülüyor. Bu gözlemi «hastanede yatmak sağlığı bozar» biçiminde yorumlamanın sorunu nedir? Hangi kavramla açıklanır?
6. (Çıktı 4) Bir veri bilimci, «Elimizde on milyon kullanıcının verisi var; bu kadar büyük bir örneklemle hangi uygulama özelliğinin kullanıcıları daha uzun süre tuttuğunu kesin olarak söyleyebiliriz» diyor. Bu görüşü LaLonde'nin ve Dale ile Krueger'in bulgularıyla ve özdeşleme–tahmin ayrımıyla değerlendirin.

Cevaplar

1. Nedensel çıkarımın temel sorunu, aynı birimin bir müdahaleyi aldığı durumdaki sonucu ile almadığı durumdaki sonucunun aynı anda gözlenememesidir. Bir kişi ya kursa katılır ya katılmaz; ikisini birden yapamaz. Bireysel etki bu iki sonuç arasındaki fark olduğu ve bunlardan biri her zaman gözlenmediği için, bireysel nedensel etki doğrudan ölçülemez; yalnızca ortalama etkiler, makul varsayımlarla tahmin edilebilir.
2. Programın katılanlar üzerindeki etkisi 30 − 22 = 8 puandır. Seçilim yanlılığı, katılanların program olmadan bırakma oranı ile katılmayanların bırakma oranı arasındaki farktır: 22 − 10 = 12 puan. Gözlenen 20 puanlık farkın 8 puanı programın etkisi, 12 puanı ise sigarayı bırakmaya zaten daha istekli olanların programa katılmasından kaynaklanan seçilimdir.
3. Üniversite mezunlarının ortalama kazancı 0,6 × 20.000 + 0,4 × 10.000 = 16.000 lira olurdu; lise mezunlarınınki 12.000 lira olarak kalır. Eğitimin toplam etkisi 4.000 liradır. Meslek kontrol edildiğinde, her meslek içinde üniversite ve lise mezunlarının kazancı yine aynı olduğu için regresyon eğitimin etkisini sıfır gösterirdi. Etki küçülse de, mesleği kontrol etmek onu tamamen gizlemeye devam eder.
4. Kabul, lisans notunun ve sınav puanının ortak sonucudur; yani bir çarpışandır. Yalnızca kabul edilen öğrencilere bakmak, kabul üzerinden seçmek demektir. Lisans notu düşük olan biri kabul edilmişse sınav puanı yüksek olmalıdır; sınav puanı düşük olan biri kabul edilmişse lisans notu yüksek olmalıdır. Bu yüzden kabul edilenler arasında iki değişken arasında ters yönlü bir ilişki görünür, oysa bütün başvuranlarda böyle bir ilişki olmayabilir. Bu, çarpışan yanlılığının bir örneğidir.
5. Hastanede yatanlar, hastaneye yatmadan önce de daha sağlıksızdı; hastaneye yatmalarının nedeni zaten sağlık sorunlarıydı. Hastanede yatan ve yatmayanları karşılaştırmak, hastanenin etkisini, iki grubun hastaneden önceki sağlık farkıyla karıştırır. Bu, seçilim yanlılığıdır; hastanenin gerçek etkisi olumlu olsa bile, seçilim onu olumsuz gösterebilir.
6. Veri bilimcinin görüşü, özdeşleme ile tahmini karıştırıyor. On milyon kullanıcı, bir ilişkiyi çok kesin biçimde tahmin etmeyi sağlar; ama belirli bir özelliği kullanan kullanıcılar, zaten uygulamaya daha bağlı kullanıcılarsa, aradaki fark seçilim yanlılığını da içerir ve bu yanlılık örneklem büyüdükçe kaybolmaz. LaLonde, deneysel olmayan yöntemlerin çoğunun deneysel sonuçları yeniden üretemediğini gösterdi; Dale ve Krueger ise seçkin üniversite getirisinin büyük kısmının seçilimden kaynaklandığını buldu. Her iki çalışmada da sorun örneklem büyüklüğü değil, karşılaştırılan grupların müdahale olmadan da farklı olmasıydı. Veri bilimci, özelliği rastgele seçilmiş kullanıcılara açan bir deneyle, yani bir A/B testiyle, nedensel etkiyi çok daha güvenilir biçimde ölçebilir.

İleri okuma

• Robert J. LaLonde (1986). «Evaluating the Econometric Evaluations of Training Programs with Experimental Data». American Economic Review 76(4). Deneysel olmayan yöntemlerin deneysel sonuçlarla sınanması.
• Stacy Berg Dale, Alan B. Krueger (2002). «Estimating the Payoff to Attending a More Selective College». QJE, cilt 117. Aynı üniversitelere kabul edilenleri karşılaştırarak seçilimin giderilmesi.
• Felix Elwert, Christopher Winship (2014). «Endogenous Selection Bias: The Problem of Conditioning on a Collider Variable». Annual Review of Sociology 40. Nedensel grafiklerle çarpışan yanlılığı.

Sonraki derse köprü

Bu derste nedensel soruları sözcüklerle ve diyagramlarla kurduk: gözlenen bir farkın bir kısmının etki, bir kısmının seçilim olduğunu sayılarla gösterdik, ama bu ayrımı henüz genel bir dille yazmadık. Her birimin iki olası sonucu, yani müdahaleyi aldığında ve almadığında gerçekleşecek sonuçları için bir gösterim kurulduğunda, ortalama etkinin farklı türleri, seçilim yanlılığının kesin tanımı ve bir karşılaştırmanın nedensel olarak yorumlanabilmesi için gereken varsayımlar tek bir çerçevede yazılabilir. Sıradaki ders, bu çerçeveyi, yani potansiyel sonuçlar çerçevesini kuruyor.