Potansiyel sonuçlar çerçevesi

Öğrenme çıktıları

• Hatırlama — Potansiyel sonuçları, ortalama tedavi etkisini, tedavi edilenler üzerindeki ortalama etkiyi, kararlı birim tedavi değeri varsayımını, koşullu bağımsızlık varsayımını ve ortak desteği tanımlar.
• Uygulama — Potansiyel sonuçları verilmiş küçük bir nüfusta bireysel etkileri, ortalama tedavi etkisini ve tedavi edilenler üzerindeki etkiyi hesaplar; gözlenen ortalama farkı bu etkiler ile seçilim yanlılığına ayrıştırır.
• Analiz — İki grubun karşılaştırmasını bir etki olarak okumak için hangi varsayımların gerektiğini, yani atama mekanizmasını, birimler arası etkileşimin yokluğunu ve karşılaştırılabilir grupların varlığını çözümler.
• Değerlendirme — Kümelenmiş rastgele atamalı bir iş piyasası deneyinin bulgularına dayanarak, birimler arası etkileşimin yok sayılmasının bir programın değerlendirmesini nasıl yanıltabileceğini değerlendirir.

Sezgi

Açılış

Nedensellik problemini ele aldığımız derste, bir meslek kursuna katılanların kazancının katılmayanlardan düşük olabileceğini, ama kursun yine de işe yarıyor olabileceğini sayılarla gördük. Gözlenen farkın bir kısmı kursun etkisi, bir kısmı seçilimdi. Şimdi aynı fikri genel bir dille yazmamız gerekiyor. Çünkü «etki» dediğimizde birden çok şey kastedebiliriz: kursun herkes için ortalama etkisini mi, yalnızca kursa katılanlar için etkisini mi, yoksa henüz katılmamış olanlar katılsaydı ne olacağını mı? Üç sorunun her biri ayrı bir politika kararını besler ve cevapları birbirinden farklı çıkabilir.

Bu ders, nedensel çıkarımın ortak dilini kuruyor: her birim için iki olası sonuç, bu sonuçlardan türetilen etkiler ve bir karşılaştırmanın bu etkileri doğru ölçmesi için gereken varsayımlar. Bu dil, kursun geri kalanındaki her yöntemin, yani deneylerin, araç değişkenlerin, fark içinde farkın ve eşleştirmenin, neyi tahmin ettiğini ve hangi varsayıma dayandığını açıkça yazmamızı sağlayacak.

Hikâye — bir psikoloğun önerisi

Potansiyel sonuçlar fikrinin kökü, 1920'lerde Jerzy Neyman'ın tarım deneyleri üzerine yazdığı bir çalışmaya uzanır: her tarla parselinin, her gübre türü altında alacağı bir verim vardır, ama her parselde yalnızca bir gübre denenebilir. Bu fikir uzun süre yalnızca rastgele deneyler için kullanıldı. Donald Rubin, 1970'lerde onu deney yapılamayan durumlara taşıdı.

Rubin'in katkısı, bir deney yapılmamış olsa bile nedensel sorunun aynı biçimde sorulabileceğini göstermesiydi. Birimlerin her biri için iki olası sonuç tanımlanır; deney ya da gözlem, yalnızca bunlardan hangisinin görüleceğini belirler. Bir deneyde hangisinin görüleceğine kura karar verir; gözlemsel verilerde ise insanların kendi seçimleri. Sorun, bu seçim mekanizmasının ne kadar iyi anlaşıldığıdır. İktisatçılar bu çerçeveyi bazen onu geliştirenlerin adıyla Rubin nedensellik modeli diye de anar.

Kavram — iki sonuç, bir gözlem

Her birim için, müdahaleyi aldığı ve almadığı durumlarda gerçekleşecek iki sonuç tanımlanır.

Bireysel etkiler gözlenemediği için, ilgilendiğimiz büyüklükler ortalamalardır.

Etkiler herkes için aynıysa, bu iki büyüklük birbirine eşittir. Ama etki heterojenliği varsa ve insanlar programa etkinin kendileri için büyük olduğunu bildikleri için katılıyorlarsa, tedavi edilenler üzerindeki etki ortalama tedavi etkisinden büyük olur.

Veri ve kanıt — kursun sınırı: birimler birbirini etkilediğinde

Potansiyel sonuçlar çerçevesinin sessiz bir varsayımı vardır: bir kişinin sonucu yalnızca kendisinin müdahaleyi alıp almamasına bağlıdır, başkalarınınkine değil. İş piyasası programlarında bu varsayım şüphelidir. Bir iş arayana işe yerleştirme desteği verilirse ve o kişi bir işi alırsa, aynı işi başka bir iş arayan alamaz. Bruno Crépon, Esther Duflo ve arkadaşları bu sorunu ölçmek için iki aşamalı bir deney tasarladı.

Crépon ve arkadaşlarının deneyi, bu varsayımın ihlal edildiğini doğrudan gösterdi. Programa atananların iş bulma olasılığının artması, bireysel bir karşılaştırmada programın başarılı olduğunu gösteriyordu. Ama aynı iş piyasasındaki programa atanmayanlar daha az iş buluyordu: işler programdan yararlananlara kaymıştı. Programın toplam iş sayısını artırıp artırmadığı sorusu, bireysel karşılaştırmadan çok farklı bir cevap verdi.

Neden önemli? — doğru soruyu doğru büyüklükle cevaplamak

Bir bakanlık bir programı bütün ülkeye yaymayı düşünüyorsa, ilgilendiği büyüklük ortalama tedavi etkisidir ve bu etki, programın piyasa düzeyindeki dolaylı etkilerini de içermelidir. Mevcut bir programı sürdürüp sürdürmemeye karar veriyorsa, ilgilendiği büyüklük tedavi edilenler üzerindeki etkidir. Bir değerlendirme raporu bu ayrımı yapmazsa, doğru bir sayı yanlış bir soruya cevap olarak sunulabilir. Potansiyel sonuçlar çerçevesi, her değerlendirmenin önce hangi büyüklüğü ölçmeye çalıştığını, sonra bunun için hangi varsayıma ihtiyaç duyduğunu açıkça yazmasını sağlar.

Model

Aşağıdaki adlar ve puanlar uydurmadır; amaç, kavramları elle hesaplanabilecek kadar küçük bir nüfusta göstermektir.

Çözümlü örnek — Altı kişilik bir nüfus

Bir dil kursunun etkisini incelediğimizi ve olağanüstü bir şekilde, altı kişinin her biri için iki potansiyel sonucu, yani kursa katılsalar ve katılmasalar alacakları sınav puanlarını bildiğimizi varsayalım.

Ayşe: Y1 = 80, Y0 = 60, etki 20. Burak: Y1 = 75, Y0 = 55, etki 20. Cem: Y1 = 70, Y0 = 60, etki 10. Deniz: Y1 = 65, Y0 = 65, etki 0. Elif: Y1 = 70, Y0 = 70, etki 0. Fatih: Y1 = 60, Y0 = 70, etki eksi 10.

Ortalama tedavi etkisi, altı bireysel etkinin ortalamasıdır: (20 + 20 + 10 + 0 + 0 − 10) ÷ 6 = 40 ÷ 6 ≈ 6,7 puan. Kurs ortalamada puanı yaklaşık 6,7 artırır; ama Fatih için zararlıdır, Deniz ve Elif için etkisizdir.

Şimdi kursa kimin katıldığına bakalım. Ayşe, Burak ve Cem katılmış; Deniz, Elif ve Fatih katılmamış olsun. Gözlenen puanlar şunlardır: katılanlar için Y1, yani 80, 75 ve 70; katılmayanlar için Y0, yani 65, 70 ve 70. Katılanların ortalaması 75, katılmayanlarınki 68,3. Gözlenen fark yaklaşık 6,7 puandır.

Tesadüfen ortalama tedavi etkisine eşit görünüyor; ama bu bir rastlantıdır. Tedavi edilenler üzerindeki etki, Ayşe, Burak ve Cem'in bireysel etkilerinin ortalamasıdır: (20 + 20 + 10) ÷ 3 ≈ 16,7 puan. Katılanlar, kursun kendileri için en yararlı olduğu kişilerdir. Gözlenen fark tedavi edilenler üzerindeki etkiden 10 puan küçüktür. Bu 10 puan nereden geliyor?

Çözümlü örnek — Gözlenen farkın ayrıştırılması

Gözlenen fark şöyle yazılabilir: E[Y1 | D = 1] − E[Y0 | D = 0]. Bu ifadeye, katılanların kurs olmasaydı alacağı ortalama puanı, yani E[Y0 | D = 1], bir kez ekleyip bir kez çıkaralım:

Gözlenen fark = {E[Y1 | D = 1] − E[Y0 | D = 1]} + {E[Y0 | D = 1] − E[Y0 | D = 0]}.

Birinci süslü parantez, tedavi edilenler üzerindeki ortalama etkidir. İkincisi, katılanlar ile katılmayanların kurs olmadan alacakları puanlar arasındaki farktır; yani seçilim yanlılığıdır. Nedensellik problemi dersinde sayılarla gördüğümüz «gözlenen fark = etki + seçilim» ilişkisi, bu ayrıştırmanın kendisidir.

Altı kişilik örneğe uygulayalım. Katılanların kurs olmadan alacağı puanlar Ayşe 60, Burak 55, Cem 60; ortalaması 58,3. Katılmayanların puanları 65, 70, 70; ortalaması 68,3. Seçilim yanlılığı 58,3 − 68,3 = eksi 10'dur. Ayrıştırma: 16,7 + (−10) = 6,7. Gözlenen fark tam olarak tedavi edilenler üzerindeki etki ile seçilim yanlılığının toplamına eşittir.

Bu örnekte iki ayrı seçilim birlikte işliyor. Kursa katılanlar, kurs olmadan da daha düşük puan alacak kişilerdir; bu, seçilim yanlılığını eksi yapar. Aynı zamanda katılanlar, kursun kendilerine en çok yarayacağı kişilerdir; bu, tedavi edilenler üzerindeki etkiyi ortalama tedavi etkisinden büyük yapar. Gözlenen farkın ortalama tedavi etkisine eşit çıkması, iki sapmanın tesadüfen birbirini götürmesinden kaynaklanır.

Çözümlü örnek — Kendi kazancına göre seçmek

Neden kursa etkinin büyük olduğu kişiler katılır? Kişiler, kurstan ne kazanacaklarını kısmen bilir ve buna göre karar verirse, katılım kararı bireysel etkiyle ilişkili olur. Kursun katılımcıya maliyeti 5 puanlık bir eşdeğer olsun, örneğin zaman ve para. Her kişi, kendi etkisi 5'ten büyükse katılır.

Altı kişilik nüfusta Ayşe, Burak ve Cem'in etkileri 5'ten büyüktür; Deniz, Elif ve Fatih'inki değildir. Katılım tam olarak gözlenen biçimde oluşur. Bu durumda tedavi edilenler üzerindeki etki 16,7, ortalama tedavi etkisi 6,7, tedavi edilmeyenler üzerindeki etki ise (0 + 0 − 10) ÷ 3 ≈ −3,3'tür.

Politika açısından sonuç önemlidir. Bir bakan kursun herkese zorunlu hâle getirilmesini düşünüyorsa, tedavi edilenler üzerindeki 16,7 puanlık etkiye bakarak karar vermemelidir: kursa zorla gönderilecek Deniz, Elif ve Fatih ortalamada hiç kazanmayacak, hatta kaybedecektir. Bu, iktisatta kendi kazancına göre seçilim diye bilinen mekanizmanın bir örneğidir ve eğitimin, göçün ya da meslek seçiminin getirilerini değerlendirirken sürekli karşımıza çıkar.

Çözümlü örnek — Gruplar içinde karşılaştırmak

Seçilim yanlılığından kurtulmanın bir yolu, katılımın yalnızca gözlenen özelliklere bağlı olduğu durumu bulmaktır. Bir şirket, çalışanlarına bir yazılım eğitimi sunuyor. Eğitime katılım, çalışanın departmanına göre değişiyor: mühendislik departmanında çalışanların yüzde 80'i, satış departmanında yüzde 20'si katılıyor. Departman içinde ise kimin katılacağı, toplantı takvimine göre neredeyse rastlantısal biçimde belirleniyor.

Verimlilik puanları şöyle: mühendislikte eğitim alanlar 90, almayanlar 80; satışta eğitim alanlar 65, almayanlar 60. Her departmanda 100 çalışan var.

Basit karşılaştırma yanıltıcıdır. Eğitim alanların 80'i mühendislikten, 20'si satıştan gelir; ortalamaları (80 × 90 + 20 × 65) ÷ 100 = 85. Almayanların 20'si mühendislikten, 80'i satıştan gelir; ortalamaları (20 × 80 + 80 × 60) ÷ 100 = 64. Gözlenen fark 21 puandır. Ama bu farkın büyük bir kısmı, eğitime daha çok mühendislerin katılmasından ve mühendislerin zaten daha yüksek puan almasından gelir.

Departman içinde karşılaştırma yapalım. Mühendislikte etki 90 − 80 = 10, satışta 65 − 60 = 5 puandır. İki departman eşit büyüklükte olduğu için ortalama tedavi etkisi (10 + 5) ÷ 2 = 7,5 puandır. Tedavi edilenler üzerindeki etki ise, eğitim alanların departman dağılımıyla ağırlıklandırılır: 0,8 × 10 + 0,2 × 5 = 9 puan. Bu hesap, departman içinde katılımın rastlantısal olduğu varsayımına dayanır.

Çözümlü örnek — Regresyon hangi ortalamayı verir?

Departman örneğinde satış departmanındaki katılım oranının yüzde 20 değil yüzde 50 olduğunu varsayalım; departman içi etkiler aynı kalsın: mühendislikte 10, satışta 5 puan. Bir araştırmacı, verimlilik puanını eğitim göstergesi ve departman göstergesiyle açıklayan bir regresyon tahmin ediyor. Eğitim katsayısı neyi ölçer?

Bu tür bir regresyon, her departmandaki etkiyi, o departmanda eğitim göstergesinin varyansıyla, yani p × (1 − p) ile orantılı bir ağırlıkla ortalar; p, departmandaki katılım oranıdır. Mühendislikte p = 0,8 olduğu için ağırlık 0,8 × 0,2 = 0,16, satışta p = 0,5 olduğu için ağırlık 0,5 × 0,5 = 0,25'tir. İki departman eşit büyüklükte olduğundan regresyon katsayısı (0,16 × 10 + 0,25 × 5) ÷ (0,16 + 0,25) = 2,85 ÷ 0,41 ≈ 7,0 puan olur.

Bu sayı ne ortalama tedavi etkisine, yani (10 + 5) ÷ 2 = 7,5'e, ne de tedavi edilenler üzerindeki etkiye eşittir. Eğitim alanların 80'i mühendislikten, 50'si satıştan geldiği için tedavi edilenler üzerindeki etki (80 × 10 + 50 × 5) ÷ 130 ≈ 8,1 puandır. Regresyon, katılımın en dengeli olduğu satış departmanına, etkinin küçük olduğu yere, daha fazla ağırlık verdiği için iki büyüklüğün de altında kalır. Fark bu örnekte küçüktür; ama departmanlar arasında etkiler ve katılım oranları çok farklıysa, regresyon katsayısı hiçbir politika sorusunun cevabına karşılık gelmeyen bir ortalama olabilir.

Çözümlü örnek — Yüz işe iki yüz aday

Bir şehirde 100 açık iş ve 200 iş arayan var. Ne olursa olsun bütün işler dolacak, yani 100 kişi iş bulacak. Kamu istihdam kurumu iş arayanların yarısına, rastgele seçilmiş 100 kişiye, iş görüşmesi hazırlığı desteği veriyor. Destek alanlar görüşmelerde daha iyi performans gösterdiği için işlerin 60'ını alıyor; destek almayanlar 40'ını.

Birey düzeyindeki karşılaştırma şunu gösterir: destek alanların iş bulma oranı yüzde 60, almayanlarınki yüzde 40; fark 20 puan. Rastgele atama yapıldığı için seçilim yanlılığı yoktur. Ama şehirdeki toplam istihdam desteğe rağmen 100 kişidir; destek olmasaydı da 100 kişi iş bulacaktı. Destek, toplam iş sayısını değiştirmemiş, yalnızca işlerin kime gittiğini değiştirmiştir.

Destek olmasaydı her iş arayanın iş bulma olasılığı yüzde 50 olurdu. Destek alanlar için etki 60 − 50 = 10 puan, destek almayanlar için 40 − 50 = eksi 10 puandır. Birey düzeyindeki 20 puanlık fark, destek alanların kazancı ile almayanların kaybının toplamıdır. Bu sayılar varsayımsaldır, ama Crépon ve arkadaşlarının deneyinde bulduğu yerinden etme etkisinin mantığını gösterir. Gerçek bir iş piyasasında destek, iş arayanlar ile işverenler arasındaki eşleşmeyi hızlandırarak toplam istihdamı da biraz artırabilir; o zaman toplam etki sıfırdan büyük, ama birey düzeyindeki farktan küçük olur.

Bu örnek, bir değerlendirmenin hangi düzeyde yapılacağının neden önemli olduğunu da gösteriyor. Kurum yalnızca bireyleri izleseydi programı başarılı bulurdu; şehir düzeyindeki istihdama baksaydı başarısız. Doğru soru, kurumun neyi amaçladığına bağlıdır: belirli bir dezavantajlı grubun iş bulmasını kolaylaştırmak meşru bir amaç olabilir ve o zaman işlerin el değiştirmesi bir başarıdır. Ama amaç toplam işsizliği düşürmekse, birey düzeyindeki 20 puanlık fark yanıltıcıdır.

Çözümlü örnek — Karşılaştıracak kimse yoksa

Aynı şirkette üçüncü bir departman, yönetim, olduğunu varsayalım. Yönetimde çalışanların hepsi eğitime katılmış. Bu departmanda eğitim almayan hiç kimse olmadığı için, yöneticilerin eğitim olmadan ne puan alacağını tahmin edecek bir karşılaştırma grubu yoktur. Koşullu bağımsızlık varsayımı doğru olsa bile, yönetim departmanı için etki hesaplanamaz.

Araştırmacı bu durumda iki şey yapabilir. Ya etkiyi yalnızca ortak desteğin bulunduğu departmanlar, yani mühendislik ve satış için hesaplar ve sonucun yönetim için geçerli olmayabileceğini açıkça belirtir; ya da bir model kurarak, örneğin etkinin departmanların ortalama puanıyla doğrusal olarak arttığını varsayarak, yönetim için bir tahmin üretir. İkinci yol, verilerin değil varsayımın sonucudur ve öyle sunulmalıdır.

Modelin sınırları

Bu örneklerde her kişinin iki potansiyel sonucunu bildiğimizi varsaydık; gerçekte bunlardan biri her zaman eksiktir. Ayrıştırma, tedavi edilenler üzerindeki etkiyi ve seçilim yanlılığını ayrı ayrı hesaplamamıza izin verdi, ama gerçek verilerde bu iki parça birlikte gözlenir ve ayrı ayrı görülmez. Departman örneği, departman içinde katılımın rastlantısal olduğunu varsaydı; departman içinde de en hevesli çalışanlar katılıyorsa, koşullu bağımsızlık ihlal edilir ve departman içi karşılaştırma yine yanlıdır. Bütün örnekler, bir kişinin sonucunun başkalarının katılımından etkilenmediğini varsaydı; Crépon ve arkadaşlarının deneyi, bu varsayımın iş piyasalarında ihlal edilebildiğini gösterdi.

Teknik

Atama mekanizması

Potansiyel sonuçlar çerçevesinde nedensel çıkarımın merkezinde atama mekanizması, yani hangi birimin müdahaleyi alacağını belirleyen süreç durur. Atama mekanizması potansiyel sonuçlardan bağımsızsa, yani D, Y1 ve Y0'dan bağımsızsa, E[Y0 | D = 1] = E[Y0 | D = 0] olur ve seçilim yanlılığı sıfırdır. Ayrıca E[Y1 | D = 1] = E[Y1] olduğu için gözlenen fark, ortalama tedavi etkisine eşittir. Rastgele atama, bu bağımsızlığı tasarım yoluyla sağlar; bu yüzden sonraki dersin konusu olan rastgele kontrollü deneyler, nedensel çıkarımın ölçütü sayılır.

Gözlemsel verilerde atama mekanizması bilinmez ve araştırmacı onun hakkında bir varsayım yapmak zorundadır. Koşullu bağımsızlık, bu varsayımların en yaygın olanıdır: gözlenen X özellikleri verildiğinde, D, Y1 ve Y0'dan bağımsızdır. Ortak destekle birlikte, bu varsayım altında ortalama tedavi etkisi, her X değeri içindeki karşılaştırmaların ağırlıklı ortalaması olarak özdeşlenir. Eşleştirme yöntemleri ve regresyonla kontrol, bu varsayıma dayanır. Varsayımın zayıflığı, gözlenmeyen özelliklere göre seçilimi dışlamasıdır; bu yüzden kursun ilerleyen derslerindeki doğal deney temelli tasarımlar, yani araçlar, zaman içindeki farkların karşılaştırılması ve eşik tasarımları, koşullu bağımsızlık yerine başka varsayımlara dayanan alternatifler olarak geliştirildi.

Hedef büyüklük ve tahminci

Potansiyel sonuçlar çerçevesinin önemli bir katkısı, tahmin edilmek istenen büyüklük ile onu tahmin etmek için kullanılan yöntemin ayrılmasıdır. Ortalama tedavi etkisi, tedavi edilenler üzerindeki etki ve yerel ortalama tedavi etkisi, farklı hedef büyüklüklerdir. Grup ortalamalarının farkı, regresyon katsayısı ya da araç değişken tahmini ise tahmincilerdir. Bir tahmincinin hangi hedef büyüklüğü tahmin ettiği, atama mekanizmasına ve varsayımlara bağlıdır.

Bu ayrım, uygulamada sık yapılan bir hatayı önler. Bir regresyon katsayısı otomatik olarak «etki» diye yorumlanır; oysa etki heterojense ve katılım gözlenen özelliklere bağlıysa, kontrollü bir regresyonun katsayısı, ortalama tedavi etkisinin değil, gruplara farklı ağırlıklar veren bir ortalamanın tahminidir. Regresyon, katılım oranı yarıya yakın olan, yani müdahaleyi alanların ve almayanların dengeli olduğu gruplara daha fazla ağırlık verir. Departman örneğinde regresyon tahmini, ortalama tedavi etkisinden de tedavi edilenler üzerindeki etkiden de farklı olabilir.

Bireysel etkilerin dağılımı

Ortalama etkiler özdeşlenebilse de bireysel etkilerin dağılımı genellikle özdeşlenemez. Rastgele bir deney, Y1'in ve Y0'ın dağılımlarını ayrı ayrı verir, ama iki sonucun birlikte dağılımını vermez; çünkü hiçbir birim için ikisi birden gözlenmez. Bu yüzden «programdan kaç kişi zarar gördü?» sorusu, deneysel verilerle bile cevaplanamaz. Altı kişilik örnekte Fatih kurstan zarar görüyordu; ama gerçek bir deneyde Fatih'in zarar gördüğünü bilemezdik, yalnızca iki grubun puan dağılımlarını karşılaştırabilirdik.

İki dağılımın farklı noktalarını, örneğin medyanlarını ya da en alttaki yüzde onluk dilimlerini karşılaştıran nicel etkiler hesaplanabilir. Ama bu etkiler, dağılımların farkını gösterir, bireysel etkilerin dağılımını değil. En düşük puanlı yüzde onluk dilimin puanının artması, en düşük puanlı kişilerin kazandığı anlamına gelmez; kurs sıralamayı değiştirmiş olabilir.

Birimler arası etkileşim ve kümelenmiş tasarımlar

Kararlı birim tedavi değeri varsayımının ihlali, potansiyel sonuçlar çerçevesini genişletmeyi gerektirir. Bir birimin sonucu, kendi müdahalesine ve aynı gruptaki öbür birimlerin ne kadarının müdahaleyi aldığına bağlıysa, her birimin iki değil, birçok potansiyel sonucu vardır. Crépon ve arkadaşlarının iki aşamalı tasarımı tam bu yapıyı hedefledi: piyasaların tedavi oranlarını rastgele belirleyerek, tedavi oranının hem tedavi edilenlerin hem de edilmeyenlerin sonuçlarını nasıl etkilediğini ölçebildiler.

Bu tür tasarımlar, birimler arası etkileşimin yalnızca grup içinde gerçekleştiği, gruplar arasında gerçekleşmediği varsayımına dayanır; buna kısmi etkileşim denir. Kenya'da parazit tedavisini incelediğimiz derste, Miguel ve Kremer'in bireyleri değil okulları rastgele seçmesinin nedeni de buydu. Kısmi etkileşim varsayımı, gruplar doğru tanımlanırsa makuldür: bir şehrin iş piyasası komşu şehirlerden görece ayrıysa, etkileşim şehir içinde kalır.

Müdahalenin tek bir biçimi olmalı

Kararlı birim tedavi değeri varsayımının ikinci parçası, çoğu zaman gözden kaçar: müdahalenin herkes için aynı biçimde tanımlı olması gerekir. «Meslek kursuna katılmak» dediğimizde, iyi bir eğitmenle verilen bir kurs ile kötü bir eğitmenle verilen bir kurs farklı müdahalelerse, her kişinin tek bir Y1'i yoktur; hangi kursa katıldığına göre değişen birden çok Y1'i vardır. Bu durumda «kursun etkisi», kursun gerçekleştiği biçimlerin karışımının etkisidir ve kurs başka bir biçimde yaygınlaştırılırsa etki değişebilir.

Bu sorun, politika değerlendirmesinde gerçek sonuçlar doğurur. Küçük ölçekte, deneyimli ve hevesli kurumlar tarafından uygulanan bir program, büyük ölçekte ve sıradan kurumlar tarafından uygulandığında farklı bir müdahaleye dönüşebilir. Bir deneyin bulduğu etki, deneydeki müdahalenin etkisidir; programın ülke çapında uygulanacak biçiminin etkisi değil. Dış geçerlilik dersinde bu sorun, ölçek büyütmenin güçlükleri başlığı altında ayrıca ele alınacak.

Hangi büyüklük, hangi soru?

Potansiyel sonuçlar çerçevesinde tanımlanan üç temel büyüklük, üç farklı politika sorusuna karşılık gelir. Ortalama tedavi etkisi, programın herkese uygulanması sorusunu cevaplar. Tedavi edilenler üzerindeki etki, mevcut katılımcıların programdan ne kazandığını gösterir. Tedavi edilmeyenler üzerindeki etki, yani E[Y1 − Y0 | D = 0], programın şu anda katılmayanlara genişletilmesi durumunda onların ne kazanacağını gösterir. Kendi kazancına göre seçilim varsa, bu üç büyüklük birbirinden farklıdır ve genellikle tedavi edilenler üzerindeki etki en büyük, tedavi edilmeyenler üzerindeki etki en küçüktür.

Bir programın genişletilmesi tartışılırken, çoğu zaman katılımcılar üzerindeki etkiye bakılır ve bu etki yeni katılımcılara da uygulanır. Bu, katılmayanların programdan katılanlar kadar yararlanacağı varsayımına dayanır; kendi kazancına göre seçilim varsa bu varsayım yanlıştır ve genişletmenin getirisini abartır. Güvenilir bir değerlendirme raporu bu nedenle katılımın kimlere yöneldiğini ve etkinin gözlenen özelliklere göre nasıl değiştiğini de raporlar.

Bu üç büyüklüğe bir dördüncüsü eklenebilir: politika ile ilgili tedavi etkisi. Bir politika değişikliği, örneğin kurs ücretinin düşürülmesi, katılımı yalnızca belirli kişiler için değiştirir: ücret yüzünden katılmayan ama ücret düşünce katılacak olanlar için. Bu politikanın etkisi, yalnızca bu kişilerin bireysel etkilerinin ortalamasına bağlıdır. Araç değişkenler dersinde göreceğimiz yerel ortalama tedavi etkisi, bu fikrin özel bir biçimidir ve hangi kişilerin katılımının değiştiğini bilmenin neden önemli olduğunu gösterir.

İki dil, bir soru

Guido Imbens, potansiyel sonuçlar yaklaşımını ve nedensel grafikleri iktisadi uygulama açısından karşılaştırdı.

Imbens'in değerlendirmesine göre iktisatçılar, etkileri heterojen olan tek bir müdahalenin etkisini, deneyler ve doğal deneylerle ölçmeye odaklandıkları için potansiyel sonuçlar diline yakındır. Grafikler ise çok sayıda değişkenin birbirini etkilediği bir yapıda hangi değişkenin sabit tutulması, hangisinin serbest bırakılması gerektiğini göstermekte daha elverişlidir. İki dil çelişmez; aynı nedensel varsayımları farklı biçimlerde yazar ve iyi bir araştırmacı, ihtiyaca göre ikisini birden kullanabilir.

Uygulama

Özet kartı

1. Her birimin, müdahaleyi alması hâlinde Y1, almaması hâlinde Y0 olmak üzere iki potansiyel sonucu vardır; bireysel etki Y1 − Y0'dır ve hiçbir birim için ikisi birden gözlenmez.
2. Ortalama tedavi etkisi bütün nüfustaki ortalama etkidir, tedavi edilenler üzerindeki etki ise yalnızca müdahaleyi alanlardaki ortalama etkidir; insanlar kendi kazançlarına göre katılıyorsa ikincisi birinciden büyüktür.
3. Gözlenen ortalama fark, tedavi edilenler üzerindeki etki ile seçilim yanlılığının, yani E[Y0 | D = 1] − E[Y0 | D = 0] farkının toplamına eşittir; rastgele atama seçilim yanlılığını sıfırlar.
4. Koşullu bağımsızlık varsayımı altında, gözlenen özellikleri aynı olan birimlerin karşılaştırılması nedensel etki verir; ama bunun için ortak desteğin, yani her grupta hem müdahaleyi alan hem almayan birimlerin bulunması gerekir.
5. Kararlı birim tedavi değeri varsayımı, bir birimin sonucunun başkalarının müdahalesinden etkilenmediğini varsayar; Crépon ve arkadaşları, Fransa'da işe yerleştirme desteğinin kazançlarının kısmen destek almayan iş arayanların aleyhine gerçekleştiğini ve programın net yararının çok küçük olduğunu buldu.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Ortalama tedavi etkisi ile tedavi edilenler üzerindeki ortalama etki arasındaki farkı açıklayın. Hangi politika sorusu için hangisi ilgilidir?
2. (Çıktı 2) Altı kişilik örnekte kursa Deniz, Elif ve Fatih katılmış, Ayşe, Burak ve Cem katılmamış olsaydı, gözlenen fark, tedavi edilenler üzerindeki etki ve seçilim yanlılığı ne olurdu?
3. (Çıktı 2) Departman örneğinde satış departmanında eğitim alanların puanı 65 yerine 70 olsaydı, ortalama tedavi etkisi ve tedavi edilenler üzerindeki etki ne olurdu?
4. (Çıktı 3) Bir köyde bir ailenin aşı olması, komşularının hastalanma riskini de azaltıyor. Bu durumda bireysel düzeyde rastgele atamalı bir deney, aşının toplam etkisini olduğundan büyük mü yoksa küçük mü gösterir? Hangi varsayım ihlal edilmektedir?
5. (Çıktı 3) Bir araştırmacı, bir eğitim programının etkisini yaşa göre gruplar içinde karşılaştırarak ölçüyor. 50 yaş üstündekilerin hiçbiri programa katılmamış. Bu, araştırmacının sonuçlarını nasıl sınırlar?
6. (Çıktı 4) Bir istihdam kurumu yöneticisi, «Destek alan iş arayanlar, almayanlardan anlamlı biçimde daha çok iş buldu; o hâlde destek programını genişletirsek işsizlik düşer» diyor. Bu görüşü Crépon ve arkadaşlarının bulgularıyla değerlendirin.

Cevaplar

1. Ortalama tedavi etkisi, nüfustaki herkesin müdahaleyi alması ile hiç kimsenin almaması arasındaki ortalama farktır. Tedavi edilenler üzerindeki etki ise yalnızca müdahaleyi gerçekten alan birimlerin ortalama etkisidir. Bir programın herkese yayılıp yayılmayacağına ya da zorunlu kılınıp kılınmayacağına karar verirken ortalama tedavi etkisi ilgilidir. Mevcut bir programın katılımcılarına yararlı olup olmadığına, yani programın sürdürülüp sürdürülmeyeceğine karar verirken tedavi edilenler üzerindeki etki ilgilidir.
2. Katılanların gözlenen puanları Y1'leri, yani 65, 70 ve 60'tır; ortalama 65. Katılmayanların puanları Y0'ları, yani 60, 55 ve 60'tır; ortalama 58,3. Gözlenen fark yaklaşık 6,7 puandır. Tedavi edilenler üzerindeki etki, Deniz, Elif ve Fatih'in etkilerinin ortalamasıdır: (0 + 0 − 10) ÷ 3 ≈ −3,3. Seçilim yanlılığı, katılanların Y0 ortalaması ile katılmayanların Y0 ortalaması arasındaki farktır: (65 + 70 + 70) ÷ 3 − 58,3 = 68,3 − 58,3 = 10. Ayrıştırma: −3,3 + 10 = 6,7. Bu kez kurs katılanlara ortalamada zarar veriyor, ama seçilim yanlılığı gözlenen farkı olumlu gösteriyor.
3. Satışta etki 70 − 60 = 10 puan olurdu; mühendislikte de 10 puan. Ortalama tedavi etkisi (10 + 10) ÷ 2 = 10 puan, tedavi edilenler üzerindeki etki 0,8 × 10 + 0,2 × 10 = 10 puan olurdu. Etki iki departmanda aynı olduğu için iki büyüklük birbirine eşitlenir: etki heterojenliği ortadan kalkınca, katılımın kime yöneldiği bu büyüklükleri ayırmaz.
4. Aşı olan bir aile komşularını da koruyorsa, aşı olmayan kontrol grubundaki aileler de aşının dolaylı yararından payını alır; kontrol grubunun hastalanma oranı, hiç kimsenin aşı olmadığı bir köydekinden düşük olur. Bu yüzden bireysel düzeyde rastgele atamalı bir deney, aşının toplam etkisini olduğundan küçük gösterir. İhlal edilen varsayım, kararlı birim tedavi değeri varsayımıdır: bir ailenin sonucu, başka ailelerin aşı olup olmamasına bağlıdır. Toplam etkiyi ölçmek için köy düzeyinde rastgele atama yapılmalıdır.
5. 50 yaş üstündekiler için programa katılmayan karşılaştırma birimleri yoktur; bu grupta ortak destek sağlanmamıştır. Araştırmacı, 50 yaş üstündekilerin programa katılsalardı ne kazanacaklarını verilerden tahmin edemez. Sonuçları yalnızca 50 yaş altındakiler için geçerlidir ve programın 50 yaş üstündekilere yayılması durumunda ne olacağına dair bir şey söylemez. Bir model kurarak bu yaş grubuna dışa doğru tahmin yapılabilir, ama bu tahmin verilerin değil, modelin varsayımlarının sonucudur ve öyle sunulmalıdır.
6. Yöneticinin gözlemi, Crépon ve arkadaşlarının deneyindeki birey düzeyindeki bulguyla uyumludur: programa atanan gençlerin istikrarlı bir iş bulma olasılığı anlamlı biçimde yüksekti. Ama aynı deney, bu kazançların geçici olduğunu ve kısmen programdan yararlanmayan iş arayanların aleyhine gerçekleştiğini, özellikle zayıf iş piyasalarında ve eğitimli işçilerin birbiriyle rekabet ettiği piyasalarda, gösterdi. Programın net yararı çok küçüktü. Destek alanlar daha çok iş buluyorsa ama toplam iş sayısı değişmiyorsa, programı genişletmek işsizliği düşürmez; yalnızca işlerin kimin eline geçtiğini değiştirir. Kararlı birim tedavi değeri varsayımı ihlal edildiğinde, bireysel karşılaştırma programın toplam etkisini abartır. Programın işsizlik üzerindeki etkisini ölçmek için, Crépon ve arkadaşlarının yaptığı gibi, piyasa düzeyinde de rastgele atama gerekir.

İleri okuma

• Donald B. Rubin (1974). «Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies». Journal of Educational Psychology 66(5). Potansiyel sonuçlar çerçevesinin gözlemsel çalışmalara taşınması.
• Bruno Crépon, Esther Duflo, Marc Gurgand, Roland Rathelot, Philippe Zamora (2013). «Do Labor Market Policies have Displacement Effects? Evidence from a Clustered Randomized Experiment». QJE 128(2). Birimler arası etkileşimi ölçen iki aşamalı deney.
• Guido W. Imbens (2020). «Potential Outcome and Directed Acyclic Graph Approaches to Causality: Relevance for Empirical Practice in Economics». Journal of Economic Literature 58(4). İki nedensellik dilinin karşılaştırması.

Sonraki derse köprü

Bu derste, atama mekanizması potansiyel sonuçlardan bağımsız olduğunda seçilim yanlılığının sıfırlandığını ve gözlenen farkın ortalama tedavi etkisine eşit olduğunu gördük. Bu bağımsızlığı en güvenilir biçimde sağlamanın yolu, kimin müdahaleyi alacağına bir kuranın karar vermesidir. Ama bir deneyi kurmak, katılımcıların atandıkları gruba uymasını sağlamak, deneyden ayrılanları hesaba katmak ve sonuçları istatistiksel olarak doğru yorumlamak, kendi başına bir uzmanlık alanıdır. Sıradaki ders, rastgele kontrollü deneyleri ele alıyor.