Eşleştirme yöntemleri

Öğrenme çıktıları

• Hatırlama — Eğilim skorunu, en yakın komşu eşleştirmesini, kaliperi, ters olasılık ağırlıklandırmasını, standartlaştırılmış ortalama farkını ve çift sağlam tahminciyi tanımlar.
• Uygulama — Gözlenen özelliklere göre oluşturulmuş hücrelerde ya da eğilim skoruna göre eşleştirilmiş çiftlerde kursun ya da programın katılımcılara ortalama ne kazandırdığını hesaplar; kontrol birimlerine ters olasılık ağırlıkları vererek aynı etkiyi bulur ve eşleştirme öncesi ve sonrası dengeyi standartlaştırılmış farklarla ölçer.
• Analiz — Eşleştirmenin hangi seçilim yanlılığını giderebildiğini, hangisini gideremediğini koşullu bağımsızlık ve ortak destek varsayımları üzerinden çözümler ve eşleştirmenin regresyonla ilişkisini açıklar.
• Değerlendirme — Aynı iş eğitimi deneyine dayanan ve birbirine karşıt sonuçlara varan eşleştirme çalışmalarını karşılaştırarak, gözlemsel verilerle yapılan eşleştirme tahminlerinin güvenilirliğini değerlendirir.

Sezgi

Açılış

Kursun ilk dersinde, Robert LaLonde'nin bir iş eğitimi programının deneysel sonucunu o dönemin deneysel olmayan yöntemleriyle yeniden üretmeye çalıştığını ve yöntemlerin çoğunun başarısız olduğunu gördük. Bu bulgu, gözlemsel verilere duyulan güveni sarstı. Ama başarısızlığın nedeni neydi? LaLonde'nin karşılaştırma grubu, büyük ulusal anketlerden alınmış ve programa katılanlara hiç benzemeyen kişilerden oluşuyordu: katılanlar genç, eğitimi düşük, çoğu daha önce uzun süre işsiz kalmış kişilerdi; anketteki kişilerin çoğu ise orta yaşlı, düzenli çalışan, görece iyi kazanan kişilerdi.

Belki de sorun yöntemlerin kendisi değil, karşılaştırılan grupların birbirine hiç benzememesiydi. Programa katılan her kişi için, ankette ona yaş, eğitim, medeni durum ve geçmiş kazanç bakımından en çok benzeyen kişiyi bulsak ve yalnızca bu benzer kişileri karşılaştırsak, deneysel sonuca yaklaşabilir miyiz? Eşleştirme yöntemleri bu soruya cevap arar. Potansiyel sonuçlar çerçevesini kurduğumuz derste, koşullu bağımsızlık ve ortak destek varsayımları altında aynı özelliklere sahip birimlerin karşılaştırılmasının nedensel bir etki verdiğini gördük. Bu ders, bu karşılaştırmanın pratikte nasıl yapıldığını ve ne zaman güvenilir olduğunu ele alıyor.

Hikâye — çok özelliği tek sayıya indirmek

Eşleştirmenin pratik bir sorunu vardır: özellik sayısı arttıkça, birbirine her yönden benzeyen iki kişi bulmak imkânsızlaşır. On ayrı evet-hayır özelliği bile 1.024 farklı hücre yaratır ve çoğu hücrede ya tedavi edilen ya da kontrol birimi bulunmaz. Paul Rosenbaum ve Donald Rubin, 1983'te bu soruna zarif bir çözüm önerdi.

Bu sonuç, eşleştirmeyi pratik bir araca dönüştürdü. Onlarca özelliği tek tek eşleştirmek yerine, her kişinin bu özelliklerine göre tedaviyi alma olasılığını hesaplamak ve bu olasılığa göre eşleştirmek yeterlidir.

Kavram — tedaviyi alma olasılığı

Yöntemin merkezindeki büyüklük, bir olasılıktır.

Eğilim skoru bilindikten sonra, her tedavi edilen birime bir ya da birkaç kontrol birimi eşlenir.

En yakın komşu bile bazen çok uzaktır.

Veri ve kanıt — LaLonde'nin verileriyle ikinci tur

Rajeev Dehejia ve Sadek Wahba, LaLonde'nin kullandığı verilere geri döndü ve eğilim skoru yöntemlerini uyguladı.

Bu bulgu, eşleştirme yöntemlerine büyük bir ilgi uyandırdı. Ama birkaç yıl sonra Jeffrey Smith ve Petra Todd, aynı verileri yeniden incelediler ve daha temkinli bir sonuca vardılar.

İki çalışma arasındaki tartışma, eşleştirmenin hem gücünü hem sınırını gösteriyor. Dehejia ve Wahba'nın gösterdiği, iyi bir karşılaştırma grubu kurmanın, yani benzer kişileri karşılaştırmanın, LaLonde'nin kullandığı yöntemlere göre büyük bir ilerleme olduğuydu. Smith ve Todd'un gösterdiği ise, bu ilerlemenin hangi değişkenlerin kullanıldığına ve hangi örneklemle çalışıldığına çok bağlı olduğu ve eşleştirmenin, gözlenmeyen farkları ortadan kaldıramadığıydı.

Neden önemli? — deney yapılamayan programlar

Birçok kamu programı, örneğin aktif işgücü programları, kredi destekleri ya da sağlık müdahaleleri, rastgele atamayla değil, başvuru ve uygunluk kurallarıyla dağıtılır. Bu programların etkisini değerlendirmek için elde çoğu zaman yalnızca idari kayıtlar vardır: kimin programa katıldığı, katılımcıların ve katılmayanların özellikleri ve sonraki sonuçları. Eşleştirme yöntemleri, bu verilerle yapılabilecek en şeffaf karşılaştırmalardan biridir: hangi özelliklerin dengelendiğini, hangi katılımcıların karşılaştırılabilir bir eşi olmadığını ve dengenin ne kadar iyi sağlandığını açıkça gösterir. Ama yöntemin değeri, tamamen gözlenen özelliklerin katılımı belirleyen her şeyi yakalayıp yakalamadığına bağlıdır; bu, verilerin değil, programın nasıl işlediğine dair bilginin sorusudur.

Model

Bu bölümdeki kişiler, oranlar ve kazançlar elle izlenebilsin diye kurulmuştur; Dehejia ile Wahba'nın ya da Smith ile Todd'un makalelerindeki rakamlar değildir.

Çözümlü örnek — Hücrelerde karşılaştırma

Bir ilin istihdam kurumu, bir meslek kursu düzenliyor. Kursa katılım gönüllü. Katılımcılar ve katılmayanlar, iki özelliğe göre dört hücreye ayrılıyor: lise mezunu olup olmamak ve son bir yılda işsiz kalıp kalmamak. Her hücredeki kişi sayıları ve bir yıl sonraki aylık kazançlar, bin lira olarak, şöyle:

Lise mezunu değil, işsiz kalmış: 60 katılımcı, ortalama 9; 40 katılmayan, ortalama 8. Lise mezunu değil, işsiz kalmamış: 20 katılımcı, ortalama 12; 80 katılmayan, ortalama 11,5. Lise mezunu, işsiz kalmış: 15 katılımcı, ortalama 13; 35 katılmayan, ortalama 12. Lise mezunu, işsiz kalmamış: 5 katılımcı, ortalama 17; 195 katılmayan, ortalama 16.

Toplam 100 katılımcı ve 350 katılmayan var. Basit ortalama farkı yanıltıcıdır: katılımcıların ortalaması (60 × 9 + 20 × 12 + 15 × 13 + 5 × 17) ÷ 100 = (540 + 240 + 195 + 85) ÷ 100 = 10,6; katılmayanlarınki (40 × 8 + 80 × 11,5 + 35 × 12 + 195 × 16) ÷ 350 = (320 + 920 + 420 + 3.120) ÷ 350 = 4.780 ÷ 350 ≈ 13,66. Basit fark eksi 3,06 bin liradır: kurs zararlı görünür.

Hücre içinde karşılaştırma yapalım. Farklar sırasıyla 1, 0,5, 1 ve 1 bin liradır. Tedavi edilenler üzerindeki etki, bu farkların katılımcı sayılarıyla ağırlıklı ortalamasıdır: (60 × 1 + 20 × 0,5 + 15 × 1 + 5 × 1) ÷ 100 = (60 + 10 + 15 + 5) ÷ 100 = 0,9 bin lira. Kurs, katılımcıların kazancını ortalama 900 lira artırmıştır. Basit farktaki olumsuz tablo, katılımcıların çoğunluğunun düşük kazançlı hücrelerden gelmesinden kaynaklanıyordu.

Çözümlü örnek — Hücreler çoğaldıkça

Şimdi yaşı da eklemek istediğimizi varsayalım: dört yaş grubu. Hücre sayısı 4 × 4 = 16'ya çıkar. Cinsiyeti, ili, medeni durumu ve son üç yılın kazanç düzeyini de eklersek, hücre sayısı yüzleri, binleri bulur. 450 kişilik bir örneklemde çoğu hücre ya boş kalır ya da yalnızca katılımcı ya da yalnızca katılmayan içerir; bu hücrelerde karşılaştırma yapılamaz.

Eğilim skoru bu sorunu çözer. Her kişi için, bütün bu özelliklere göre kursa katılma olasılığı, örneğin bir lojistik regresyonla, tahmin edilir. Diyelim ki lise mezunu olmayan, işsiz kalmış, 25 yaşındaki bir kişinin katılma olasılığı 0,60; lise mezunu, düzenli çalışan, 45 yaşındaki bir kişininki 0,03. Artık yüzlerce hücre yerine tek bir sayı vardır ve aynı ya da yakın eğilim skoruna sahip kişiler, hangi özellik bileşimiyle o skora ulaşmış olurlarsa olsunlar, karşılaştırılabilir. Rosenbaum ve Rubin'in sonucu, bu karşılaştırmanın bütün gözlenen özellikleri dengelediğini söyler.

Hücre örneğinde eğilim skorları doğrudan hesaplanabilir: her hücrede katılımcıların toplam kişi sayısına oranı. İlk hücrede 60 ÷ 100 = 0,6, ikincide 20 ÷ 100 = 0,2, üçüncüde 15 ÷ 50 = 0,3, dördüncüde 5 ÷ 200 = 0,025.

Eğilim skoru, hücreleri birleştirmenin de bir yoludur. Aynı skora sahip iki hücre, örneğin skoru 0,3 olan bir «lise mezunu, işsiz kalmış» hücresi ile skoru yine 0,3 olan, farklı yaşta ve farklı ilde yaşayan kişilerden oluşan bir başka hücre, tek bir karşılaştırma grubunda toplanabilir. Bu, Rosenbaum ve Rubin'in alt sınıflandırma önerisidir: kişiler eğilim skorlarına göre beş ya da on dilime ayrılır, her dilimde katılımcılar ile katılmayanlar karşılaştırılır ve dilim içi farklar, katılımcı sayılarıyla ağırlıklandırılarak toplanır. Kişiler bu dilimlerde özellik bakımından tam olarak aynı olmasa da, skor aynı olduğu için özelliklerin dağılımı iki grupta ortalamada dengelenir.

Çözümlü örnek — En yakın komşu ve kaliper

Daha küçük bir örnekle eşleştirmeyi adım adım yapalım. Dört katılımcı ve altı katılmayan var; her birinin eğilim skoru ve bir yıl sonraki kazancı biliniyor.

Katılımcılar: K1 skor 0,62, kazanç 10; K2 skor 0,45, kazanç 12; K3 skor 0,30, kazanç 14; K4 skor 0,90, kazanç 9. Katılmayanlar: N1 skor 0,60, kazanç 9,5; N2 skor 0,48, kazanç 11; N3 skor 0,28, kazanç 13,5; N4 skor 0,10, kazanç 16; N5 skor 0,05, kazanç 17; N6 skor 0,70, kazanç 8.

En yakın komşular: K1 için N1 (fark 0,02), K2 için N2 (fark 0,03), K3 için N3 (fark 0,02), K4 için N6 (fark 0,20). Çiftlerin kazanç farkları: 10 − 9,5 = 0,5; 12 − 11 = 1; 14 − 13,5 = 0,5; 9 − 8 = 1. Tedavi edilenler üzerindeki etki tahmini (0,5 + 1 + 0,5 + 1) ÷ 4 = 0,75 bin liradır.

Ama K4'ün eşi, N6, ondan çok uzaktır: K4'ün kursa katılma olasılığı 0,90, N6'nınki 0,70. 0,05'lik bir kaliper uygulanırsa, K4'ün kaliper içinde bir eşi yoktur ve analizden çıkarılır. Tahmin, kalan üç çiftle (0,5 + 1 + 0,5) ÷ 3 ≈ 0,67 bin lira olur. Bu tahmin, kursa katılma olasılığı çok yüksek olan K4 gibi kişiler için geçerli değildir; bu kişilerin karşılaştırılabilir bir katılmayan eşi yoktur, yani ortak destek dışında kalırlar.

Çözümlü örnek — Eşleştirmek yerine ağırlıklandırmak

Eşleştirme, kontrol birimlerinin bir kısmını kullanır, bir kısmını atar. Bir başka yol, bütün kontrol birimlerini kullanıp onlara eğilim skorlarına göre ağırlık vermektir.

Hücre örneğine dönelim. Katılmayanlar tedavi edilenlere benzetilmek istendiğinde, her hücredeki katılmayanlara p ÷ (1 − p) ağırlığı verilir. İlk hücrede p = 0,6, ağırlık 0,6 ÷ 0,4 = 1,5; ikinci hücrede 0,2 ÷ 0,8 = 0,25; üçüncüde 0,3 ÷ 0,7 ≈ 0,43; dördüncüde 0,025 ÷ 0,975 ≈ 0,026.

Ağırlıklı katılmayan sayıları: ilk hücrede 40 × 1,5 = 60, ikincide 80 × 0,25 = 20, üçüncüde 35 × 0,43 = 15, dördüncüde 195 × 0,026 ≈ 5. Bunlar tam olarak katılımcı sayılarıdır. Ağırlıklandırılmış katılmayanların ortalama kazancı (60 × 8 + 20 × 11,5 + 15 × 12 + 5 × 16) ÷ 100 = (480 + 230 + 180 + 80) ÷ 100 = 9,7 bin liradır. Katılımcıların ortalaması 10,6 olduğuna göre, etki 10,6 − 9,7 = 0,9 bin liradır; hücre içi karşılaştırmanın verdiği sonucun aynısı. Ağırlıklandırma, katılmayanları, katılımcıların özellik dağılımına sahip yapay bir gruba dönüştürür.

Çözümlü örnek — Dengeyi ölçmek

Eşleştirmenin işe yarayıp yaramadığını anlamanın yolu, eşleştirme sonrasında grupların gözlenen özellikler bakımından ne kadar benzediğine bakmaktır.

Hücre örneğinde lise mezuniyeti oranına bakalım. Katılımcıların yüzde 20'si, katılmayanların yüzde 66'sı lise mezunu. Bir evet-hayır değişkeninin standart sapması √(p × (1 − p)) olduğuna göre, katılımcılarda yüzde 20'lik oranın standart sapması 0,4, katılmayanlarda yüzde 66'lık oranınki yaklaşık 0,47; ortalama standart sapma yaklaşık 0,44. Standartlaştırılmış fark (0,20 − 0,66) ÷ 0,44 ≈ −1,05; bu, çok büyük bir dengesizliktir. Ağırlıklandırma sonrasında katılmayanların lise mezuniyet oranı (15 + 5) ÷ 100 = yüzde 20 olur; fark sıfırdır ve denge tam olarak sağlanmıştır.

Bu denge, yalnızca eşleştirmede kullanılan özellikler için garanti edilir. Eşleştirmede kullanılmayan bir özellik, örneğin kişinin motivasyonu, eşleştirme sonrasında da dengesiz kalabilir; bu dengesizlik ölçülemez ve seçilim yanlılığı olarak tahmine karışır.

Çözümlü örnek — Ortak desteği görmek

Bir araştırmacı, 500 katılımcı ve 5.000 katılmayan için eğilim skorlarını tahmin ediyor ve iki grubun skorlarını onluk dilimlere ayırıyor. 0–0,1 aralığında 4.100 katılmayan, 20 katılımcı; 0,1–0,3 aralığında 700 katılmayan, 120 katılımcı; 0,3–0,6 aralığında 180 katılmayan, 200 katılımcı; 0,6–0,9 aralığında 20 katılmayan, 130 katılımcı; 0,9–1 aralığında hiç katılmayan yok, 30 katılımcı.

Bu tablo üç şey söyler. Birincisi, katılmayanların büyük çoğunluğu, kursa katılma olasılığı çok düşük, yani katılımcılara hiç benzemeyen kişilerdir; LaLonde'nin karşılaştırma grubunun sorunu buydu. İkincisi, en üst dilimdeki 30 katılımcının hiç karşılaştırılabilir eşi yoktur; bunlar ortak destek dışındadır ve analizden çıkarılmalıdır. Üçüncüsü, 0,6–0,9 aralığında 130 katılımcıya karşılık yalnızca 20 katılmayan vardır; bu katılmayanlar birçok kez eş olarak kullanılacak ve tahmin bu 20 kişiye çok bağımlı olacaktır.

Dehejia ve Wahba'nın vurguladığı tanılama budur: iki grubun eğilim skoru dağılımlarını yan yana koymak, karşılaştırmanın nerede mümkün olduğunu bir bakışta gösterir. Araştırmacı, 30 kişiyi çıkardığını ve tahminin kalan 470 katılımcı için geçerli olduğunu açıkça raporlamalıdır.

Çözümlü örnek — Görünmeyen motivasyon

Hücre örneğine dönelim ve kursa katılanların, gözlenen özellikleri aynı olan katılmayanlardan daha motive olduğunu varsayalım. Motivasyon, kurstan bağımsız olarak kazancı ayda 0,4 bin lira artırıyor ve katılımcıların yüzde 75'i, katılmayanların yüzde 25'i motive.

Her hücrede katılımcılar ile katılmayanlar arasındaki gözlenen farkın bir kısmı, motivasyon farkından gelir: (0,75 − 0,25) × 0,4 = 0,2 bin lira. Hücre içi karşılaştırmanın verdiği 0,9 bin liralık etkinin 0,2 bin lirası motivasyondan kaynaklanır; kursun gerçek etkisi 0,7 bin liradır. Eşleştirme, lise mezuniyetini ve işsizlik geçmişini mükemmel biçimde dengelemiş olsa da, motivasyonu dengeleyemez, çünkü motivasyon verilerde yoktur.

Rosenbaum tarzı bir duyarlılık analizi şunu sorar: tahmin edilen 0,9 bin liralık etkinin tamamen ortadan kalkması için, motivasyon gibi gözlenmeyen bir özelliğin ne kadar güçlü olması gerekir? Bu örnekte, motivasyon kazancı ayda 1,8 bin lira artırsaydı ya da katılımcılar ile katılmayanlar arasındaki motivasyon farkı çok daha büyük olsaydı, etki sıfıra inebilirdi. Bu büyüklüklerin makul olup olmadığı, kursun nasıl işlediğine dair bilgiyle tartışılır.

Modelin sınırları

Bu örneklerde eğilim skorlarını hücrelerden kesin olarak hesapladık; gerçek uygulamalarda skorlar bir modelle tahmin edilir ve modelin biçimi, hangi değişkenlerin ve etkileşimlerin dâhil edildiği, sonucu etkileyebilir. Örneklerde katılım kararının yalnızca gözlenen iki özelliğe bağlı olduğunu varsaydık; gerçekte kursa katılanlar motivasyon, ağ bağlantıları ya da kurum görevlisinin yönlendirmesi gibi gözlenmeyen nedenlerle de farklı olabilir. Kaliper örneğinde ortak destek dışında kalan tek bir kişi vardı; gerçek uygulamalarda bu grup büyük olabilir ve tahminin hangi alt nüfus için geçerli olduğunu önemli ölçüde değiştirebilir.

Teknik

Eşleştirme ve regresyon

Eşleştirme ile gözlenen özellikleri kontrol eden bir regresyon, aynı varsayıma, yani koşullu bağımsızlığa dayanır; ikisi de gözlenmeyen özelliklere göre seçilimi gideremez. Aralarındaki fark, karşılaştırmanın nasıl yapıldığıdır. Regresyon, sonuç ile özellikler arasındaki ilişki için bir fonksiyonel biçim, örneğin doğrusallık, varsayar ve bu biçimi, ortak desteğin dışındaki bölgelere de uygular: hiç katılmayan eşi bulunmayan bir katılımcı için bile, doğrusal ilişkiyi dışa doğru uzatarak bir karşı olgusal sonuç üretir. Eşleştirme ise yalnızca gerçekten benzer birimleri karşılaştırır ve ortak desteğin dışında kalan birimleri açıkça gösterir.

Etkiler gruplar arasında farklıysa, regresyon katsayısı gruplara, katılım oranının dengesine göre ağırlık verir; eşleştirme ise tedavi edilenler üzerindeki etkiyi, tedavi edilenlerin dağılımına göre ağırlıklandırarak tahmin eder. Bu yüzden iki yöntem, aynı verilerle farklı sonuçlar verebilir; fark, gözlemsel verinin değil, hedef büyüklüğün ve fonksiyonel biçim varsayımının farkıdır.

Eğilim skorunun tahmini

Eğilim skoru gerçek uygulamalarda bilinmez ve tahmin edilir; genellikle lojistik ya da probit regresyonla, son yıllarda makine öğrenmesi yöntemleriyle. Skor modeline hangi değişkenlerin girmesi gerektiği, öngörü başarısına göre değil, nedensel yapıya göre belirlenir. Hem tedaviyi hem sonucu etkileyen değişkenler, yani karıştırıcılar, mutlaka girmelidir. Yalnızca sonucu etkileyen değişkenlerin eklenmesi, tahminin kesinliğini artırır. Yalnızca tedaviyi etkileyen ama sonucu etkilemeyen değişkenlerin eklenmesi ise, kesinliği azaltır ve gözlenmeyen karıştırıcılar varsa yanlılığı artırabilir. Tedaviden etkilenmiş değişkenler, nedensellik problemi dersindeki kötü kontrol uyarısı gereği, asla eklenmemelidir.

Smith ve Todd'un bulgusu, bu seçimlerin ne kadar önemli olduğunu gösterdi: aynı verilerde, skor modeline giren değişkenlerin küçük değişiklikleri, etki tahminlerini büyük ölçüde değiştirebiliyordu. Bu yüzden iyi bir uygulama, farklı skor modelleriyle elde edilen tahminleri ve her birinin sağladığı dengeyi birlikte raporlar.

Çift sağlamlık

Eşleştirme ve ağırlıklandırma, eğilim skoru modelinin doğru olmasına; regresyon ise sonuç modelinin doğru olmasına dayanır. İki yaklaşımı birleştiren tahminciler geliştirildi.

Çift sağlamlık, iki modelden birinde yapılan hatayı öbürüyle telafi etme fırsatı verir. Ama bu güvence, yalnızca gözlenen özellikler bakımından geçerlidir: iki model de gözlenmeyen bir karıştırıcıyı yakalayamıyorsa, çift sağlam tahminci de yanlıdır. Son yıllarda bu tahminciler, makine öğrenmesi yöntemleriyle birlikte, çok sayıda gözlenen özelliğin bulunduğu durumlarda yaygın olarak kullanılıyor.

Eşleştirme ve fark içinde fark

Smith ve Todd'un çalışmasında en iyi performansı gösteren tahminci, eşleştirmeyi fark içinde farkla birleştiren tahminciydi: katılımcılar ve eşleşmiş katılmayanlar, program öncesinden sonrasına kazançlarındaki değişime göre karşılaştırıldı. Bu birleşim, iki yöntemin varsayımlarını tamamlar. Eşleştirme, gözlenen özelliklere göre benzer kişileri karşılaştırır; fark içinde fark, zaman içinde değişmeyen gözlenmeyen farkları ortadan kaldırır. Smith ve Todd'a göre bu tahmincinin başarısı, katılımcılar ile katılmayanlar arasındaki coğrafi uyumsuzluk ve sonuç değişkeninin iki grupta farklı biçimlerde ölçülmesi gibi zamanla değişmeyen yanlılık kaynaklarını gidermesinden kaynaklanıyordu.

Bu birleşim, katılımdan hemen önce yaşanan geçici kazanç kaybı gibi sorunlara karşı da güçlüdür: katılımcılar, program öncesi kazanç geçmişleri bakımından da eşleştirilirse, aynı geçici düşüşü yaşamış katılmayanlarla karşılaştırılırlar.

Eşleştirme seçenekleri

Eşleştirme yapılırken birkaç seçim yapılır ve her biri, tahminin doğru yeri göstermesi ile az oynaması arasında bir tercih yapmayı gerektirir. Bire bir eşleştirme, her tedavi edilen birime yalnızca en yakın kontrol birimini eşler; yanlılığı en aza indirir, ama bilgi kaybı nedeniyle varyansı yüksektir. Bire çok eşleştirme, örneğin her tedavi edilene en yakın beş kontrol birimi, varyansı düşürür, ama uzaktaki eşler de kullanıldığı için yanlılığı artırabilir. Değiştirerek eşleştirmede bir kontrol birimi birden çok tedavi edilene eş olabilir; bu, yakın eşler bulmayı kolaylaştırır ama bazı kontrol birimlerine çok büyük ağırlık verir. Değiştirmeden eşleştirmede her kontrol birimi yalnızca bir kez kullanılır; bu, eşleşmelerin sırasına bağlı sonuçlar doğurabilir.

Eğilim skoru yerine doğrudan özelliklere göre, örneğin her özelliğin varyansıyla ölçeklenmiş bir uzaklığa göre eşleştirmek de mümkündür. Az sayıda sürekli özellik varsa bu yöntem iyi çalışır; özellik sayısı arttıkça, eşleşmeler kötüleşir ve kalan farklar yanlılık yaratır. Bu yanlılığı azaltmak için, eşleşmiş çiftler arasındaki kalan özellik farklarını bir regresyonla düzelten yöntemler geliştirildi.

Eşleştirme sonrası çıkarım

Eşleştirme tahmincilerinin standart hatalarını hesaplamak, göründüğünden zordur. Eşleştirme, verilerden türetilen bir eğilim skoruna ve keskin eşleşme kararlarına dayanır; bu yüzden olağan yeniden örnekleme yöntemleri, örneğin önyükleme, bazı eşleştirme tahmincileri için geçersiz sonuçlar verebilir. Alberto Abadie ve Guido Imbens, bu sorunu inceleyerek eşleştirme tahmincileri için doğru varyans formülleri geliştirdi. Uygulamada, kullanılan yazılımın eşleştirme yöntemine uygun standart hatalar hesaplayıp hesaplamadığına dikkat edilmelidir.

İdari kayıtlarla değerlendirme

Eşleştirme yöntemleri, özellikle zengin idari kayıtların bulunduğu ülkelerde yaygın biçimde kullanılır. İstihdam kurumlarının kayıtları, sosyal güvenlik verileri ve vergi kayıtları, katılımcıların ve katılmayanların program öncesi birkaç yıllık istihdam ve kazanç geçmişini içerebilir. Bu geçmiş, eşleştirmenin en değerli değişkenidir: program öncesi kazanç yolları benzer olan kişiler, motivasyon ve beceri gibi gözlenmeyen özellikler bakımından da büyük olasılıkla daha benzerdir. Smith ve Todd'un bulgusunun bir dersi de budur: zengin geçmiş verisi ve zaman içindeki değişimi kullanan tahminciler, tek bir dönemin özelliklerine dayanan eşleştirmeden daha güvenilirdir.

Çok sayıda özellik ve makine öğrenmesi

İdari kayıtlar ve büyük anketler, yüzlerce gözlenen özellik içerebilir. Bu durumda eğilim skoru modeline hangi özelliklerin ve etkileşimlerin gireceğine elle karar vermek zorlaşır ve araştırmacının seçimleri, Smith ve Todd'un gösterdiği gibi, sonucu değiştirebilir. Son yıllarda bu seçim, makine öğrenmesi yöntemlerine bırakılmaya başlandı: düzenlileştirilmiş regresyonlar ya da karar ağaçları, hem eğilim skorunu hem de sonuç modelini verilerden öğrenir. Bu yöntemler, çift sağlam tahmincilerle ve örneklemin bir kısmında modeli öğrenip başka bir kısmında etkiyi tahmin eden çapraz tahminle birleştirildiğinde, aşırı uyumun tahmini saptırmasını önler. Ama makine öğrenmesi, gözlenmeyen karıştırıcı sorununu çözmez: ne kadar çok özellik kullanılırsa kullanılsın, katılımı belirleyen ama verilerde olmayan bir etken, tahmini yanlı bırakır.

Hangi büyüklük tahmin ediliyor?

Eşleştirme, genellikle tedavi edilenler üzerindeki etkiyi tahmin eder: her katılımcıya bir katılmayan eşlenir ve sonuç farkları katılımcıların dağılımına göre ortalanır. Aynı fikir ters yönde de uygulanabilir: her katılmayana bir katılımcı eşlenirse, bugün dışarıda kalanlar da programa alınsaydı onların ne kazanacağı tahmin edilir. İkisinin birleşimi ortalama tedavi etkisini verir. Hangi büyüklüğün tahmin edileceği, politika sorusuna bağlıdır ve ortak desteğin genişliği de bu seçimi etkiler: katılmayanların çoğunun katılımcılarda bir eşi yoksa, programın onlara genişletilmesinin etkisi güvenilir biçimde tahmin edilemez.

Gözlenmeyenlere duyarlılık

Eşleştirmenin temel zayıflığı, gözlenmeyen özelliklere göre seçilime karşı savunmasızlığıdır. Bu zayıflık ortadan kaldırılamaz, ama büyüklüğü tartışılabilir. Rosenbaum, gözlenmeyen bir özelliğin, aynı gözlenen özelliklere sahip iki kişinin tedaviyi alma olasılıklarını belirli bir oranda farklılaştırması durumunda sonucun nasıl değişeceğini gösteren duyarlılık analizleri geliştirdi. Bu analizler, «sonucun ortadan kalkması için gözlenmeyen bir karıştırıcının ne kadar güçlü olması gerekir?» sorusunu cevaplar. Gerekli güç çok büyükse, sonuç gözlenmeyen karıştırıcılara karşı görece sağlamdır; küçükse, sonuç kırılgandır. Çoklu regresyon dersinde gördüğümüz katsayı kararlılığı yaklaşımı da aynı soruya farklı bir yoldan yaklaşır.

Uygulama

Özet kartı

1. Eşleştirme, tedavi edilen birimleri gözlenen özellikleri bakımından benzer kontrol birimleriyle karşılaştırır; koşullu bağımsızlık ve ortak destek varsayımları altında tedavi edilenler üzerindeki etkiyi tahmin eder.
2. Rosenbaum ve Rubin, tedaviyi alma olasılığı olan eğilim skoruna göre düzeltme yapmanın, bütün gözlenen özelliklerden kaynaklanan yanlılığı gidermeye yettiğini gösterdi; bu, çok sayıda özelliği tek bir sayıya indirgeyerek eşleştirmeyi pratik hâle getirdi.
3. En yakın komşu eşleştirmesi, kaliper ve ters olasılık ağırlıklandırması, eğilim skorunu kullanmanın farklı yollarıdır; dengenin sağlanıp sağlanmadığı standartlaştırılmış ortalama farklarıyla ölçülür ve ortak destek dışındaki birimler tahminin kapsamını daraltır.
4. Dehejia ve Wahba, LaLonde'nin verilerinde eğilim skoru tahminlerinin deneysel ölçüte çok daha yakın olduğunu gösterdi; Smith ve Todd ise bu tahminlerin değişken seçimine ve örnekleme son derece duyarlı olduğunu, en iyi sonucu eşleştirmeyi fark içinde farkla birleştiren tahmincinin verdiğini buldu.
5. Eşleştirme gözlenmeyen özelliklere göre seçilimi gideremez; çift sağlam tahminciler model belirleme hatalarına karşı bir güvenlik payı sağlar, fark içinde farkla birleşim zamanla değişmeyen gözlenmeyen farkları giderir ve duyarlılık analizleri sonucun gözlenmeyen karıştırıcılara ne kadar dayanıklı olduğunu gösterir.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Eğilim skorunu tanımlayın ve Rosenbaum ile Rubin'in sonucunun eşleştirmeyi neden pratik hâle getirdiğini açıklayın.
2. (Çıktı 2) Hücre örneğinde ikinci hücredeki katılmayanların ortalama kazancı 11,5 yerine 10,5 olsaydı, kursun katılımcılara ortalama kazandırdığı tutar kaç bin lira çıkardı?
3. (Çıktı 2) Kaliper örneğinde kaliper 0,05 yerine 0,01 olsaydı, hangi katılımcılar analizde kalırdı ve tahmin ne olurdu?
4. (Çıktı 3) Bir kredi programını değerlendiren bir ekip, programın etkisini tahmin ederken eğilim skoru modeline, kredi alındıktan sonra ölçülen işletme cirosunu da ekliyor. Bu neden bir hatadır?
5. (Çıktı 3) Eşleştirme ile gözlenen özellikleri kontrol eden bir regresyon arasındaki iki farkı açıklayın. Hangi durumda iki yöntem belirgin biçimde farklı sonuçlar verebilir?
6. (Çıktı 4) Bir değerlendirme raporu, «Eğilim skoru eşleştirmesiyle bütün gözlenen özellikler dengelendi; bu yüzden tahminimiz bir deney kadar güvenilirdir» diyor. Bu iddiayı Dehejia ve Wahba ile Smith ve Todd'un bulguları ışığında değerlendirin.

Cevaplar

1. Eğilim skoru, bir birimin gözlenen özellikleri verildiğinde tedaviyi alma olasılığıdır. Rosenbaum ve Rubin, gözlenen özellikler koşullu bağımsızlığı sağlıyorsa, yalnızca eğilim skoruna göre yapılan bir düzeltmenin bütün gözlenen özelliklerden kaynaklanan yanlılığı gidermeye yettiğini gösterdi. Bu, eşleştirmeyi pratik hâle getirdi, çünkü çok sayıda özelliği tek tek eşleştirmek, hücre sayısının hızla artması nedeniyle imkânsızlaşırken, tek bir sayıya göre eşleştirmek her zaman mümkündür.
2. İkinci hücredeki fark 12 − 10,5 = 1,5 bin lira olur. Etki (60 × 1 + 20 × 1,5 + 15 × 1 + 5 × 1) ÷ 100 = (60 + 30 + 15 + 5) ÷ 100 = 1,1 bin liradır.
3. 0,01'lik bir kaliperle, hiçbir çiftin skor farkı 0,01'in altında değildir: K1 ile N1 arasındaki fark 0,02, K2 ile N2 arasındaki 0,03, K3 ile N3 arasındaki 0,02, K4 ile N6 arasındaki 0,20'dir. Bütün katılımcılar analiz dışında kalır ve tahmin yapılamaz. Bu, çok dar bir kaliperin örneklemi aşırı daraltabileceğini gösterir; kaliper, kötü eşleşmeleri önlemek ile yeterli gözlemi korumak arasında bir denge gerektirir.
4. Kredi alındıktan sonra ölçülen ciro, kredinin kendisinden etkilenmiştir; tedavinin bir sonucudur. Onu skora katmak, kredi alan ve almayan işletmeleri tam da kredinin değiştirdiği bir nitelik bakımından eşitlemeye çalışmak demektir. Böylece kredinin etkisinin ciroya yansıyan kısmı karşılaştırmadan silinir; ciroyu talep, şans ya da yönetici becerisi gibi ölçülmeyen başka şeyler de belirliyorsa, eşleşen çiftler bu yönlerden de birbirinden ayrışır ve karşılaştırma bozulur. Eğilim skoru modeline yalnızca tedaviden önce belirlenmiş değişkenler girmelidir.
5. Birinci fark: regresyon, sonuç ile özellikler arasındaki ilişki için bir fonksiyonel biçim, örneğin doğrusallık, varsayar ve bu biçimi ortak desteğin dışına da uygular; eşleştirme ise yalnızca gerçekten benzer birimleri karşılaştırır ve eşi olmayan birimleri gösterir. İkinci fark: etkiler gruplar arasında farklıysa, regresyon gruplara katılım oranının dengesine göre ağırlık verirken, eşleştirme tedavi edilenlerin dağılımına göre ağırlıklandırır. İki yöntem, tedavi ve kontrol gruplarının özellik dağılımları çok farklı olduğunda ve etkiler gruplar arasında belirgin biçimde değiştiğinde farklı sonuçlar verebilir.
6. Rapor, eşleştirmenin gücünü abartıyor. Dehejia ve Wahba, LaLonde'nin verilerinde eğilim skoru tahminlerinin deneysel ölçüte çok daha yakın olduğunu gösterdi; ama aynı çalışmada tahminlerin gözlenenlere göre seçilim varsayımına duyarlı olduğunu da belirttiler. Smith ve Todd, aynı verilerde tahminlerin skor modeline giren değişkenlere ve analiz örneklemine son derece duyarlı olduğunu ve eşleştirmenin değerlendirme sorununa genel bir çözüm olmadığını buldu. Gözlenen özelliklerin dengelenmesi, gözlenmeyen özelliklerin de dengelendiği anlamına gelmez; bir deney ise, rastgele atama sayesinde, hem gözlenen hem gözlenmeyen özellikleri ortalamada dengeler. Rapor, eşleştirme sonrasındaki dengeyi göstermeli, ama ayrıca sonucun gözlenmeyen karıştırıcılara ne kadar duyarlı olduğunu tartışmalı ve mümkünse eşleştirmeyi fark içinde farkla birleştirmelidir.

İleri okuma

• Paul R. Rosenbaum, Donald B. Rubin (1983). «The Central Role of the Propensity Score in Observational Studies for Causal Effects». Biometrika 70(1). Eğilim skorunun kuramsal temeli.
• Rajeev Dehejia, Sadek Wahba (1999). «Causal Effects in Nonexperimental Studies: Reevaluating the Evaluation of Training Programs». JASA 94(448). LaLonde verileriyle eğilim skoru yöntemleri.
• Jeffrey A. Smith, Petra E. Todd (2005). «Does Matching Overcome LaLonde's Critique of Nonexperimental Estimators?». Journal of Econometrics 125(1–2). Eşleştirme tahminlerinin duyarlılığı.

Sonraki derse köprü

Eşleştirme, gözlenen özellikleri dengeledi ama gözlenmeyenleri bırakmak zorunda kaldı; Smith ve Todd'un çalışmasında en iyi sonucu veren tahmincinin, aynı kişilerin zaman içindeki değişimine bakarak zamanla değişmeyen gözlenmeyen farkları ortadan kaldırması tesadüf değildi. Aynı birimleri birçok dönem boyunca izleyen veriler, her birimin kendi kalıcı özelliklerini karşılaştırmanın dışında bırakmaya imkân verir. Bu özellikler ne zaman sabit etkiler olarak modellenmeli, ne zaman rassal etkiler olarak, ve bu seçim hangi varsayıma dayanır? Sıradaki ders, panel verilerde sabit ve rassal etkileri ele alıyor.