Sentetik kontrol

Öğrenme çıktıları

• Hatırlama — Sentetik kontrol birimini, bağışçı havuzunu, ön dönem uyumunu, yerinde ve zamanda plasebo testlerini ve sentetik fark içinde farkı tanımlar.
• Uygulama — Bağışçı birimlerin ağırlıklı bir bileşimiyle tedavi edilen birimin politika öncesi yolunu yeniden üretir, politika sonrasındaki farkı hesaplar ve yerinde plasebo testlerinden bir sıralama temelli anlamlılık düzeyi türetir.
• Analiz — Sentetik kontrol yönteminin fark içinde fark ve regresyonla karşılaştırıldığında hangi varsayımları gevşettiğini, hangilerini eklediğini ve tedavi edilen birimin bağışçıların dışında kaldığı durumlarda neden zorlandığını çözümler.
• Değerlendirme — Bask bölgesinde terör, Kaliforniya'da tütün kontrolü ve Batı Almanya'da yeniden birleşme çalışmalarına dayanarak, sentetik kontrolün tek bir birimi etkileyen olaylarda neyi inandırıcı biçimde gösterebildiğini ve hangi koşullarda yanıltabileceğini değerlendirir.

Sezgi

Açılış

1960'ların sonunda İspanya'nın Bask bölgesinde silahlı bir ayrılıkçı örgüt saldırılara başladı ve şiddet on yıllar sürdü. Bu çatışmanın bölgenin ekonomisine maliyeti neydi? Bask bölgesinin kişi başına gelirini, çatışmadan önce ve sonra karşılaştırmak yetmez: aynı dönemde İspanya'nın bütün ekonomisi büyüdü, durgunluklar yaşadı, Avrupa'ya entegre oldu. İspanya'nın öbür bölgeleriyle karşılaştırmak da yetmez: Bask bölgesi çatışmadan önce de İspanya'nın en sanayileşmiş ve en zengin bölgelerinden biriydi; hiçbir bölge ona tam olarak benzemiyordu.

Bir önceki yöntem ailesinde, değişikliğe uğrayan topluluğu, uğramayan ve onunla aynı hızla yürüdüğünü varsaydığımız bir toplulukla yan yana koyduk. Ama değişikliğe uğrayan tek bir bölgeyse ve onun yanına koyabileceğimiz hiçbir bölge ona gerçekten denk değilse, hangi bölgeyi kontrol grubu olarak seçeceğimiz sonucu belirler ve bu seçim çoğu zaman keyfidir. Sentetik kontrol yöntemi bu keyfîliği bir hesaba dönüştürür: tek bir karşılaştırma birimi seçmek yerine, birçok bölgenin ağırlıklı bir bileşimini, tedavi edilen birimin politika öncesi yolunu en iyi yeniden üretecek biçimde kurar.

Hikâye — terörün ekonomik maliyeti

Alberto Abadie ve Javier Gardeazabal, bu fikri Bask bölgesine uyguladı. İspanya'nın öbür bölgelerinden, çatışma öncesinde Bask bölgesinin kişi başına gelirini ve ekonomik yapısını en iyi yeniden üreten bir ağırlıklı bileşim kurdular ve bu yapay bölgenin çatışma sonrasında nasıl bir yol izleyeceğini, Bask bölgesinin çatışma olmasaydı izleyeceği yolun bir tahmini olarak kullandılar.

Bu çalışmada iki farklı tasarım birbirini destekliyor. Sentetik kontrol, uzun dönemli bir gelir farkını ölçüyor; ateşkes dönemindeki hisse senedi tepkileri ise, piyasaların çatışmanın sona ermesine ne kadar değer biçtiğini kısa bir pencerede gösteriyor. İki farklı kanıt kaynağının aynı yönü işaret etmesi, sonuca duyulan güveni artırır.

Kavram — yapay bir karşılaştırma

Yöntemin merkezinde, var olmayan bir birim durur.

Bileşimin hangi birimlerden kurulabileceği, araştırmacının önceden yaptığı bir seçime bağlıdır.

Yöntemin güvenilirliği, sentetik birimin politika öncesinde tedavi edilen birimi ne kadar iyi taklit ettiğine bağlıdır.

Veri ve kanıt — tütün ve yeniden birleşme

Abadie, Alexis Diamond ve Jens Hainmueller, yöntemi genelleştirdi ve onu, Kaliforniya'nın 1988'de uygulamaya koyduğu büyük ölçekli bir tütün kontrol programına uyguladı.

Aynı yazarlar daha sonra yöntemin siyaset bilimine nasıl köprü kurabileceğini tartıştı ve onu bir ülkenin tarihindeki tek bir olaya uyguladı.

Kaliforniya örneğinde yöntemin bir başka gücü görünür: sentetik Kaliforniya'yı oluşturan eyaletler ve ağırlıkları açıkça raporlanır. Okur, karşılaştırmanın hangi eyaletlere dayandığını görebilir ve bu seçimin makul olup olmadığına kendisi karar verebilir. Regresyonda gizli kalan karşılaştırma, burada şeffaf hâle gelir. Pigou vergilerini işlediğimiz derste gördüğümüz İsveç karbon vergisi çalışması da bu yöntemi kullanmıştı: İsveç'in ulaşım kaynaklı salımları, karşılaştırılabilir OECD ülkelerinden kurulan sentetik bir İsveç ile karşılaştırılmıştı.

Neden önemli? — tek vakalı soruların nicel cevabı

Politika tarihinin en önemli olaylarının çoğu tek bir birimi etkiler: bir ülkenin bir parasal birliğe girmesi, bir eyaletin bir yasayı değiştirmesi, bir şehrin bir olimpiyata ev sahipliği yapması, bir bölgenin bir doğal afet ya da çatışma yaşaması. Bu tür olayların etkisini ölçmek için uzun süre ya nitel örnek olay çalışmaları ya da keyfi seçilmiş karşılaştırma birimleri kullanıldı. Sentetik kontrol, bu iki yaklaşım arasında bir köprü kurar: karşılaştırma biriminin seçimini sistematik ve şeffaf hâle getirir, ama tek bir vakanın ayrıntılı bilgisini dışlamaz. Bu yüzden son yirmi yılda iktisatta, siyaset biliminde ve kamu politikası araştırmalarında hızla yaygınlaştı.

Model

Bu bölümdeki bölgeler, değerler ve ağırlıklar elle izlenebilsin diye kurulmuştur; Abadie ve arkadaşlarının makalelerindeki rakamlar değildir.

Çözümlü örnek — Ağırlıkları kurmak

Bir ülkede beş bölge var. Bunlardan biri, M bölgesi, 2015'te özel bir kalkınma programına alınıyor; öbür dördü, A'dan D'ye harflerle andığımız bölgeler, programın dışında kalıyor. Bölgelerin kişi başına gelirleri, bin lira olarak, program öncesi üç yılda şöyle:

M bölgesi: 2012'de 50, 2013'te 52, 2014'te 54. A bölgesi: 70, 73, 76. B bölgesi: 40, 41, 42. C bölgesi: 45, 47, 49. D bölgesi: 30, 31, 32.

Bağışçıların basit ortalaması 2012'de (70 + 40 + 45 + 30) ÷ 4 = 46,25, 2013'te 48, 2014'te 49,75'tir. Bu ortalama, M'nin hem düzeyinin hem de büyüme hızının altında kalır: M yılda 2 bin lira büyürken basit ortalama yılda yaklaşık 1,75 bin lira büyür.

Şimdi ağırlıkları seçelim: A için 0,3, C için 0,7, B ve D için sıfır. Sentetik M, 2012'de 0,3 × 70 + 0,7 × 45 = 21 + 31,5 = 52,5; 2013'te 0,3 × 73 + 0,7 × 47 = 21,9 + 32,9 = 54,8; 2014'te 0,3 × 76 + 0,7 × 49 = 22,8 + 34,3 = 57,1 olur. Büyüme hızı yılda yaklaşık 2,3, M'ninkine daha yakın; ama düzey her yıl 2,5 ile 3,1 arasında daha yüksek.

Daha iyi bir bileşim arayalım: A için 0,2, C için 0,8. Sentetik M, 2012'de 0,2 × 70 + 0,8 × 45 = 14 + 36 = 50; 2013'te 0,2 × 73 + 0,8 × 47 = 14,6 + 37,6 = 52,2; 2014'te 0,2 × 76 + 0,8 × 49 = 15,2 + 39,2 = 54,4. Bu bileşim, M'nin yolunu 50, 52, 54'e karşı 50, 52,2, 54,4 olarak neredeyse birebir yeniden üretir. Gerçek uygulamalarda ağırlıklar, bu tür bir deneme yanılma ile değil, ön dönem farklarını en aza indiren bir eniyileme problemiyle bulunur. Dikkat edilirse, bu bileşimde B ve D hiç ağırlık almadı: M bölgesine ne gelir düzeyi ne de büyüme hızı bakımından yeterince benzemedikleri için, onları karışıma katmak uyumu bozardı. Bağışçıların çoğunun sıfır ağırlık alması bu yöntemde olağan bir sonuçtur.

Çözümlü örnek — Etkiyi okumak

Program 2015'te başlıyor. Sonraki üç yılda M'nin geliri 58, 62, 66 bin lira oluyor. Sentetik M, yani 0,2 A + 0,8 C, aynı yıllarda A'nın 79, 82, 85 ve C'nin 51, 53, 55 olan gelirlerinden hesaplanır: 2015'te 0,2 × 79 + 0,8 × 51 = 15,8 + 40,8 = 56,6; 2016'da 0,2 × 82 + 0,8 × 53 = 16,4 + 42,4 = 58,8; 2017'de 0,2 × 85 + 0,8 × 55 = 17 + 44 = 61.

Programın tahmini etkisi, her yıl M ile sentetik M arasındaki farktır: 2015'te 58 − 56,6 = 1,4; 2016'da 62 − 58,8 = 3,2; 2017'de 66 − 61 = 5 bin lira. Etki yıllar içinde büyüyor. Ön dönemde iki yol arasındaki fark en fazla 0,4 bin liraydı; program sonrasındaki fark bunun çok üzerinde.

Bu hesabın varsayımı şudur: M bölgesinin geliri, program olmasaydı, A ve C'nin 0,2'ye 0,8 oranındaki bileşimiyle aynı yolu izleyecekti. Bu varsayım, fark içinde farkın paralel eğilim varsayımından farklıdır: tek bir kontrol grubunun değil, özenle seçilmiş bir bileşimin M'yi takip edeceğini söyler ve bu bileşimin politika öncesinde M'yi gerçekten takip ettiğini gösterebiliriz.

Çözümlü örnek — Etki tesadüf olabilir mi?

Tek bir tedavi birimi olduğunda, olağan standart hatalar hesaplanamaz. Abadie ve arkadaşlarının önerdiği yol, aynı hesabı bağışçı havuzundaki her birime, sanki o birim programa alınmış gibi uygulamaktır.

Bağışçı havuzunda 19 bölge olsun. Her biri için, öbür 18 bölge ve gerçek tedavi bölgesi dışındaki birimlerden sentetik bir kontrol kurulur ve politika sonrası dönemdeki fark hesaplanır. Ön dönem uyumu farklı olabileceği için, karşılaştırma genellikle bir oranla yapılır: politika sonrası farkların ortalama karesinin karekökü, ön dönem farklarının ortalama karesinin kareköküne bölünür. Gerçek tedavi bölgesinde bu oran 12, plasebo bölgelerinde ise 0,8 ile 4,5 arasında çıksın. Gerçek bölge 20 bölge arasında birinci sıradadır. Program hiçbir etki yaratmasaydı ve tedavi bölgesi rastgele seçilmiş olsaydı, en uç oranın tesadüfen ona düşme olasılığı 1 ÷ 20 = 0,05 olurdu. Bu, yüzde 5 düzeyinde bir anlamlılığa karşılık gelir.

Çözümlü örnek — Sahte bir tarih

Bir başka sınama, politikanın tarihini zaman içinde kaydırmaktır.

M bölgesi örneğinde, programın 2015 yerine 2013'te başladığı varsayılır. Sentetik M, yalnızca 2012 verisiyle kurulur ve 2013–2014 dönemindeki yolu tahmin edilir. Bu sahte dönemde M ile sentetik M arasındaki fark küçük kalırsa, iki yolun gerçek programdan önce birbirinden ayrılmadığı görülür. Sahte dönemde de büyük bir ayrılma olsaydı, M bölgesinin programdan bağımsız olarak farklı bir yolda olduğundan şüphelenmek gerekirdi.

Çözümlü örnek — Bileşimin yetmediği yer

Şimdi programa alınan bölgenin ülkenin en zengin bölgesi olduğunu varsayalım: 2014'te geliri 90 bin lira, bağışçıların en zengini olan A ise 76 bin lira. Negatif olmayan ve toplamı bire eşit ağırlıklarla kurulan her bileşim, en fazla 76'ya ulaşabilir. Hiçbir bileşim, tedavi edilen bölgenin düzeyini yeniden üretemez; ön dönem uyumu kaçınılmaz olarak kötüdür.

Bir regresyon bu sorunu sessizce aşar: negatif ağırlıklar kullanarak, örneğin A'ya 1,5, D'ye eksi 0,5 ağırlık vererek, 1,5 × 76 − 0,5 × 32 = 114 − 16 = 98 gibi, verilerin dışına uzanan bir değer üretebilir. Ama bu, gözlenen birimlerin hiçbirine benzemeyen bir birimi, gözlenen birimlerin dışına doğru uzatarak tahmin etmektir. Sentetik kontrolün ağırlıklara koyduğu kısıtlar, bu dışa doğru uzatmayı engeller ve sorunu görünür kılar: uyum kötüyse, araştırmacı yöntemin bu vaka için uygun olmadığını kabul etmek zorundadır.

Bunun tersi bir tehlike de vardır. Ağırlıklar çok farklı birimleri birleştirdiğinde, örneğin çok zengin bir bölge ile çok yoksul bir bölgenin bileşimi orta gelirli bir bölgeyi taklit ettiğinde, ortalama tutsa bile ilişkiler tutmayabilir: zengin ve yoksul bölgeler ekonomik şoklara orta gelirli bir bölgeden çok farklı tepki verebilir. Bu, ara değer yanlılığı diye bilinir ve bağışçı havuzunu tedavi edilen birime yapısal olarak benzer birimlerle sınırlamanın bir nedenidir.

Çözümlü örnek — Bir bağışçıyı çıkarmak

M bölgesi örneğinde sentetik birim yalnızca iki bölgeden oluşuyordu: A ve C. Bu durumda tahmin, bu iki bölgenin politika döneminde başına gelenlere çok bağımlıdır. 2016'da C bölgesinde büyük bir fabrika kapandığını ve C'nin gelirinin bu yüzden beklenenden 3 bin lira düşük kaldığını varsayalım. Sentetik M, C'nin 0,8 ağırlığı nedeniyle 0,8 × 3 = 2,4 bin lira aşağı kayar ve programın etkisi o yıl 2,4 bin lira abartılmış olur.

Bu tür bir tehlikeyi sınamanın yolu, bağışçıları teker teker çıkarıp hesabı yenilemektir. C çıkarıldığında, sentetik M yeniden kurulur; diyelim ki bu kez A için 0,1, B için 0,4, D için 0 ve yeni bir E bölgesi için 0,5 ağırlıkla. Bu yeni bileşimin ön dönem uyumu biraz daha kötü olabilir; ama etki tahmini, C'nin özel şokundan arınmış olur. Her bağışçı tek tek çıkarıldığında tahmin benzer kalıyorsa, sonuç tek bir bölgenin kaderine bağlı değildir. Bir bağışçının çıkarılması tahmini büyük ölçüde değiştiriyorsa, araştırmacı o bölgenin politika döneminde neler yaşadığını ayrıca incelemeli ve okura bu duyarlılığı göstermelidir.

Çözümlü örnek — Birikimli etki

M bölgesindeki program, üç yılda kişi başına 1,4 + 3,2 + 5 = 9,6 bin lira ek gelir yaratmış görünüyor. Bölgenin nüfusu 500 bin kişiyse, birikimli ek gelir 9,6 × 500.000 = 4,8 milyar liradır. Programın toplam maliyeti 3 milyar lira olsaydı, ilk üç yılda bile maliyetinin yaklaşık 1,6 katı ek gelir yaratmış olurdu.

Bu hesap, bir politika değerlendirmesinin sentetik kontrol tahminini nasıl kullanabileceğini gösterir; ama iki uyarı gerektirir. Birincisi, yıllık etkilerin her biri belirsizdir ve plasebo dağılımı, özellikle ilk yıldaki 1,4 bin liralık farkın tesadüf olup olamayacağını gösterir. İkincisi, M bölgesindeki ek gelirin bir kısmı, yatırımların komşu bölgelerden M'ye kaymasından geliyorsa, ülke düzeyindeki net kazanç daha küçüktür. Bölgesel kalkınma programlarında bu yer değiştirme, potansiyel sonuçlar dersindeki iş piyasası örneğinin bölgesel karşılığıdır.

Çözümlü örnek — Yalnızca sonuçla değil, yapıyla da eşleştirmek

M bölgesi örneğinde sentetik birimi yalnızca gelir yoluna bakarak kurduk. Ama iki bölgenin geliri aynı yolu izlese bile, ekonomik yapıları çok farklı olabilir. M bölgesinde istihdamın yüzde 40'ı sanayide, yüzde 15'i tarımda olsun. A bölgesinde sanayinin payı yüzde 60, tarımınki yüzde 5; C bölgesinde sanayi yüzde 35, tarım yüzde 20. Sentetik M'nin, yani 0,2 A + 0,8 C'nin sanayi payı 0,2 × 60 + 0,8 × 35 = 12 + 28 = yüzde 40, tarım payı 0,2 × 5 + 0,8 × 20 = 1 + 16 = yüzde 17'dir. Yapı da büyük ölçüde eşleşmiştir.

Yapının eşleşmesi önemlidir, çünkü politika döneminde sanayiye özgü bir şok, örneğin ihracat fiyatlarında bir düşüş, sanayi payı farklı bölgeleri farklı etkiler. Sentetik M'nin sanayi payı M'ninkiyle aynıysa, böyle bir şok ikisini de benzer biçimde etkiler ve fark, programın etkisini saptırmaz. Gelir yolu aynı ama sanayi payı çok farklı bir bileşim seçilseydi, sanayi şoku politika etkisi sanılabilirdi. Bu yüzden ağırlıklar, sonuç değişkeninin ön dönem değerlerinin yanı sıra, sonucu öngören yapısal özellikleri de eşleştirecek biçimde seçilir.

Modelin sınırları

Bu örneklerde sentetik birimin ağırlıklarını elle bulduk ve ön dönemin yalnızca üç yıl olduğunu varsaydık. Gerçek uygulamalarda ağırlıklar bir eniyileme probleminin çözümüdür ve ön dönem çok daha uzundur; kısa bir ön dönemde, iyi uyum şans eseri elde edilmiş olabilir. Plasebo örneğinde 20 bölgenin olduğu ve tedavi bölgesinin rastgele seçilmiş olabileceği varsayıldı; gerçekte programa alınan bölge genellikle belirli bir nedenle seçilir. Örnekler ayrıca programın bağışçı bölgeleri etkilemediğini varsaydı; program M bölgesine yatırım çekip A ve C'den yatırım uzaklaştırıyorsa, sentetik M politika sonrasında aşağı kayar ve etki abartılır.

Teknik

Ağırlıkların seçimi

Sentetik kontrol ağırlıkları, iki düzeyli bir eniyileme probleminin çözümüdür. İç düzeyde, belirli bir önem ağırlıkları kümesi verildiğinde, tedavi edilen birimin politika öncesi özellikleri ile bağışçıların ağırlıklı bileşiminin özellikleri arasındaki farkların ağırlıklı kareleri toplamı en aza indirilir; bağışçı ağırlıkları negatif olmamalı ve toplamları bire eşit olmalıdır. Özellikler, sonuç değişkeninin politika öncesi değerlerini ve sonucu öngören başka değişkenleri, örneğin sanayinin payını, nüfus yoğunluğunu ya da eğitim düzeyini içerebilir. Dış düzeyde ise, hangi özelliğin ne kadar önemli olduğunu belirleyen önem ağırlıkları, ön dönemdeki sonuç farklarını en aza indirecek biçimde seçilir.

Ağırlıklara konan kısıtların iki sonucu vardır. Birincisi, sentetik birim, bağışçıların oluşturduğu alanın içinde kalır; dışa doğru uzatma yapılmaz. İkincisi, çözüm genellikle seyrektir: bağışçıların çoğu sıfır ağırlık alır ve sentetik birim birkaç birimden oluşur. Bu seyreklik, yöntemin şeffaflığının kaynağıdır: Kaliforniya örneğinde sentetik Kaliforniya, birkaç eyaletin bileşimiydi ve okur bu eyaletlerin listesini görebiliyordu.

Fark içinde fark ve regresyonla karşılaştırma

Sentetik kontrol, fark içinde farkın bir genelleştirmesi olarak görülebilir. Fark içinde fark, bütün kontrol birimlerine eşit ağırlık verir ve gruplar arasındaki sabit düzey farkını çıkarır; tedavi edilen birimin, kontrol birimlerinin ortalamasıyla aynı eğilimi izleyeceğini varsayar. Sentetik kontrol ise ağırlıkları verilerden seçer ve tedavi edilen birimin, özenle seçilmiş bir bileşimle aynı yolu izleyeceğini varsayar. Kontrol birimleri tedavi edilen birime eşit derecede benziyorsa iki yöntem benzer sonuçlar verir; benzemiyorsa, sentetik kontrol daha uygun bir karşılaştırma kurar.

Abadie ve arkadaşları, belirli bir faktör modeli altında, yani sonuçların gözlenmeyen ve zaman içinde etkisi değişen ortak etkenlerden oluştuğu bir modelde, uzun bir ön dönem boyunca iyi uyum sağlayan bir sentetik kontrolün, bu gözlenmeyen etkenleri de dengeleyeceğini gösterdi. Bu, fark içinde farkın zamanla değişmeyen gözlenmeyen farkları gidermesinden daha güçlü bir özelliktir: zaman içinde etkisi değişen gözlenmeyen etkenler de, ön dönem uyumu iyiyse, büyük ölçüde dengelenir. Ama bu güvence, ön dönemin uzun ve uyumun iyi olmasına bağlıdır.

Sentetik fark içinde fark

Dmitry Arkhangelsky, Susan Athey, David Hirshberg, Guido Imbens ve Stefan Wager, 2021 tarihli ortak bir çalışmada, iki yöntemin güçlü yanlarını birleştiren bir tahminci önerdi.

Model bölümündeki en zengin bölge örneğinde, sentetik kontrol düzeyi yeniden üretemiyordu. Sentetik fark içinde fark, düzey farkını sabit bir fark olarak kabul eder ve yalnızca eğilimleri eşleştirmeye çalışır; böylece en zengin bölgenin büyüme yolu, daha yoksul bölgelerin uygun bir bileşimiyle karşılaştırılabilir. Bu esnekliğin bedeli, düzey farkının sabit kaldığı varsayımıdır.

Faktör modeli sezgisi

Sentetik kontrolün neden işe yarayabileceğini görmek için, bölgelerin gelirlerini birkaç ortak etkenin toplamı olarak düşünelim: ülke genelindeki konjonktür, sanayi fiyatlarındaki dalgalanmalar ve turizm talebi gibi. Her bölge bu etkenlerden farklı ölçülerde etkilenir: sanayi bölgesi sanayi fiyatlarından, sahil bölgesi turizmden daha çok. Fark içinde fark, bütün bölgelerin her etkenden aynı ölçüde etkilendiğini varsayar. Sentetik kontrol ise, tedavi edilen bölgenin her etkene duyarlılığını, bağışçıların bir bileşimiyle eşleştirmeye çalışır: sanayi ağırlıklı bir bölgeyi, sanayi bölgelerinin daha çok ağırlık aldığı bir bileşimle taklit eder.

Ön dönem uzunsa ve bu dönemde etkenler birçok kez dalgalanmışsa, bileşimin tedavi edilen bölgenin yolunu her dalgalanmada izleyebilmesi, etkenlere duyarlılıklarının da eşleştiğine işaret eder. Ön dönem kısaysa, uyum tesadüfen ya da yalnızca birkaç etkene göre sağlanmış olabilir; politika döneminde başka bir etken dalgalandığında sentetik birim yanlış yöne gidebilir. Bu yüzden yöntemin önerilen kullanımı, uzun ön dönemli toplu verilerdir.

Birden çok tedavi birimi

Yöntem başlangıçta tek bir tedavi birimi için geliştirildi, ama birçok uygulamada politika birkaç birime uygulanır. Bu durumda her tedavi birimi için ayrı bir sentetik kontrol kurulabilir ve etkiler ortalaması alınarak birleştirilebilir. Tedavi birimleri politikaya farklı zamanlarda giriyorsa, her birinin etkisi kendi politika tarihine göre hizalanır; bu, politikanın birimlere farklı yıllarda ulaştığı kademeli uygulama sorununun sentetik kontroldeki karşılığıdır. Tedavi birimi sayısı arttıkça, plasebo testleri yerine birimler arası değişkenliğe dayanan çıkarım yöntemleri de kullanılabilir hâle gelir. Sentetik fark içinde fark, bu tür çok birimli yapılar için tasarlanmıştır.

Öngörü olarak karşı olgusal

Sentetik kontrol, bir anlamda bir öngörü problemidir: tedavi edilen birimin politika sonrası sonucunu, bağışçıların sonuçlarından öngörmeye çalışır. Bu bakış açısı, yöntemi makine öğrenmesindeki öngörü araçlarına yaklaştırır. Ama nedensellik problemi dersinde gördüğümüz öngörü–nedensellik ayrımı burada da geçerlidir: öngörü modeli, ön dönemde ne kadar başarılı olursa olsun, politika döneminde tedavi edilen birimi etkileyen başka bir şoku öngöremez. Sentetik kontrolün nedensel yorumu, öngörünün başarısına değil, politika döneminde başka bir şokun bulunmadığı varsayımına dayanır. Bu varsayım, tedavi edilen birimin tarihine dair nitel bilgiyle değerlendirilmelidir; Abadie ve arkadaşlarının yöntemi nicel ve nitel yaklaşımlar arasında bir köprü olarak sunmasının nedeni de budur.

Çıkarım ve sınırları

Yerinde plasebo testleri, sentetik kontrolün en yaygın çıkarım yöntemidir. Bu yöntemin mantığı, tedavi biriminin bağışçılar arasından rastgele seçildiği varsayımına dayanır; bu varsayım gerçekte nadiren sağlanır, ama test, gözlenen etkinin bağışçılardaki doğal dalgalanmaların ne kadar dışında kaldığını göstermesi bakımından yine de bilgilendiricidir. Bağışçı sayısı azsa, ulaşılabilecek en düşük anlamlılık düzeyi de sınırlıdır: 10 bağışçı ile en uç sıra bile ancak yüzde 9'a yakın bir değer verir.

Son yıllarda yöntem, birkaç yönden eleştirildi ve geliştirildi. Bağışçı havuzunun ve öngörücü değişkenlerin seçimi tahmini etkileyebilir; bu yüzden farklı seçimlerle sonuçların değişip değişmediğini gösteren sağlamlık analizleri önerilir. Ön dönemin kısa olduğu durumlarda, iyi uyum, gerçek bir benzerlikten değil, aşırı uyumdan kaynaklanabilir. Tedavi edilen birim politika öncesinde, politikanın duyurulmasına tepki vermişse, önceden tepki vermeme varsayımı burada da ihlal edilir ve tarih buna göre seçilmelidir.

Ne raporlanmalı?

Sentetik kontrol çalışmalarının şeffaflığı, raporlamaya bağlıdır. İyi bir çalışma, bağışçı havuzunu ve havuzdan çıkarılan birimleri gerekçeleriyle; sentetik birimi oluşturan birimleri ve ağırlıklarını; tedavi edilen birim ile sentetik birimin ön dönemdeki özelliklerini yan yana gösteren bir tabloyu; iki yolun bütün dönem boyunca çizildiği bir grafiği; yerinde ve zamanda plasebo testlerinin sonuçlarını; ve bağışçıları teker teker çıkarmanın ya da öngörücü değişkenleri değiştirmenin tahmini nasıl etkilediğini raporlar. Bu bilgiler, okurun karşılaştırmanın makul olup olmadığına kendisi karar vermesini sağlar; yöntemin regresyona göre en büyük üstünlüğü de budur.

Yöntemin kullanım alanı

Sentetik kontrol, birkaç koşul bir aradayken en güvenilir sonuçları verir: tedavi edilen birim az sayıdadır, uzun bir ön dönem verisi vardır, bağışçı havuzu politikadan etkilenmemiş ve tedavi edilen birime yapısal olarak benzeyen birimlerden oluşur ve politika, tedavi edilen birimin sonucunu bağışçılarınkinden belirgin biçimde ayıracak kadar büyüktür. Bu koşullar sağlanmadığında, yöntemin şeffaflığı yine de yararlıdır: kötü bir ön dönem uyumu ya da plasebo dağılımının içinde kalan bir etki, verilerin soruyu cevaplamaya yetmediğini dürüstçe gösterir.

Uygulama

Özet kartı

1. Sentetik kontrol, tek bir tedavi edilmiş birimin politika olmasaydı izleyeceği yolu, tedavi edilmemiş birimlerin negatif olmayan ve toplamı bire eşit ağırlıklarla oluşturulan bir bileşimiyle tahmin eder; ağırlıklar, politika öncesi dönemde tedavi edilen birimi en iyi yeniden üretecek biçimde seçilir.
2. Abadie ve Gardeazabal, 1960'ların sonundan itibaren terörün Bask bölgesinin kişi başına gelirini sentetik bir kontrol bölgesine göre yaklaşık 10 puan düşürdüğünü buldu; Abadie, Diamond ve Hainmueller, Kaliforniya'nın tütün kontrol programının 2000 yılına gelindiğinde kişi başına yıllık sigara satışlarını yaklaşık 26 paket azalttığını tahmin etti ve yöntemi Alman yeniden birleşmesine uyguladı.
3. Yöntemin güvenilirliği, uzun bir ön dönem boyunca iyi bir uyuma, politikadan etkilenmemiş ve yapısal olarak benzer bir bağışçı havuzuna ve politika döneminde tedavi edilen birimi etkileyen başka bir şokun bulunmamasına bağlıdır.
4. Tek bir tedavi birimi olduğunda çıkarım, hesabın her bağışçıya uygulandığı yerinde plasebo testleriyle ve politikanın tarihinin kaydırıldığı zamanda plasebo testleriyle yapılır; gerçek etkinin plasebo dağılımındaki sırası bir anlamlılık düzeyi verir.
5. Ağırlık kısıtları dışa doğru uzatmayı engeller, ama tedavi edilen birim bağışçıların dışında kalıyorsa uyum kötüleşir; sentetik fark içinde fark, sabit düzey farklarına izin vererek bu durumda daha esnek bir karşılaştırma kurar.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Sentetik kontrol birimini tanımlayın ve ağırlıklarının neden negatif olmaması ve toplamlarının bire eşit olması gerektiğini açıklayın.
2. (Çıktı 2) M bölgesi örneğinde ağırlıklar A için 0,25, C için 0,75 olsaydı, sentetik M'nin 2012, 2013 ve 2014 değerleri ne olurdu? Bu bileşim, 0,2 ile 0,8'lik bileşimden daha mı iyi, daha mı kötü uyum sağlar?
3. (Çıktı 2) Yerinde plasebo testinde bağışçı havuzunda 9 bölge olsaydı ve gerçek tedavi bölgesi oran sıralamasında ikinci olsaydı, sıralama temelli anlamlılık düzeyi ne olurdu?
4. (Çıktı 3) Bir ülkenin bir para birliğine girmesinin ihracatına etkisini ölçmek isteyen bir iktisatçı düşünün. Bunun için sentetik kontrol yöntemini kullanıyor. Bağışçı havuzunda, aynı yıl aynı para birliğine giren başka ülkeler de var. Bu neden bir sorundur ve ne yapılmalıdır?
5. (Çıktı 3) Sentetik kontrol ile fark içinde fark tahmincisinin, kontrol birimlerine verdiği ağırlıklar ve dayandığı varsayım bakımından farkını açıklayın.
6. (Çıktı 4) Bir gazeteci, «Bir şehir yeni bir toplu taşıma sistemi kurduktan sonra trafik kazaları, sentetik kontrol şehrine göre yüzde 15 azaldı; bu, sistemin kazaları azalttığının kesin kanıtıdır» diyor. Bu yargıyı, sentetik kontrolün varsayımları ve çıkarım yöntemleri ışığında değerlendirin.

Cevaplar

1. Sentetik kontrol birimi, tedavi edilmemiş birimlerin, politika öncesi dönemde tedavi edilen birimin sonuçlarını ve özelliklerini en iyi yeniden üretecek biçimde seçilmiş ağırlıklarla oluşturulan ağırlıklı ortalamasıdır. Ağırlıkların negatif olmaması ve toplamlarının bire eşit olması, sentetik birimin bağışçıların bir ortalaması olarak kalmasını, yani gözlenen birimlerin oluşturduğu alanın içinde kalmasını sağlar. Negatif ağırlıklar ya da toplamı birden büyük ağırlıklar, gözlenen hiçbir birime benzemeyen bir birimi verilerin dışına doğru uzatarak tahmin etmeye izin verirdi; bu, tahmini model varsayımlarına bağımlı ve şeffaf olmayan bir hâle getirir.
2. 2012'de 0,25 × 70 + 0,75 × 45 = 17,5 + 33,75 = 51,25; 2013'te 0,25 × 73 + 0,75 × 47 = 18,25 + 35,25 = 53,5; 2014'te 0,25 × 76 + 0,75 × 49 = 19 + 36,75 = 55,75. M'nin değerleri 50, 52, 54 olduğu için farklar 1,25, 1,5 ve 1,75'tir. 0,2 ile 0,8'lik bileşimde farklar 0, 0,2 ve 0,4'tü. Yeni bileşim daha kötü bir uyum sağlar.
3. Gerçek tedavi bölgesi ile birlikte toplam 10 bölge vardır. Gerçek bölge ikinci sırada olduğuna göre, etki olmasaydı ve tedavi bölgesi rastgele seçilmiş olsaydı, en uç iki orandan birinin ona düşme olasılığı 2 ÷ 10 = 0,2'dir. Anlamlılık düzeyi yüzde 20'dir; olağan yüzde 5 ya da yüzde 10 eşiklerinde anlamlı değildir.
4. Aynı yıl aynı para birliğine giren ülkeler de politikadan etkilenmiştir; bunlar bağışçı havuzunda kalırsa, sentetik kontrol birimi kısmen tedavi edilmiş birimlerden oluşur ve politika sonrasında onların ihracatı da para birliğinden etkilenir. Bu, tedavi edilen ülke ile sentetik ülke arasındaki farkı küçültür ve etkiyi olduğundan küçük gösterir. Bu ülkeler bağışçı havuzundan çıkarılmalıdır; ayrıca para birliğine girmeyen ama birliğe giren ülkelerle yoğun ticaret yapan ülkelerin de dolaylı olarak etkilenip etkilenmediği değerlendirilmelidir.
5. Fark içinde fark, bütün kontrol birimlerine eşit ağırlık verir ve tedavi edilen birimin, politika olmasaydı, kontrol birimlerinin ortalamasıyla aynı değişimi yaşayacağını varsayar; düzey farklarına izin verir. Sentetik kontrol ise ağırlıkları, politika öncesi dönemde tedavi edilen birimin yolunu en iyi yeniden üretecek biçimde verilerden seçer ve tedavi edilen birimin, politika olmasaydı, bu ağırlıklı bileşimle aynı yolu izleyeceğini varsayar. Sentetik kontrolün varsayımı, ön dönem uyumuyla kısmen sınanabilir; fark içinde farkın paralel eğilim varsayımı ise yalnızca önceki eğilim testleriyle dolaylı olarak sınanır.
6. Gazetecinin yargısı aşırı kesindir. Birincisi, sentetik kontrolün güvenilirliği ön dönem uyumuna bağlıdır: şehrin kaza oranı politika öncesinde sentetik şehirle ne kadar yakından hareket ediyordu? İkincisi, toplu taşıma sistemiyle aynı dönemde şehirde başka değişiklikler, örneğin yeni hız sınırları ya da trafik denetimleri olduysa, bunlar sentetik şehre yansımaz ve etkinin bir kısmı onlardan gelebilir. Üçüncüsü, tek bir tedavi birimi olduğu için anlamlılık, yerinde plasebo testleriyle değerlendirilmelidir: bağışçı şehirlerde de benzer büyüklükte sahte farklar görülüyorsa, yüzde 15 tesadüf olabilir. Dördüncüsü, sistem komşu şehirlerden trafiği bu şehre çektiyse ya da bu şehirden uzaklaştırdıysa, bağışçılar da etkilenmiş olabilir. Bu sınamalar yapılmadan sonuç «kesin kanıt» olarak değil, varsayımları açıkça belirtilmiş bir tahmin olarak sunulmalıdır.

İleri okuma

• Alberto Abadie, Javier Gardeazabal (2003). «The Economic Costs of Conflict: A Case Study of the Basque Country». American Economic Review 93(1). Yöntemin ilk uygulaması.
• Alberto Abadie, Alexis Diamond, Jens Hainmueller (2010). «Synthetic Control Methods for Comparative Case Studies: Estimating the Effect of California's Tobacco Control Program». JASA 105(490). Yöntemin genelleştirilmesi ve plasebo çıkarımı.
• Alberto Abadie, Alexis Diamond, Jens Hainmueller (2015). «Comparative Politics and the Synthetic Control Method». American Journal of Political Science 59(2). Alman yeniden birleşmesi ve nitel–nicel köprü.

Sonraki derse köprü

Sentetik kontrol, tek bir tedavi edilmiş birim için bağışçıların ağırlıklı bir bileşimini kurarak politika öncesi özellikleri eşleştirdi. Aynı fikir, binlerce birey ya da firma düzeyinde de uygulanabilir: bir eğitim programına katılan her kişi için, katılmayanlar arasından yaşı, eğitimi, önceki kazancı ve başka gözlenen özellikleri bakımından ona en çok benzeyen kişiler bulunabilir. Ama bu eşleştirme, yalnızca gözlenen özellikleri dengeleyebilir. Gözlenen özellikler bakımından benzer kişileri karşılaştırmak ne zaman inandırıcı bir nedensel tahmin verir ve çok sayıda özellik nasıl tek bir ölçüye indirgenir? Sıradaki ders, eşleştirme yöntemlerini ele alıyor.