Fark içinde fark

Öğrenme çıktıları

• Hatırlama — Fark içinde fark tahmincisini, paralel eğilim varsayımını, önceden tepki vermeme varsayımını, önceki eğilim testini, plasebo testini ve üçlü farkı tanımlar.
• Uygulama — İki grup ve iki dönemden oluşan bir tabloda fark içinde fark tahminini hesaplar, aynı tahmini regresyon katsayılarıyla ifade eder ve paralel eğilim varsayımı ihlal edildiğinde tahminin ne kadar saptığını gösterir.
• Analiz — Bir fark içinde fark tasarımının dayandığı varsayımları, yani paralel eğilimleri, önceden tepki vermemeyi, kontrol grubuna yayılmanın yokluğunu ve grup bileşiminin sabitliğini, somut uygulamalar üzerinde çözümler.
• Değerlendirme — İş kazası tazminatı, su hizmetlerinin özelleştirilmesi ve önceki eğilim testlerinin gücüne dair çalışmalara dayanarak, fark içinde fark tahminlerinin güvenilirliğini ve sınırlarını değerlendirir.

Sezgi

Açılış

1854'te Londra'da bir kolera salgını sırasında doktor John Snow, hastalığın havadaki kötü kokudan değil, içme suyundan yayıldığından şüpheleniyordu. Şehrin bazı mahallelerine iki şirket su veriyordu. Bir süre sonra şirketlerden biri su alma noktasını Thames nehrinin daha temiz bir kesimine taşıdı; öbürü kirli kesimden su almaya devam etti. Snow, iki şirketin müşterileri arasındaki kolera ölümlerini karşılaştırdı ve suyun kaynağını değiştiren şirketin müşterilerinde ölümlerin çok daha düşük olduğunu buldu. Bu karşılaştırmanın gücü, iki şirketin aynı sokaklarda, benzer evlere su vermesinden geliyordu: aradaki fark, suyun kaynağından başka bir şeyle kolayca açıklanamazdı.

Snow'un mantığı bugün iktisatta en yaygın kullanılan nedensel çıkarım yöntemlerinden birinin çekirdeğidir. Snow'un iki şirketinde olduğu gibi, değişiklik bir topluluğa dokunur, öbürüne dokunmaz. Topluluklar başlangıçta aynı yerde durmak zorunda değildir; yeter ki değişiklik yaşanmasaydı yan yana aynı hızla yürüyeceklerine inanabilelim. O zaman birinin yürüyüşünün öbüründen ne kadar saptığı, değişikliğin kendisini gösterir. Bu yöntem, bazı ders kitaplarında farkların farkı adıyla da geçer; otokorelasyonu işlediğimiz derste bu yöntemin standart hatalarının nasıl hesaplanması gerektiğini görmüştük. Bu ders, yöntemin özdeşleme mantığına ve varsayımlarına odaklanıyor.

Hikâye — tazminat tavanı yükseldiğinde

ABD'de iş kazası geçiren işçilere, işe dönemedikleri süre boyunca kazançlarının bir kısmı tazminat olarak ödenir. Ödenecek haftalık tutar, işçinin önceki kazancının belirli bir oranıdır, ama bir tavanla sınırlıdır. Bruce Meyer, Kip Viscusi ve David Durbin, bu tavanın yükseltilmesinin işçilerin işe dönme süresini nasıl etkilediğini incelemek için akıllıca bir karşılaştırma kurdu.

Bu tasarımın mantığı şudur. Yüksek kazançlı işçilerin işe dönme süresi, tavan yükseltilmeden önce ve sonra karşılaştırılabilir; ama bu karşılaştırma, aynı dönemde ekonomide, tıbbi tedavilerde ya da işverenlerin davranışında olan her değişikliği de içerir. Düşük kazançlı işçiler tavandan etkilenmedi, ama aynı dönemdeki öbür değişikliklere maruz kaldı. Düşük kazançlıların değişimi, yüksek kazançlıların tavan değişikliği olmasaydı yaşayacağı değişimin bir tahminidir. İki değişim arasındaki fark, tavan artışının etkisidir.

Kavram — iki farkın farkı

Yöntemin adı, hesabın kendisini anlatır.

Bu tahmincinin nedensel bir etki vermesi için tek bir merkezî varsayım gerekir.

Paralel eğilim varsayımı, rastgele atamadan çok daha zayıf bir varsayımdır: iki grubun her yönden benzer olmasını değil, yalnızca politika olmasaydı aynı hızla değişeceklerini ister. Ama hâlâ bir varsayımdır ve ihlal edildiğinde tahmin, iki grubun farklı eğilimlerini politikanın etkisi sanır.

Veri ve kanıt — su, ölüm ve önceki eğilimler

Fark içinde fark tasarımlarının bir başka ünlü uygulaması, Arjantin'de 1990'larda su hizmetlerinin özelleştirilmesinin çocuk ölümleri üzerindeki etkisidir. Sebastián Galiani, Paul Gertler ve Ernesto Schargrodsky, özelleştirmenin belediyeler arasında farklı zamanlarda gerçekleşmesinden yararlandı.

Bu çalışmada dikkat çekici olan, sağlamlık sınamasıdır. Özelleştirme su kalitesini iyileştirdiyse, sudan kaynaklanan hastalıklardan ölümleri azaltmalı, ama örneğin kazalardan ya da doğuştan gelen hastalıklardan ölümleri etkilememelidir. Su ile ilgisi olmayan ölüm nedenlerinde bir etki bulunmaması, tahminin özelleştiren belediyelerin genel olarak farklı bir eğilimde olmasından kaynaklanmadığına dair bir kanıttır.

Paralel eğilim varsayımını sınamanın en yaygın yolu, politika öncesindeki birkaç dönemde iki grubun eğilimlerini karşılaştırmaktır. Politikadan önce iki grup paralel hareket ettiyse, politikadan sonra da paralel hareket edeceklerine güvenmek daha kolaydır. Ama Jonathan Roth, bu pratiğin sanıldığı kadar güvence vermediğini gösterdi.

Neden önemli? — politika değişiklikleri doğal deneylerdir

Hükümetler sürekli politika değiştirir: bir il yeni bir teşvik başlatır, bir sektöre yeni bir vergi gelir, bir yasa belirli bir yaş grubunu kapsar. Bu değişikliklerin çoğu rastgele değildir; ama bir grubu etkileyip başka bir benzer grubu etkilemedikleri ölçüde, etkilerini ölçmek için bir fırsat yaratırlar. Fark içinde fark, bu fırsatları kullanmanın en yaygın yoludur ve uygulamalı iktisat çalışmalarının büyük bir kısmı bu yönteme dayanır. Yöntemin cazibesi basitliğindedir: dört ortalama ve iki çıkarma işlemi. Tehlikesi de buradadır: varsayımlar sessizdir ve ihlal edildiklerinde sonuç yine düzgün bir sayı olarak görünür. Bu ders, o sessiz varsayımları görünür kılmayı amaçlıyor.

Model

Aşağıdaki tablolar ve oranlar hesap alıştırması için kurulmuştur; Meyer, Viscusi ve Durbin'in ya da öbür yazarların raporladığı tahminler değildir.

Çözümlü örnek — Dört ortalama

Bir ilde iş kazası tazminatının azami tutarı yükseltiliyor. Bu değişiklik yalnızca yüksek kazançlı işçileri etkiliyor. Ortalama işe dönme süreleri şöyle:

Yüksek kazançlılar: değişiklikten önce 6,0 hafta, sonra 7,2 hafta. Düşük kazançlılar: değişiklikten önce 5,0 hafta, sonra 5,4 hafta.

Yalnızca yüksek kazançlıların önce ve sonrasını karşılaştırırsak, etki 7,2 − 6,0 = 1,2 hafta görünür. Ama bu fark, aynı dönemde herkesi etkileyen değişiklikleri de içerir; örneğin ekonomik bir durgunluk işe dönmeyi geciktirmiş olabilir. Yalnızca değişiklik sonrasında iki grubu karşılaştırırsak, etki 7,2 − 5,4 = 1,8 hafta görünür. Ama bu fark, iki grup arasındaki kalıcı farkı da içerir: yüksek kazançlılar değişiklikten önce de bir hafta daha uzun süre işten uzak kalıyordu.

Fark içinde fark tahmini, iki sorunu birlikte giderir. Yüksek kazançlıların değişimi 1,2 hafta, düşük kazançlılarınki 0,4 haftadır. Fark: 1,2 − 0,4 = 0,8 hafta. Tazminat tavanının yükseltilmesi, yüksek kazançlı işçilerin işe dönme süresini ortalama 0,8 hafta uzatmıştır.

Aynı sonuca öbür yönden de ulaşılabilir: değişiklik sonrasında gruplar arasındaki fark 1,8 hafta, değişiklik öncesinde 1,0 haftadır; fark 0,8 haftadır. Tahmin, iki farkın hangi sırayla alındığından bağımsızdır.

Üç tahmini yan yana koymak, her karşılaştırmanın neyi varsaydığını gösterir. Önce–sonra karşılaştırması, 1,2 hafta, zaman içinde başka hiçbir şeyin değişmediğini varsayar. Grup karşılaştırması, 1,8 hafta, iki grubun politika olmasaydı aynı düzeyde olacağını varsayar. Fark içinde fark, 0,8 hafta, ikisini de varsaymaz; yalnızca iki grubun politika olmasaydı aynı miktarda değişeceğini varsayar. Üç sayı arasındaki fark büyükse, varsayım seçimi sonucu belirliyor demektir ve araştırmacının hangi varsayımın daha inandırıcı olduğunu açıkça savunması gerekir. Bu örnekte düşük kazançlıların süresi de 0,4 hafta uzadığı için, zaman içinde herkesi etkileyen bir değişikliğin varlığı açıktır; bu da önce–sonra karşılaştırmasının güvenilmez olduğunu gösterir.

Çözümlü örnek — Regresyonla aynı hesap

Aynı tahmin bir regresyonla da elde edilir. Sonuç değişkeni Y, işe dönme süresi olsun. T, kişinin yüksek kazançlı gruptan olup olmadığını; S, değişiklik sonrası dönemde yaralanıp yaralanmadığını gösteren göstergeler olsun. Regresyon şöyledir: Y = a + b × T + c × S + d × (T × S).

Dört ortalamayı bu katsayılarla yazalım. Düşük kazançlı, öncesi: a = 5,0. Düşük kazançlı, sonrası: a + c = 5,4, yani c = 0,4. Yüksek kazançlı, öncesi: a + b = 6,0, yani b = 1,0. Yüksek kazançlı, sonrası: a + b + c + d = 7,2, yani d = 7,2 − 5,0 − 1,0 − 0,4 = 0,8.

Her katsayının bir yorumu vardır. a, kontrol grubunun politika öncesi düzeyidir. b, gruplar arasındaki kalıcı farktır. c, iki grubu ortak etkileyen zaman değişimidir. d, etkileşim teriminin katsayısı, fark içinde fark tahminidir. Regresyon biçiminin yararı, kontrol değişkenleri eklemeye, birçok grup ve dönemi birlikte ele almaya ve standart hataları hesaplamaya izin vermesidir.

Çözümlü örnek — Eğilimler paralel değilse

Şimdi yüksek kazançlı işçilerin işe dönme süresinin, tazminat değişikliğinden bağımsız olarak, her dönem düşük kazançlılarınkinden 0,3 hafta daha hızlı arttığını varsayalım. Örneğin yüksek kazançlı işçiler daha çok inşaat ve sanayide çalışıyor ve bu sektörlerde iş kazaları giderek daha ağır hâle geliyor.

Bu durumda yüksek kazançlıların değişimi, tazminat değişikliği olmasaydı da, ortak 0,4 haftalık artışa kendi 0,3 haftalık fazlası eklenerek, toplam 0,7 hafta olacaktı. Gözlenen 1,2 haftalık değişimin yalnızca 1,2 − 0,7 = 0,5 haftası tazminattan kaynaklanır. Fark içinde fark tahmini 0,8 hafta verir; gerçek etki 0,5 haftadır. Tahmin, eğilim farkı kadar, yani 0,3 hafta, yanlıdır.

Paralel eğilim varsayımı ihlal edildiğinde yanlılık, tam olarak iki grubun politika olmasaydı yaşayacakları değişimler arasındaki farka eşittir. Bu farkı politika sonrası dönemde gözleyemeyiz; ama politika öncesi dönemlerde iki grubun eğilimleri farklıysa, bu, politika sonrası dönemde de farklı olabileceklerinin bir işaretidir.

Çözümlü örnek — Önceki dönemlere bakmak

Araştırmacının elinde değişiklikten önceki üç yılın verisi olsun. Yüksek kazançlıların işe dönme süresi üç yıl önce 5,4, iki yıl önce 5,6, bir yıl önce 6,0 hafta; düşük kazançlılarınki 4,8, 4,9, 5,0 hafta. Yüksek kazançlıların süresi yılda ortalama 0,3, düşük kazançlılarınki 0,1 hafta artmış. Eğilim farkı yılda 0,2 haftadır.

Bu bilgiyle araştırmacı, değişiklik sonrasında da aynı eğilim farkının süreceğini varsayıp tahmini düzeltebilir: 0,8 haftadan yıllık 0,2 haftalık eğilim farkı düşülünce 0,6 hafta kalır. Ama bu düzeltme de bir varsayımdır: eğilim farkının sabit kalacağı varsayımı. Eğilim farkı doğrusal olmayabilir, değişiklik dönemine denk gelen başka bir olaydan etkilenebilir.

Şimdi eğilim farkının gerçekte yılda 0,1 hafta olduğunu, ama araştırmacının yalnızca iki önceki yılı gözlediğini ve verilerdeki gürültünün bu küçük farkı saptamaya yetmediğini varsayalım. Önceki eğilim testi anlamsız çıkar; araştırmacı paralel eğilimlerin sağlandığı sonucuna varır ve 0,8 haftalık tahmini raporlar. Gerçek etki 0,7 haftadır. Roth'un uyarısı tam olarak budur: testin anlamsız çıkması, eğilim farkının yokluğunu kanıtlamaz; ayrıca araştırmacılar yalnızca testi geçen tasarımları raporlarsa, raporlanan tahminler sistematik olarak, şans eseri küçük görünen önceki eğilimlerle birlikte gelen yanlılığı taşır.

Çözümlü örnek — Üçüncü bir fark

Bazen paralel eğilim varsayımı, iki grup arasında şüphelidir; ama elimizde üçüncü bir karşılaştırma vardır. Bir il, yalnızca 25 yaş altı işçileri kapsayan bir istihdam teşviki başlatıyor. Araştırmacı, teşvik uygulanan ildeki 25 yaş altı işçilerin istihdamını, aynı ildeki 25 yaş üstü işçilerinkiyle karşılaştırıyor. Ama ilde aynı dönemde bir fabrika açılmış ve genç işçileri özellikle çekmiş olabilir; bu, gençlerin istihdamını teşvikten bağımsız olarak artırır.

Çözüm, komşu bir ilden üçüncü bir fark almaktır. Teşvik uygulanan ilde gençlerin istihdam oranı 4 puan, yaşlılarınki 1 puan arttı; fark 3 puan. Teşvik uygulanmayan komşu ilde ise gençlerin istihdamı 2 puan, yaşlılarınki 1 puan arttı; fark 1 puan. Bu 1 puan, teşvik olmaksızın gençler ile yaşlılar arasındaki ortak değişim farkının bir tahminidir. Üçlü fark tahmini: 3 − 1 = 2 puan.

Galiani ve arkadaşlarının ölüm nedenlerine göre yaptığı sınama, bu fikrin bir biçimidir: su ile ilgili ölüm nedenleri hedef grup, su ile ilgisiz ölüm nedenleri ise özelleştiren ve özelleştirmeyen belediyeler arasındaki genel eğilim farkını gösteren karşılaştırma grubudur.

Çözümlü örnek — Önceden tepki ve yanlış dönem

Bir hükümet, bir yıl önceden duyurduğu bir vergi artışını 1 Ocak'ta yürürlüğe koyuyor. Vergi, belirli bir dayanıklı mal türünü kapsıyor. Tüketiciler, vergi yürürlüğe girmeden önce alımlarını öne çekiyor: aralıkta satışlar yüzde 30 artıyor, ocakta ise yüzde 20 düşüyor.

Bir araştırmacı, vergi öncesi dönem olarak aralığı, sonrası olarak ocağı alıp bu malın satışlarını, vergiden etkilenmeyen benzer bir malın satışlarıyla karşılaştırırsa, aralıktaki şişkin satışları normal düzey sanır ve verginin etkisini olduğundan büyük bulur. Vergi öncesi dönem, aslında vergiden etkilenmiştir.

Çözüm, öncesi dönemi duyurudan önce seçmek ve etkiyi, yürürlük tarihinin hem öncesinde hem sonrasında birkaç ay boyunca izlemektir. Bu, toplam etkiyi, yani alımların zamanlamasının kaymasını ve gerçek talep düşüşünü birlikte gösterir.

Çözümlü örnek — Grup değişirse

Tazminat örneğine dönelim; ama bu kez veriler her dönem yaralanan farklı işçilerden oluşuyor. Tazminat tavanı yükseltildikten sonra, daha önce hafif yaralanmalarını bildirmeyen bazı yüksek kazançlı işçiler, artık tazminat daha cömert olduğu için bunları bildirmeye başlıyor. Hafif yaralananlar işe çabuk döner: diyelim ki ortalama 3 haftada.

Değişiklikten önce yüksek kazançlı yaralı işçilerin ortalaması 6,0 haftaydı. Değişiklikten sonra, eski türden 100 işçinin ortalaması 7,2 hafta, ama yeni bildirim yapan 20 hafif yaralı işçinin ortalaması 3 hafta. Grubun yeni ortalaması (100 × 7,2 + 20 × 3) ÷ 120 = 780 ÷ 120 = 6,5 haftadır. Düşük kazançlıların değişimi 0,4 hafta olduğuna göre, fark içinde fark tahmini 6,5 − 6,0 − 0,4 = 0,1 hafta olur.

Tazminatın aynı işçiler üzerindeki gerçek etkisi 0,8 haftaydı; tahmin onu neredeyse sıfıra indirmiştir. Sorun, politikanın yalnızca sonucu değil, kimin gözlendiğini de değiştirmesidir. Bu, kötü kontrol ve çarpışan yanlılığıyla aynı ailedendir: politikadan etkilenen bir süreç, örneğin kaza bildirme kararı, örneğe kimin gireceğini belirliyorsa, gruplar politika öncesi ve sonrasında karşılaştırılabilir olmaktan çıkar. Araştırmacı, yaralanma türü ya da ağırlığı gibi politika öncesinde belirlenmiş özelliklere göre aynı türden yaralanmaları karşılaştırarak bu sorunu hafifletebilir.

Çözümlü örnek — Kontrol grubu da etkilenirse

Gençlere yönelik istihdam teşviki örneğinde, teşvik uygulanan ildeki 25 yaş üstü işçileri kontrol grubu olarak kullandığımızı düşünelim. Teşvik, işverenleri genç işçi almaya yönlendiriyor; bazı işverenler, aksi hâlde alacakları 25 yaş üstü işçiler yerine gençleri işe alıyor.

Teşvik olmasaydı her iki grubun istihdam oranı 1 puan artacaktı. Teşvik, gençlerin istihdamını 3 puan artırıyor ve yaşlıların istihdamını, yer değiştirme nedeniyle, 0,5 puan azaltıyor. Gözlenen değişimler: gençlerde dört puanlık bir artış, yaşlılarda yarım puanlık bir artış. Fark içinde fark tahmini bu ikisinin farkı, yani üç buçuk puandır.

Teşvikin gençler üzerindeki etkisi 3 puandır; tahmin 0,5 puan abartılıdır. İldeki toplam istihdama etkisi ise, gençler ve yaşlılar eşit sayıdaysa, (3 − 0,5) ÷ 2 = 1,25 puandır. Fark içinde fark tahmini, ne gençler üzerindeki etkiyi ne de toplam etkiyi doğru verir; kontrol grubunun kaybını tedavi grubunun kazancına eklemiştir. Potansiyel sonuçlar dersindeki yüz iş ve iki yüz aday örneğinde gördüğümüz sorunun aynısıdır. Komşu ildeki gençleri kontrol grubu olarak kullanmak, işçiler iller arasında kolayca yer değiştirmiyorsa bu sorunu giderir.

Modelin sınırları

Bu örneklerde ortalamaları kesin olarak bildiğimizi ve grupların zaman içinde aynı kişilerden oluştuğunu varsaydık. Gerçek verilerde ortalamalar örneklem hatası taşır ve tekrarlanan kesit verilerinde grupların bileşimi değişebilir: örneğin tazminat artışı, daha önce kaza bildirmeyen işçilerin kaza bildirmesine yol açarsa, yüksek kazançlı yaralı işçi grubu değişiklik sonrasında farklı türden kişileri içerir. Eğilim düzeltmesi örneği, eğilim farkının doğrusal ve sabit olduğunu varsaydı. Üçlü fark örneği, gençler ile yaşlılar arasındaki eğilim farkının iki ilde aynı olduğunu varsaydı; bu da sınanamaz bir varsayımdır.

Teknik

Potansiyel sonuçlar dilinde fark içinde fark

Potansiyel sonuçlar çerçevesinde, her birimin her dönemde iki potansiyel sonucu vardır: politikayla ve politikasız. Fark içinde fark tasarımı, politika sonrası dönemde yalnızca politikanın dokunduğu grubun ortalama kazancını ya da kaybını hedefler: tedavi grubunun politika sonrası gözlenen ortalaması ile aynı grubun politika olmasaydı alacağı ortalama arasındaki fark.

Bu ikinci büyüklük gözlenmez. Paralel eğilim varsayımı onu şöyle doldurur: tedavi grubunun politikasız sonucunun politika öncesinden sonrasına değişimi, kontrol grubunun gözlenen değişimine eşittir. Önceden tepki vermeme varsayımı ise tedavi grubunun politika öncesi gözlenen sonucunun gerçekten politikasız sonuç olmasını sağlar. Kararlı birim tedavi değeri varsayımı, kontrol grubunun politikadan etkilenmemesini gerektirir. Bu üç varsayım altında fark içinde fark tahmini, tedavi edilenler üzerindeki etkinin yansız bir tahminidir. Yöntem, tedavi grubu için etkiyi tahmin eder, bütün nüfus için değil.

Paralel eğilim varsayımı, rastgele atamadan farklı olarak, tedavi grubunun seçiminin gruplar arasındaki kalıcı farklarla ilişkili olmasına izin verir. Örneğin özelleştirme, ölüm oranı yüksek belediyelerde daha olası olabilir; bu, tasarımı bozmaz. Bozan, özelleştirmenin, ölüm oranlarının zaten daha hızlı düşmekte ya da yükselmekte olduğu belediyelerde daha olası olmasıdır. Kursun ilk dersinde gördüğümüz Ashenfelter düşüşü bu türden bir ihlaldir: programa geçici olarak kötü durumda olanlar katılıyorsa, onların toparlanma eğilimi kontrol grubundan farklıdır.

Ölçek ve fonksiyonel biçim

Paralel eğilim varsayımı, sonucun hangi ölçekte ölçüldüğüne bağlıdır. İki grubun sonuçları düzey olarak paralel hareket ediyorsa, logaritmaları genellikle paralel hareket etmez; tersi de geçerlidir. Örneğin tedavi grubunun ortalama ücreti 2.000, kontrol grubununki 1.000 lira olsun ve iki grubun ücreti politika olmasaydı her ikisi de 100 lira artacak olsun. Düzeyde paralel eğilim sağlanır. Ama logaritmada tedavi grubu yüzde 5, kontrol grubu yüzde 10 artar ve paralel eğilim ihlal edilir.

Bu, araştırmacının sonuç değişkeninin ölçeğini seçerken, hangi ölçekte paralel eğilimin daha inandırıcı olduğunu düşünmesi gerektiği anlamına gelir. Düzeyleri çok farklı gruplarda, oransal değişimlerin benzer olması, mutlak değişimlerin benzer olmasından genellikle daha makuldür. Ama bu bir iktisadi muhakeme sorusudur ve farklı ölçeklerde sonuçların değişip değişmediğini raporlamak iyi bir uygulamadır.

Çok dönem, çok grup ve kademeli uygulama

Gerçek uygulamalarda politika birçok grupta, farklı zamanlarda yürürlüğe girer; Arjantin'deki özelleştirme bunun bir örneğidir. Bu durumda tahmin genellikle, panel veriyi işlediğimiz derste tanıştığımız iki yönlü sabit etkiler regresyonuyla yapılır: her grup için ve her dönem için ayrı sabit terimler ve bir tedavi göstergesi. O derste, Goodman-Bacon'un ve de Chaisemartin ile D'Haultfœuille'nin gösterdiği gibi, tedavi etkileri zaman içinde değiştiğinde bu regresyonun, erken tedavi edilen grupları geç tedavi edilenler için kontrol grubu olarak kullanabildiğini ve yanıltıcı ağırlıklar verebildiğini gördük.

Bu sorunun çözümü, karşılaştırmaları açıkça kurmaktır: her tedavi grubunu, yalnızca henüz tedavi edilmemiş ya da hiç tedavi edilmeyecek gruplarla karşılaştıran tahminciler geliştirildi. Bu tahminciler, her grup ve her dönem için ayrı fark içinde fark tahminleri hesaplar ve bunları açıkça tanımlanmış ağırlıklarla birleştirir. Böylece tasarımın neyi karşılaştırdığı görünür hâle gelir.

Dinamik etkiler ve olay zamanına göre tahmin

Politikanın etkisi yürürlük anında ortaya çıkıp sabit kalmayabilir; zamanla büyüyebilir ya da sönebilir. Bu durumda, politika öncesi ve sonrasındaki her dönem için ayrı bir etki tahmin edilir. Bu yaklaşım, finans yazınındaki duyuru etkisi analizinden farklı olarak uzun zaman aralıklarını kapsar ve iki işe yarar: politika öncesi dönemlerdeki tahminler, önceki eğilim testi işlevi görür; politika sonrası dönemlerdeki tahminler, etkinin zaman içindeki seyrini gösterir. Kursun ilerleyen bir dersi, olay çalışmalarını ayrıca ele alacak.

Roth'un uyarısı bu yaklaşımın yorumuna doğrudan uygulanır. Politika öncesi tahminlerin sıfıra yakın olması, paralel eğilim varsayımının politika sonrasında da sağlanacağını garanti etmez. Ashesh Rambachan ve Jonathan Roth, sonraki bir çalışmada, politika sonrası eğilim farkının politika öncesindekinden belirli bir ölçüde daha büyük olamayacağı varsayımı altında etki için ulaşılabilecek en küçük ve en büyük değerleri hesaplayan duyarlılık analizleri önerdi. Bu yaklaşım, paralel eğilim varsayımını ya hep ya hiç biçiminde değil, ne kadar ihlal edilirse sonucun değişeceği sorusuyla ele alır.

Kontrol grubunun seçimi

Fark içinde fark tasarımının inandırıcılığı, büyük ölçüde kontrol grubunun seçimine bağlıdır. İyi bir kontrol grubu, tedavi grubunu etkileyen ortak şoklara aynı biçimde maruz kalan, ama politikadan etkilenmeyen bir gruptur. Meyer ve arkadaşlarının düşük kazançlı işçileri, aynı eyalette, aynı iş kazası sisteminde, aynı ekonomik koşullarda çalışıyordu; yalnızca tazminat tavanından etkilenmiyorlardı. Bu, iyi bir kontrol grubunun örneğidir.

Kontrol grubu politikadan dolaylı yoldan pay alıyorsa ya da zarar görüyorsa, birimlerin birbirini etkilemediği varsayımı çöker. Örneğin bir ilde gençlere yönelik istihdam teşviki, işverenlerin yaşlı işçiler yerine genç işçileri tercih etmesine yol açarsa, yaşlı işçilerin istihdamı düşer; bu düşüş kontrol grubunun değişimini aşağı çeker ve fark içinde fark tahmini, teşvikin gençler üzerindeki etkisini abartır. Bu durumda tahmin, gençlerin kazancı ile yaşlıların kaybının toplamını ölçer. Uygun kontrol grubu bulunamıyorsa, birçok aday kontrol biriminin ağırlıklı bir bileşimini kuran sentetik kontrol yöntemi bir alternatif olabilir; bu yöntem kursun ilerleyen bir dersinde ele alınacak.

Snow'dan asgari ücrete

Fark içinde fark mantığı, istatistiksel yöntem olarak adlandırılmadan çok önce kullanıldı. John Snow'un 1850'lerdeki kolera çalışması, iki su şirketinin müşterilerini, şirketlerden biri su alma noktasını değiştirmeden önce ve sonra karşılaştırıyordu. İktisatta yöntem, 1980'ler ve 1990'larda güvenilirlik devrimiyle yaygınlaştı. Asgari ücreti işlediğimiz derslerde gördüğümüz Card ve Krueger çalışması, New Jersey'de asgari ücretin yükseltilmesinden önce ve sonra fast food restoranlarındaki istihdamı, asgari ücretin değişmediği komşu Pennsylvania'daki restoranlarla karşılaştırdı ve yöntemin en çok tartışılan uygulamalarından biri oldu. Tartışmanın bir kısmı, tam da bu dersin konusu olan sorular üzerineydi: Pennsylvania iyi bir kontrol grubu muydu, verilerin ölçümü iki eyalette aynı mıydı ve etkiyi görmek için seçilen zaman aralığı yeterli miydi?

Panel ve tekrarlanan kesit

Fark içinde fark tasarımı iki tür veriyle uygulanabilir. Panel verilerde aynı birimler, örneğin aynı işçiler ya da aynı belediyeler, politika öncesinde ve sonrasında gözlenir; bu durumda her birimin kendi değişimi hesaplanabilir ve birime özgü kalıcı farklar tamamen ortadan kalkar. Tekrarlanan kesit verilerinde ise her dönem farklı birimler gözlenir; örneğin her yıl yapılan bir hane anketi. Bu durumda grup ortalamaları karşılaştırılır ve tasarım, grupların bileşiminin politikadan etkilenmemesini ek bir varsayım olarak gerektirir. Model bölümündeki kaza bildirimi örneği, bu ek varsayımın ihlalini gösteriyordu.

Panel verilerin de kendine özgü bir sorunu vardır: deneyden ayrılmaya benzer biçimde, bazı birimler politika sonrasında izlenemez hâle gelebilir. Politika, kimin izlenmeye devam ettiğini etkiliyorsa, örneğin bir teşvik bazı firmaların kapanmasını önlüyorsa, hayatta kalan firmaların karşılaştırılması hayatta kalan yanlılığı taşır.

Çıkarım

Fark içinde fark tahminlerinin standart hataları, otokorelasyonu işlediğimiz derste ayrıntılı olarak tartışıldı. Kısaca hatırlarsak: aynı grupların birçok dönem boyunca izlendiği durumlarda sonuçlar zaman içinde birbirine bağlıdır ve geleneksel standart hatalar belirsizliği ciddi biçimde küçümser; bu yüzden standart hatalar, politikanın uygulandığı düzeyde, örneğin il ya da belediye düzeyinde kümelenmelidir. Tedavi edilen küme sayısı çok azsa, örneğin yalnızca bir ya da iki il politikayı uyguluyorsa, kümelenmiş standart hatalar da güvenilmez hâle gelir ve rastgeleleştirme çıkarımına benzer yöntemlere başvurmak gerekir.

Uygulama

Özet kartı

1. Fark içinde fark tahmini, tedavi grubunun politika öncesinden sonrasına değişiminden kontrol grubunun aynı dönemdeki değişiminin çıkarılmasıdır; gruplar arasındaki kalıcı farkları ve ortak zaman değişimlerini giderir ve regresyonda tedavi göstergesi ile dönem göstergesinin etkileşim katsayısına eşittir.
2. Bu farkı politikanın etkisi diye okuyabilmek için paralel eğilim, önceden tepki vermeme ve kontrol grubuna yayılmama varsayımları gerekir; paralel eğilim ihlal edildiğinde yanlılık, iki grubun politika olmasaydı yaşayacakları değişimlerin farkına eşittir.
3. Meyer, Viscusi ve Durbin, tazminat tavanının yükseltilmesinden etkilenen yüksek kazançlı işçilerin işten uzak kalma süresinin arttığını, etkilenmeyen düşük kazançlılarınkinin değişmediğini buldu; Galiani, Gertler ve Schargrodsky, Arjantin'de su özelleştirmesinin çocuk ölümlerini yüzde 8, en yoksul bölgelerde yüzde 26 azalttığını ve su ile ilgisiz ölüm nedenlerini etkilemediğini gösterdi.
4. Önceki eğilim testleri paralel eğilim lehine dolaylı kanıt sunar, ama Roth'un gösterdiği gibi gücü düşük olabilir ve analizi bu testi geçmeye koşullamak yanlılığı artırabilir; plasebo testleri ve üçlü farklar, tasarımın varsayımlarını sınamanın ve güçlendirmenin başka yollarıdır.
5. Paralel eğilim varsayımı ölçeğe bağlıdır; kademeli uygulamalarda iki yönlü sabit etkiler regresyonu yanıltıcı karşılaştırmalar yapabilir ve standart hatalar politikanın uygulandığı düzeyde kümelenmelidir.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Paralel eğilim varsayımını kendi cümlelerinizle açıklayın. Bu varsayım neden rastgele atamadan daha zayıf, ama yine de sınanamaz bir varsayımdır?
2. (Çıktı 2) Bir ilde gençlere yönelik bir teşvikten önce gençlerin istihdam oranı yüzde 40, sonra yüzde 46; teşvik olmayan bir ilde gençlerin istihdam oranı önce yüzde 45, sonra yüzde 48. Fark içinde fark tahmini nedir? Regresyon katsayılarını, yani a, b, c ve d'yi yazın.
3. (Çıktı 2) Aynı örnekte teşvik uygulanan ilde gençlerin istihdam oranının, teşvikten bağımsız olarak, her dönem öbür ildekinden 1 puan daha hızlı arttığını varsayın. Gerçek etki nedir ve fark içinde fark tahmini ne kadar yanlıdır?
4. (Çıktı 3) Bir hükümet, belirli bir otomobil türüne uygulanan vergiyi altı ay önceden duyuruyor. Bir araştırmacı, verginin satışlara etkisini vergi yürürlüğe girmeden hemen önceki ay ile hemen sonraki ayı karşılaştırarak ölçüyor. Hangi varsayım ihlal ediliyor ve tahmin hangi yönde yanlı olabilir?
5. (Çıktı 3) Tedavi grubunun ortalama kazancı 4.000, kontrol grubununki 2.000 lira ve politika olmasaydı her iki grubun kazancı yüzde 10 artacak olsun. Paralel eğilim varsayımı düzeyde mi, logaritmada mı sağlanır? Düzeyde fark içinde fark tahmini yapan bir araştırmacının tahmini, gerçek etki sıfırsa, ne olur?
6. (Çıktı 4) Bir araştırmacı, «Önceki eğilim testim anlamsız çıktı; bu yüzden paralel eğilim varsayımım doğrulanmıştır ve tahminim kesinlikle nedenseldir» diyor. Bu görüşü Roth'un bulgularıyla ve Galiani ve arkadaşlarının kullandığı plasebo yaklaşımıyla değerlendirin.

Cevaplar

1. Paralel eğilim varsayımı, tedavi grubunun politika uygulanmasaydı kontrol grubuyla aynı ortalama değişimi yaşayacağı varsayımıdır. Rastgele atamadan daha zayıftır, çünkü iki grubun her yönden benzer olmasını ya da aynı düzeyde olmasını gerektirmez; yalnızca değişimlerinin aynı olmasını ister. Ama sınanamaz, çünkü tedavi grubunun politika sonrası dönemde politika olmasaydı ne yaşayacağını, yani karşı olgusal değişimini hiçbir zaman gözlemeyiz; yalnızca politika öncesi dönemlerin eğilimlerinden dolaylı kanıt toplayabiliriz.
2. Teşvik uygulanan ilin değişimi 46 − 40 = 6 puan, öbür ilin değişimi 48 − 45 = 3 puandır. Fark içinde fark tahmini 6 − 3 = 3 puandır. Regresyon katsayıları: a, kontrol ilinin öncesi düzeyi = 45; b, iller arası kalıcı fark = 40 − 45 = −5; c, ortak zaman değişimi = 3; d, fark içinde fark tahmini = 46 − 45 − (−5) − 3 = 3.
3. Teşvik uygulanan ilin gençleri, teşvik olmasaydı 3 + 1 = 4 puan artış yaşayacaktı. Gözlenen 6 puanlık artışın 6 − 4 = 2 puanı teşvikten kaynaklanır; gerçek etki 2 puandır. Fark içinde fark tahmini 3 puan verir; yanlılık 1 puandır, yani eğilim farkına eşittir.
4. Önceden tepki vermeme varsayımı ihlal edilir. Vergi altı ay önceden duyurulduğu için alıcılar alımlarını vergi öncesine çeker; vergi öncesi son ayın satışları şişkindir. Bu ayı karşılaştırma noktası almak, verginin satışları azaltan etkisini olduğundan büyük gösterir, çünkü vergi sonrası düşüşün bir kısmı, aslında öne çekilen alımların yarattığı geçici bir boşluktur. Araştırmacı, öncesi dönemi duyurudan önce seçmeli ve etkiyi yürürlük tarihinin öncesinde ve sonrasında birkaç ay boyunca izlemelidir.
5. İki grubun kazancı yüzde 10 arttığına göre, tedavi grubununki 400, kontrol grubununki 200 lira artar. Logaritmada paralel eğilim sağlanır, çünkü oransal değişimler aynıdır; düzeyde sağlanmaz, çünkü mutlak değişimler farklıdır. Gerçek etki sıfır olsa bile, düzeyde fark içinde fark tahmini yapan araştırmacı 400 − 200 = 200 liralık bir etki bulur; bu, tamamen ölçek seçiminden kaynaklanan bir yanlılıktır.
6. Araştırmacının görüşü aşırı iyimserdir. Roth, geleneksel önceki eğilim testlerinin gücünün düşük olabileceğini gösterdi: test anlamsız çıksa bile, verilerin saptayamayacağı kadar küçük ama tahmini önemli ölçüde saptıracak bir eğilim farkı bulunabilir. Ayrıca analizi testi geçmeye koşullamak, raporlanan tahminlerin yanlılığını ve güven aralıklarının yetersiz kapsamasını ağırlaştırabilir. Önceki eğilim testi, politika sonrası eğilimler hakkında doğrudan bilgi de vermez. Araştırmacı, Galiani ve arkadaşlarının yaptığı gibi, politikanın etkilememesi gereken sonuçlarda, örneğin su ile ilgisiz ölüm nedenlerinde, sıfır etki bulunup bulunmadığını sınayan plasebo testleri ekleyebilir; ve paralel eğilimin belirli ölçülerde ihlal edilmesi hâlinde sonucun nasıl değiştiğini gösteren duyarlılık analizleri raporlayabilir. Tahminin nedensel yorumu, tek bir testin geçilmesine değil, birbirini destekleyen kanıtların bütününe dayanmalıdır.

İleri okuma

• Bruce D. Meyer, W. Kip Viscusi, David L. Durbin (1995). «Workers' Compensation and Injury Duration: Evidence from a Natural Experiment». American Economic Review 85(3). Tazminat tavanı ile yüksek ve düşük kazançlı işçilerin karşılaştırılması.
• Sebastián Galiani, Paul Gertler, Ernesto Schargrodsky (2005). «Water for Life: The Impact of the Privatization of Water Services on Child Mortality». JPE 113(1). Özelleştirmenin zaman ve mekândaki farklılıklarından yararlanan tasarım ve ölüm nedenlerine göre plasebo.
• Jonathan Roth (2022). «Pretest with Caution: Event-Study Estimates after Testing for Parallel Trends». AER: Insights 4(3). Önceki eğilim testlerinin sınırları.

Sonraki derse köprü

Fark içinde fark, politikanın bir gruba uygulanıp öbürüne uygulanmadığı durumlarda, iki grubun zaman içindeki değişimlerini karşılaştırır. Ama bazen politika bir tarih üzerinden değil, bir eşik üzerinden belirlenir: bir burs, sınav puanı belirli bir değerin üzerinde olan öğrencilere verilir; bir yardım, geliri belirli bir sınırın altındaki hanelere gider; bir seçimi yüzde 50'nin üzerinde oy alan aday kazanır. Eşiğin hemen altında ve hemen üstündeki kişiler birbirine çok benziyorsa, aralarındaki sonuç farkı politikanın etkisi olarak okunabilir mi? Sıradaki ders, regresyon süreksizlik tasarımını ele alıyor.