Regresyon süreksizlik tasarımı

Öğrenme çıktıları

• Hatırlama — Atama değişkenini, keskin ve bulanık süreksizliği, bant genişliğini, yerel doğrusal regresyonu ve yoğunluk testini tanımlar.
• Uygulama — Eşiğin iki yanındaki ortalamalardan ve eğimlerden bir süreksizlik tahmini hesaplar; bulanık bir tasarımda sonuçtaki sıçramayı tedavi olasılığındaki sıçramaya bölerek etkiyi bulur; bant genişliği seçiminin yanlılık ile kesinlik arasındaki ödünleşimini sayısal olarak gösterir.
• Analiz — Bir süreksizlik tasarımının varsayımlarını, yani eşik etrafında öbür etkenlerin sürekli değişmesini ve atama değişkeninin eşik etrafında manipüle edilmemesini, somut uygulamalar üzerinde çözümler.
• Değerlendirme — Asgari alkol yaşı, yaz okulu ve sınıf tekrarı ile kıl payı kazanılan seçimlere dayanan çalışmalara bakarak, süreksizlik tahminlerinin güvenilirliğini ve yalnızca eşikteki kişiler için geçerli olmalarının sonuçlarını değerlendirir.

Sezgi

Açılış

Bir öğrenci üniversite bursuna başvuruyor; burs, giriş sınavında 400 puan ve üzeri alanlara veriliyor. Öğrenci 401 alıyor ve bursu kazanıyor; sınıf arkadaşı 399 alıyor ve kazanamıyor. Dört yıl sonra bursu kazanan öğrencinin mezuniyet olasılığı daha yüksek. Bu fark bursun etkisi mi? İki öğrenci arasındaki iki puanlık fark, sınav günü biraz daha iyi uyumak, bir soruyu şans eseri doğru tahmin etmek kadar küçük bir şeyden kaynaklanmış olabilir. Yetenekleri, çalışkanlıkları, aileleri bakımından birbirlerine neredeyse aynı derecede benziyor olmaları beklenir. Eşiğin hemen iki yanındaki öğrenciler, neredeyse kurayla bölünmüş gibidir.

Kurumlar ve politikalarda bu tür eşikler her yerdedir. Kurumlar ve kalkınmayı ele aldığımız derste süreksizlik tasarımı kavramıyla, bir sınırın iki yanındaki toplulukları karşılaştıran çalışmalar üzerinden tanışmıştık. Bu ders, yöntemin istatistiksel mekanizmasını ele alıyor: eşikteki sıçrama nasıl ölçülür, eşikten ne kadar uzaktaki gözlemler kullanılmalıdır, eşik herkes için kesin değilse ne yapılır ve kişiler eşiğin doğru tarafına geçmek için davranışlarını değiştirebiliyorsa tasarım nasıl çöker?

Hikâye — yirmi bir yaş gecesi

ABD'de alkol almanın yasal yaşı yirmi birdir. Yirmi birinci doğum gününden önceki gece ile sonraki gece arasında bir gencin hayatında, yasal olarak alkol alabilmesinden başka neredeyse hiçbir şey değişmez. Christopher Carpenter ve Carlos Dobkin, bu keskin eşiği alkolün ölümler üzerindeki etkisini ölçmek için kullandı.

Bu tasarımda yaş, eşiği belirleyen değişkendir. Yaş arttıkça ölüm oranı yavaş yavaş değişir; ama yirmi birinci doğum gününde, yaşın olağan etkisiyle açıklanamayacak ani bir sıçrama vardır. Bu sıçrama, yaşla birlikte değişen başka bir şeyden değil, yalnızca o gün değişen tek şeyden, yani yasal içki hakkından kaynaklanıyor olmalıdır.

Kavram — eşik, sıçrama ve komşular

Bir süreksizlik tasarımının merkezinde, tedaviyi belirleyen bir değişken durur.

Eşik, tedaviyi herkes için kesin olarak belirleyebilir ya da yalnızca tedavi olasılığını değiştirebilir.

Veri ve kanıt — yaz okulu ve kıl payı seçimler

Bulanık süreksizlik tasarımının ünlü bir örneği, Chicago'daki bir eğitim reformudur. Brian Jacob ve Lars Lefgren, okul bölgesinin belirli sınıflarda yaz okulunu ve sınıf geçmeyi bir sınav eşiğine bağlamasından yararlandı.

Süreksizlik tasarımı, siyasette de güçlü bir araçtır. Bir seçimi yüzde 50,1 oyla kazanan aday ile yüzde 49,9 oyla kaybeden aday arasındaki fark, büyük ölçüde rastlantısaldır. Erik Meyersson, bu fikri Türkiye'deki belediye seçimlerine uyguladı.

Bu bulgu, süreksizlik tasarımının ham korelasyonlardan ne kadar farklı bir tablo çizebileceğini gösteriyor. Ham verilerde, İslami partinin kazandığı belediyelerde kadın eğitimi daha düşüktü; ama bu belediyeler, partinin kazanmasından önce de farklıydı. Kıl payı kazanılan ve kaybedilen belediyeler arasındaki karşılaştırma bu seçilimi giderir. Bulgunun yorumu ise bir sınır taşır: etki, partinin kıl payı kazandığı, yani seçmenlerin ikiye bölündüğü belediyeler için geçerlidir; partinin büyük farkla kazandığı ya da kaybettiği belediyelere doğrudan genellenemez.

Neden önemli? — kuralların bıraktığı izler

Devletler, okullar, bankalar ve şirketler, kararlarını sık sık eşiklere bağlar: burslar puan eşiklerine, sosyal yardımlar gelir sınırlarına, vergi oranları ciro eşiklerine, kredi onayları kredi notu sınırlarına, seçimler oy çoğunluğuna. Bu eşikler, keyfi oldukları ölçüde, eşiğin iki yanındaki benzer kişiler veya kurumlar arasında doğal bir deney yaratır. Süreksizlik tasarımı, uygulamalı iktisatta en inandırıcı doğal deney tasarımlarından biri sayılır, çünkü varsayımları görece zayıf ve sınanabilirdir. Ama bu inandırıcılığın bir bedeli vardır: sonuçlar yalnızca eşikteki kişiler için geçerlidir ve tasarım, eşiğe yakın yeterince gözlem gerektirir.

Model

Bu bölümün sayıları elle izlenebilsin diye uydurulmuştur; Carpenter ile Dobkin'in, Jacob ile Lefgren'in ya da Meyersson'un makalelerindeki rakamlar değildir.

Çözümlü örnek — Eşikteki sıçrama

Bir ülkede yasal içki yaşı yirmi bir. Genç yetişkinlerin yıllık ölüm oranı, 100.000 kişi başına, yaşla birlikte şöyle değişiyor: 20 yaş 0 ay için 90, 20 yaş 6 ay için 92, yirmi birinci doğum gününden hemen önce 94. Yirmi birinci doğum gününden hemen sonra 103, 21 yaş 6 ay için 105, 22 yaş için 107.

Eşiğin solunda ölüm oranı her altı ayda 2 artıyor; sağında da her altı ayda 2 artıyor. Eğilimler iki yanda aynı. Eşikte ise oran 94'ten 103'e sıçrıyor; sıçrama 9, yani eşiğin hemen solundaki düzeye göre yaklaşık yüzde 9,6'dır. Yaşın olağan etkisi, bir günde ölüm oranını fark edilir biçimde değiştirmez; bu yüzden sıçrama, yirmi birinci doğum gününde değişen tek şeye, yani yasal içki hakkına bağlanır.

Bu hesabın varsayımı, yasal içki hakkı olmasaydı ölüm oranının yirmi birinci doğum gününde de aynı eğilimle, yani 94'ten yaklaşık 94'e devam edeceğidir. Eşiğin sağındaki karşı olgusal durum, soldaki eğilimin eşiğe kadar uzatılmasıyla tahmin edilir. Süreksizlik tasarımının bütün mantığı, bu uzatmanın eşiğin tam üzerinde makul olduğu düşüncesine dayanır.

Çözümlü örnek — Ortalamaları karşılaştırmanın tuzağı

Aynı verilerde bir araştırmacı, eşiğin iki yanındaki birer yıllık dönemlerin ortalamalarını karşılaştırıyor. 20–21 yaş arasındakilerin ortalama ölüm oranı yaklaşık (90 + 92 + 94) ÷ 3 = 92, 21–22 yaş arasındakilerinki yaklaşık (103 + 105 + 107) ÷ 3 = 105. Fark 13'tür.

Bu fark, eşikteki 9'luk sıçramadan büyüktür. Neden? Çünkü iki grubun ortalamaları eşikten farklı uzaklıklardaki gözlemleri içerir; sol grubun ortalaması eşikten ortalama altı ay önceyi, sağ grubunki altı ay sonrayı temsil eder. Aradaki bir yıllık yaş farkı, eğilim nedeniyle ölüm oranını kendiliğinden 4 artırır. Ortalamaların farkı, sıçrama ile eğilimin toplamıdır: 9 + 4 = 13.

Çözüm, her iki yanda eğilimi hesaba katmaktır: eşiğin solunda ve sağında ayrı ayrı doğrular çizip, iki doğrunun eşikteki değerleri arasındaki farkı almak. Bu örnekte sol doğru eşikte 94'e, sağ doğru 103'e ulaşır; fark 9'dur. Bu yöntem yerel doğrusal regresyonun temelidir.

Çözümlü örnek — Ne kadar yakın?

Eşiğe ne kadar yakın gözlemler kullanılmalıdır? Bir burs örneğine dönelim. Burs 400 puan ve üzerine veriliyor. Araştırmacının elinde 300 ile 500 puan arasında 10.000 öğrencinin verisi var; her 10 puanlık aralıkta yaklaşık 500 öğrenci bulunuyor.

Araştırmacı eşiğin iki yanında 10'ar puanlık bir aralık kullanırsa, yaklaşık 1.000 öğrenci kalır. Bu öğrenciler birbirine çok benzer, eğilimin etkisi küçüktür, yanlılık düşüktür; ama örneklem küçük olduğu için tahmin gürültülüdür. Diyelim ki standart hata 4 puan. Araştırmacı 50'şer puanlık bir aralık kullanırsa 5.000 öğrenci kalır; standart hata, örneklem beş katına çıktığı için yaklaşık 4 ÷ √5 ≈ 1,8 puana iner. Ama 350 ile 450 puan arasındaki öğrenciler birbirinden daha farklıdır; puan ile mezuniyet arasındaki ilişki bu aralıkta doğrusal değilse, doğrusal eğilim yanlış belirlenir ve tahmin yanlı olabilir.

Bu ödünleşimi dengelemek için, yanlılık ve varyansın toplamını, yani ortalama kare hatayı en aza indiren bant genişliklerini verilerden hesaplayan yöntemler geliştirildi. İyi bir uygulama, ana tahmini bu yöntemle seçilen bant genişliğiyle raporlamak ve tahminin daha dar ve daha geniş bant genişliklerinde değişip değişmediğini göstermektir.

Çözümlü örnek — Bulanık eşik

Bir okul bölgesi, yıl sonu sınavında 50 puanın altında kalan öğrencileri yaz okuluna gönderiyor. Ama kural kesin uygulanmıyor: bazı öğrenciler muafiyet alıyor, bazı öğretmenler eşiğin üzerindeki öğrencileri de gönderiyor. Eşiğin hemen altındaki öğrencilerin yüzde 80'i, hemen üstündekilerin yüzde 10'u yaz okuluna gidiyor. Tedavi olasılığındaki sıçrama 70 puandır.

Ertesi yılın sınav puanlarında, eşiğin hemen altındaki öğrenciler, hemen üstündekilerden ortalama 2,8 puan daha yüksek alıyor. Bu, eşiğin altında kalmanın etkisidir; yaz okulunun etkisi değil, çünkü eşiğin altında kalanların hepsi yaz okuluna gitmemiştir.

Yaz okulunun etkisi, sonuçtaki sıçramanın tedavi olasılığındaki sıçramaya oranıdır: 2,8 ÷ 0,70 = 4 puan. Bu hesap, araç değişkenler dersindeki Wald tahmininin aynısıdır: eşiğin altında olmak araçtır, yaz okulu tedavidir. Tahmin, eşikteki uyum gösterenler için, yani eşiğin altında kalırsa yaz okuluna gidecek ama üstünde kalırsa gitmeyecek öğrenciler için geçerlidir. Bulanık süreksizlik tasarımı, eşikte yerel bir araç değişken tasarımıdır.

Çözümlü örnek — Eşiğin doğru tarafına geçmek

Bir ülkede küçük işletmeler, yıllık cirosu 1 milyon liranın altındaysa daha düşük bir vergi oranından yararlanıyor. Bir araştırmacı, düşük vergi oranının işletmelerin yatırımı üzerindeki etkisini ölçmek için cirosu 1 milyon liranın hemen altındaki ve hemen üstündeki işletmeleri karşılaştırmak istiyor.

Ama işletmeler cirolarını bir ölçüde kontrol edebilir: satışları bir sonraki yıla kaydırabilir, bazı faturaları kesmeyebilir ya da işletmeyi ikiye bölebilir. Veriler, cirosu 980 ile 1.000 bin lira arasındaki işletme sayısının 400, 1.000 ile 1.020 bin lira arasındakinin ise 150 olduğunu gösteriyor. Komşu aralıklarda bu sayılar 280 civarında. Eşiğin hemen altında olağandışı bir yığılma, hemen üstünde olağandışı bir boşluk var.

Bu yığılma, eşiğin altındaki işletmelerin bir kısmının oraya kendi çabasıyla geçtiğini gösterir. Bu işletmeler, cirolarını yönetmeye istekli ve becerikli işletmelerdir; muhasebe kaynakları daha güçlü ya da kayıt dışılığa daha yatkın olabilirler. Eşiğin iki yanındaki işletmeler artık birbirine benzemez ve karşılaştırma, vergi oranının etkisini işletmelerin seçimiyle karıştırır. Vergi dersinde gördüğümüz yığılma, burada süreksizlik tasarımının bir tehdidi olarak karşımıza çıkar.

Çözümlü örnek — Eşikte kimler var?

Burs örneğine dönelim. Araştırmacı, sonuçlara bakmadan önce eşiğin iki yanındaki öğrencilerin tedavi öncesi özelliklerini karşılaştırıyor. 390–399 puan alan öğrencilerin yüzde 48'i kız, annelerinin yüzde 22'si üniversite mezunu, ortalama aile geliri ayda 28.000 lira. 400–409 puan alanların yüzde 49'u kız, annelerinin yüzde 23'ü üniversite mezunu, ortalama aile geliri 28.500 lira. Farklar küçük ve eşiğin iki yanındaki komşu aralıklar arasındaki olağan farklardan büyük değil.

Şimdi farklı bir tablo düşünelim: 390–399 puan alanların annelerinin yüzde 22'si, 400–409 puan alanlarınkinin ise yüzde 31'i üniversite mezunu; komşu aralıklar arasında bu oran her on puanda yalnızca bir puan artıyor. Eşikte dokuz puanlık bir sıçrama vardır. Bu, eğitimli ailelerin çocuklarının eşiğin üstüne geçmek için bir yol bulduğunu düşündürür: belki itiraz yoluyla puan düzeltmesi istediler, belki sınava yeniden girdiler. Bu durumda eşiğin iki yanındaki öğrenciler karşılaştırılabilir değildir ve mezuniyetteki sıçramanın bir kısmı aile eğitiminden gelir. Denge testi, sonuçlara bakmadan önce tasarımın güvenilir olup olmadığını gösteren bir erken uyarıdır.

Çözümlü örnek — Kıl payı seçimlerin hesabı

Bir ülkede 1.000 belediye var ve belirli bir parti bunların bir kısmında seçime giriyor. Atama değişkeni, partinin oy payı ile en yakın rakibinin oy payı arasındaki farktır; eşik sıfırdır. Fark sıfırın üzerindeyse parti kazanır.

Araştırmacı, oy farkı eksi 2 ile artı 2 puan arasında olan belediyeleri alıyor: 120 belediye, 61'ini parti kazanmış, 59'unu kaybetmiş. Altı yıl sonra kızların lise mezuniyet oranı, partinin kıl payı kazandığı belediyelerde yüzde 41, kıl payı kaybettiğinde yüzde 38. Bu dar aralıkta oy farkı ile mezuniyet arasındaki eğilim küçükse, etki yaklaşık 3 yüzde puanıdır.

Aynı verilerde partinin kazandığı bütün belediyeleri kaybettiği bütün belediyelerle karşılaştıran ham fark ise eksi 5 puan olabilir: parti, kızların zaten daha az okuduğu, daha kırsal ve daha muhafazakâr belediyelerde daha çok kazanıyordur. Ham fark ile süreksizlik tahmini arasındaki 8 puanlık fark, seçilimin büyüklüğünü gösterir. Meyersson'un bulgusunun yapısı da buna benzer: ham korelasyon olumsuz, süreksizlik tahmini olumlu.

Çözümlü örnek — Sahte eşikler

Araştırmacı, içki yaşı tasarımının güvenilirliğini sınamak için, gerçek eşik dışındaki yaşlarda aynı hesabı yapıyor. Yirmi yaşına girildiği günde ölüm oranının sıçraması 0,4, yirmi iki yaşına girildiği günde eksi 0,3; ikisi de standart hatalarının içinde ve sıfırdan ayırt edilemiyor. Yirmi bir yaşındaki sıçrama ise 9 ve standart hatası 1,5.

Bu karşılaştırma, ölüm oranının doğum günlerinde genel olarak sıçramadığını, örneğin doğum günü kutlamalarının kendisinin bir etkisi olmadığını gösterir. Sahte eşiklerde de benzer büyüklükte sıçramalar bulunsaydı, yirmi birinci yaştaki sıçramanın içki hakkından değil, doğum günlerine özgü bir şeyden kaynaklandığından şüphelenmek gerekirdi.

Çözümlü örnek — Eşikte bulunan etki, eşikten uzakta

Bir belediye, gelir puanı 30'un altındaki hanelere kira yardımı veriyor; puan, gelire ve hane büyüklüğüne göre hesaplanıyor. Eşikteki süreksizlik tahmini, yardımın hanelerin bir yıl içinde kira borcuna düşme olasılığını 6 puan azalttığını gösteriyor. Belediye meclisi, eşiği 40'a yükseltmeyi tartışıyor ve bir meclis üyesi «yardım borcu 6 puan azaltıyor; eşiği yükseltirsek yeni yararlanan haneler için de aynı etkiyi bekleriz» diyor.

Bu çıkarım, etkinin gelir puanından bağımsız olduğunu varsayar. Ama puanı 30 civarında olan haneler ile 40 civarında olanlar farklıdır: 40 puanlı haneler daha yüksek gelirlidir ve kira borcuna düşme riskleri zaten daha düşüktür. Yardım olmadan borca düşme olasılığı 30 puanda yüzde 20, 40 puanda yüzde 10 olabilir. Yardım bu riski her iki grupta da yarıya indiriyorsa, etki 30 puanda 10 puan, 40 puanda yalnızca 5 puandır. Tahmin edilen 6 puanlık etki bile, eşikteki haneler için geçerlidir; eşiği yükseltmenin yeni haneler üzerindeki etkisi, ek bir varsayım ya da yeni bir tasarım gerektirir.

Modelin sınırları

Bu örneklerde ortalamaları ve eğilimleri kesin olarak bildiğimizi varsaydık. Gerçek verilerde eşiğe yakın gözlem sayısı sınırlıdır ve eşikteki değerler, eşiğe en yakın gözlemlerden dışa doğru uzatılarak tahmin edilir; bu uzatma, eşiğin tam üzerinde gözlem olmadığı için kaçınılmaz olarak bir model varsayımı içerir. Bant genişliği örneğinde puan ile mezuniyet arasındaki ilişkinin biçimini bilmiyorduk; bu bilinmezlik, gerçek uygulamalarda da sürer. Yoğunluk örneği yığılmayı açıkça görülebilir kıldı; gerçekte manipülasyon küçük ve yoğunluk testi onu saptayamayacak kadar gürültülü olabilir.

Teknik

Özdeşleme: süreklilik varsayımı

Potansiyel sonuçlar dilinde, keskin bir süreksizlik tasarımı tek bir merkezî varsayıma dayanır: her iki potansiyel sonucun, yani tedaviyle ve tedavisiz sonucun ortalaması, atama değişkeninin bir fonksiyonu olarak eşikte süreklidir. Tedavisiz sonucun ortalaması eşikte sıçramıyorsa, eşiğin sağındaki tedavisiz ortalama, soldan eşiğe yaklaşan ortalamaya eşittir; bu da eşikteki gözlenen sıçramayı tedavinin etkisine eşitler.

Bu varsayım, rastgele atamadan farklı olarak, eşiğin iki yanındaki birimlerin genel olarak benzer olmasını istemez; yalnızca eşiğe sonsuz yakınlaşıldığında benzer olmalarını ister. David Lee, bu varsayımın en doğal biçimde, birimlerin atama değişkenini tam olarak kontrol edemediği durumda sağlandığını gösterdi: bir öğrenci sınava ne kadar çalıştığını kontrol eder ama tam puanını kontrol edemez, çünkü sınav gününün koşulları, soruların seçimi ve şans puanı etkiler. Bu durumda eşiğin hemen iki yanındaki öğrenciler, neredeyse rastgele bölünmüştür. Bu yüzden süreksizlik tasarımı bazen «yerel olarak rastgele bir deney» diye de anılır.

Varsayımı sınamak

Süreklilik varsayımı, tedavisiz sonucun eşikteki davranışı hakkında olduğu için doğrudan sınanamaz. Ama dolaylı olarak üç yolla sınanabilir. Birincisi, yoğunluk testidir: atama değişkeninin dağılımı eşikte sıçramıyorsa, birimlerin eşiğin istenen tarafına toplu olarak geçmediğine dair bir işarettir. İkincisi, tedavi öncesi özelliklerin denge testidir: eşiğin iki yanındaki birimlerin cinsiyeti, yaşı, aile geliri ya da önceki sınav puanları gibi, tedaviden etkilenemeyecek özellikleri eşikte sıçramamalıdır. Meyersson'un çalışmasında, kıl payı kazanılan ve kaybedilen belediyelerin seçim öncesi özellikleri bu biçimde karşılaştırılabilir. Üçüncüsü, plasebo eşikleridir: gerçek eşik dışındaki sahte eşiklerde, örneğin 20 ya da 22 yaşında, ölüm oranında bir sıçrama bulunmamalıdır.

Bu testlerin hiçbiri varsayımı kanıtlamaz; ama her biri, varsayımı çürütebilecek bir sınamadır ve başarıyla geçilmeleri tasarımın inandırıcılığını artırır. Fark içinde fark dersinde gördüğümüz önceki eğilim testlerine yönelik uyarı burada da geçerlidir: anlamsız bir test, yalnızca verilerin bir sorunu saptamaya yetmediğini gösteriyor olabilir.

Polinomlar ve çıkarım

Süreksizlik tahmininde, eşiğin iki yanındaki ilişkiyi modellemek için uzun süre yüksek dereceli polinomlar kullanıldı: bütün veri aralığına üçüncü ya da dördüncü dereceden eğriler oturtuldu. Fonksiyonel biçimi işlediğimiz derste gördüğümüz gibi, Andrew Gelman ve Guido Imbens, bu uygulamanın eşikten uzak gözlemlere büyük ağırlıklar verebildiğini ve yanıltıcı tahminlere yol açabildiğini gösterdi. Bugün önerilen yaklaşım, eşiğe yakın bir bant genişliğinde yerel doğrusal ya da en fazla ikinci dereceden regresyondur.

Çıkarım için bir sorun daha vardır: ortalama kare hatayı en aza indiren bant genişliği, yanlılığı tamamen ortadan kaldırmaz; bu yüzden olağan güven aralıkları, gerçek etkiyi olması gerekenden daha az sıklıkla kapsar. Sebastian Calonico, Matias Cattaneo ve Rocío Titiunik, bu yanlılığı düzelten ve güven aralıklarını buna göre genişleten yöntemler geliştirdi; bu yöntemler bugün süreksizlik uygulamalarında yaygın olarak kullanılır.

Atama değişkeni kesikliyse

Bazı uygulamalarda atama değişkeni sürekli değil, kesiklidir: yaş ay olarak ölçülür, sınav puanı tam sayılardan oluşur. Atama değişkeni çok az değer alıyorsa, eşiğe gerçekten yakın gözlem sayısı sınırlı kalır ve eşikteki değerlerin tahmini, eşiğin iki yanındaki birkaç değerden dışa doğru uzatmaya dayanır. Bu durumda tahmin, fonksiyonel biçim seçimine daha duyarlıdır ve çıkarım, atama değişkeninin kesikliliğini hesaba katmalıdır.

Bölgesel süreksizlikler ve kıl payı seçimler

Süreksizlik tasarımları yalnızca sayısal eşiklerde değil, coğrafi sınırlarda da kullanılır. Kurumlar ve kalkınma dersinde gördüğümüz gibi, bir idari sınırın iki yanındaki köyler farklı kurumlara tabi olabilir; sınır, bir atama değişkeni işlevi görür ve atama değişkeni sınıra uzaklıktır. Bu tasarımların ek bir zorluğu vardır: sınırlar çoğu zaman nehirler, dağlar ya da tarihî bölünmeler boyunca çizilmiştir ve sınırın iki yanı başka yönlerden de farklı olabilir.

Kıl payı seçimler, siyaset iktisadında yaygın bir süreksizlik tasarımıdır: atama değişkeni bir partinin oy payı farkıdır, eşik sıfırdır. Meyersson'un çalışması bunun bir örneğidir. Bu tasarımın gücü, seçim sonuçlarının yakın yarışlarda büyük ölçüde öngörülemez olmasıdır. Ama bazı araştırmacılar, kıl payı seçimlerde de belirli bir taraf lehine sistematik bir avantaj olup olmadığını, örneğin görevdeki adayların ya da kaynakları daha güçlü partilerin yakın yarışları daha sık kazanıp kazanmadığını sınadı; bu tür bir avantaj, eşiğin iki yanındaki belediyeleri karşılaştırılamaz kılar. Bu yüzden kıl payı seçim tasarımlarında, seçim öncesi özelliklerin eşikte dengeli olduğunu göstermek özellikle önemlidir.

Eşikte değişen başka şeyler

Süreklilik varsayımının özel bir ihlali, aynı eşikte birden çok şeyin birden değişmesidir. Birçok ülkede on sekiz yaş, oy hakkı, ehliyet, askerlik yükümlülüğü, ceza sorumluluğu ve çocuk yardımlarının sona ermesi gibi birçok değişikliğin aynı anda gerçekleştiği bir eşiktir. On sekiz yaşında bir sonuçta sıçrama bulunursa, bu sıçramanın hangi değişiklikten kaynaklandığı ayırt edilemez. Carpenter ve Dobkin'in tasarımı, ABD'de yirmi bir yaşının başka birkaç hak ve yükümlülükle birlikte değil, büyük ölçüde içki hakkıyla öne çıkmasından güç alır; araştırmacılar yine de aynı yaşta değişen başka kuralların, örneğin bazı eyaletlerde ateşli silah ya da kumarhane yaşı sınırlarının olup olmadığını tartışmak zorundadır.

Bu sorunun bir çözümü, eşikte değişmesi beklenen sonuçları ayırmaktır: içki hakkı alkolle ilişkili ölümleri artırmalı, ama örneğin kanserden ölümleri değiştirmemelidir. Fark içinde fark dersinde gördüğümüz plasebo sonuç mantığı burada da işe yarar: içkiyle ilgisiz ölüm nedenlerinde sıçrama yoksa, eşikteki toplam sıçramanın içkiden kaynaklandığına güven artar.

Eğimdeki kırılma

Bazen politika sonuç düzeyinde bir sıçrama değil, bir eğim değişikliği yaratır. Örneğin bir işsizlik yardımı, önceki kazancın yüzde 50'si olarak hesaplanıp belirli bir tavanla sınırlanıyorsa, yardım tutarı kazançla birlikte tavana kadar artar, sonra sabit kalır. Tavanda yardım tutarı sıçramaz; yalnızca kazançla ilişkisinin eğimi değişir. Vergiyi işlediğimiz derste gördüğümüz büküm noktası budur. Bu durumda, sonucun kazançla ilişkisinin eğiminde tavanda bir kırılma olup olmadığına bakılır ve bu kırılmanın, yardımın eğimindeki kırılmaya oranı, yardımın etkisini verir. Bu yaklaşım, regresyon büküm tasarımı adıyla bilinir; süreksizlik tasarımının mantığını, düzeylerden eğimlere taşır. Eğimleri tahmin etmek düzeyleri tahmin etmekten daha zor olduğu için, bu tasarımlar genellikle daha büyük örneklemler gerektirir.

Türkiye'de de süreksizlik tasarımlarına elverişli birçok eşik vardır: merkezî sınavlarda yerleştirme puanları, burs ve yurt başvurularında puan sıralamaları, küçük işletme tanımını belirleyen çalışan sayısı ve ciro sınırları, vergi dilimleri ve belediyelerin nüfusa göre farklı kurallara tabi olması. Bu eşiklerin çoğu, kişilerin ya da firmaların atama değişkenini ne ölçüde kontrol edebildiğine göre farklı güvenilirlik taşır: sınav puanını tam olarak kontrol etmek zordur, ama çalışan sayısını ya da beyan edilen ciroyu eşiğin altında tutmak görece kolaydır. Bir eşiği tasarım olarak kullanmadan önce, bu kontrolün derecesini kurumsal bilgiyle değerlendirmek gerekir.

Yerelliğin bedeli

Süreksizlik tasarımının en sık tartışılan sınırı, sonuçlarının yerelliğidir. Carpenter ve Dobkin'in tahmini, yirmi bir yaşındaki gençler için geçerlidir; yasal içki yaşı on sekize indirilseydi on sekiz yaşındakilerin davranışının nasıl değişeceğini doğrudan söylemez. Jacob ve Lefgren'in tahmini, sınav eşiğine yakın öğrenciler için geçerlidir; çok düşük puanlı öğrenciler için yaz okulunun etkisi farklı olabilir. Etki eşikten uzaklaştıkça nasıl değişir sorusu, ek varsayımlar gerektirir: örneğin etkinin atama değişkeniyle birlikte yavaş değiştiği ya da eşiğin farklı yerlerde olduğu birden çok tasarımın birleştirilmesi. Bu soru, kursun ilerleyen dış geçerlilik dersinde ayrıca ele alınacak.

Uygulama

Özet kartı

1. Süreksizlik tasarımı, tedavinin bir atama değişkeninin eşiğine göre belirlendiği durumlarda, sonucun eşikteki sıçramasını tedavinin etkisi olarak okur; bunun için tedavisiz sonucun ortalamasının eşikte sürekli olması gerekir.
2. Keskin tasarımda etki sonuçtaki sıçramadır; bulanık tasarımda etki, sonuçtaki sıçramanın tedavi olasılığındaki sıçramaya oranıdır ve eşikteki uyum gösterenler için geçerli bir araç değişken tahminidir.
3. Eşiğin iki yanındaki ortalamaları karşılaştırmak, sıçramayı atama değişkeninin eğilimiyle karıştırır; yerel doğrusal regresyon eşiğin iki yanında ayrı doğrular kullanır ve bant genişliği seçimi yanlılık ile kesinlik arasında bir ödünleşimdir.
4. Carpenter ve Dobkin, yirmi bir yaşında içki tüketiminde ve ölüm oranında ani artışlar buldu; Jacob ve Lefgren, Chicago'da yaz okulunun ve sınıf tekrarının üçüncü sınıflarda başarıyı artırdığını gösterdi; Meyersson, Türkiye'de kıl payı kazanılan belediyelerde İslami yönetimin kadınların lise eğitimini artırdığını buldu.
5. Birimler atama değişkenini eşiğin istenen tarafına geçmek için manipüle edebiliyorsa tasarım çöker; yoğunluk testleri, tedavi öncesi özelliklerin denge testleri ve plasebo eşikleri bu tehdidi sınar ve sonuçlar yalnızca eşikteki birimler için geçerlidir.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Keskin ve bulanık süreksizlik tasarımları nasıl ayrıldığını, her biri için gerçek bir kuraldan örnek vererek gösterin.
2. (Çıktı 2) Bir burs eşiğinde, eşiğin hemen altındaki öğrencilerin mezuniyet oranı yüzde 62, hemen üstündekilerinki yüzde 70. Burs keskin biçimde veriliyorsa, bursun etkisi nedir? Eşiğin hemen üstündekilerin yüzde 75'i, hemen altındakilerin yüzde 5'i bursu alıyorsa, etki ne olur?
3. (Çıktı 2) Ölüm oranı örneğinde eşiğin solunda eğilim her altı ayda 2 değil 4 olsaydı ve sağında da 4 olsaydı, eşiğin iki yanındaki birer yıllık ortalamaların farkı ile eşikteki sıçrama arasındaki fark ne kadar olurdu? Sıçramanın 9 kaldığını varsayın.
4. (Çıktı 3) Bir sosyal yardım, hane geliri beyanı belirli bir sınırın altında olanlara veriliyor ve gelir beyanı hanelerin kendisi tarafından yapılıyor. Bu durumda süreksizlik tasarımının hangi varsayımı tehlikededir ve araştırmacı bunu nasıl sınayabilir?
5. (Çıktı 3) Bir araştırmacı, bant genişliğini daralttıkça tahminin büyüdüğünü, genişlettikçe küçüldüğünü görüyor. Bu durum neye işaret edebilir ve araştırmacı ne raporlamalıdır?
6. (Çıktı 4) Bir köşe yazarı, «Bir çalışma, kıl payı kazanılan belediyelerde belirli bir partinin yönetiminin kadın eğitimini artırdığını gösterdi; o hâlde bu partinin yönettiği bütün belediyelerde kadın eğitimi daha yüksektir» diyor. Bu çıkarımı Meyersson'un bulguları ve süreksizlik tasarımının yerelliği ışığında değerlendirin.

Cevaplar

1. Keskin süreksizlikte eşik tedaviyi herkes için kesin olarak belirler: eşiğin bir yanındaki herkes tedaviyi alır, öbür yanındaki hiç kimse almaz. Yasal içki yaşı bunun bir örneğidir: yirmi bir yaşını dolduran herkes yasal olarak içki alabilir. Bulanık süreksizlikte eşik yalnızca tedavi olasılığını değiştirir: Chicago'daki yaz okulu kuralında eşiğin altında kalan öğrencilerin çoğu yaz okuluna gönderiliyordu, ama muafiyetler ve istisnalar nedeniyle hepsi değil. Keskin tasarımda etki sonuçtaki sıçramadır; bulanık tasarımda sonuçtaki sıçramanın tedavi olasılığındaki sıçramaya oranıdır.
2. Burs keskin biçimde veriliyorsa, etki mezuniyet oranındaki sıçramadır: 70 − 62 = 8 yüzde puanı. Bulanık durumda tedavi olasılığındaki sıçrama 75 − 5 = 70 puan, yani 0,70'tir. Etki 8 ÷ 0,70 ≈ 11,4 yüzde puanıdır. Bu, eşikte bursu yalnızca eşiğin üstünde kaldığı için alan öğrenciler için geçerlidir.
3. Eğilim her altı ayda 4 ise, eşiğin solundaki bir yıllık dönemin değerleri 86, 90, 94; sağındakiler 103, 107, 111 olur. Ortalamalar 90 ve 107, fark 17'dir. Eşikteki sıçrama 9 olduğuna göre, ortalamaların farkı sıçramayı 8 abartır. Eğilim dikleştikçe basit ortalama karşılaştırmasının yanlılığı büyür; bu, yerel doğrusal regresyonun neden gerekli olduğunu gösterir.
4. Gelir beyanını haneler kendileri yaptığı için, bazı haneler yardım almak için gelirlerini sınırın altında beyan edebilir. Bu, atama değişkeninin manipülasyonudur ve eşiğin iki yanındaki hanelerin karşılaştırılabilir olduğu varsayımını tehdit eder: sınırın hemen altındaki haneler arasında, gelirini düşük beyan etmeye istekli ve becerikli haneler fazla temsil edilir. Araştırmacı, beyan edilen gelirin dağılımında sınırın hemen altında olağandışı bir yığılma olup olmadığını bir yoğunluk testiyle sınayabilir; ayrıca hanelerin beyandan etkilenemeyecek özelliklerinin, örneğin hane büyüklüğünün, eğitim düzeyinin ya da önceki yılların gelirlerinin, sınırda dengeli olup olmadığına bakabilir.
5. Tahminin bant genişliğine duyarlı olması, atama değişkeni ile sonuç arasındaki ilişkinin geniş bant genişliklerinde doğrusal olarak iyi modellenemediğine, yani eğriliğin yanlılık yarattığına işaret edebilir. Ayrıca dar bant genişliklerinde tahmin gürültülü olduğu için büyük değerler şans eseri ortaya çıkabilir. Araştırmacı, ortalama kare hatayı en aza indiren bant genişliğiyle elde edilen ana tahmini, yanlılık düzeltmeli güven aralıklarıyla birlikte raporlamalı; tahminin farklı bant genişliklerinde nasıl değiştiğini bir grafikle göstermeli ve tahminin büyüklüğünü yorumlarken bu duyarlılığı açıkça tartışmalıdır.
6. Köşe yazarının çıkarımı iki yönden hatalıdır. Birincisi, Meyersson'un bulgusu kıl payı kazanılan ve kaybedilen belediyelerin karşılaştırmasına dayanır; yani seçmenlerin ikiye bölündüğü belediyeler için geçerlidir. Partinin büyük farkla kazandığı belediyeler başka yönlerden farklı olabilir ve etki orada farklı olabilir. İkincisi, «bu partinin yönettiği belediyelerde kadın eğitimi daha yüksektir» bir düzey karşılaştırmasıdır; oysa Meyersson, ham korelasyonların olumsuz olduğunu, yani partinin kazandığı belediyelerde kadın eğitiminin ham verilerde daha düşük göründüğünü belirtti. Süreksizlik tasarımı, eşikteki nedensel etkinin, seçilimden arındırıldığında olumlu olduğunu gösterir; partinin yönettiği belediyelerin genel düzeyleri hakkında bir şey söylemez. Doğru çıkarım şudur: yakın yarışlarda bu partinin kazanması, kaybetmesine göre kadınların laik lise eğitimini artırmıştır.

İleri okuma

• Christopher Carpenter, Carlos Dobkin (2009). «The Effect of Alcohol Consumption on Mortality: Regression Discontinuity Evidence from the Minimum Drinking Age». AEJ: Applied Economics 1(1). Yaş eşiğinde keskin süreksizlik.
• Brian A. Jacob, Lars Lefgren (2004). «Remedial Education and Student Achievement: A Regression-Discontinuity Analysis». Rev. Econ. Stat., cilt 86. Sınav eşiğinde bulanık süreksizlik.
• Erik Meyersson (2014). «Islamic Rule and the Empowerment of the Poor and Pious». Econometrica 82(1). Türkiye'de kıl payı belediye seçimleri.

Sonraki derse köprü

Süreksizlik tasarımı, eşiğin iki yanında birbirine çok benzeyen çok sayıda birim olduğunda işe yarar. Ama bazen politika yalnızca tek bir birime, örneğin bir ülkeye, bir eyalete ya da bir şehre uygulanır ve ona benzeyen tek bir karşılaştırma birimi yoktur. Bu durumda, birçok başka birimin ağırlıklı bir bileşiminden, politika öncesinde tedavi edilen birime olabildiğince benzeyen yapay bir karşılaştırma birimi kurmak mümkün müdür? Sıradaki ders, sentetik kontrol yöntemini ele alıyor.