Dış geçerlilik

Öğrenme çıktıları

• Hatırlama — Yer seçimi yanlılığını, uygulayıcı etkisini, ölçeklenince etki düşüşünü, ölçek büyütmede genel denge etkisini, taşınabilirliği ve hedef nüfusa göre yeniden ağırlıklandırmayı tanımlar.
• Uygulama — Alt gruplara göre tahmin edilmiş etkileri hedef nüfusun bileşimine göre yeniden ağırlıklandırarak başka bir nüfus için etki öngörür; ilk değerlendirme yerlerinden sonraki yerlere etkinin ne kadar düşebileceğini ve ölçek büyütmenin genel denge etkilerini sayısal olarak gösterir.
• Analiz — Bir etki tahmininin başka bir yere, zamana, nüfusa ya da ölçeğe taşınmasını engelleyen mekanizmaları, yani yer seçimini, uygulayıcı farklarını, birimler arası etkileşimi ve gözlenmeyen etki belirleyicilerini çözümler.
• Değerlendirme — Bir enerji tasarrufu programının yüzü aşkın tekrarına, yüzlerce etki değerlendirmesinin derlemesine ve bir eğitim reformunun devlet eliyle ölçeklendirilmesine dair çalışmalara dayanarak, deney sonuçlarından politika öngörüsüne geçişin güvenilirliğini değerlendirir.

Sezgi

Açılış

Bir sivil toplum kuruluşu, Kenya'nın birkaç ilçesinde, okullara sözleşmeli ek öğretmenler gönderen bir program yürütüyor. Rastgele kontrollü bir deney, programın öğrencilerin sınav puanlarını belirgin biçimde artırdığını gösteriyor. Hükümet, programı ülke çapında uygulamaya karar veriyor. Aynı sözleşme, aynı öğretmen profili, aynı okullar; tek fark, programı bu kez devletin yürütmesi. Sonuç? Hiçbir etki yok.

Bu kursun derslerinde, bir etkinin güvenilir biçimde nasıl ölçüleceğini gördük: kura, doğal deneylerden türetilen araçlar, iki dönemli karşılaştırmalar, eşiklerdeki sıçramalar ve benzer kişilerin eşlenmesi. Bu yöntemlerin hepsi iç geçerliliği, yani tahminin çalışmanın kendi örneklemi için doğru olmasını hedefledi. Davranışsal iktisadın sınırlarını ele aldığımız derste, laboratuvar deneylerinin gerçek dünyaya ne ölçüde genellenebileceğini sorarken dış geçerlilik kavramıyla tanıştık. Bu ders, aynı soruyu saha deneyleri ve politika değerlendirmeleri için soruyor: bir yerde, bir zamanda, bir kurumun elinde işe yarayan bir program, başka bir yerde, başka bir zamanda, başka bir kurumun elinde, çok daha büyük bir ölçekte işe yarar mı?

Hikâye — yüz on bir deney

Bir enerji şirketinin müşterilerine, elektrik tüketimlerini komşularınınkiyle karşılaştıran raporlar göndermesinin tüketimi azalttığını, dürtme politikalarını ele aldığımız derste görmüştük. Bu program, ABD'de onlarca enerji şirketi tarafından benimsendi ve her birinde rastgele kontrollü bir deneyle değerlendirildi. Hunt Allcott, bu olağanüstü veri setini dış geçerliliği sınamak için kullandı.

Bu bulgunun önemi, tekrarın bile yetmeyebileceğini göstermesidir. On ayrı yerde yapılmış on titiz deney, sonraki yüz yer için güvenilir bir öngörü vermedi; çünkü bu on yer, programın en iyi işleyeceği yerler arasından seçilmişti. Seçilim, bu kez kişilerin değil, yerlerin düzeyinde gerçekleşmişti.

Kavram — kim, nerede, kimin elinde?

Bir etkinin başka bir yere taşınmasını engelleyen ilk mekanizma, değerlendirme yerlerinin nasıl seçildiğidir.

İkinci mekanizma, programı kimin uyguladığıdır.

Üçüncü mekanizma, ölçeğin kendisidir.

Veri ve kanıt — yüzlerce değerlendirme, bir ölçek büyütme

Eva Vivalt, kalkınma iktisadındaki etki değerlendirmelerinin ne ölçüde genellenebileceğini, çok sayıda değerlendirmenin sonuçlarını bir araya getirerek inceledi.

Vivalt'ın bulgusu, açılıştaki Kenya örneğinin bir istisna olmadığını gösteriyor. Tessa Bold ve arkadaşları, tam da bu soruyu, ölçek büyütmenin içine yerleştirilmiş bir deneyle sınadı.

Neden önemli? — deneyden politikaya

Nedensel çıkarım yöntemlerinin nihai amacı çoğu zaman bir politika kararına bilgi sağlamaktır: bir program yaygınlaştırılmalı mı, başka bir ülkede denenmeli mi, farklı bir nüfusa uygulanmalı mı? Bu kararların hepsi, bir yerde ölçülen bir etkinin başka bir yere taşınmasını gerektirir. Dış geçerlilik sorusunu göz ardı eden bir politika yapıcı, en iyi koşullarda ölçülmüş bir etkiyi sıradan koşullara taşır ve hayal kırıklığına uğrar; ya da tersine, bir yerde işe yaramayan bir programı, başka bir yerde işe yarayabilecekken reddeder. Bu ders, bir etkinin hangi koşullarda taşınabileceğini sistematik biçimde düşünmenin araçlarını sunuyor: etkinin neye bağlı olduğunu anlamak, hedef nüfusun bu belirleyiciler bakımından nasıl farklı olduğunu ölçmek ve ölçeğin kendisinin yaratacağı değişiklikleri öngörmek.

Model

Bu bölümün illeri, haneleri ve yüzdeleri öğretim amacıyla kurgulanmıştır; Allcott'tan, Vivalt'tan ya da Kenya çalışmasından aktarılmış sonuçlar sanılmamalıdır.

Çözümlü örnek — İlk yerler neden daha iyi?

Bir enerji tasarrufu programı, önce on ilde, gönüllü olarak katılan elektrik dağıtım şirketleriyle deneniyor. Bu on ildeki deneylerin ortalama etkisi, hane elektrik tüketiminde yüzde 2,0'lık bir azalma. Program, sonraki yıllarda 40 ile daha yayılıyor ve bu illerdeki ortalama etki yüzde 1,3 çıkıyor.

Etkinin düşmesinin iki nedeni olabilir. Birincisi, ilk on ilde çevre bilinci daha yüksek: bu illerde hanelerin yüzde 60'ı «çevreye duyarlı» olarak sınıflandırılabilir ve bu hanelerde etki yüzde 2,5, öbür hanelerde yüzde 1,25. İlk on ildeki ortalama etki 0,6 × 2,5 + 0,4 × 1,25 = 1,5 + 0,5 = yüzde 2,0'dır. Sonraki illerde çevreye duyarlı hanelerin payı yalnızca yüzde 30 olsun; aynı alt grup etkileriyle ortalama etki 0,3 × 2,5 + 0,7 × 1,25 = 0,75 + 0,875 = yüzde 1,625 olur.

İkincisi, ilk on ilde program yüksek tüketimli hanelere yöneltilmişti; sonraki illerde bütün hanelere gönderildi. Yüksek tüketimli hanelerin tasarruf potansiyeli daha büyüktür. Bu fark, etkiyi 1,625'ten 1,3'e indirebilir. İki neden birlikte, ilk on ildeki yüzde 2,0'lık etkinin sonraki illere taşınmasının neden yanıltıcı olduğunu açıklar.

Bu iki mekanizma politika açısından farklı sonuçlar doğurur. İlk mekanizma, yani çevre bilincinin farklılığı, programın kendisinden bağımsızdır: program hangi ile gelirse gelsin, oradaki hanelerin duyarlılığı etkiyi belirler. İkinci mekanizma, yani hedeflemenin genişlemesi, enerji şirketinin bir seçimidir: şirket programı yalnızca yüksek tüketimli hanelere göndermeye devam etseydi, etkinin bu kısmı korunabilirdi; ama daha az haneye ulaşılırdı. Etkinin düşüşünü anlamak, hangi kısmının kaçınılmaz, hangi kısmının tasarım seçimi olduğunu ayırmayı gerektirir.

Çözümlü örnek — Hedef nüfusa göre yeniden ağırlıklandırmak

İlk örnekteki hesap, dış geçerlilik sorununa bir çözüm yolu da gösteriyor. Etki, gözlenen özelliklere göre değişiyorsa ve bu özelliklerin hedef nüfustaki dağılımı biliniyorsa, deneydeki alt grup etkileri hedef nüfusun bileşimine göre yeniden ağırlıklandırılabilir.

Diyelim ki bir il, programı benimsemeyi düşünüyor ve bu ildeki hanelerin yüzde 20'si çevreye duyarlı, yüzde 50'si yüksek tüketimli. Deneylerden şu alt grup etkileri bilinsin: çevreye duyarlı ve yüksek tüketimli hanelerde yüzde 3, çevreye duyarlı ve düşük tüketimli hanelerde yüzde 2, öbür yüksek tüketimli hanelerde yüzde 1,5, öbür düşük tüketimli hanelerde yüzde 1. İki özelliğin bağımsız olduğunu varsayarsak, hedef ildeki dört grubun payları sırasıyla 0,2 × 0,5 = 0,1, 0,1, 0,8 × 0,5 = 0,4 ve 0,4'tür. Öngörülen etki 0,1 × 3 + 0,1 × 2 + 0,4 × 1,5 + 0,4 × 1 = 0,3 + 0,2 + 0,6 + 0,4 = yüzde 1,5'tir.

Allcott'un bulgusunun uyarısı burada da geçerlidir: ilk on yerin zengin mikro verileriyle yapılan bu tür öngörüler bile sonraki yerlerdeki etkiyi abarttı. Bunun nedeni, etkiyi belirleyen bazı özelliklerin, örneğin enerji şirketinin kendisinin ya da bölgenin çevre kültürünün, hane verilerinde gözlenmemesiydi. Yeniden ağırlıklandırma, yalnızca gözlenen belirleyiciler için düzeltme yapar.

Çözümlü örnek — Aynı program, farklı eller

Bir eğitim programı, iki koldan oluşan bir deneyle sınanıyor: bir kolda bir sivil toplum kuruluşu, öbüründe il milli eğitim müdürlüğü, aynı tasarımda okul destek öğretmeni istihdam ediyor. Sivil toplum kolunda öğrencilerin sınav puanları, standart sapma cinsinden 0,2 artıyor; devlet kolunda artış 0,02 ve anlamsız.

İki kol arasındaki fark, aynı deneyin içinde rastgele atamayla oluştuğu için, okulların ya da öğrencilerin farklılığından kaynaklanamaz; tek fark uygulayıcıdır. Bu farkın kaynakları birkaç tane olabilir. Sivil toplum kuruluşu öğretmenleri zamanında işe başlattı; devlet kolunda atamalar aylarca gecikti. Sivil toplum kuruluşu, sözleşmenin performansa bağlı yenilenme koşulunu uyguladı; devlet kolunda bu koşul, sendikaların itirazı nedeniyle fiilen uygulanmadı. Sivil toplum kuruluşu öğretmenleri yakından denetledi; devlet kolunda denetim olağan bürokratik süreçlere bırakıldı.

Politika açısından bu, programın kendisinin değil, uygulamasının ölçeklendirilmesinin sorun olduğunu gösterir. Programın ülke çapındaki etkisini öngörmek için, sivil toplum kolundaki 0,2'lik etki değil, devlet kolundaki 0,02'lik etki ilgili tahmindir; ya da devlet uygulamasının hangi unsurlarının düzeltilebileceği ayrıca incelenmelidir.

Çözümlü örnek — Herkes eğitilirse

Bir meslek kursu, küçük ölçekte denendiğinde katılımcıların aylık kazancını yüzde 10 artırıyor. Deney, bir ildeki 200 kişiyle yapılmış; ilde aynı meslekte çalışan 20.000 kişi var. Kursu bitirenler, belirli bir beceriye sahip olarak daha iyi ücretli işlere yerleşiyor.

Şimdi kurs, ildeki 10.000 kişiye uygulanıyor. Bu kez beceriye sahip işçi sayısı iki katına çıkıyor; ama bu beceriyi gerektiren işlerin sayısı aynı hızla artmıyor. İşverenler, artık bol bulunan bu beceriye daha az prim ödüyor; beceri primi diyelim ki yüzde 10'dan yüzde 4'e iniyor. Ayrıca kursu bitirenler, kursa katılmamış işçilerle aynı işler için rekabet ediyor ve onların bir kısmının yerini alıyor.

Küçük ölçekli deneyin yüzde 10'luk tahmini, ölçek büyütme sonrasındaki yüzde 4'lük etkiyi öngörmez. Bu düşüşü önceden kestirmek için, beceriye olan talebin ne kadar esnek olduğunu, yani işverenlerin daha çok becerili işçi bulduklarında bu beceriyi gerektiren işleri ne kadar artırabileceklerini bilmek gerekir; talep çok esnekse prim az düşer, katıysa çok düşer. İş arayanlara destek deneyinde karşılaştığımız yerinden etme burada ölçeğin kendisinden doğar: küçük ölçekte birimler birbirini etkilemiyor görünürken, büyük ölçekte birbirini etkiler.

Çözümlü örnek — Birçok çalışmadan bir öngörü

Bir hükümet, ülkesinde bir nakit transfer programının okula devamı ne kadar artıracağını öngörmek istiyor. Elinde başka ülkelerde yapılmış on değerlendirme var; etkiler yüzde 2 ile 14 arasında, ortalamaları yüzde 7.

En basit öngörü, ortalamayı almaktır: yüzde 7. Ama Vivalt'ın bulgusu, etkilerin çalışma özellikleriyle sistematik olarak değiştiğini gösterir. On çalışmadan altısı sivil toplum ya da araştırma ekipleri tarafından uygulanmış ve ortalama etkileri yüzde 9; dördü devlet tarafından uygulanmış ve ortalama etkileri yüzde 4. Hükümet programı kendisi uygulayacaksa, yüzde 4'lük ortalama daha ilgili bir başlangıç noktasıdır.

Bunun ötesinde, hükümet, bu ülkedeki okula devam oranının, değerlendirmelerin yapıldığı ülkelere göre zaten yüksek olduğunu biliyor: değerlendirmelerin yapıldığı ülkelerde başlangıçta okula devam yüzde 70 civarındaydı, bu ülkede yüzde 90. Okula devamın zaten yüksek olduğu yerlerde artış potansiyeli sınırlıdır; etki, büyük olasılıkla yüzde 4'ün de altında olacaktır. Bu, Vivalt'ın vurguladığı gibi, çalışma özellikleri hesaba katıldığında heterojenliğin azaltılabileceğinin ve öngörünün iyileştirilebileceğinin bir örneğidir.

Çözümlü örnek — Etki zamanla söner mi?

Enerji raporları programının deneyleri genellikle bir ya da iki yıl sürer. Bir enerji şirketi, programı on yıl boyunca sürdürmeyi ve maliyetini bu süre boyunca elde edilecek tasarrufla karşılaştırmayı düşünüyor. Deneyde ilk yıl etki yüzde 2, ikinci yıl yüzde 1,8.

En basit öngörü, etkinin yüzde 1,8 civarında sabit kalacağıdır: on yılda toplam tasarruf, yıllık tüketimin yaklaşık yüzde 18'i. Ama raporların etkisi, hanelerin yeniliğe alışmasıyla zamanla sönebilir; ya da tersine, haneler yeni alışkanlıklar ve daha verimli cihazlar edindikçe kalıcılaşabilir. Etki her yıl yüzde 10 sönüyorsa, on yıldaki toplam tasarruf yaklaşık yüzde 12'ye iner; maliyet–fayda hesabı değişebilir. Program durdurulduktan sonra etkinin ne kadar sürdüğü de önemlidir: haneler yeni cihazlar aldıysa, etki raporlar kesildikten sonra da devam eder.

Bu soru, zamanda dış geçerliliğin bir örneğidir. Kısa süreli bir deneyin sonucu, uzun dönemli bir programın etkisini doğrudan öngörmez; bu yüzden bazı deneylerin katılımcıları yıllar sonra yeniden izlenir ve etkinin seyri ayrıca ölçülür.

Çözümlü örnek — Mekanizmadan öngörü

Bir şartlı nakit transfer programı, çocuklarını okula gönderen yoksul ailelere aylık ödeme yapıyor. Bir ülkede yapılan deney, programın ortaöğretime devamı 8 puan artırdığını gösteriyor. Başka bir ülke, programı benimsemeyi düşünüyor. Etkinin mekanizmasını düşünelim: ödeme, çocuğun okula gitmesinin aileye maliyetini, yani çocuğun çalışarak getirebileceği geliri, kısmen karşılar.

İlk ülkede bir çocuğun aylık çalışma geliri 100 lira ve ödeme 60 lira; ödeme, okula gitmenin fırsat maliyetinin yüzde 60'ını karşılıyor. İkinci ülkede çocuk işçiliği daha yaygın ve bir çocuğun aylık çalışma geliri 200 lira; aynı 60 liralık ödeme fırsat maliyetinin yalnızca yüzde 30'unu karşılar. Mekanizma doğruysa, ikinci ülkede aynı ödemeyle etki daha küçük olur; aynı etkiyi elde etmek için ödemenin yaklaşık iki katına çıkarılması gerekir.

Bu hesap, ortalama etkiyi taşımak yerine mekanizmayı taşıyan bir öngörüdür. Kaba bir yaklaşımla, etkinin ödemenin fırsat maliyetine oranıyla orantılı olduğu varsayılırsa, ikinci ülkede beklenen etki 8 × 0,30 ÷ 0,60 = 4 puandır. Bu varsayım da bir modeldir ve sınanması gerekir; ama sorunun nasıl düşünüleceğini somutlaştırır.

Çözümlü örnek — Gönüllüler ve zorunlu katılanlar

Bir iş arama danışmanlığı programı, ilk değerlendirmesinde yalnızca gönüllü başvuranlara uygulanıyor; başvuranlar arasında rastgele atama yapılıyor ve program, başvuranların altı ay içinde iş bulma olasılığını 12 puan artırıyor. Hükümet, programı bütün işsizlik ödeneği alanlar için zorunlu hâle getirmeyi düşünüyor.

Gönüllü başvuranlar, programdan yararlanacaklarını düşünen, motive kişilerdir. Zorunlu katılımda programa, programa ilgi duymayan ya da başka nedenlerle iş aramayan kişiler de katılır. Gönüllülerin işsizler içindeki payı yüzde 30 ve onlar için etki 12 puan; öbür yüzde 70 için etki, diyelim ki 3 puan olsun. Zorunlu programın ortalama etkisi 0,3 × 12 + 0,7 × 3 = 3,6 + 2,1 = 5,7 puandır; deneydeki 12 puanın yarısından azdır.

Bu, katılımcı seçiliminin dış geçerlilikteki karşılığıdır. Deneyin içinde rastgele atama, gönüllüler arasında yansız bir tahmin sağladı; ama gönüllülerin kendisi, zorunlu programın hedef nüfusunu temsil etmiyordu. Programa kendi isteğiyle gelenlerin kazancı ile herkesin ortalama kazancı arasındaki ayrım, burada politika tasarımının merkezine yerleşir.

Modelin sınırları

Bu örneklerde etki heterojenliğini yaratan özellikleri bildiğimizi ve bu özelliklerin hedef nüfustaki dağılımını ölçebildiğimizi varsaydık. Gerçekte etkiyi belirleyen özelliklerin bazıları gözlenmez; Allcott'un çalışmasında olduğu gibi, zengin mikro verilere rağmen öngörüler yanlı kalabilir. Uygulayıcı örneğinde iki kolun aynı deneyin içinde rastgele atandığını varsaydık; çoğu zaman sivil toplum ve devlet uygulamaları farklı yerlerde ve zamanlarda yapılır ve farkları uygulayıcıdan başka nedenlerle de açıklanabilir. Genel denge örneğinde beceri priminin ne kadar düşeceğini bildiğimizi varsaydık; bunu öngörmek, emek piyasasının yapısına dair bir model gerektirir.

Teknik

İç ve dış geçerlilik arasındaki ödünleşim

İç geçerlilik ile dış geçerlilik arasında çoğu zaman bir ödünleşim vardır. İç geçerliliği en yüksek tasarımlar, örneğin dikkatle denetlenen küçük ölçekli deneyler, genellikle özel koşullarda, motive uygulayıcılarla ve gönüllü katılımcılarla yapılır; bu koşullar dış geçerliliği zayıflatır. Dış geçerliliği yüksek veriler, örneğin ülke çapındaki idari kayıtlar, genellikle seçilim yanlılığından arınmış karşılaştırmalara izin vermez. Süreksizlik tasarımı dersinde gördüğümüz yerellik, yani tahminin yalnızca eşikteki birimler için geçerli olması, ve araç değişkenler dersinde gördüğümüz yerel ortalama tedavi etkisi, yani tahminin yalnızca uyum gösterenler için geçerli olması, bu ödünleşimin özel biçimleridir: tasarım, iç geçerliliği belirli bir alt nüfus için sağlar ve bu alt nüfusun dışına taşınması ek varsayımlar gerektirir.

Bu ödünleşim, araştırma tasarımında bilinçli seçimler gerektirir. Politika ölçeğinde bir soru için, örneğin bir programın ülke çapında yaygınlaştırılıp yaygınlaştırılmaması için, gerçek uygulama koşullarına yakın bir ortamda, gerçek uygulayıcılarla yapılan bir deney, daha ideal koşullardaki bir deneyden daha değerli olabilir; iç geçerliliği biraz daha düşük olsa bile.

Bu ödünleşimin bir başka biçimi, deneye katılmayı kabul eden kurumların seçilimidir. Bir deneye ev sahipliği yapmayı kabul eden bir belediye, bir okul ya da bir şirket, genellikle yeniliğe açık, yönetim kapasitesi güçlü ve sonuçlardan çekinmeyen bir kurumdur. Bu kurumlar, deneyi kabul etmeyenlerden sistematik olarak farklıdır ve programı daha iyi uygulayabilirler. Allcott'un enerji şirketleri örneği, bu türden bir seçilimdi.

Taşınabilirlik koşulları

Bir etkinin bir nüfustan başka bir nüfusa taşınabilmesi için gereken koşullar, nedensel grafikler diliyle sistematik olarak ifade edilebilir. Judea Pearl ve Elias Bareinboim'in taşınabilirlik çalışmaları, iki nüfus arasındaki farkların nedensel yapının hangi noktalarında bulunduğunu belirleyerek, deney nüfusundaki etkinin hedef nüfus için hangi verilerle yeniden hesaplanabileceğini gösterdi.

Bu çerçeve, dış geçerlilik sorusunu bir evet ya da hayır sorusu olmaktan çıkarır. Soru, «bu sonuç genellenebilir mi?» değil, «bu sonucu şu hedef nüfusa taşımak için hangi varsayımlar ve hangi veriler gerekir?» olur.

Mekanizmaları anlamak

Bir etkinin neden ortaya çıktığını anlamak, onu taşımanın en güçlü yoludur. Bir enerji raporu tüketimi, hanelerin komşularıyla kendilerini karşılaştırmasından kaynaklanan sosyal norm etkisiyle azaltıyorsa, bu mekanizmanın güçlü olduğu yerlerde, örneğin topluluk bağlarının güçlü olduğu yerlerde, etkinin büyük olması beklenir. Bir sözleşmeli öğretmen programı, öğretmenlerin performansa bağlı yenilenme koşuluyla motive olmasından etki yaratıyorsa, bu koşulun gerçekten uygulanmadığı yerde etki kaybolur; Bold ve arkadaşlarının Kenya'da gözlediği budur.

Deaton ve Cartwright'ın deneylere yönelttiği eleştiri de bu noktaya odaklanır: bir deney, «neyin işe yaradığını» gösterebilir, ama «neden işe yaradığını» göstermez; ve bir sonucu başka bir yere taşımak için ikincisi gereklidir. Taşınabilir sonuçlar üretmek isteyen bir deney bu nedenle yalnızca ortalama etkiyi değil, etkinin hangi kanallardan geçtiğini de ölçmeye çalışır: ara sonuçları, alt grup etkilerini ve programın farklı bileşenlerinin ayrı ayrı etkilerini.

Tekrarlar ve birikimli kanıt

Dış geçerliliği sınamanın en doğrudan yolu, aynı programı farklı yerlerde tekrar değerlendirmektir. Mikrofinansı işlediğimiz derste gördüğümüz, yedi ülkedeki mikrokredi deneylerinin birleştirilmesi, bu yaklaşımın bir örneğiydi: tek tek deneylerin belirsiz bıraktığı soruyu, deneyler arasındaki farkların ne kadarının gerçek heterojenlikten, ne kadarının tesadüften kaynaklandığını ayırarak cevapladı. Birden çok ülkede aynı tasarımla eşzamanlı yürütülen deneyler, bu yaklaşımı daha da güçlendirir.

Ama Allcott'un bulgusu, tekrarların da yer seçimi yanlılığından etkilenebileceğini gösterir: tekrarlar, programı benimsemeye istekli ve onu iyi uygulayabilecek yerlerde yapılıyorsa, birikimli kanıt da yanlı olabilir. Ayrıca yayın yanlılığı, yani anlamlı sonuçların daha kolay yayımlanması, birikimli kanıtı olumlu sonuçlara doğru çarpıtabilir. Bu yüzden deney kayıt sistemleri ve ön analiz planları, dış geçerlilik için de önemlidir: hangi deneylerin yapıldığını ve sonuçlarının ne olduğunu, yayımlanıp yayımlanmamalarından bağımsız olarak görmek mümkün olur.

Deneyler ve yapısal modeller

Mekanizmayı açıkça modellemek, dış geçerlilik sorununa bir başka yaklaşım sunar. Bir yapısal model, örneğin hanelerin okula gönderme kararını gelir, fırsat maliyeti ve tercihler üzerinden açıklayan bir model, deney verileriyle tahmin edilir ve ardından deneyde hiç denenmemiş politikaların, örneğin farklı ödeme tutarlarının ya da farklı uygunluk koşullarının etkisini öngörmek için kullanılır. Petra Todd ve Kenneth Wolpin'in 2006'da yayımlanan çalışması bu yaklaşımın bilinen bir örneğidir: Meksika'daki şartlı nakit transfer programının deneysel verilerinde, ailelerin okul ve çalışma kararlarını açıklayan bir modeli yalnızca kontrol grubuyla tahmin ettiler ve modelin tedavi grubundaki etkiyi ne kadar iyi öngördüğüne baktılar. Modelin deneyde gözlenen etkiyi yeniden üretebilmesi, deneyde hiç denenmemiş ödeme tutarları için yaptığı öngörülere duyulan güveni artırır.

Bu yaklaşımın gücü, deneyin iç geçerliliğini ve modelin öngörü gücünü birleştirmesidir; zayıflığı ise, öngörülerin modelin varsayımlarına bağlı olmasıdır. Model yanlış belirlenmişse, deneyde gözlenen etkiyi doğru yeniden üretse bile, deneyin dışındaki politikalar için yanlış öngörüler verebilir. Deneyler ve yapısal modeller, bu yüzden rakip değil, birbirini tamamlayan araçlardır.

Zaman içinde dış geçerlilik

Bir etki yalnızca yerden yere değil, zamandan zamana da değişebilir. Ekonomik koşullar değişir: bir iş eğitimi programının etkisi, işsizliğin yüksek olduğu bir dönemde düşük, düşük olduğu bir dönemde yüksek olabilir. Teknolojiler değişir: bir beceri eğitimi, o becerinin talep gördüğü dönemde değerli, otomasyonla değersizleştiği dönemde değersiz olabilir. Kurumlar değişir: bir program, başlangıçtaki heyecan ve yakın izlemeyle yüksek etki yaratıp, olağanlaştıkça etkisini yitirebilir. Bu yüzden eski değerlendirmelerin sonuçları, bugünkü kararlar için kullanılırken, aradaki sürede etkiyi belirleyen koşulların ne ölçüde değiştiği ayrıca değerlendirilmelidir.

Türkiye için dış geçerlilik

Türkiye'de birçok sosyal politika, başka ülkelerde değerlendirilmiş programlardan esinlenerek tasarlanır: şartlı nakit transferleri, aktif işgücü programları, okul öncesi eğitim yaygınlaştırmaları ve kadın istihdamını destekleyen uygulamalar gibi. Bu programların başka ülkelerdeki etkilerini Türkiye'ye taşırken, bu dersin soruları doğrudan geçerlidir: değerlendirmenin yapıldığı ülkede programı kim uyguladı, hedef nüfus Türkiye'deki hedef nüfusla hangi özellikler bakımından farklı, programın sonuçlarının başlangıç düzeyleri ne kadar farklı ve program Türkiye'de hangi ölçekte uygulanacak? Mümkün olduğunda, yaygınlaştırma öncesinde Türkiye'nin kendi kurumlarıyla ve kendi koşullarında yapılan bir pilot değerlendirme, bu soruların cevabını doğrudan verir.

Bu bakış açısı, dış geçerliliği bir kusur listesi olmaktan çıkarıp bir araştırma gündemine dönüştürür: etkinin hangi koşullarda büyüyüp küçüldüğünü bilmek, programı nerede ve nasıl uygulayacağımızı seçmek için doğrudan kullanılabilir bir bilgidir.

Ölçek büyütmenin tasarımı

Ölçeklenince etki düşüşünü önlemenin bir yolu, ölçek büyütmenin kendisini değerlendirmenin bir parçası yapmaktır. Bold ve arkadaşlarının Kenya'daki deneyi, ülke çapındaki reformun içine yerleştirilerek, devlet uygulamasının etkisini doğrudan ölçtü. Fransa'daki işe yerleştirme deneyi, programın yoğunluğunu iş piyasaları arasında rastgele değiştirerek genel denge etkilerini ölçtü. Karthik Muralidharan ve Paul Niehaus, ölçek büyütme sorusunu doğrudan hedefleyen deneylerin, yani büyük coğrafi birimlerde, gerçek uygulayıcılarla ve programın yaygınlaştırılacağı biçimde yapılan deneylerin, politika açısından özellikle değerli olduğunu vurguladı.

Uygulama

Özet kartı

1. İç geçerlilik, bir tahminin çalışmanın kendi örneklemi için doğru olmasıdır; dış geçerlilik, bu tahminin başka yerlere, zamanlara, nüfuslara, uygulayıcılara ve ölçeklere taşınabilmesidir ve iç geçerlilik onu garanti etmez.
2. Allcott, aynı enerji tasarrufu programının 111 rastgele deneyinde, ilk 10 yerin zengin mikro verilerine dayanan öngörülerin sonraki 101 yerdeki etkiyi önemli ölçüde abarttığını gösterdi; programı önce benimseyen yerler, programdan daha çok yarar sağlayacak yerlerdi.
3. Vivalt, etki değerlendirmeleri arasında büyük heterojenlik buldu ve devlet tarafından uygulanan programların etkilerinin sivil toplum kuruluşlarının ya da araştırma ekiplerinin uyguladıklarınkinden sistematik olarak küçük olduğunu gösterdi; Bold ve arkadaşları, Kenya'da aynı öğretmen sözleşmelerinin sivil toplum eliyle sınav puanlarını artırdığını, devlet eliyle sıfır etki yarattığını buldu.
4. Etki gözlenen özelliklere göre değişiyorsa, alt grup etkileri hedef nüfusun bileşimine göre yeniden ağırlıklandırılarak taşınabilir; ama etkiyi belirleyen gözlenmeyen özellikler bu düzeltmeyi yetersiz bırakır.
5. Ölçek büyütme, yer seçimi, uygulayıcı farkları ve genel denge etkileri nedeniyle etkiyi düşürebilir; mekanizmaları anlamak, tekrarlar ve ölçek büyütmenin kendisini değerlendiren deneyler, deney sonuçlarından politika öngörüsüne geçişi güçlendirir.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Yer seçimi yanlılığını açıklayın ve bunun bireylerin seçiliminden nasıl farklı olduğunu yazın.
2. (Çıktı 2) Yeniden ağırlıklandırma örneğinde hedef ildeki hanelerin yüzde 40'ı çevreye duyarlı ve yüzde 30'u yüksek tüketimli olsaydı, iki özelliğin bağımsız olduğu varsayımıyla öngörülen etki ne olurdu?
3. (Çıktı 2) Meslek kursu örneğinde kurs ildeki 10.000 kişiye uygulandığında beceri primi yüzde 4'e iniyor ve kursa katılmayan işçilerin kazancı, yerinden etme nedeniyle yüzde 1 düşüyor. İldeki 20.000 işçinin ortalama kazancı ne kadar değişir?
4. (Çıktı 3) Bir sağlık programı, ilk olarak sağlık altyapısı güçlü ve yerel yöneticileri programa istekli üç ilde deneniyor ve büyük bir etki buluyor. Bu sonucun ülke geneline taşınmasında hangi mekanizmalar etkiyi düşürebilir?
5. (Çıktı 3) Taşınabilirlik çerçevesinde, iki nüfusun yalnızca etkiyi değiştirmeyen özelliklerde, etkiyi değiştiren gözlenen özelliklerde ve etkiyi değiştiren gözlenmeyen özelliklerde farklı olduğu üç durumu karşılaştırın.
6. (Çıktı 4) Bir bakan, «Bu program beş ülkede yapılan titiz deneylerde işe yaradı; ülkemizde de aynı etkiyi beklemek için başka bir değerlendirmeye gerek yok» diyor. Bu görüşü Allcott'un, Vivalt'ın ve Bold ve arkadaşlarının bulgularıyla değerlendirin.

Cevaplar

1. Yer seçimi yanlılığı, bir programın benimsendiği ya da değerlendirildiği yerlerin, programın etkisiyle ilişkili nedenlerle seçilmesidir; örneğin programın en iyi işleyeceği ya da en istekli uygulayıcıların bulunduğu yerlerin önce seçilmesi. Bireylerin seçilimi, bir değerlendirme içinde hangi kişilerin tedaviyi alacağının seçilmesiyle ilgilidir ve iç geçerliliği tehdit eder; rastgele atama onu giderir. Yer seçimi ise değerlendirmenin hangi yerde yapılacağının seçilmesiyle ilgilidir; her yerdeki deney iç geçerli olsa bile, yerler etkiyle ilişkili biçimde seçildiği için sonuçlar başka yerlere taşınamaz. Rastgele atama yer seçimi yanlılığını gidermez.
2. Dört grubun payları: çevreye duyarlı ve yüksek tüketimli 0,4 × 0,3 = 0,12; çevreye duyarlı ve düşük tüketimli 0,4 × 0,7 = 0,28; öbür yüksek tüketimli 0,6 × 0,3 = 0,18; öbür düşük tüketimli 0,6 × 0,7 = 0,42. Öngörülen etki 0,12 × 3 + 0,28 × 2 + 0,18 × 1,5 + 0,42 × 1 = 0,36 + 0,56 + 0,27 + 0,42 = yüzde 1,61'dir. Çevreye duyarlı hanelerin payının artması etkiyi yükseltir, yüksek tüketimli hanelerin payının azalması düşürür.
3. Kursa katılan 10.000 kişinin kazancı yüzde 4 artar, katılmayan 10.000 kişininki yüzde 1 düşer. İldeki ortalama değişim (10.000 × 4 + 10.000 × (−1)) ÷ 20.000 = (40.000 − 10.000) ÷ 20.000 = yüzde 1,5'tir. Küçük ölçekli deneyin yüzde 10'luk tahminine dayanarak yapılan bir öngörü, kursun ildeki ortalama kazancı yüzde 5 artıracağını, yani 10.000 kişinin yüzde 10'unu söylerdi; gerçek etki bunun üçte biridir.
4. Birincisi, yer seçimi: altyapısı güçlü ve yöneticileri istekli iller, programın en iyi işleyeceği yerlerdir; öbür illerde altyapı eksiklikleri programın etkisini sınırlayabilir. İkincisi, uygulayıcı etkisi: deney illerindeki istekli yöneticiler programı yakından izlemiş olabilir; ülke genelinde program olağan bürokratik süreçlere bırakıldığında uygulama zayıflayabilir. Üçüncüsü, nüfus farkları: deney illerindeki hastalık yükü, gelir düzeyi ya da sağlık hizmetine erişim öbür illerden farklıysa, etki farklı olur. Dördüncüsü, genel denge etkileri: program ülke çapında yaygınlaştığında sağlık personeli ve ilaç gibi kaynaklar kısıtlı hâle gelebilir.
5. İki nüfus yalnızca etkiyi değiştirmeyen özelliklerde farklıysa, etki doğrudan taşınabilir; deneydeki ortalama etki hedef nüfus için de geçerlidir. Etkiyi değiştiren gözlenen özelliklerde farklıysa, deneydeki alt grup etkileri hedef nüfusun bileşimine göre yeniden ağırlıklandırılarak taşınabilir; bunun için hedef nüfusta bu özelliklerin dağılımını ölçmek gerekir. Etkiyi değiştiren gözlenmeyen özelliklerde farklıysa, ek varsayımlar olmadan etki taşınamaz; Allcott'un çalışmasında enerji şirketlerinin ve bölgelerin gözlenmeyen özellikleri, zengin hane verilerine rağmen öngörüleri yanlı bıraktı.
6. Bakanın görüşü, beş titiz deneyin iç geçerliliğini dış geçerlilikle karıştırıyor. Allcott, aynı programın on deneyine dayanan öngörülerin sonraki yüz bir yerdeki etkiyi önemli ölçüde abarttığını gösterdi; beş deney de programın en iyi işleyeceği ülkelerde yapılmış olabilir. Vivalt, etki değerlendirmeleri arasında büyük heterojenlik olduğunu ve devlet tarafından uygulanan programların etkilerinin sistematik olarak daha küçük olduğunu buldu; beş deneyin uygulayıcısı devlet değilse, ülkedeki devlet uygulaması daha küçük bir etki yaratabilir. Bold ve arkadaşları, Kenya'da aynı sözleşme koşullarının devlet eliyle sıfır etki yarattığını gösterdi. Bakan, beş deneyin yapıldığı ülkelerin ve uygulayıcıların özelliklerini kendi ülkesiyle karşılaştırmalı, etki heterojenliğini yaratan özelliklere göre bir öngörü yapmalı ve programın yaygınlaştırılmasını, etkisini gerçek uygulama koşullarında ölçen aşamalı bir değerlendirmeyle birlikte tasarlamalıdır.

İleri okuma

• Hunt Allcott (2015). «Site Selection Bias in Program Evaluation». QJE 130(3). Aynı programın 111 deneyiyle yer seçimi yanlılığı.
• Eva Vivalt (2020). «How Much Can We Generalize From Impact Evaluations?». Journal of the European Economic Association 18(6). Etki değerlendirmeleri arasındaki heterojenlik.
• Tessa Bold, Mwangi Kimenyi, Germano Mwabu, Alice Ng'ang'a, Justin Sandefur (2018). «Experimental Evidence on Scaling Up Education Reforms in Kenya». Journal of Public Economics 168. Sivil toplum ve devlet uygulaması karşılaştırması.

Sonraki derse köprü

Bu kurs boyunca nedensel çıkarımın araçlarını tek tek kurduk ve her birinin neye yaslandığını, kimin hakkında konuştuğunu ve sonuçlarının ne kadar uzağa götürülebileceğini sorguladık. Bu araçların birçoğu, 2021 Nobel iktisat ödülüne konu olan çalışmalarda şekillendi: doğal deneylerle emek piyasası sorularını cevaplayan çalışmalar ve bu deneylerin neyi tahmin ettiğini netleştiren yöntemsel katkılar. Bu çalışmalar, kursta öğrendiğimiz araçları bir araya getirerek nasıl kullandı ve hangi tartışmaları başlattı? Kursun son dersi, 2021 Nobel çalışmalarını yakından inceliyor.