Rastgele kontrollü deneyler

Öğrenme çıktıları

• Hatırlama — Niyete göre tedavi etkisini, eksik uyumu, deneyden ayrılmayı, minimum saptanabilir etkiyi, tabakalı rastgeleleştirmeyi ve denge testini tanımlar.
• Uygulama — Bir deneyde tedavi etkisini ve standart hatasını hesaplar; eksik uyum altında niyete göre tedavi etkisinden tedaviyi gerçekten alanlar için etkiyi türetir; belirli bir etkiyi saptamak için gereken örneklem büyüklüğünü kabaca belirler.
• Analiz — Bir deneyin iç geçerliliğini tehdit eden sorunları, yani eksik uyumu, seçici ayrılmayı, birimler arası etkileşimi ve çoklu karşılaştırmaları çözümler ve her birine yönelik tasarım ya da analiz çözümlerini ayırt eder.
• Değerlendirme — Bir sağlık sigortası kurası, bir iş eğitimi programı ve bir yerel yönetişim programı deneylerine dayanarak, rastgele kontrollü deneylerin neyi güvenilir biçimde gösterebildiğini ve nerede yetersiz kaldığını değerlendirir.

Sezgi

Açılış

2008'de ABD'nin Oregon eyaleti, düşük gelirli yetişkinlere yönelik kamu sağlık sigortası programına yeni kişiler almak istedi, ama yalnızca sınırlı sayıda yer vardı. Eyalet yerleri dağıtmak için bir kura düzenledi. Bu, adalet kaygısıyla verilmiş idari bir karardı; ama iktisatçılar için nadir bir fırsat yarattı: sağlık sigortasının etkisini, sigortalı ile sigortasız insanları karşılaştırmanın bütün seçilim sorunlarından arınmış biçimde ölçmek.

Bir önceki derste, kimin tedavi alacağını belirleyen süreç kişilerin iki olası sonucuyla hiçbir ilişki taşımıyorsa, iki grup arasındaki farkta seçilimden gelen bir pay kalmadığını gösterdik. Kura, bu ilişkisizliği araştırmacının kendi eliyle kurmasını sağlar. Ama gerçek bir deney, ders kitabındaki ideal deneyden farklıdır: kurayı kazananların bir kısmı programa hiç katılmaz, bazı katılımcılar izlenemez hâle gelir, örneklem bir etkiyi saptamaya yetmeyebilir ve araştırmacı onlarca sonuç değişkeni arasından beğendiğini seçmeye eğilimli olabilir. Bu ders, rastgele kontrollü deneylerin nasıl tasarlandığını, hangi sorunlarla karşılaştığını ve bu sorunların nasıl ele alındığını inceliyor.

Hikâye — Oregon kurası

Kura sonrasında bir araştırma ekibi, kurayı kazananlar ile kaybedenleri yıllarca izledi. Ekip, kurayı kazanmanın sağlık hizmeti kullanımı, mali zorluklar ve sağlık üzerindeki etkilerini ölçtü.

Bu sonuçta önemli bir ayrıntı var: kura, sigortalı olma olasılığını yalnızca 25 yüzde puanı artırmıştı. Kurayı kazananların birçoğu başvuru yapmadı ya da başvurusu uygunluk koşulları nedeniyle reddedildi; kaybedenlerin bir kısmı da başka yollardan sigorta buldu. Yani kura, kimin sigortalı olacağını değil, kimin sigortalı olma şansı bulacağını belirledi. Bu fark, deneyin neyi ölçtüğünü anlamak için kritiktir.

Kavram — kurayı kazanmak ile tedaviyi almak

Deneylerde atanan grup ile gerçekten alınan tedavi her zaman örtüşmez.

Eksik uyum karşısında rastgeleliği korumanın yolu, gerçekten alınan tedaviye değil, atamaya göre karşılaştırma yapmaktır.

Oregon deneyinde niyete göre tedavi etkisi, «sigortaya başvurma şansı tanınmanın» etkisidir. Politika açısından bu anlamlı bir büyüklüktür: bir hükümet programa erişimi genişletebilir, ama herkesi programa katılmaya zorlayamaz.

Veri ve kanıt — kaybolan gözlemler ve önceden bağlanan eller

Rastgele atama, deneyin başında grupları birbirine benzetir. Ama deney sırasında bazı katılımcılar izlenemez hâle gelir ya da sonucu ancak belirli koşullarda gözlenir. David Lee, ABD'nin en büyük federal iş eğitimi programlarından birinin deneysel değerlendirmesinde bu sorunu ele aldı.

Deneylerin bir başka tehlikesi, araştırmacının kendisidir. Bir program onlarca sonucu etkileyebilir ve araştırmacı, sonuçlara baktıktan sonra anlamlı çıkanları öne çıkarmaya eğilimli olabilir. Katherine Casey, Rachel Glennerster ve Edward Miguel, Sierra Leone'de bir yerel yönetişim programının değerlendirmesinde bu tehlikeye karşı ellerini önceden bağladı.

Neden önemli? — politikanın sınama alanı

Rastgele kontrollü deneyler, son otuz yılda iktisatta, özellikle kalkınma, eğitim, sağlık ve iş piyasası politikalarında, en etkili araştırma yöntemlerinden biri hâline geldi. Hükümetler ve uluslararası kuruluşlar, bir programı ülke çapında uygulamadan önce küçük ölçekte rastgele bir deneyle sınamaya giderek daha sık başvuruyor. Bu yöntemin gücü, seçilim yanlılığını tasarım yoluyla ortadan kaldırmasıdır. Ama deneyler de yanlış tasarlanabilir, yanlış analiz edilebilir ya da yanlış yorumlanabilir. Bir deney raporunu okurken sorulması gereken sorular, yani kim kuraya girdi, kim tedaviyi gerçekten aldı, kimler izlenemedi, kaç sonuç değişkenine bakıldı ve örneklem bir etkiyi saptamaya yeter miydi, bu dersin konusudur.

Model

Bu bölümdeki programlar, katılımcılar ve sayılar örnek amaçlıdır; anılan çalışmaların bulguları değildir.

Çözümlü örnek — Etki ve standart hatası

Bir ilçede 400 çiftçi, yeni bir sulama tekniği eğitimi için kuraya giriyor; 200'ü eğitime, 200'ü kontrol grubuna atanıyor. Bir yıl sonra tedavi grubunun ortalama hasılası dönüm başına 520 kilogram, kontrol grubununki 500 kilogram. Her iki grupta da hasılanın standart sapması 100 kilogram.

Etki tahmini, iki grup ortalamasının farkıdır: 520 − 500 = 20 kilogram. Rastgele atama nedeniyle bu, ortalama tedavi etkisinin yansız bir tahminidir. Tahminin kesinliği için standart hata, iki grubun varyanslarının grup büyüklüklerine bölünüp toplanmasının kareköküdür: √(100² ÷ 200 + 100² ÷ 200) = √(50 + 50) = 10 kilogram.

Tahmin, standart hatasının iki katıdır; t istatistiği 2'dir. Yüzde 5 anlamlılık düzeyinde, etkinin sıfır olduğu hipotezi kıl payı reddedilir. Yüzde 95 güven aralığı yaklaşık 20 ± 1,96 × 10, yani 0,4 ile 39,6 kilogram arasıdır. Eğitimin hasılayı artırdığına dair kanıt var; ama etkinin ne kadar büyük olduğu oldukça belirsizdir: neredeyse sıfırdan yüzde 8'e kadar herhangi bir değer verilerle tutarlıdır.

Çözümlü örnek — Ne kadar büyük bir örneklem?

Deneyi tasarlayan araştırmacı, deney başlamadan önce şu soruyu sormalıydı: eğitimin gerçek etkisi 20 kilogramsa, bu deney onu saptayabilir mi?

Çiftçi örneğinde standart hata 10 kilogram olduğuna göre, minimum saptanabilir etki yaklaşık 2,8 × 10 = 28 kilogramdır. Gerçek etki 20 kilogramsa, deneyin onu anlamlı bulma olasılığı, yani gücü, yüzde 80'in oldukça altındadır; bu örnekte yaklaşık yüzde 50'dir. Deney şanslıydı: aynı deney tekrarlansa, yarı yarıya etkiyi bulamayacaktı.

20 kilogramlık bir etkiyi yüzde 80 güçle saptamak için standart hatanın 20 ÷ 2,8 ≈ 7,1 kilograma inmesi gerekir. Standart hata, grup büyüklüğünün kareköküyle ters orantılıdır; 10'dan 7,1'e inmek için grup büyüklüğünün (10 ÷ 7,1)² ≈ 2 katına çıkması gerekir. Her grupta 200 yerine yaklaşık 400 çiftçi, toplam 800 çiftçi gerekir.

Yetersiz güçteki deneylerin bir sakıncası daha vardır: anlamlı çıkan sonuçları abartma eğilimindedirler. Gücü düşük bir deneyde etki ancak tahmin şans eseri büyük çıktığında anlamlı bulunur; bu yüzden yayımlanan anlamlı sonuçlar, gerçek etkiden sistematik olarak büyük olur. Bu, yayın yanlılığının deney düzeyindeki karşılığıdır.

Çözümlü örnek — Kurayı kazanmak ve sigortalanmak

Oregon deneyinin mantığını basit sayılarla kuralım. Kuraya 20.000 kişi giriyor; 10.000'i kazanıyor, 10.000'i kaybediyor. Kazananların yüzde 30'u sigortalanıyor; kaybedenlerin yüzde 5'i başka bir yoldan sigorta buluyor. İki grup arasındaki sigortalı olma farkı 25 yüzde puanıdır.

Bir yıl sonra, en az bir kez birinci basamak sağlık hizmeti alanların oranı kazananlarda yüzde 60, kaybedenlerde yüzde 56'dır. Niyete göre tedavi etkisi 4 yüzde puanıdır: sigorta başvuru şansı tanınmak, hizmet kullanımını 4 puan artırmıştır.

Sigortalı olmanın kendisinin etkisi nedir? Kura yalnızca kişilerin sigortalanma olasılığını etkiliyorsa ve sonuç üzerinde başka bir kanalı yoksa, 4 puanlık niyete göre tedavi etkisinin tamamı, kura nedeniyle sigortalanan 25 puanlık gruptan gelir. Sigortanın bu gruptaki etkisi 4 ÷ 0,25 = 16 yüzde puanıdır. Bu bölme, araç değişkenler dersinde Wald tahmincisi adıyla ayrıntılı olarak ele alınacak ve ölçtüğü büyüklük, yani kura yüzünden sigortalanan kişiler için etki, daha önce tanıştığımız yerel ortalama tedavi etkisidir.

Bu hesapta nüfus üç türe ayrılır. Kurayı kazansa da kaybetse de sigortalanmayacak olanlar, örneğin başvuru yapmayı hiç düşünmeyenler, kazananların yüzde 70'ini oluşturur. Kurayı kaybetse de başka yoldan sigortalanacak olanlar, kaybedenlerdeki yüzde 5'lik gruptur; rastgele atama nedeniyle kazananlar arasında da aynı oranda bulunmaları beklenir. Geriye kalan ve yalnızca kurayı kazanırlarsa sigortalanan grup, nüfusun yüzde 25'idir. Kura, yalnızca bu son grubun davranışını değiştirir; ilk iki grubun sonuçları kurayı kazanıp kazanmamalarından etkilenmez. Bu yüzden niyete göre tedavi etkisindeki farkın tamamı bu gruptan gelir ve bölme, yalnızca onlar için geçerli bir etki verir.

Bir araştırmacı bu adımı atlayıp sigortalananları sigortalanmayanlarla doğrudan karşılaştırsaydı, kurayı kazanıp başvuranların, kazanıp başvurmayanlardan farklı olduğunu, örneğin daha hasta ya da sağlık hizmetine daha istekli olduğunu göz ardı etmiş olurdu. Doğrudan karşılaştırma, seçilim yanlılığını geri getirirdi.

Çözümlü örnek — Ücretler kimin için gözlenir?

Bir iş eğitimi deneyinde 1.000 kişi eğitime, 1.000 kişi kontrol grubuna atanıyor. Bir yıl sonra eğitim grubunun yüzde 60'ı, kontrol grubunun yüzde 50'si çalışıyor. Araştırmacı eğitimin saatlik ücret üzerindeki etkisini ölçmek istiyor; ama ücret yalnızca çalışanlar için gözleniyor. Çalışan 600 eğitimli kişinin ortalama ücreti 98 lira, çalışan 500 kontrol grubu üyesinin ortalama ücreti 100 lira.

Basit karşılaştırma eğitimin ücreti 2 lira düşürdüğünü gösteriyor. Ama bu karşılaştırma yanıltıcı olabilir: eğitim, normalde çalışmayacak 100 kişiyi işe sokmuştur ve bu kişiler, büyük olasılıkla, çalışanlar arasında en düşük ücretlileridir. Eğitimli çalışanlar, kontrol grubundaki çalışanlardan daha geniş ve daha düşük ücretli bir kesimi kapsar.

Lee'nin budama yöntemi bu sorunu şöyle ele alır. Eğitim grubunda çalışanların payı kontrol grubundan 10 puan, yani çalışan eğitimlilerin 600'de 100'ü, yaklaşık altıda biri kadar fazladır. Bu fazladan çalışanların kim olduğunu bilmeyiz; ama en kötü durumda en yüksek ücretliler, en iyi durumda en düşük ücretliler olabilirler. Eğitimli çalışanların ücret dağılımının üst altıda birini atıp kalan 500 kişiyi kontrol grubuyla karşılaştırmak, etkiye bir alt sınır verir; alt altıda birini atmak ise bir üst sınır. Diyelim ki alt sınır eksi 3 lira, üst sınır artı 9 lira çıktı. Sınırlar sıfırı içerdiği için eğitimin ücret üzerindeki etkisinin yönü bu verilerle kesin olarak belirlenemez; ama etkinin büyük ve eksi olmadığı söylenebilir.

Çözümlü örnek — Dengeyi sınamak ve tabakalara bölmek

Bir okul programı deneyinde 40 okul rastgele iki gruba ayrılıyor. Araştırmacı, rastgele atamanın grupları gerçekten benzer kıldığını göstermek için 20 özellik üzerinden iki grubu karşılaştırıyor: öğrenci sayısı, öğretmen deneyimi, önceki yılın sınav ortalaması, okulun kırsal ya da kentsel olması ve benzerleri.

Yüzde 5 anlamlılık düzeyinde 20 bağımsız özellik karşılaştırılırsa, rastgele atama kusursuz olsa bile ortalama olarak birinin anlamlı çıkması beklenir. Araştırmacı bir özellikte anlamlı fark görürse paniğe kapılmamalıdır. Ama 40 okulluk küçük bir örneklemde, şans eseri ortaya çıkan bir dengesizlik, örneğin tedavi grubundaki okulların önceki sınav ortalamasının belirgin biçimde yüksek olması, sonuçları gerçekten etkileyebilir.

40 okul, önceki sınav ortalamasına göre sıralanıp ikişerli 20 çifte ayrılırsa ve her çiftte bir okul rastgele tedaviye atanırsa, iki grup önceki sınav ortalaması bakımından neredeyse kesin olarak dengelenir. Miriam Bruhn ve David McKenzie, kalkınma iktisadındaki saha deneylerinde kullanılan atama yöntemlerini benzetimlerle karşılaştırdıkları 2009 tarihli çalışmalarında, 300 ve daha büyük örneklemlerde yöntemlerin benzer sonuç verdiğini, ama küçük örneklemlerde ve zaman içinde çok kalıcı sonuç değişkenlerinde eşleştirilmiş çiftlerin ve tabakalamanın en iyi sonucu verdiğini ve uygulamada yaygın olan, dengeli bir atama çıkana kadar kurayı yeniden çekme yöntemlerine üstün göründüğünü buldu.

Çözümlü örnek — Başlangıç ölçümüyle kesinlik kazanmak

Çiftçi deneyine dönelim. Araştırmacı, deneyden önceki yılın hasılasını da ölçmüş olsun. Bir çiftçinin geçen yılki hasılası bu yılkini güçlü biçimde öngörür: toprak kalitesi, çiftçinin deneyimi ve tarlanın konumu yıldan yıla değişmez. Geçen yılın hasılası, bu yılın hasılasındaki değişkenliğin yarısını açıklıyorsa, yani regresyonun açıklama oranı 0,5 ise, ne olur?

Rastgele atama altında, başlangıç ölçümünü regresyona kontrol olarak eklemek tahmini yanlı kılmaz: iki grubun başlangıç hasılası zaten ortalamada aynıdır. Ama sonuçtaki gürültüyü azaltır. Açıklanmadan kalan varyansın oranı 1 − 0,5 = 0,5 olduğu için standart hata yaklaşık √0,5 ≈ 0,71 katına iner: 10 kilogramdan yaklaşık 7,1 kilograma. Bu, Model bölümünde örneklemi iki katına çıkararak elde ettiğimiz kesinliğin aynısıdır.

Yani iyi bir başlangıç ölçümü, örneklemi iki katına çıkarmak kadar değerlidir ve genellikle çok daha ucuzdur. Bu yüzden iyi tasarlanmış deneyler, sonuç değişkenini tedaviden önce de ölçer ve bu ölçümü hem tabakalamada hem analizde kullanır. Bir koşul vardır: kontrol değişkenleri, kötü kontrol tuzağına düşmemek için tedaviden önce ölçülmüş olmalıdır. Tedaviden sonra ölçülen ve tedaviden etkilenebilecek bir değişkeni kontrol etmek, rastgele atamanın sağladığı güvenceyi bozar.

Çözümlü örnek — Yirmi göstergeden hangisi?

Bir köy kalkınma programı deneyinde araştırmacılar, programın yerel kurumları nasıl etkilediğini ölçmek için 20 gösterge topluyor: köy toplantılarına katılım, kadınların toplantıda söz alma oranı, ortak işlere gönüllü katılım, muhtara güven ve benzerleri. Programın gerçekte bu göstergelerin hiçbirine etkisi olmadığını varsayalım.

Yüzde 5 düzeyinde her gösterge için ayrı bir test yapılırsa, ortalama olarak 20 göstergeden biri şans eseri anlamlı çıkar. Diyelim ki iki gösterge anlamlı çıktı: kadınların söz alma oranı tedavi grubunda yüksek, muhtara güven ise düşük. Bir araştırmacı yalnızca birincisini raporlayıp «program kadınların katılımını artırdı» diyebilir; bir başkası yalnızca ikincisini raporlayıp «program yerel otoriteye güveni sarstı» diyebilir. İki yorum da veriyle desteklenmiş görünür; ikisi de yanlıştır.

Casey ve arkadaşlarının gösterdiği tam olarak bu tehlikeydi. Çözüm, göstergeleri önceden belirlenmiş bir endekste birleştirmektir: 20 göstergenin her birini standartlaştırıp ortalamalarını almak, tek bir test yapmayı sağlar. Bu endekste program etkisi sıfıra yakın çıkar; tek tek göstergelerdeki şans eseri farklar birbirini götürür.

Modelin sınırları

Bu örnekler deneylerin sorunlarını tek tek ele aldı; gerçek bir deneyde hepsi birlikte ortaya çıkar. Güç hesabı, etkinin büyüklüğünü ve sonucun varyansını önceden tahmin etmeyi gerektirir; bu tahminler yanlışsa deney yine yetersiz kalabilir. Kura örneğindeki bölme, kuranın sonucu yalnızca sigorta üzerinden etkilediğini varsayar; kurayı kazanmak başka bir yoldan, örneğin kişileri sağlık konusunda daha bilinçli kılarak, sonucu etkiliyorsa bu varsayım çöker. Budama örneğinde sınırlar, eğitimin hiç kimseyi işten çıkarmadığını, yalnızca bazılarını işe soktuğunu varsayar. Denge testi örneğindeki 20 özelliğin bağımsız olduğu varsayımı da gerçekte nadiren sağlanır.

Teknik

Neyman'ın varyansı ve rastgeleleştirme çıkarımı

Model bölümündeki standart hata hesabının kökü, Neyman'ın 1920'lerde tarla parselleri üzerine yaptığı çalışmaya uzanır. Neyman, iki grup ortalamasının farkının, rastgele atama altında ortalama tedavi etkisinin yansız bir tahmincisi olduğunu ve varyansının iki grubun varyanslarının grup büyüklüklerine bölünmüş toplamıyla tahmin edilebileceğini gösterdi. Bu tahmin genellikle muhafazakârdır, yani gerçek varyansı biraz abartır; çünkü bireysel etkilerin varyansı, potansiyel sonuçlar dersinde gördüğümüz gibi, gözlenemez.

Alternatif bir yaklaşım, regresyon uygulamasını işlediğimiz derste tanıştığımız rastgeleleştirme çıkarımıdır. Bu yaklaşımda, sıfır hipotezi altında, yani tedavinin hiç kimse üzerinde etkisi yoksa, gözlenen sonuçlar atamadan bağımsızdır; araştırmacı atamayı bilgisayarda binlerce kez yeniden rastgele yapar ve gözlenen farkın bu dağılımın neresine düştüğüne bakar. Bu yöntem büyük örneklem yaklaşımlarına ihtiyaç duymaz ve küçük deneylerde, örneğin 40 okulluk bir deneyde, özellikle değerlidir.

Kümelenmiş deneyler ve tasarım etkisi

Birçok deneyde atama bireyler değil, gruplar, örneğin okullar, köyler ya da iş piyasaları düzeyinde yapılır. Bunun nedeni ya uygulamanın pratikliği, ya da potansiyel sonuçlar dersinde gördüğümüz birimler arası etkileşimin grup içinde kalmasını sağlamaktır. Kümelenmiş atamanın bir bedeli vardır: aynı kümedeki bireylerin sonuçları birbirine benzer olduğu için, her ek birey daha az yeni bilgi taşır.

Bu bedel, tasarım etkisiyle ölçülür: 1 + (m − 1) × ρ; burada m küme başına birey sayısı, ρ ise küme içi korelasyondur. Her köyden 50 kişinin alındığı ve küme içi korelasyonun 0,1 olduğu bir deneyde tasarım etkisi 1 + 49 × 0,1 = 5,9'dur. Yani bu deneyin varyansı, aynı sayıda bireyin bireysel olarak rastgele atandığı bir deneyin yaklaşık altı katıdır; 5.000 kişilik bir kümelenmiş deney, bilgi bakımından yaklaşık 850 kişilik bir bireysel deneye denktir. Bu yüzden kümelenmiş deneylerde güç, birey sayısından çok küme sayısına bağlıdır ve standart hatalar, regresyonda kümelenmiş standart hatalarla hesaplanmalıdır.

Çoklu sonuçlar ve ön analiz planları

Bir deney birçok sonuç değişkenine bakıyorsa, yüzde 5 anlamlılık düzeyinde her biri için ayrı test yapmak, en az birinin şans eseri anlamlı çıkma olasılığını hızla artırır. Etkisi olmayan bir program için 20 bağımsız sonuç test edilirse, en az birinin anlamlı çıkma olasılığı 1 − 0,95²⁰ ≈ yüzde 64'tür. Araştırmacı yalnızca anlamlı çıkanları raporlarsa, etkisiz bir program etkili görünebilir.

Bu sorunun iki çözümü vardır. Birincisi istatistikseldir: çoklu karşılaştırmalar için anlamlılık eşiklerini düzelten yöntemler ya da birçok sonucu tek bir standartlaştırılmış endekste birleştirmek. İkincisi kurumsaldır: araştırmacı, veriyi görmeden önce hangi sonuçlara bakacağını, hangi alt grupları inceleyeceğini ve hangi tahmin yöntemlerini kullanacağını bir ön analiz planında yazar ve bunu herkese açık bir deney kayıt sistemine kaydeder. Ön analiz planı, veri analizi derslerinde tanıştığımız analiz planı fikrinin deneyler için kurumsallaşmış biçimidir. Casey ve arkadaşları, bu planın değerini somut olarak gösterdi; ama ön analiz planlarının bir bedeli de vardır: beklenmedik ama önemli bulguları keşfetmeyi zorlaştırır. Bu yüzden önceden planlanmış analizler ile sonradan yapılan keşifsel analizlerin açıkça ayrılması önerilir.

Deney türleri

Glenn Harrison ve John List, 2004'te Journal of Economic Literature'da yayımlanan bir sınıflandırmada, iktisattaki deneyleri ortamın gerçekliğine göre ayırdı. Laboratuvar deneyleri, genellikle öğrencilerle, yapay görevlerle ve kontrollü bir ortamda yapılır; davranış kuramlarını sınamakta güçlüdür ama gerçek kararlara genellenmesi tartışmalıdır. Saha deneyleri, gerçek katılımcılarla ve gerçek kararlarla yapılır; katılımcılar bazen deneyde olduklarını bilir, bazen bilmez. Doğal saha deneylerinde katılımcılar, örneğin bir şirketin fiyat ya da reklam deneyinde, olağan kararlarını verirken bir deneyin parçası olduklarının farkında değildir.

Bu kursun konusu olan politika değerlendirmeleri çoğunlukla saha deneyleridir. Bu tür deneylerde araştırmacı genellikle bir hükümet, bir belediye ya da bir sivil toplum kuruluşuyla birlikte çalışır ve programı uygulayan kurum ile değerlendiren araştırmacı arasındaki işbirliği, deneyin başarısının belirleyicilerinden biridir. Uygulayıcı kurumun kurayı gerçekten uygulayıp uygulamadığı, kontrol grubuna programın sızıp sızmadığı ve programın tasarlandığı gibi yürütülüp yürütülmediği, iyi bir deneyin izlemesi gereken uygulama ayrıntılarıdır.

Etik ve kademeli yaygınlaştırma

Bir programı kontrol grubundan esirgemenin etik sorunu, pratikte çoğu zaman kaynak kısıtıyla çözülür: Oregon'da olduğu gibi, yerler sınırlıysa kura, yerleri dağıtmanın adil bir yoludur. Bir başka yaygın tasarım kademeli yaygınlaştırmadır: program zaten aşamalı olarak bütün bölgelere yayılacaksa, hangi bölgenin önce, hangisinin sonra programı alacağı kurayla belirlenir. Böylece herkes sonunda programı alır, ama erken alanlarla geç alanlar arasındaki karşılaştırma bir deney oluşturur.

Etik kaygı, müdahalenin etkisinin gerçekten belirsiz olduğu durumda en zayıftır: yararlı mı zararlı mı olduğu bilinmeyen bir programı herkese uygulamak, onu deneyle sınamaktan daha etik değildir. Ama katılımcıların bilgilendirilmesi, verilerinin korunması ve deneyin katılımcılara zarar vermemesi, her deneyde etik kurulların denetlediği koşullardır.

Alt gruplar ve etki heterojenliği

Deneylerde ortalama etkinin ötesinde, etkinin kimler için büyük, kimler için küçük olduğu da merak edilir. Alt grup analizleri bu soruyu cevaplar, ama çoklu sonuçlarla aynı tehlikeyi taşır: yeterince alt gruba bakılırsa, şans eseri bazılarında anlamlı etkiler bulunur. Bu yüzden ön analiz planları, incelenecek alt grupları da önceden belirtir. Son yıllarda makine öğrenmesi yöntemleri, etkinin yaş, gelir ya da bölge gibi ölçülmüş niteliklerle birlikte ne yönde değiştiğini, alt grupları önceden belirtmeden ama aşırı uyumdan kaçınacak biçimde tahmin etmek için kullanılmaya başlandı.

Şeffaflık ve yeniden üretim

Deneylerin güvenilirliği, tasarımın yanı sıra raporlamanın şeffaflığına da bağlıdır. Bruhn ve McKenzie, incelenen birçok makalenin rastgele atamanın nasıl yapıldığını ayrıntılı biçimde anlatmadığını ve daha iyi raporlamaya ihtiyaç olduğunu buldu. Bugün iyi uygulama, atamanın nasıl yapıldığını, hangi değişkenlere göre tabakalandığını, ayrılma oranlarını her grup için ayrı ayrı, uyum oranlarını ve ön analiz planından sapmaları açıkça raporlamayı içerir. Veri ve kodların paylaşılması, başka araştırmacıların sonuçları yeniden üretebilmesini sağlar; parazit tedavisi dersinde gördüğümüz yeniden üretim tartışması, bu şeffaflığın neden önemli olduğunu göstermişti.

Deneylerin sınırları

Rastgele kontrollü deneyler, iç geçerlilik bakımından güçlüdür: deneydeki örneklem için seçilim yanlılığından arınmış bir etki tahmini verir. Ama bazı iktisatçılar, deneylere aşırı güvenilmesine karşı uyarıda bulundu. Angus Deaton ve Nancy Cartwright, 2018'de Social Science & Medicine'de yayımlanan bir makalelerinde, rastgele atamanın tedavi dışındaki her şeyi iki grupta eşitlemediğini, ortalama tedavi etkisinin kesin bir tahminini kendiliğinden vermediğini ve gözlenen ya da gözlenmeyen özellikler hakkında düşünme ihtiyacını ortadan kaldırmadığını savundu. Onlara göre bir deneyin tahmini yalnızca deney için seçilmiş örneklem için geçerlidir ve başka gruplara taşınması ayrı bir gerekçe ister; deneyler, kuramsal gelişmeyle birleşen birikimli bir araştırma programının parçası olduklarında, yalnızca neyin işe yaradığını değil, neden işe yaradığını anlamaya katkıda bulunur.

Deneylerin başka sınırları da var. Birçok önemli iktisadi soru, örneğin para politikasının ya da ticaret anlaşmalarının etkisi, deneye uygun değildir. Küçük ölçekli deneyler genel denge etkilerini, yani bir program ülke çapında uygulandığında fiyatlarda ve ücretlerde ortaya çıkacak değişiklikleri yakalayamaz. Etik kaygılar da vardır: yararlı olduğu bilinen bir müdahaleyi kontrol grubundan esirgemek sorunludur; bu yüzden deneyler genellikle kaynakların zaten kısıtlı olduğu ya da müdahalenin etkisinin gerçekten belirsiz olduğu durumlarda yapılır. Dış geçerlilik sorusu, bu kursun ilerleyen bir dersinde ayrıca ele alınacak.

Uygulama

Özet kartı

1. Rastgele atama, tedavi ve kontrol gruplarını tedavi öncesinde ortalamada benzer kılar ve iki grubun ortalama sonuç farkını ortalama tedavi etkisinin yansız bir tahmini yapar; tahminin standart hatası, grup varyanslarının grup büyüklüklerine bölünmüş toplamının kareköküdür.
2. Eksik uyum varsa, rastgeleliği koruyan karşılaştırma atamaya göre yapılandır; niyete göre tedavi etkisi programa erişimin etkisini verir ve uyum farkına bölündüğünde tedaviyi kura yüzünden alanlar için etkiye dönüşür; Oregon kurası sigortalı olma olasılığını yaklaşık 25 puan artırdı ve sağlık hizmeti kullanımını, mali güvenliği ve kendi bildirilen sağlığı iyileştirdi.
3. Deneyden ayrılma ya da sonucun yalnızca bazıları için gözlenmesi rastgele atamanın sağladığı dengeyi bozabilir; Lee'nin budama yöntemi, bu durumda etkiye sınırlar koyar ve Job Corps deneyinde programın ücretleri artırdığını düşündürdü.
4. Minimum saptanabilir etki, yüzde 5 anlamlılık ve yüzde 80 güç için standart hatanın yaklaşık 2,8 katıdır; kümelenmiş deneylerde tasarım etkisi gücü azaltır ve tabakalı rastgeleleştirme küçük örneklemlerde dengeyi güvenceye alır.
5. Çok sayıda sonuca bakan deneylerde şans eseri anlamlı sonuçlar kaçınılmazdır; Casey, Glennerster ve Miguel, ön analiz planı olmasaydı aynı deneyden birbirine zıt iki hatalı yorum çıkarılabileceğini gösterdi.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Niyete göre tedavi etkisi ile tedaviyi gerçekten alanlar için etki arasındaki farkı açıklayın. Bir hükümetin bir programa erişimi genişletip genişletmeme kararı için hangisi ilgilidir?
2. (Çıktı 2) Çiftçi deneyinde her grupta 200 yerine 800 çiftçi olsaydı, aynı ortalamalar ve standart sapmalarla standart hata, t istatistiği ve minimum saptanabilir etki ne olurdu?
3. (Çıktı 2) Kura örneğinde kazananların yüzde 30'u yerine yüzde 55'i sigortalansaydı ve niyete göre tedavi etkisi yine 4 puan olsaydı, kura yüzünden sigortalananlar için sigortanın etkisi ne olurdu?
4. (Çıktı 3) Bir deneyde tedavi grubundaki katılımcıların yüzde 30'u, kontrol grubundakilerin yüzde 10'u bir yıl sonraki ankete cevap vermiyor. Bu durum deneyin sonuçlarını nasıl etkileyebilir? Araştırmacı ne yapabilir?
5. (Çıktı 3) Her köyden 20 kişinin alındığı ve küme içi korelasyonun 0,05 olduğu kümelenmiş bir deneyde tasarım etkisi nedir? Toplam 4.000 kişilik bu deney, bilgi bakımından kaç kişilik bireysel bir deneye denktir?
6. (Çıktı 4) Bir bakan yardımcısı, «Rastgele kontrollü deneyler altın standarttır; bir program bir deneyde işe yaradıysa, onu bütün ülkeye yaymalıyız» diyor. Bu görüşü Oregon deneyi, Crépon ve arkadaşlarının yerinden etme bulgusu ve deneylerin sınırlarına dair tartışma ışığında değerlendirin.

Cevaplar

1. Niyete göre tedavi etkisi, tedaviye atanan grup ile kontrol grubuna atanan grup arasındaki ortalama sonuç farkıdır ve atananların tedaviyi gerçekten alıp almadığına bakmaz. Tedaviyi alanlar için etki ise tedavinin kendisinin, onu alanlar üzerindeki etkisidir. Bir hükümet bir programa erişimi genişletebilir ama herkesi katılmaya zorlayamaz; bu yüzden erişimi genişletme kararı için ilgili büyüklük niyete göre tedavi etkisidir: programın sunulmasıyla, gerçekçi bir katılım oranında, ortalama olarak ne değişeceğini gösterir.
2. Standart hata √(100² ÷ 800 + 100² ÷ 800) = √(12,5 + 12,5) = 5 kilogram olur. t istatistiği 20 ÷ 5 = 4 olur; etki yüzde 1 düzeyinde bile açıkça anlamlıdır. Minimum saptanabilir etki yaklaşık 2,8 × 5 = 14 kilogramdır; 20 kilogramlık bir etki bu deneyde yüksek bir güçle saptanır. Grup büyüklüğünü dört katına çıkarmak standart hatayı yarıya indirir.
3. Kazananlar ile kaybedenler arasındaki sigortalı olma farkı 55 − 5 = 50 puan olur. Kura yüzünden sigortalananlar için etki 4 ÷ 0,50 = 8 yüzde puanıdır. Uyum oranı yükseldikçe niyete göre tedavi etkisi, tedavinin etkisine daha az seyreltilmiş biçimde yaklaşır; aynı niyete göre tedavi etkisi, daha yüksek uyumda daha küçük bir tedavi etkisine karşılık gelir.
4. Ayrılma oranları iki grupta farklıdır; bu, cevap verenlerin iki grupta farklı türden kişiler olabileceği anlamına gelir. Örneğin tedavi grubunda en başarısız katılımcılar programdan hayal kırıklığına uğrayıp ankete cevap vermediyse, cevap verenler arasındaki karşılaştırma etkiyi abartır. Araştırmacı önce ayrılmanın tedavi öncesi özelliklerle ilişkisini inceleyebilir; cevap vermeyenleri idari kayıtlar ya da yoğun bir takip çalışmasıyla izlemeye çalışabilir; ve Lee'nin budama yöntemi gibi sınır yöntemleriyle, ayrılma hakkında en kötü ve en iyi varsayımlar altında etkinin hangi aralıkta olabileceğini raporlayabilir.
5. Tasarım etkisi 1 + (20 − 1) × 0,05 = 1 + 0,95 = 1,95'tir. 4.000 kişilik kümelenmiş deney, bilgi bakımından yaklaşık 4.000 ÷ 1,95 ≈ 2.050 kişilik bireysel bir deneye denktir. Küme içi korelasyon küçük görünse de, küme başına birey sayısıyla çarpıldığında deneyin etkin örneklemini neredeyse yarıya indirir.
6. Rastgele kontrollü deneyler, deneydeki örneklem için seçilim yanlılığından arınmış güvenilir bir tahmin verir; Oregon deneyi, sağlık sigortasına erişimin etkilerini böyle bir tasarımla ölçtü. Ama bir programın deneyde işe yaraması, ülke çapında aynı biçimde işe yarayacağını garanti etmez. Birincisi, Crépon ve arkadaşlarının iş piyasası deneyi, program ölçeklendiğinde katılımcıların kazançlarının kısmen katılmayanların aleyhine gerçekleşebileceğini gösterdi; küçük ölçekli bir deney bu genel denge etkilerini yakalamayabilir. İkincisi, Deaton ve Cartwright'ın vurguladığı gibi, bir deneyin sonucu deneyin yapıldığı nüfus ve koşullar için geçerlidir; başka bir nüfusa ya da başka uygulayıcılara taşınması, programın neden işe yaradığına dair bir anlayış gerektirir. Üçüncüsü, deneyin raporladığı etki, niyete göre tedavi etkisi mi yoksa uyum gösterenler için etki mi olduğu, ülke çapındaki katılım oranına göre farklı politika sonuçları doğurur. Deney, yayılma kararının önemli bir girdisidir, ama tek girdisi değildir; ölçek büyütmeyi de aşamalı ve izlenen bir süreç olarak tasarlamak gerekir.

İleri okuma

• Amy Finkelstein, Sarah Taubman, Bill Wright, Mira Bernstein, Jonathan Gruber, Joseph Newhouse, Heidi Allen, Katherine Baicker (2012). «The Oregon Health Insurance Experiment: Evidence from the First Year». QJE 127(3). Bir sağlık sigortası kurasının ilk yıl sonuçları.
• David S. Lee (2009). «Training, Wages, and Sample Selection: Estimating Sharp Bounds on Treatment Effects». Review of Economic Studies 76(3). Deneyden ayrılma ve örneklem seçilimi altında etki sınırları.
• Katherine Casey, Rachel Glennerster, Edward Miguel (2012). «Reshaping Institutions: Evidence on Aid Impacts Using a Preanalysis Plan». QJE 127(4). Ön analiz planının pratikteki değeri.

Sonraki derse köprü

Oregon kurasında kurayı kazanmak sigortalı olma olasılığını artırıyordu ama herkesi sigortalamıyordu; niyete göre tedavi etkisini uyum farkına bölerek, kura yüzünden sigortalananlar için sigortanın etkisine ulaştık. Bu bölmenin arkasında güçlü bir fikir yatıyor: kimin tedaviyi alacağını kısmen, ama rastgele biçimde etkileyen bir değişken bulunursa, tedavinin kendisi rastgele atanmasa bile etkisi ölçülebilir. Böyle bir değişken her zaman bir kura olmak zorunda değildir; bir doğum tarihi, bir yasa değişikliği ya da bir mesafe de olabilir. Sıradaki ders, araç değişkenler yöntemini ele alıyor.