Model seçimi

Öğrenme çıktıları

• Hatırlama — Aşırı uyumu, Akaike bilgi ölçütünü, Schwarz bilgi ölçütünü, çapraz doğrulamayı, genelden özele modellemeyi ve uç sınırlar analizini tanımlar.
• Anlama — Bir modele değişken eklemenin örneklem içi uyumu neden her zaman artırdığını ama örneklem dışı başarıyı neden bozabileceğini, model seçiminin amacının tahmin mi yoksa nedensel etki mi olduğuna göre neden değiştiğini açıklar.
• Uygulama — Farklı modellerin kalıntı kareler toplamından Akaike ve Schwarz ölçütlerini hesaplar, iki ölçütün hangi durumda farklı modeli seçtiğini gösterir ve bir katsayının farklı belirlemelerdeki aralığını çıkarır.
• Değerlendirme — Bilgi ölçütlerinin, örneklem dışı sınamanın, kurama dayalı seçimin ve sağlamlık analizlerinin artılarını ve eksilerini tartar ve bir çalışmanın model seçiminin sonucu ne ölçüde belirlediğini değerlendirir.

Sezgi

Açılış

Bir ülkenin neden hızlı büyüdüğünü açıklamak isteyen bir araştırmacının önünde uzun bir aday listesi vardır: yatırım oranı, eğitim, nüfus artışı, dış ticarete açıklık, enflasyon, hukukun üstünlüğü, siyasi istikrar, coğrafya, finansal gelişme. Her biri kuramsal olarak savunulabilir ve her biri yayımlanmış bir çalışmada anlamlı bulunmuştur. Ama yüz civarında ülkeden oluşan bir veriyle bunların hepsini aynı modele koymak mümkün değildir. Hangilerinin seçileceği, sonucu belirleyebilir.

Önceki derste bağlantılı bir açıklayıcıyı modelde tutup tutmamanın katsayıları nasıl oynattığına baktık. Bu derste o soruyu genelleştiriyoruz: aday değişkenler ve biçimler arasından hangi modeli kurmalıyız? Değişken eklemenin neden her zaman daha iyi bir uyum verdiğini ama her zaman daha iyi bir model vermediğini, modellerin nasıl karşılaştırıldığını ve seçimin kendisinin bulguları nasıl etkileyebileceğini inceleyeceğiz.

Hikâye — Hiçbir şey sağlam mı değil?

1990'ların başında iktisadi büyüme üzerine ampirik çalışmalar patlama yaşıyordu. Ülkeler arası büyüme regresyonları, büyümeyi onlarca farklı değişkenle ilişkilendiriyor ve her yeni makale bir başka değişkenin anlamlı olduğunu raporluyordu. Toplamda altmışı aşkın değişken, en az bir çalışmada büyümeyle anlamlı biçimde ilişkili bulunmuştu. Ama her çalışma kendi seçtiği birkaç değişkenle yetiniyordu.

Ross Levine ve David Renelt, 1992'de American Economic Review'da bu bulguların ne kadar güvenilir olduğunu sınadı. Edward Leamer'ın önerdiği bir yöntemi kullandılar: bir değişkenin katsayısını, diğer aday değişkenlerin farklı bileşimleriyle kurulan çok sayıda modelde tahmin ettiler ve katsayının en küçük ve en büyük değerlerine baktılar. Bir değişken ancak bütün bu modellerde anlamlı kalır ve işaretini korursa «sağlam» sayılıyordu.

Sonuç sarsıcıydı. Literatürde anlamlı bulunan değişkenlerin neredeyse hepsi bu testte kırılgan çıktı; hangi değişkenlerin modele eklendiğine bağlı olarak anlamlılıklarını, hatta işaretlerini yitirdiler. Sağlam kalan birkaç ilişkiden biri, büyüme ile yatırımın hasıla içindeki payı arasındaydı. Birkaç yıl sonra Xavier Sala-i-Martin, bu kötümser tabloya meydan okumak için iki milyona yakın regresyon tahmin edecekti. İki çalışma arasındaki tartışma, model seçiminin yalnızca teknik bir ayrıntı değil, bir bilginin ne kadar güvenilir olduğunu belirleyen merkezî bir sorun olduğunu gösterdi.

Kavram

Levine ile Renelt'in gösterdiği kırılganlığın bir kaynağı, değişken eklemenin uyumu her zaman iyileştirmesidir. Veriye en iyi uyan model, her zaman yeni veriye en iyi uyan model değildir.

Aşırı uyumu önlemenin bir yolu, uyumu ödüllendirirken karmaşıklığı cezalandıran bir ölçüt kullanmaktır. En yaygın iki ölçüt, cezanın büyüklüğünde ayrılır.

Akaike ölçütünün cezası örneklem büyüklüğünden bağımsızdır. Örneklem büyüdükçe cezayı artıran bir ölçüt ise daha tutumlu modelleri seçer.

Bilgi ölçütleri örneklem dışı başarıyı dolaylı olarak tahmin eder. Bu başarıyı doğrudan ölçmek için veri, modelin tahmin edildiği ve sınandığı parçalara bölünebilir.

Değişken seçimine yön veren bir strateji de bir araştırma geleneği hâline gelmiştir. Bu strateji, geniş bir modelden başlayıp onu adım adım daraltmayı önerir.

Model seçiminin sonucu ne kadar etkilediğini doğrudan ölçmek de mümkündür. Levine ile Renelt'in kullandığı yöntem, bir katsayıyı makul modellerin tamamında izler.

Veri ve kanıt

Levine ile Renelt'in bulgusu, tek bir modelin sonuçlarını raporlamanın okuru ne ölçüde yanıltabileceğini ortaya koydu. Bir araştırmacı, farkında olmadan ya da bilerek, ilgilendiği değişkeni anlamlı kılan kontrol bileşimini seçebilir; okuyucu ise denenen diğer bileşimleri görmez. Bu çalışma, bugün pek çok dergide beklenen sağlamlık tablolarının, yani ana sonucun farklı belirlemelerde tekrar edildiği ek tabloların yaygınlaşmasına katkıda bulundu. Ama uç sınırlar ölçütünün kendisi de tartışma yarattı: tek bir kötü belirlenmiş modelin bile bir ilişkiyi kırılgan ilan etmeye yetmesi, çok katı bir standart gibi görünüyordu.

Sala-i-Martin'in çalışması, sağlamlığın tek bir tanımı olmadığını gösterdi. Leamer'ın ölçütü en kötü durumu sorar ve bir ilişkinin her makul modelde geçerli olmasını ister. Sala-i-Martin'in yaklaşımı ise ilişkinin modellerin çoğunda geçerli olmasını yeterli sayar. Hangi ölçütün uygun olduğu, araştırmacının modeller hakkında ne kadar belirsiz olduğuna ve yanılmanın bedeline bağlıdır. Bu tartışma daha sonra, farklı modellere verilerin onlara verdiği desteğe göre ağırlık veren Bayesçi model ortalaması yöntemlerinin gelişmesine yol açtı.

Neden önemli?

Model seçimi, bir politika önerisinin dayandığı kanıtın ne kadar güvenilir olduğunu doğrudan etkiler. Bir çalışma dış ticarete açıklığın büyümeyi hızlandırdığını, bir başkası etkisinin olmadığını raporlayabilir; iki sonuç arasındaki fark çoğu zaman verilerden değil, hangi kontrol değişkenlerinin seçildiğinden kaynaklanır. Politika yapıcıların ve kamuoyunun, tek bir modelin sonucunu değil, sonucun farklı makul modellerde ne ölçüde tekrar ettiğini görmesi gerekir.

Model seçimi, tahmin yapan kurumlar için de kritiktir. Merkez bankaları, maliye bakanlıkları ve özel kuruluşlar enflasyon, büyüme ve talep tahminleri yayımlar. Geçmiş veriye mükemmel uyan ama yeni dönemlerde başarısız olan bir model, güvenilir görünen ama yanıltıcı tahminler üretir. Bu yüzden tahmin modelleri, yalnızca geçmiş uyumlarıyla değil, geçmişte bilinmeyen dönemlerdeki başarılarıyla değerlendirilmelidir.

Model

Amaç seçimi belirler

Model seçimine başlamadan önce sorulması gereken ilk soru, modelin ne için kurulduğudur. Amaç tahmin ise, yeni verilerde tahmin hatasını en aza indiren model iyidir; katsayıların nedensel bir anlam taşıması gerekmez ve birbirine bağlı değişkenler, ilişkileri sürdüğü sürece birlikte kullanılabilir.

Amaç bir nedensel etkiyi ölçmekse, ölçüt değişir. İyi model, ilgilenilen katsayıyı sapmasız ve olabildiğince kesin tahmin eden modeldir; bu, karıştırıcı değişkenleri içermesini, kötü kontrolleri dışarıda bırakmasını gerektirir. Tahmin başarısı yüksek bir model, nedensel soru için kötü bir seçim olabilir; tersine, örneklem dışı tahmin gücü sınırlı bir model ilgilenilen etkiyi doğru ölçebilir. Bu dersteki araçların çoğu tahmin amacı için geliştirilmiştir ve nedensel soruda dikkatle kullanılmalıdır.

İki hata arasında

Model kurarken iki tür hata yapılabilir. Gerekli bir değişkeni dışarıda bırakmak, kontrol değişkenlerini işlediğimiz derste ele alındığı üzere, kalan katsayıları saptırır. Gereksiz bir değişkeni eklemek ise sapmaya yol açmaz, ama önceki derste gördüğümüz gibi, eklenen değişken diğerleriyle ilişkiliyse onların standart hatalarını büyütür.

Bu asimetri, nedensel analizde bir yön gösterir: sapma, kesinlik kaybından genellikle daha tehlikelidir, çünkü büyük örneklemlerde bile düzelmez. Bu yüzden şüpheli durumlarda karıştırıcı olabilecek bir değişkeni modelde tutmak daha güvenlidir. Tahmin amacında ise denge farklıdır: çok sayıda gereksiz değişken, tahminlerin varyansını artırarak örneklem dışı başarıyı düşürür.

Uyum neden yanıltır?

En küçük kareler yöntemi, verilen değişkenlerle kalıntı kareler toplamını en aza indirir. Yeni bir değişken eklendiğinde, yöntem en kötü durumda o değişkenin katsayısını sıfır yaparak önceki uyumu koruyabilir; genellikle ise küçük bir iyileşme bulur. Bu yüzden belirlilik katsayısı değişken eklendikçe asla düşmez.

Çoklu regresyon dersinde tanıdığımız düzeltilmiş belirlilik katsayısı, bu eğilimi kısmen dengeler: yeni değişkenin getirdiği iyileşme küçükse, düzeltilmiş ölçü düşebilir. Ama düzeltme görece hafiftir ve örneklem dışı başarıyla doğrudan bağlantılı değildir. Model seçiminde daha sistematik araçlar gerekir.

Çözümlü örnek — Esnek eğrinin bedeli

Gerçekte doğrusal bir ilişki düşünelim: bağımlı değişken, 5 artı 0,8 çarpı açıklayıcı değişken artı varyansı 4 olan bir gürültüden oluşsun. Bu yapıdan 30 gözlemlik örneklemler çekelim ve her birine üç model uyduralım: doğrusal, üçüncü dereceden ve sekizinci dereceden polinom. Sonra her modelin tahminini, aynı yapıdan çekilmiş bin yeni gözlem üzerinde sınayalım.

İki bin tekrarın ortalamasında, örneklem içi hata kareleri ortalaması doğrusal modelde yaklaşık 3,75, üçüncü derecede 3,45, sekizinci derecede 2,79'dur: esnek modeller veriye daha iyi uyar. Yeni verilerdeki hata ise tersine döner: ortanca değerler doğrusal modelde yaklaşık 4,22, üçüncü derecede 4,51, sekizinci derecede 6,55'tir. Sekizinci derece polinom, bazı örneklemlerde yeni verilerde çok büyük hatalar üretir; gürültüyü yapı sanmıştır. Gerçek gürültünün varyansı 4 olduğu için, doğrusal modelin yeni verilerdeki hatası ulaşılabilecek en iyi değere yakındır.

Akaike bilgi ölçütünün mantığı

Hirotugu Akaike 1974'te, bir modelin yeni verilerdeki beklenen başarısını tahmin etmek için örneklem içi uyuma bir düzeltme eklenmesi gerektiğini gösterdi. Doğrusal regresyonda bu ölçüt, gözlem sayısı ile ortalama kalıntı karenin doğal logaritmasının çarpımına, parametre sayısının iki katı eklenerek hesaplanır.

Birinci terim uyumu ölçer ve değişken eklendikçe küçülür. İkinci terim karmaşıklığı cezalandırır ve her yeni parametreyle iki birim büyür. Yeni bir değişken ancak uyum terimini ikiden fazla azaltırsa ölçüt düşer. Ölçütün mutlak değerinin bir anlamı yoktur; yalnızca aynı veriyle tahmin edilen modeller arasındaki farklar karşılaştırılır.

Schwarz bilgi ölçütü ve daha ağır ceza

Gideon Schwarz 1978'de, Bayesçi bir akıl yürütmeden farklı bir ölçüt türetti. Uyum terimi aynıdır, ama ceza parametre sayısının gözlem sayısının doğal logaritmasıyla çarpımıdır. Yüz gözlemde bu logaritma yaklaşık 4,6'dır; yani her yeni parametre, Akaike ölçütündeki iki birim yerine yaklaşık 4,6 birim ceza getirir.

Bu fark, iki ölçütün farklı sorulara cevap vermesinden kaynaklanır. Akaike ölçütü tahmin başarısını en yükseğe çıkarmayı hedefler ve gerçek model aday listesinde olmasa bile iyi çalışır. Schwarz ölçütü ise aday modeller arasında gerçek model bulunuyorsa onu bulmayı hedefler ve örneklem büyüdükçe bunu başarır. Uygulamada Schwarz ölçütü daha küçük, Akaike ölçütü daha büyük modeller seçme eğilimindedir.

Çözümlü örnek — İki ölçüt ayrıştığında

Yüz gözlemli bir veriyle üç model tahmin edilmiş olsun. A modeli üç parametreyle 400, B modeli altı parametreyle 380, C modeli yine altı parametreyle 360 kalıntı kareler toplamı veriyor. Uyum terimleri, 100 ile ortalama kalıntı karenin logaritmasının çarpımı olarak yaklaşık 138,6, 133,5 ve 128,1'dir.

Akaike ölçütü, bunlara 6, 12 ve 12 ekleyerek yaklaşık 144,6, 145,5 ve 140,1 verir; en küçük değer C modelindedir. Schwarz ölçütü ise yaklaşık 13,8, 27,6 ve 27,6 ekleyerek 152,4, 161,1 ve 155,7 verir; en küçük değer A modelindedir. B modelini iki ölçüt de reddeder: üç ek parametre, uyumu yeterince iyileştirmemiştir. C modelinde ise iyileşme Akaike cezasını karşılar ama Schwarz cezasını karşılamaz. İki ölçütün ayrıştığı böyle durumlarda karar, modelin amacına ve kuramsal gerekçelere bırakılmalıdır.

Örneklem dışı sınama

Bilgi ölçütleri, örneklem dışı başarıyı bir formülle tahmin eder. Daha doğrudan bir yol, verinin bir kısmını modeli tahmin etmek için, geri kalanını sınamak için kullanmaktır. Model, sınama verisini hiç görmeden kurulur; bu veride ölçülen hata, gerçek bir tahmin durumuna yakın bir performans ölçüsüdür.

Tek bir bölmenin sakıncası, sonucun hangi gözlemlerin sınamaya ayrıldığına bağlı olmasıdır. Çapraz doğrulama bu sorunu, veriyi örneğin beş ya da on parçaya bölüp her parçayı sırayla sınama verisi olarak kullanarak giderir. Hataların ortalaması, tek bir bölmeye göre daha kararlı bir ölçü verir ve aday modeller bu ortalamaya göre sıralanır.

Zaman serilerinde örneklem dışı başarı

Zaman serilerinde gözlemleri rastgele parçalara bölmek, geleceği kullanarak geçmişi tahmin etmek anlamına gelir. Bunun yerine, model yalnızca belirli bir tarihe kadar olan verilerle tahmin edilir ve sonraki dönemleri tahmin etmesi istenir; ardından pencere bir dönem ileri kaydırılır ve işlem tekrarlanır.

Bu tür sınamanın gücünü gösteren ünlü bir örnek, Richard Meese ve Kenneth Rogoff'un 1983'te yayımladığı çalışmadır. Döviz kurlarını açıklayan dönemin önde gelen yapısal modelleri, örneklem içinde makul uyum gösterse de, bir ile on iki ay arası ufuklarda kurun bugünkü değerini yarının tahmini sayan basit rastgele yürüyüş modelinden daha iyi tahmin üretemedi. Bu bulgu, örneklem içi uyumun tahmin gücünün kanıtı olmadığını çarpıcı biçimde gösterdi.

Genelden özele ve özelden genele

Uygulamalı çalışmalarda uzun süre yaygın olan yaklaşım, basit bir modelle başlayıp sorun çıktıkça değişken eklemekti. Bu özelden genele strateji, başlangıç modeli eksik olduğu için ara aşamalardaki testleri güvenilmez kılar: çıkarılan değişken yanlılığı taşıyan bir modelde yapılan testler, sonraki adımları yanlış yönlendirebilir.

Genelden özele yaklaşım bu sırayı tersine çevirir. Başlangıç modeli yeterince geniş olduğunda, tanı testleri ve daraltma adımları geçerli bir temele dayanır. Yaklaşımın sınırı, geniş başlangıç modelinin çok sayıda parametre gerektirmesi ve küçük örneklemlerde bunun mümkün olmamasıdır. Ayrıca daraltma sürecinin kendisi de çok sayıda test içerir ve seçilen modelin standart hatalarını olduğundan küçük gösterebilir.

Seçim sonrası çıkarım sorunu

Bir model, aynı verideki çok sayıda denemeden sonra seçildiyse, o modelin standart hataları ve p değerleri, modelin önceden belirlendiği varsayımıyla hesaplanmıştır. Oysa model, veriye en iyi uyduğu için seçilmiştir. Bu seçim süreci, katsayıları olduğundan daha büyük ve daha kesin gösterme eğilimindedir.

Hipotez testi dersinde gördüğümüz çoklu test sorunu, model seçiminde daha sinsi bir biçim alır: araştırmacı yirmi farklı modeli açıkça denemese de, veriye bakarak verdiği küçük kararlar, yani hangi kontrolün ekleneceği, hangi gözlemlerin çıkarılacağı, hangi dönüşümün seçileceği, aynı etkiyi yaratır. Veri analizi derslerinde tanıdığımız analitik esneklik kavramı bu durumu anlatır. Önceden yazılmış bir analiz planı ve seçim sürecinin şeffaf raporlanması, bu sorunun en etkili çareleridir.

Uç sınırların hesaplanması

Uç sınırlar analizi basit bir mantıkla işler. İlgilenilen değişken her modelde yer alır; kalan aday değişkenlerin farklı bileşimleri eklenir. Her modelde katsayı ve standart hatası kaydedilir ve katsayıdan iki standart hata çıkarılıp eklenerek o modelin aralığı çizilir. Alt sınır bütün modellerdeki aralık alt uçlarının en küçüğü, üst sınır ise aralık üst uçlarının en büyüğüdür.

İki sınır aynı işareti taşıyorsa, ilişki hangi makul model seçilirse seçilsin aynı yönde görünür. Farklı işaretler taşıyorsa, sonuç model seçimine bağlıdır. Ölçütün katılığı, tek bir modelin bile sonucu belirleyebilmesinden gelir; bu yüzden aday değişken listesinin makul ve kuramsal olarak savunulabilir olması kritik önemdedir.

Çözümlü örnek — Bir katsayının aralığı

Bir araştırmacı, illerde kamu yatırımının özel istihdama etkisini ölçüyor ve dört makul kontrol bileşimiyle dört model tahmin ediyor. Kamu yatırımının katsayısı ve standart hatası sırasıyla 0,30 ve 0,08; 0,24 ve 0,09; 0,18 ve 0,10; 0,35 ve 0,07 çıkıyor. Dört modelde de katsayı yüzde 5 düzeyinde anlamlıdır.

Dört modelin aralık alt uçları 0,14, 0,06, eksi 0,02 ve 0,21'dir; en küçüğü olan eksi 0,02 alt sınırdır. Üst uçlar 0,46, 0,42, 0,38 ve 0,49'dur; üst sınır 0,49'dur. Alt sınır sıfırın hemen altında kaldığı için, Leamer'ın ölçütüne göre ilişki kırılgandır. Oysa dört modelin hepsinde katsayı pozitif ve anlamlıdır; Sala-i-Martin'in yaklaşımıyla ilişki sağlam sayılabilir. Bu örnek, iki ölçütün aynı kanıtı nasıl farklı okuduğunu gösterir.

Tek model yerine çok model

Levine–Renelt ile Sala-i-Martin tartışmasının açtığı bir yol, tek bir model seçmek yerine birçok modelin sonucunu birleştirmektir. Bayesçi model ortalamasında her aday modele, verinin o modele verdiği göreli destekle orantılı bir ağırlık verilir; bu ağırlık çoğu zaman Schwarz ölçütüne yakın bir hesapla bulunur. İlgilenilen katsayının tahmini, bütün modellerdeki tahminlerin ağırlıklı ortalamasıdır.

Bu yaklaşımın gücü, model belirsizliğini sonuca dürüstçe katmasıdır: tek bir modelin standart hatası yalnızca o model içindeki belirsizliği gösterirken, ortalamanın belirsizliği modeller arasındaki anlaşmazlığı da içerir. Sınırı ise sonucun aday listesine ve modellere verilen ön ağırlıklara duyarlı olmasıdır. Liste kuramsal olarak zayıfsa, ortalama da zayıf olur.

Kuramın rolü

Bilgi ölçütleri ve örneklem dışı sınamalar veriye dayanır; ama hangi değişkenlerin aday listesine gireceğini, hangi fonksiyonel biçimlerin denenebileceğini ve hangi değişkenlerin kötü kontrol olacağını veri söylemez. Bu kararlar iktisat kuramına, kurumsal bilgiye ve sorunun yapısına dayanır.

Kuram, model seçiminde aynı zamanda bir disiplin sağlar. Kuramsal olarak gerekçelendirilmiş bir model, veriye göre ayarlanmış bir modelden daha az aşırı uyum riski taşır ve farklı verilerde sınanabilir tahminler üretir. Ama kuram da yanılabilir; kurama sıkı sıkıya bağlı bir model, verinin açıkça gösterdiği örüntüleri görmezden gelebilir. İyi bir uygulama, kuramdan gelen bir ana model ile verinin sınadığı alternatifleri birlikte raporlar.

Hangi yol?

Tahmin amaçlı modellerde bugünkü iyi pratik, aday modelleri çapraz doğrulama ya da zamanda ilerleyen örneklem dışı sınamayla karşılaştırmak ve bilgi ölçütlerini tamamlayıcı araçlar olarak kullanmaktır. Nedensel etkiyi ölçen çalışmalarda ise model, kuramsal olarak gerekçelendirilmiş bir karıştırıcı listesine göre önceden belirlenir ve sonuçların farklı makul belirlemelerde nasıl değiştiği bir sağlamlık tablosunda gösterilir.

Her iki durumda da en önemli ilke şeffaflıktır. Okuyucu, hangi modellerin denendiğini, neden birinin seçildiğini ve sonucun bu seçime ne kadar duyarlı olduğunu görebilmelidir. Levine ile Renelt'in ve Sala-i-Martin'in tartışması, tek bir «doğru» modelin nadiren bulunduğunu, ama bir sonucun ne kadar sağlam olduğunun her zaman gösterilebileceğini hatırlatır.

Uygulama

Özet kartı

1. Değişken eklemek belirlilik katsayısını hiçbir zaman düşürmez; bu yüzden örneklem içi uyum model seçiminde yanıltıcıdır. Benzetimde sekizinci dereceden polinom veriye en iyi uydu ama yeni verilerdeki ortanca hatası doğrusal modelinkinin yaklaşık bir buçuk katıydı.
2. Akaike ölçütü her parametre için iki birim, Schwarz ölçütü gözlem sayısının logaritması kadar ceza verir; yüz gözlemli örnekte Akaike ölçütü altı parametreli C modelini, Schwarz ölçütü üç parametreli A modelini seçti.
3. Çapraz doğrulama ve zamanda ilerleyen örneklem dışı sınama, tahmin başarısını doğrudan ölçer; Meese ve Rogoff, döviz kuru modellerinin örneklem dışında rastgele yürüyüşü geçemediğini gösterdi.
4. Levine ve Renelt, büyüme regresyonlarındaki bulguların neredeyse hepsinin uç sınırlar analizinde kırılgan olduğunu gösterdi; Sala-i-Martin, iki milyona yakın regresyonla 59 değişkenden birinin bu testi geçtiğini ama 22'sinin modellerin büyük çoğunluğunda anlamlı kaldığını buldu.
5. Tahmin ve nedensel etki farklı seçim ölçütleri gerektirir; aynı veride çok sayıda deneme seçilen modelin standart hatalarını küçük gösterir. Kuram, önceden yazılmış bir analiz planı ve şeffaf sağlamlık tabloları bu tehlikeyi sınırlar.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Aşırı uyum nedir? Hangi durumlar aşırı uyum riskini artırır?
2. (Çıktı 2) Bir modele alakasız bir değişken eklemek belirlilik katsayısını neden düşürmez? Model seçiminin amacı tahmin ya da nedensel etki olduğunda iyi modelin ölçütü nasıl değişir?
3. (Çıktı 3) 50 gözlemli bir veriyle iki model tahmin edilmiştir. D modeli iki parametreyle ortalama kalıntı kareyi 5,0, E modeli beş parametreyle 4,4 bulmuştur. Uyum terimlerini ve Akaike ile Schwarz ölçütlerini hesapla; her ölçüt hangi modeli seçer? (Doğal logaritmalar: 5,0 için yaklaşık 1,609; 4,4 için yaklaşık 1,482; 50 için yaklaşık 3,912.)
4. (Çıktı 3) Bir değişkenin katsayısı üç modelde 0,50 (standart hata 0,15), 0,42 (0,12) ve 0,61 (0,20) çıkmıştır. Uç sınırları hesapla. İlişki Leamer'ın ölçütüne göre sağlam mıdır?
5. (Çıktı 3) Bir araştırmacı, 200 gözlemi rastgele beş eşit parçaya bölüp beş katlı çapraz doğrulama yapıyor. Her turda model kaç gözlemle tahmin edilir ve kaç gözlemde sınanır? Zaman serisi verisinde bu yöntemi doğrudan uygulamak neden sorunludur?
6. (Çıktı 4) Bir gazete haberi, «Yeni bir araştırma, eğitim harcamalarının illerin büyümesini artırdığını kanıtladı» diyor. Makale 30 farklı kontrol bileşimini denediğini, ama yalnızca katsayının anlamlı çıktığı modeli raporladığını dipnotta belirtiyor. Seçim sonrası çıkarım sorununu, uç sınırlar analizini, Sala-i-Martin'in yaklaşımını ve analiz planını kullanarak haberi değerlendir.

Cevaplar

1. Aşırı uyum, modelin verinin sistematik yapısıyla birlikte o örnekleme özgü rastgele gürültüyü de yakalamasıdır; örneklem içi uyum yüksek, yeni verilerdeki başarı düşük olur. Gözlem sayısına göre çok sayıda değişken, yüksek dereceli polinomlar ve çok sayıda etkileşim terimi, veriye bakarak yapılan çok sayıda deneme ve verideki gürültünün büyük olması riski artırır.
2. En küçük kareler, verilen değişkenlerle kalıntı kareler toplamını en aza indirir; yeni değişkenin katsayısını sıfır yaparak önceki uyumu koruyabileceği için sonuç hiçbir zaman kötüleşmez ve genellikle şans eseri küçük bir iyileşme bulunur. Tahmin amacında iyi model, yeni verilerde tahmin hatasını en küçük yapan modeldir; katsayıların nedensel anlamı önemli değildir. Nedensel amaçta iyi model, ilgilenilen katsayıyı sapmasız ve kesin tahmin eden modeldir; karıştırıcıları içermeli, kötü kontrolleri dışarıda bırakmalıdır ve tahmin başarısı ikincildir.
3. Uyum terimleri: D için 50 çarpı 1,609, yaklaşık 80,5; E için 50 çarpı 1,482, yaklaşık 74,1. Akaike: D için 80,5 artı 4, yani 84,5; E için 74,1 artı 10, yani 84,1; Akaike ölçütü E modelini kıl payı seçer. Schwarz: D için 80,5 artı 2 çarpı 3,912, yaklaşık 88,3; E için 74,1 artı 5 çarpı 3,912, yaklaşık 93,7; Schwarz ölçütü D modelini seçer.
4. Her modelde katsayı eksi ve artı iki standart hata hesaplanır: 0,20 ile 0,80; 0,18 ile 0,66; 0,21 ile 1,01. Alt uçların en küçüğü 0,18, üst uçların en büyüğü 1,01'dir; uç sınırlar 0,18 ve 1,01'dir. İki sınır da pozitif olduğu için ilişki, bu üç model arasında Leamer'ın ölçütüne göre sağlamdır. Ama bu sonuç yalnızca denenen üç modelle sınırlıdır; aday liste genişledikçe sınırlar da genişleyebilir.
5. Her turda 200 gözlemin beşte biri olan 40 gözlem sınamaya ayrılır ve model kalan 160 gözlemle tahmin edilir. Zaman serisinde gözlemleri rastgele parçalara bölmek, bazı turlarda modelin gelecek dönemlerin verisiyle tahmin edilip geçmiş dönemlerde sınanması anlamına gelir; bu, gerçek bir tahmin durumunda bulunmayan bilgiyi kullanır ve ardışık bağımlılık nedeniyle sınama verisi tahmin verisine sızar. Bunun yerine model belirli bir tarihe kadarki veriyle tahmin edilip sonraki dönemlerde sınanmalı ve pencere zamanda ileri kaydırılmalıdır.
6. Haber yanıltıcıdır. 30 kontrol bileşimi denenip yalnızca anlamlı olan raporlandıysa, raporlanan modelin standart hataları ve p değerleri, modelin önceden seçildiği varsayımıyla hesaplanmıştır ve kesinliği abartır; yüzde 5 düzeyinde, hiçbir etki yokken bile otuz denemeden birkaçının anlamlı çıkması beklenebilir. Uç sınırlar analizi, katsayının 30 modelin hepsindeki aralığını gösterirdi; alt sınır sıfırın altındaysa ilişki kırılgandır. Sala-i-Martin'in yaklaşımı, katsayının modellerin ne kadarında pozitif ve anlamlı olduğunu sorardı; yalnızca birinde anlamlıysa bu da sağlamlık kanıtı değildir. Güvenilir bir sonuç için kontrol değişkenleri kurama dayalı bir analiz planında önceden belirlenmeli ve bütün belirlemelerin sonuçları bir sağlamlık tablosunda raporlanmalıdır. Haber «kanıtladı» yerine, sonucun model seçimine duyarlı olduğunu belirtmelidir.

İleri okuma

• Ross Levine ve David Renelt (1992). «A Sensitivity Analysis of Cross-Country Growth Regressions». American Economic Review 82(4). Büyüme regresyonlarında uç sınırlar analizi.
• Xavier X. Sala-i-Martin (1997). «I Just Ran Two Million Regressions». American Economic Review 87(2). Katsayıların model dağılımına dayanan alternatif sağlamlık ölçütü.
• Hirotugu Akaike (1974). «A New Look at the Statistical Model Identification». IEEE Transactions on Automatic Control 19(6). Akaike bilgi ölçütünün temel makalesi.
• Richard A. Meese ve Kenneth Rogoff (1983). «Empirical Exchange Rate Models of the Seventies: Do They Fit Out of Sample?». Journal of International Economics 14(1–2). Örneklem dışı sınamanın klasik örneği.

Sonraki derse köprü

Bu kurs boyunca bir regresyon analizinin parçalarını tek tek ele aldık: en küçük kareler, klasik varsayımlar, katsayıların yorumu, kukla değişkenler, fonksiyonel biçim, hata terimindeki sorunlar, açıklayıcılar arasındaki bağlantı ve model seçimi. Gerçek bir çalışmada bu parçaların hepsi aynı anda devreye girer ve her biri bir karar gerektirir. Bir soruyu nasıl kurarsınız, veriyi nereden bulursunuz, hangi modelle başlarsınız, hangi tanı testlerini yaparsınız ve sonucu nasıl raporlarsınız? Sıradaki ders kursun uygulama projesi: gerçek bir veriyle sorudan rapora kadar eksiksiz bir ekonometrik analiz yürüteceğiz.