Tahmin ve tahmin değerlendirmesi

Öğrenme çıktıları

• Hatırlama — Kayıp fonksiyonunu, örneklem dışı değerlendirmeyi, Mincer–Zarnowitz regresyonunu, Diebold–Mariano testini, öngörü birleştirmeyi ve yoğunluk öngörüsünü tanımlar.
• Uygulama — İki öngörü serisinin hatalarından ortalama kare hata kökünü ve ortalama mutlak hatayı hesaplar, iki öngörünün eşit başarılı olduğu hipotezini basit bir testle sınar ve iki öngörünün ortalamasının başarısını ölçer.
• Analiz — Aynı öngörü çiftinin, kullanılan hata ölçüsüne, değerlendirme dönemine ve karşılaştırılan model sayısına göre neden farklı sıralanabildiğini çözümler.
• Değerlendirme — Bir merkez bankasının enflasyon öngörülerinin piyasa öngörülerine üstünlüğüne, birleştirilmiş öngörülerin başarısına ve öngörü karşılaştırma testlerinin doğru ve yanlış kullanımlarına dair tartışmaya dayanarak, bir öngörü yarışmasının sonucunun ne kadar ciddiye alınması gerektiğini değerlendirir.

Sezgi

Açılış

Her yıl ocak ayında gazeteler, bir önceki yılın başında yapılan enflasyon ve büyüme öngörülerini gerçekleşmelerle karşılaştıran listeler yayımlar. Listenin başında yer alan kurum, «yılın en isabetli öngörücüsü» olarak anılır. Bu sıralama ne kadar anlamlıdır? Yirmi kurumun her biri tek bir sayı tahmin etmişse, birinin gerçeğe en yakın düşmesi kaçınılmazdır; bu, o kurumun gelecek yıl da en iyisi olacağı anlamına gelir mi? Ya en iyi kurum, bir yıl önce herkesten farklı ve aşırı bir tahmin yapıp şans eseri tutturduysa?

Bu kursun önceki derslerinde öngörü üretmenin birçok yolunu gördük: bir serinin kendi geçmişinden, birkaç serinin birlikte hareketinden, uzun dönem ilişkilerden ve oynaklığın değişiminden. Ama üretilen bir öngörüyü neyle ve nasıl sınayacağımızı sistemli olarak ele almadık. Bu soru, ilk bakıştaki kadar kolay değildir. «İyi» bir öngörü, hatası küçük olandır; ama hangi hata ölçüsüyle, hangi dönemde, hangi rakibe göre ve aradaki fark ne kadar büyük olmalı ki tesadüf sayılmasın?

Öngörü değerlendirmesi, uygulamada öngörü üretmek kadar önemlidir. Bir merkez bankası, kendi modellerini piyasa beklentileriyle karşılaştırarak hangi bilgilere güveneceğine karar verir; bir şirket, satış tahminlerinin sistematik olarak iyimser olup olmadığını denetler; bir araştırmacı, karmaşık modelinin basit bir kıyas ölçütünü gerçekten geçip geçmediğini sınar. Her birinde değerlendirmenin yöntemi, varılan sonucu belirler.

Hikâye — kim daha çok biliyor?

Christina Romer ve David Romer, 2000'de yayımlanan bir çalışmada, merkez bankalarının kamudan daha fazla bilgiye sahip olup olmadığını sordu. Soru, para politikası açısından önemliydi: merkez bankası faizi artırdığında uzun vadeli faizlerin neden çoğu zaman yükseldiği tartışılıyordu. Faiz artışı enflasyonu düşürecekse, uzun vadeli faizlerin düşmesi beklenirdi.

Romer'lerin yöntemi, bir öngörü değerlendirmesiydi. ABD Merkez Bankası'nın personel öngörüleri, yayımlanmadan önce yıllarca gizli tutulduktan sonra kamuya açılıyordu. Bu öngörüler, aynı dönemde yapılan ticari öngörülerle karşılaştırılabilirdi: gerçekleşen enflasyonu iki öngörü birlikte açıklamaya çalıştığında, merkez bankası öngörüsü ticari öngörülerin ötesinde bilgi taşıyor muydu?

Bu çalışmada öngörü değerlendirmesi, bir sıralama yarışması değil, bir bilgi sorusu olarak kullanıldı. Hangi öngörünün daha küçük hatası olduğu sorusunun ötesinde, bir öngörünün öbürünün içermediği bilgiyi içerip içermediği soruldu. Bu ayrım dersin ilerleyen bölümlerinde, öngörü birleştirme ve kapsama testleriyle yeniden karşımıza çıkacak.

Kavram — hatayı ölçmek

Hangi kayıp fonksiyonunun seçileceği bir istatistik sorusu değil, bir karar sorusudur. Bir elektrik şirketi için talebin eksik tahmin edilmesi kesintiye, fazla tahmin edilmesi ise yalnızca biraz israfa yol açıyorsa, iki hata türü eşit sayılmamalıdır. Bir merkez bankası için enflasyonun eksik tahmin edilmesi, beklentilerin bozulması riski nedeniyle fazla tahmin edilmesinden daha maliyetli olabilir. Aynı öngörü çifti, farklı kayıp fonksiyonlarıyla farklı sıralanabilir.

Veri ve kanıt — testin doğru kullanımı

Francis Diebold ve Roberto Mariano, 1995'te, iki öngörü arasındaki isabet farkının şanstan öte olup olmadığını ölçen bir yöntem önerdi. Test, iki öngörünün kayıpları arasındaki farkın ortalamasının sıfır olup olmadığını sorar ve kısa sürede öngörü literatürünün en yaygın araçlarından biri oldu. Yirmi yıl sonra Diebold, testin nasıl kullanıldığına dair eleştirel bir değerlendirme yaptı.

Diebold'un ayrımı ince ama önemlidir. Bir merkez bankasının gerçekten yayımladığı öngörüler ile bir piyasa anketinin öngörülerini karşılaştırmak, öngörülerin karşılaştırılmasıdır: öngörüler verilidir ve test, hangisinin daha isabetli olduğunu sorar. Bir araştırmacının geçmiş veriler üzerinde iki modeli yeniden tahmin ederek ürettiği «sözde» örneklem dışı öngörüleri karşılaştırmak ise modellerin karşılaştırılmasıdır; burada örneklemin nasıl bölündüğü, hangi modellerin denendiği ve kaç kez denendiği sonucu etkiler ve Diebold'a göre bu amaçla daha uygun araçlar vardır.

Pek çok öngörü arasından birini seçmek yerine hepsini birleştirmek mümkün müdür? Stock ve Watson ikilisi, yedi ülkenin büyüme verileriyle bu soruyu sordu.

Bu sonuç, öngörü literatüründe sık tekrarlanan bir gözlemin örneğidir ve bazen «öngörü birleştirme bilmecesi» olarak anılır: kuram, en iyi ağırlıkların geçmiş başarıya göre seçilmesini önerir, ama uygulamada eşit ağırlıklar çoğu zaman daha iyi sonuç verir. Bunun olası bir açıklaması, ağırlıkları tahmin etmenin kendisinin hata taşıması ve öngörücülerin göreli başarısının zaman içinde değişmesidir; geçmişte iyi olan, gelecekte iyi kalmayabilir.

Neden önemli? — öngörülere güvenmenin bedeli

Bütçe planları, faiz kararları, yatırım projeleri ve sosyal yardım ödemeleri öngörülere dayanır. Sistematik olarak iyimser bir büyüme öngörüsü, gelir tahminlerini şişirip bütçe açıklarına yol açar; sürekli düşük bir enflasyon öngörüsü, ücret ve emekli aylığı ayarlamalarını geride bırakır. Öngörüleri değerlendirmek, kimin haklı çıktığını bulmaktan çok, hangi öngörünün hangi amaçla ve ne ölçüde güvenilir olduğunu öğrenmektir.

Model

Aşağıdaki hatalar, öngörü değerlendirmesinin araçlarını küçük bir sayı kümesi üzerinde göstermek için seçilmiştir; hiçbir kurumun gerçek kaydı değildir. Hatalar yüzde puan olarak, gerçekleşen eksi öngörü biçiminde tanımlanmıştır.

Çözümlü örnek — Hangi ölçü, hangi kazanan?

İki kurum, A ve B, sekiz çeyrek boyunca bir sonraki çeyreğin yıllıklandırılmış büyümesini öngörmüş. A'nın hataları sırasıyla 0,5; −1,0; 0,8; −0,3; 2,5; −0,6; 0,4; −0,2. B'nin hataları 1,0; −0,8; −0,9; 0,7; 1,0; −1,1; 0,9; −0,8.

Ortalama mutlak hata, hataların işaretleri atılarak alınan ortalamasıdır. A için mutlak hataların toplamı 6,3, ortalaması yaklaşık 0,79; B için toplam 7,2, ortalama 0,90. Bu ölçüye göre A daha iyidir.

Ortalama kare hata kökü ise hataların kareleri alınıp ortalaması bulunduktan sonra karekökü alınarak hesaplanır. A'nın kare hatalarının ortalaması yaklaşık 1,10, kökü 1,05; B'nin kare hatalarının ortalaması yaklaşık 0,83, kökü 0,91. Bu ölçüye göre B daha iyidir.

Sıralamanın tersine dönmesinin nedeni, A'nın beşinci çeyrekteki 2,5 puanlık hatasıdır. Bu tek hatanın karesi 6,25'tir ve A'nın bütün kare hatalarının toplamının yaklaşık üçte ikisini oluşturur. Kare hata, büyük hataları ağır cezalandırdığı için, tek bir kötü çeyrek A'yı geride bırakır; mutlak hata ise bu çeyreği daha ılımlı tartar. Hangi kurumun «daha iyi» olduğu, büyük bir sürprizin kullanıcı için ne kadar maliyetli olduğuna bağlıdır.

Çözümlü örnek — Fark tesadüf mü?

Kare hata ölçüsüne göre B önde görünüyor. Bu fark anlamlı mı? Her çeyrek için iki kurumun kare hataları arasındaki farkı hesaplayalım: A'nın kare hatasından B'ninkini çıkarıyoruz. Farklar sırasıyla −0,75; 0,36; −0,17; −0,40; 5,25; −0,85; −0,65; −0,60. Sekiz çeyreğin altısında A daha iyidir; ama beşinci çeyrekteki büyük fark ortalamayı B lehine çevirir. Ortalama fark yaklaşık 0,27'dir.

Bu ortalamanın şansla açıklanıp açıklanamayacağını görmek için farkların standart sapmasına bakarız: yaklaşık 2,05. Ortalamanın standart hatası, bunun sekizin kareköküne bölünmesiyle yaklaşık 0,72'dir. Test istatistiği 0,27'nin 0,72'ye oranı, yaklaşık 0,38'dir. Bu değer, yüzde 5 düzeyinde anlamlılık için gereken yaklaşık 2'nin çok altındadır. İki öngörünün eşit başarılı olduğu hipotezi reddedilemez.

Bu, Diebold–Mariano testinin en basit biçimidir. Sekiz gözlem, bir sıralama için yeterli görünse de anlamlı bir fark bulmak için çok azdır; üstelik farkların dağılımı tek bir uç değere bağlıdır. Gazetelerdeki yıllık sıralamaların çoğu, bu tür bir sınavdan geçmez.

Çözümlü örnek — Birleştirmenin gücü

Şimdi her çeyrekte iki kurumun öngörülerinin basit ortalamasını alalım. Ortalama öngörünün hatası, iki hatanın ortalamasıdır: 0,75; −0,90; −0,05; 0,20; 1,75; −0,85; 0,65; −0,50. Bu hataların ortalama mutlak değeri yaklaşık 0,71, kare ortalamalarının kökü yaklaşık 0,86'dır. Birleştirilmiş öngörü, her iki ölçüye göre de iki kurumdan daha iyidir.

Bunun nedeni, iki kurumun hatalarının kısmen birbirini götürmesidir. Üçüncü çeyrekte A 0,8 puan eksik, B 0,9 puan fazla tahmin etmiş; ortalama neredeyse kusursuzdur. İki hata serisinin korelasyonu yaklaşık 0,55'tir; korelasyon 1'in altında kaldıkça ortalama, hataların bir kısmını yok eder. İki öngörü tamamen aynı bilgiye dayansaydı, korelasyon 1'e yaklaşır ve birleştirme kazanç getirmezdi.

Çözümlü örnek — Öngörü sistematik olarak yanlı mı?

Bir bakanlığın on yıllık büyüme öngörüleri ile gerçekleşmeleri arasında bir regresyon kuruluyor: gerçekleşen büyüme, bir sabit ve öngörü üzerine regres ediliyor. Öngörü verimliyse, sabit sıfır, eğim bir olmalıdır; yani öngörü 4 dediğinde ortalamada 4 gerçekleşmelidir.

Regresyonun sonucu: sabit 1,2, eğim 0,6. Öngörü yüzde 2 olduğunda gerçekleşmenin ortalaması 1,2 artı 1,2, yani 2,4'tür; öngörü yüzde 5 olduğunda 1,2 artı 3, yani 4,2. Düşük öngörüler gerçekleşmenin altında, yüksek öngörüler üstünde kalmaktadır. Bu, bakanlığın öngörülerinin aşırı tepki verdiğini, yani iyi zamanlarda fazla iyimser, kötü zamanlarda fazla kötümser olduğunu düşündürür. Öngörüleri 0,6 ile çarpıp 1,2 eklemek, geçmiş veriye göre hatayı azaltır; ama bu düzeltmenin de gelecekte geçerli kalacağı, öngörü sürecinin değişmediği varsayımına bağlıdır.

Çözümlü örnek — Ek bilgi var mı?

Romer'lerin sorusunu küçük ölçekte soralım. Gerçekleşen enflasyon, hem merkez bankası öngörüsü hem piyasa anketi öngörüsü üzerine birlikte regres ediliyor. Sonuç: merkez bankası öngörüsünün katsayısı 0,9, piyasa öngörüsününki 0,1 ve ikincisi anlamlı değil.

Bu, merkez bankası öngörüsünün, piyasa öngörüsünün taşıdığı bilginin neredeyse tamamını zaten içerdiği anlamına gelir; buna öngörü kapsaması denir. Piyasa öngörüsü tek başına iyi olabilir, ama merkez bankası öngörüsü bilindiğinde ona eklenecek bir şey kalmaz. Tersine, iki katsayı da anlamlı çıksaydı, her öngörü öbürünün içermediği bilgi taşırdı ve birleştirme yararlı olurdu. Kapsama sorusu, sıralama sorusundan daha bilgilendiricidir: öngörülerden hangisinin atılabileceğini söyler.

Çözümlü örnek — Basit bir kıyas ölçütü

Bir araştırma birimi, yirmi değişkenli bir modelin aylık enflasyon öngörülerini değerlendiriyor. Modelin ortalama kare hata kökü 0,60 puan. Bu iyi mi?

Mutlak bir sayı tek başına bir şey söylemez; bir kıyas ölçütüyle karşılaştırılmalıdır. En basit kıyas, gelecek ayın enflasyonunun bu ayınkine eşit olacağını söyleyen saf öngörüdür; bu öngörünün kare hata kökü 0,58 çıkıyorsa, yirmi değişkenli model saf öngörüden daha kötüdür. İki hata ölçüsünün oranı, yani 0,60 bölü 0,58, yaklaşık 1,03'tür; oran 1'in altına inmedikçe model, kıyas ölçütüne üstünlük sağlamaz. Bu oran, öngörü literatüründe sık kullanılan bir göreli başarı ölçüsüdür. ARIMA dersinde gördüğümüz gibi, enflasyonda saf öngörüyü geçmek şaşırtıcı ölçüde zordur.

Çözümlü örnek — Aralıklar tutuyor mu?

Bir merkez bankası, enflasyon öngörüsünün yanında yüzde 70'lik bir aralık da yayımlıyor. Yirmi çeyrekte gerçekleşmelerden on biri aralığın içine düşmüş. Aralıklar doğru kurulmuşsa, yirmi çeyreğin yaklaşık on dördünün içine düşmesi beklenirdi.

On bir, on dörtten azdır; aralıklar gereğinden dar görünmektedir. Ama yirmi gözlemle bu fark, şansla da açıklanabilir: yüzde 70 olasılıkla yirmi denemede on bir ya da daha az başarı olasılığı küçük ama ihmal edilebilir değildir. Ayrıca aşımların zamana nasıl dağıldığına bakmak gerekir: dokuz aşımın yedisi tek bir kriz yılında toplanmışsa, sorun aralıkların genel genişliğinde değil, belirsizliğin zamanla değiştiğini hesaba katmamalarında olabilir; bu, oynaklık dersinin bir uyarısıdır.

Çözümlü örnek — Eksik tahmin daha pahalıysa

Bir elektrik dağıtım şirketi, ertesi günün talebini öngörüyor. Talep öngörünün üzerinde gerçekleşirse, şirket eksik kalan elektriği gün içi piyasadan pahalıya almak zorunda kalır ve her eksik megavatsaat 3 birim maliyet doğurur. Talep öngörünün altında kalırsa, fazla alınan elektrik ucuza satılır ve her fazla megavatsaat 1 birim maliyet doğurur.

Ertesi günün talebinin, eşit olasılıkla 90, 100 ya da 110 olacağını varsayalım. Şirket öngörü olarak ortalama değer olan 100'ü seçerse, talep 110 olduğunda 10 eksik kalır ve maliyet 30 olur; talep 90 olduğunda 10 fazla kalır ve maliyet 10 olur; talep 100 olduğunda maliyet yoktur. Beklenen maliyet, üç durumun ortalaması olarak, 40 bölü 3, yani yaklaşık 13,3'tür.

Şirket öngörüsünü 110 seçerse, talep 110 olduğunda maliyet sıfır, 100 olduğunda 10 fazla için 10, 90 olduğunda 20 fazla için 20 olur. Beklenen maliyet 30 bölü 3, yani 10'dur. Daha yüksek bir öngörü, ortalamada yanlı olduğu hâlde, beklenen maliyeti düşürür. Eksik tahminin maliyeti fazla tahminin üç katı olduğunda, en iyi öngörü dağılımın ortası değil, yaklaşık dörtte üçlük dilimidir.

Bu örnek, değerlendirme için önemli bir sonuç taşır. Bu şirketin öngörüleri bir Mincer–Zarnowitz regresyonuna sokulsaydı, sistematik olarak yanlı çıkardı; ama bu yanlılık bir hata değil, kayıp fonksiyonuna uygun bir tercihtir. Bir öngörücünün yanlılığını eleştirmeden önce, onun hangi kayıp fonksiyonuyla çalıştığını sormak gerekir. Aynı mantık, bazı kurumların resmî büyüme öngörülerindeki iyimserliği ya da bütçe gelir tahminlerindeki ihtiyatlılığı yorumlarken de akılda tutulmalıdır.

Çözümlü örnek — Yönü bilmek yeter mi?

Bazı kullanıcılar için öngörünün büyüklüğünden çok yönü önemlidir: faiz yükselecek mi, düşecek mi? Bir öngörücünün yirmi ayın on dördünde enflasyonun bir önceki aya göre yönünü doğru bildiğini düşünelim. Yön tamamen rastgele tahmin edilseydi, ortalamada on ay doğru çıkardı. On dört, ondan fazladır; ama yirmi bağımsız yazı turada on dört ya da daha fazla tura gelmesi, yaklaşık yüzde 6 olasılıkla mümkündür. Kanıt, şans eşiğinin hemen sınırındadır.

Yön isabeti, büyüklüğü göz ardı ettiği için tek başına yanıltıcı olabilir. Bir öngörücü küçük hareketlerin yönünü hep doğru, büyük hareketlerin yönünü hep yanlış bilirse, yön isabeti yüksek ama kullanıcıya verdiği zarar büyüktür. Bu yüzden yön isabeti, bir kayıp fonksiyonunun yerine değil, yanında raporlanmalıdır. Yön isabetini sınamak için, öngörülen ve gerçekleşen yönlerin bir çapraz tablosu kurulur ve iki yön arasındaki bağımsızlık hipotezi sınanır; bu, öngörünün yalnızca yükselişlerin genel sıklığını tahmin etmekten öte bir bilgi taşıyıp taşımadığını gösterir. Enflasyonun çoğu ay yükseldiği bir dönemde, her ay «yükselecek» diyen bir öngörücü yüksek yön isabeti elde eder ama hiçbir bilgi taşımaz.

Modelin sınırları

Bu bölümdeki bütün hesaplar küçük örneklemlerle yapıldı ve küçük örneklemlerde öngörü sıralamaları kırılgandır. Değerlendirmenin bir başka sınırı, ölçülen değişkenin kendisinin değişebilmesidir: büyüme ve enflasyon verileri sonradan revize edilir ve bir öngörü, ilk açıklanan veriye göre başarılı, revize edilmiş veriye göre başarısız görünebilir. Hangi verinin «gerçekleşme» sayılacağı bir seçimdir ve öngörücünün neyi öngörmeye çalıştığına göre yapılmalıdır.

Bir başka sınır, değerlendirmenin öngörünün kullanım amacından kopabilmesidir. Bir öngörü ortalama hatası küçük olduğu hâlde, kullanıcının en çok önem verdiği anlarda, örneğin bir durgunluğun başlangıcında, başarısız olabilir. Birçok makroekonomik öngörünün en büyük hataları dönüm noktalarında yoğunlaşır; sakin yıllardaki küçük hatalar ortalamayı iyi gösterirken, asıl sınavdan geçilemez. Bu yüzden değerlendirme, bütün örneklemin ortalamasının yanında, kullanıcı için kritik dönemlerde ayrıca yapılmalıdır.

Teknik

Öngörü ufku ve hata yapısı

Bir adım ilerisi için yapılan en iyi öngörünün hataları, öngörü verimliyse, öz ilişkisizdir: bugünkü hatadan yarınki hata hakkında bir şey öğrenilebilseydi, öngörü bu bilgiyi kullanarak iyileştirilebilirdi. Ama h adım ilerisi için yapılan öngörülerde durum farklıdır. Dört çeyrek ilerisi için yapılan ardışık öngörüler, ortak şoklara maruz kalır: bu çeyrekte yapılan ve gelecek çeyrekte yapılan dört çeyreklik öngörülerin hatalarının üç çeyreği ortaktır. Bu yüzden h adımlı öngörü hataları, verimli öngörüler için bile h eksi bir gecikmeye kadar öz ilişkilidir. Bu yapı, hem öngörü verimliliği testlerinde hem de Diebold–Mariano testinde standart hataların öz ilişkiye dayanıklı biçimde hesaplanmasını gerektirir. Küçük örneklemlerde bu düzeltilmiş standart hatalar da yanıltıcı olabilir ve test gereğinden sık reddedebilir; bunun için küçük örneklem düzeltmeleri önerilmiştir.

Örneklem dışı tasarımı

Sözde örneklem dışı bir değerlendirmede araştırmacı, her öngörü tarihinde modeli yalnızca o tarihe kadarki verilerle yeniden tahmin eder. Bunun iki temel yolu vardır. Genişleyen pencerede tahmin örneklemi her dönem bir gözlem büyür; kayan pencerede ise sabit uzunlukta kalır ve en eski gözlem atılır. Genişleyen pencere, parametreler sabitse daha kesin tahminler verir; kayan pencere, parametreler zamanla değişiyorsa daha hızlı uyum sağlar. Seçim, yapısal kırılmaların ne kadar olası görüldüğüne bağlıdır.

Örneklemin nerede bölüneceği de sonucu etkiler. Değerlendirme dönemi kısa tutulursa testlerin gücü düşer; uzun tutulursa ilk öngörüler çok az veriyle tahmin edilmiş modellerden gelir. Bölme noktası birden fazla denenip en elverişli olanı raporlanırsa, bu da bir tür veri madenciliğidir. Diebold'un uyarısı burada önem kazanır: modellerin karşılaştırılması amaçlanıyorsa, bütün örneklemi kullanan bilgi ölçütleri ya da olabilirlik oranı testleri çoğu zaman daha güçlü ve daha az keyfî araçlardır; sözde örneklem dışı analiz, belirli tarihsel dönemlerde hangi modelin daha iyi çalıştığını göstermek için daha uygundur.

İç içe modellerin karşılaştırılması

Karşılaştırılan iki modelden biri öbürünün özel bir durumuysa, örneğin büyük model küçük modele birkaç değişken eklenerek kuruluyorsa, Diebold–Mariano testinin standart dağılımı geçerliliğini yitirir. Ek değişkenlerin gerçek katsayısı sıfır olsa bile, büyük model örneklem dışında bu katsayıları tahmin etmenin gürültüsünü taşır ve hatası küçük modelinkinden biraz büyük çıkar. Bu, büyük modelin aleyhine işleyen bir yanlılıktır ve iç içe modeller için düzeltilmiş testler önerilmiştir. Pratik sonuç şudur: büyük bir modelin örneklem dışında küçük bir modeli geçememesi, eklenen değişkenlerin bilgi taşımadığını tek başına kanıtlamaz. Tersine, büyük model küçük modeli az farkla geçiyorsa, bu fark düzeltilmiş testlerde, olağan testte göründüğünden daha anlamlı çıkabilir; çünkü olağan test, büyük modelin taşıdığı tahmin gürültüsünü hesaba katmaz.

Çoklu karşılaştırma

Bir araştırmacı yüz model dener ve en iyisinin bir kıyas ölçütünü geçtiğini bulursa, bu sonuç ne kadar güvenilirdir? Her model tek başına yüzde 5 düzeyinde sınanırsa, hiçbiri gerçekte üstün olmasa bile yaklaşık beşinin anlamlı görünmesi beklenir. Bu sorunu ele almak için, en iyi modelin üstünlüğünü, denenen bütün modellerin dağılımını hesaba katarak sınayan yöntemler geliştirilmiştir. Bir önceki derste gördüğümüz gibi, Hansen ve Lunde, bu tür yöntemlerden birinin, başarılı modelleri başarısızlardan ayıramayacak kadar zayıf kalabildiğini gösterdi; çoklu karşılaştırmayı hesaba katmak gerekir, ama bunu yapan testlerin de sınırları vardır.

Birleştirme ağırlıkları

İki öngörünün en iyi doğrusal birleşimi, hata varyanslarına ve hataları arasındaki kovaryansa bağlıdır: hata varyansı küçük olan öngörüye daha fazla ağırlık verilir ve hatalar birbiriyle ne kadar az ilişkiliyse birleştirmenin kazancı o kadar büyük olur. Bu fikir, Bates ve Granger'ın 1969'daki çalışmasına uzanır. Ama en iyi ağırlıklar bilinmez ve geçmiş verilerden tahmin edilmeleri gerekir. Az sayıda gözlemle çok sayıda ağırlık tahmin etmek, aşırı uyum dersinde gördüğümüz sorunu yeniden üretir: tahmin edilen ağırlıklar örneklem içi gürültüye uyar ve örneklem dışında eşit ağırlıklardan kötü sonuç verebilir. Yedi ülke çalışmasındaki sonuç bu açıdan okunabilir. Uygulamada ortanca ya da uç değerleri kırpılmış ortalama gibi, aykırı öngörülere daha az duyarlı birleştirmeler de kullanılır.

Yoğunluk öngörülerinin değerlendirilmesi

Bir yoğunluk öngörüsünü değerlendirmenin temel yolu, her gerçekleşmenin, kendi öngörülen dağılımında hangi yüzdelik dilime düştüğünü hesaplamaktır. Öngörülen dağılımlar doğruysa, bu yüzdelik değerler sıfır ile bir arasında düzgün dağılır ve birbirinden bağımsızdır: gerçekleşmeler dağılımın her bölgesine beklenen sıklıkta düşer. Değerler uçlarda yığılıyorsa dağılımlar gereğinden dar, ortada yığılıyorsa gereğinden geniştir; bir tarafa kayıyorsa öngörüler yanlıdır. Bu yaklaşım, Diebold, Gunther ve Tay'ın 1998'deki çalışmasıyla yaygınlaştı ve özellikle risk yönetiminde, zamanla değişen oynaklık modellerinin değerlendirilmesinde kullanıldı.

Öngörü belirsizliğinin kaynakları

Bir öngörünün hatası üç kaynaktan gelir. Birincisi, gelecekteki şoklardır: model ve parametreler tam olarak bilinseydi bile, öngörü ufku boyunca gelecek şoklar öngörülemez ve bu belirsizlik ufuk uzadıkça büyür. İkincisi, parametre belirsizliğidir: katsayılar sonlu bir örneklemden tahmin edildiği için gerçek değerlerinden sapar ve bu sapma öngörüye taşınır; çok parametreli modellerde ve kısa örneklemlerde bu kaynak önemlidir. Üçüncüsü, model belirsizliğidir: gerçek veri üreten süreç modelden farklı olabilir ve özellikle yapısal kırılmalar sonrasında bu farkın etkisi diğer iki kaynaktan büyük olabilir.

Yayımlanan öngörü aralıkları çoğu zaman yalnızca birinci kaynağı hesaba katar; bu yüzden gereğinden dar olma eğilimindedir. Parametre belirsizliği, önyükleme ya da Bayesci yöntemlerle aralıklara eklenebilir; model belirsizliği ise birkaç modelin öngörü dağılımlarının birleştirilmesiyle kısmen yakalanabilir. Bazı merkez bankaları, geçmiş öngörü hatalarının dağılımını doğrudan kullanarak aralıklarını kurar; bu yaklaşım, üç kaynağın geçmişteki toplam etkisini hesaba katar, ama geçmiş dönemin bugünkü belirsizliği temsil ettiğini varsayar.

Anlık öngörü

Bazı öngörüler geleceğe değil, geçmişe ya da bugüne yöneliktir. Çeyreklik büyüme verisi çeyrek bittikten haftalar sonra açıklanır; o zamana kadar politika yapıcılar, aylık sanayi üretimi, dış ticaret, kartlı harcamalar ve anketler gibi daha erken gelen göstergelerden çeyreğin büyümesini tahmin etmeye çalışır. Bu tür anlık öngörülerin değerlendirilmesinde, her göstergenin açıklanma takvimi önemlidir: bir modelin başarısı, ayın hangi gününde hangi verilerin mevcut olduğuna göre ölçülmelidir. Yeni bir veri açıklandığında öngörünün ne kadar değiştiği, o verinin bilgi değerinin doğrudan bir ölçüsüdür.

Öngörünün kendi gerçekleşmesini etkilemesi

Bazı öngörüler, öngördükleri sonucu değiştirir. Bir merkez bankası enflasyonun hedefin çok üstüne çıkacağını öngörür ve buna tepki olarak faizi artırırsa, enflasyon öngörülenden düşük gerçekleşebilir; öngörü, başarılı bir politikanın sonucu olarak «yanlış» görünür. Benzer biçimde, bir kurumun bir bankanın zor durumda olduğuna dair öngörüsü, mevduat çekilişlerini hızlandırarak kendini doğrulayabilir. Bu tür durumlarda öngörü hatası, öngörücünün becerisinin temiz bir ölçüsü değildir. Merkez bankası öngörülerini değerlendirirken, öngörünün hangi politika varsayımıyla yapıldığını, örneğin faizin sabit kalacağı varsayımıyla mı, yoksa beklenen politika yoluyla mı, bilmek gerekir.

Gerçek zamanlı veriler

Öngörüler, öngörünün yapıldığı tarihte mevcut olan verilerle değerlendirilmelidir. Bugünkü revize edilmiş verilerle yeniden tahmin edilen bir model, geçmişte hiçbir öngörücünün sahip olmadığı bilgileri kullanır ve örneklem dışı başarısı olduğundan iyi görünür. Bu yüzden ciddi öngörü değerlendirmeleri, her tarih için o tarihte yayımlanmış veri sürümlerinden oluşan gerçek zamanlı veri setleri kullanır. Böyle bir veri seti yoksa, en azından modelin kullandığı değişkenlerin açıklanma gecikmeleri hesaba katılmalı ve öngörü tarihinde henüz açıklanmamış hiçbir gözlem kullanılmamalıdır.

Uygulama

Özet kartı

1. Öngörü başarısı bir kayıp fonksiyonuyla ölçülür ve kayıp fonksiyonunun seçimi bir karar sorusudur: kare hata büyük hataları ağır cezalandırır, mutlak hata daha ılımlıdır ve aynı öngörü çifti farklı ölçülerle farklı sıralanabilir.
2. Romer ve Romer, ABD Merkez Bankası'nın enflasyon hakkında ticari öngörücülerin bildiklerinin ötesinde kayda değer bilgiye sahip olduğunu gösterdi; öngörü değerlendirmesi, sıralamanın ötesinde, bir öngörünün öbürünün içermediği bilgiyi taşıyıp taşımadığını sorabilir.
3. Diebold–Mariano testi, iki öngörünün kayıp farkının ortalamasını sınar; Diebold, testin öngörüleri karşılaştırmak için tasarlandığını, modelleri karşılaştırmak için daha uygun tam örneklem yöntemleri bulunduğunu ve sözde örneklem dışı analizin aşırı uyuma karşı tek ya da en iyi güvence olmadığını vurguladı.
4. Stock ve Watson, yedi ülkenin büyüme öngörülerinde tek tek öngörücülerin istikrarsız olduğunu, ama basit ortalama gibi birleştirmelerin otoregresif kıyas ölçütünü çoğu zaman geçtiğini buldu.
5. Mincer–Zarnowitz regresyonu öngörülerin sistematik yanlılığını, yoğunluk öngörülerinin değerlendirilmesi ise öngörülen belirsizliğin doğruluğunu sınar; küçük örneklemler, gerçek zamanlı veri eksikliği ve çoklu karşılaştırma, değerlendirme sonuçlarını kırılgan kılar.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Öngörülerin karşılaştırılması ile modellerin karşılaştırılması arasındaki farkı Diebold'un değerlendirmesi üzerinden açıklayın.
2. (Çıktı 2) Model bölümündeki örnekte A'nın beşinci çeyrekteki hatası 2,5 yerine 1,0 olsaydı, A'nın ortalama mutlak hatası ve kare hata kökü ne olurdu? Hangi kurum iki ölçüye göre de önde olurdu?
3. (Çıktı 2) Bir öngörünün Mincer–Zarnowitz regresyonunda sabit −0,5, eğim 1,1 çıkıyor. Öngörü yüzde 3 ve yüzde 8 olduğunda ortalama gerçekleşme ne olur? Öngörü hangi tür bir hata yapmaktadır?
4. (Çıktı 2) İki öngörünün hatalarının korelasyonu 1 olsaydı ve hata varyansları eşit olsaydı, basit ortalama ne kazanç sağlardı? Korelasyon 0 olsaydı ortalamanın hata varyansı tek bir öngörününkinin ne kadarı olurdu?
5. (Çıktı 3) Bir araştırmacı, otuz farklı değişkeni tek tek ekleyerek otuz model kuruyor, her birini saf öngörüyle karşılaştırıyor ve ikisinin yüzde 5 düzeyinde anlamlı biçimde daha iyi olduğunu buluyor. Bu sonucu nasıl yorumlarsınız?
6. (Çıktı 4) Bir yatırım bülteni, «bu yıl enflasyonu en doğru tahmin eden kurum biziz; öngörülerimiz piyasanın en güvenilir öngörüleridir» diyor. Bu iddiayı bu derste öğrendiklerinizle sınayın.

Cevaplar

1. Öngörülerin karşılaştırılmasında öngörüler verilidir: örneğin bir merkez bankasının yayımladığı öngörüler ile bir anketin öngörüleri. Soru, hangisinin daha isabetli olduğudur ve Diebold–Mariano testi bunun için tasarlanmıştır. Modellerin karşılaştırılmasında ise araştırmacı geçmiş veriler üzerinde modelleri yeniden tahmin ederek sözde örneklem dışı öngörüler üretir; sonuç, örneklemin bölünüşüne, denenen model sayısına ve modellerin iç içe olup olmamasına bağlıdır. Diebold'a göre bu amaçla bütün örneklemi kullanan model karşılaştırma yöntemleri daha basit ve daha ikna edicidir; sözde örneklem dışı analiz ise belirli tarihsel dönemlerdeki göreli başarıyı göstermek için yararlıdır.
2. A'nın mutlak hatalarının toplamı 6,3'ten 4,8'e iner, ortalaması 0,6 olur. Kare hataların toplamı 6,25 yerine 1 alındığında yaklaşık 8,79'dan 3,54'e iner; ortalaması yaklaşık 0,44, kökü yaklaşık 0,67 olur. B'nin değerleri değişmediği için, 0,90 ve 0,91, A her iki ölçüye göre de önde olur. Sıralamanın tek bir çeyreğe ne kadar duyarlı olduğu açıkça görülür.
3. Öngörü 3 olduğunda ortalama gerçekleşme −0,5 artı 3,3, yani 2,8; öngörü 8 olduğunda −0,5 artı 8,8, yani 8,3'tür. Düşük öngörüler gerçekleşmenin biraz üstünde, yüksek öngörüler biraz altında kalmaktadır: öngörü, enflasyonun değişimlerine yetersiz tepki vermektedir; enflasyon yükselirken geride, düşerken önde kalır.
4. Korelasyon 1 ve varyanslar eşitse iki hata aynıdır ve ortalama hiçbir kazanç sağlamaz. Korelasyon 0 ise ortalamanın hata varyansı, tek bir öngörünün hata varyansının yarısıdır: iki bağımsız hatanın ortalamasının varyansı, varyansın dörtte birinin iki katı, yani yarısıdır.
5. Otuz model yüzde 5 düzeyinde ayrı ayrı sınandığında, hiçbir değişken gerçekte yararlı olmasa bile ortalamada bir buçuk modelin anlamlı görünmesi beklenir. İki anlamlı sonuç, şansla bulunabilecek sayıdan pek farklı değildir. Çoklu karşılaştırmayı hesaba katan bir test kullanılmalı, sonuç farklı bir dönemde ya da başka ülkelerin verileriyle sınanmalı ve iki değişkenin neden yararlı olabileceğine dair iktisadi bir gerekçe aranmalıdır. Ayrıca modeller saf öngörüyü iç içe biçimde genişletiyorsa, düzeltilmiş testler gerekir.
6. İddia, değerlendirmenin birkaç ilkesine aykırıdır. Tek bir yılın tek bir öngörüsü, şansla en iyi olmuş olabilir; çok sayıda kurum arasında birinin en isabetli çıkması kaçınılmazdır. Yedi ülke çalışması, tek tek öngörücülerin başarısının zaman içinde istikrarsız olduğunu gösterir. Güvenilirlik iddiası için uzun bir dönemin öngörü hataları, uygun bir kayıp fonksiyonu, bir kıyas ölçütü ve bir anlamlılık testi gerekir; ayrıca öngörülerin sistematik bir yanlılık taşıyıp taşımadığı sınanmalıdır. Romer'lerin yaklaşımıyla, kurumun öngörülerinin öbür öngörülerin ötesinde bilgi taşıyıp taşımadığı da sorulabilir. Son olarak, birçok kurumun öngörülerinin ortalaması, tek bir kurumun öngörüsünden çoğu zaman daha güvenilirdir.

İleri okuma

• Christina D. Romer, David H. Romer (2000). «Federal Reserve Information and the Behavior of Interest Rates». American Economic Review 90(3). Merkez bankası ve ticari enflasyon öngörülerinin karşılaştırılması.
• Francis X. Diebold (2015). «Comparing Predictive Accuracy, Twenty Years Later». Journal of Business and Economic Statistics 33(1). Öngörü karşılaştırma testlerinin doğru ve yanlış kullanımları.
• James H. Stock, Mark W. Watson (2004). «Combination Forecasts of Output Growth in a Seven-Country Data Set». Journal of Forecasting 23(6). Birleştirilmiş öngörülerin başarısı ve birleştirme bilmecesi.

Sonraki derse köprü

Bu kurs boyunca kurduğumuz araçları, ARIMA modellerini, VAR'ları, eşbütünleşme ilişkilerini, oynaklık modellerini ve öngörü değerlendirme yöntemlerini, tek bir somut sorunun üzerinde birlikte kullanma zamanı geldi: Türkiye'de enflasyonu öngörmek. Bu sorunun kendine özgü güçlükleri vardır: enflasyonun hem düzeyinin hem oynaklığının dönemden döneme sıçraması, kurdan fiyatlara geçiş, yönetilen fiyat ayarlamaları ve sık yapısal kırılmalar. Bir sonraki ders, bu güçlükler karşısında saf öngörü kıyas ölçütünü geçmeye çalışan modelleri kurup değerlendiriyor.