Çoklu doğrusal bağlantı

Öğrenme çıktıları

• Hatırlama — Çoklu doğrusal bağlantıyı, tam doğrusal bağlantıyı, varyans şişirme çarpanını, koşul sayısını, ortak anlamlılık testini ve sırt regresyonunu tanımlar.
• Anlama — Açıklayıcı değişkenler birbirine çok yakın hareket ettiğinde katsayıların neden sapmasız kaldığını ama kararsız ve belirsiz hâle geldiğini, bunun neden özünde bir bilgi eksikliği olduğunu açıklar.
• Uygulama — İki açıklayıcı arasındaki korelasyondan varyans şişirme çarpanını ve standart hataların ne kadar büyüdüğünü hesaplar, bir değişkenin kare terimini ortalamadan arındırarak bağlantıyı azaltır.
• Değerlendirme — Bağlantılı bir değişkeni modelden çıkarmanın, veri toplamanın, değişkenleri birleştirmenin ve sırt regresyonunun bedellerini karşılaştırır ve bağlantının hangi durumda gerçekten sorun olduğuna karar verir.

Sezgi

Açılış

Bir ilde son yirmi yılda hem nüfus hem de işgücü hızla artmış olsun. Konut talebinin hangisine daha çok bağlı olduğunu anlamak istiyoruz: daha fazla insana mı, yoksa daha fazla çalışana mı? İki değişken neredeyse aynı çizgi üzerinde yükseldiği için, veri bize iki katkıyı ayrı ayrı gösterecek bir fark sunmaz. Birinin arttığı her yıl öbürü de artmıştır.

Önceki iki derste sorun hata terimindeydi: yayılımı değişiyordu ya da dönemden döneme taşınıyordu. Bu derste sorun açıklayıcı değişkenlerin kendisinde. Çoklu regresyonda her katsayı, geri kalan açıklayıcılar yerinde dururken tek bir açıklayıcının katkısını verir; ama öbür değişkenler verilerde neredeyse hiç sabit kalmıyorsa, bu soru cevaplanabilir mi? Çoklu doğrusal bağlantının katsayılara ne yaptığını, büyüklüğünün hangi ölçülerle okunduğunu ve hangi koşulda araştırmacının sorusuna zarar verdiğini inceleyeceğiz.

Hikâye — Bilgisayarın yanıldığı veri

1960'larda elektronik bilgisayarlar, iktisatçıların elle ya da masa hesap makineleriyle günlerce uğraştığı regresyonları dakikalar içinde yapmaya başlamıştı. Birçok kurum ve üniversite kendi en küçük kareler programını yazmıştı. Kullanıcılar, makinenin verdiği sayılara doğal olarak güveniyordu.

J. W. Longley, 1967'de Journal of the American Statistical Association'da bu güveni sınayan bir makale yayımladı. ABD'nin 1947–1962 dönemine ait 16 yıllık makroekonomik verisini aldı: toplam istihdamı, fiyat düzeyini gösteren bir deflatörü, gayri safi milli hasılayı, işsiz sayısını, silahlı kuvvetlerdeki kişi sayısını, nüfusu ve yılı. Bu verilerle aynı regresyonu dönemin birçok programında çalıştırdı ve sonuçları, özenle hesaplanmış doğru değerlerle karşılaştırdı.

Sonuç rahatsız ediciydi. Programların çoğu, ya veriler programa uyacak biçimde değiştirilmeden ya da program veriye uyacak biçimde düzeltilmeden doğru sonuç veremiyordu. Sorunun kaynağı, açıklayıcı değişkenlerin neredeyse hepsinin aynı yönde, aynı hızla büyümesiydi: hasıla, deflatör, nüfus ve yıl birbirine o kadar yakındı ki, onları ayırmaya çalışan hesap, bilgisayarların sınırlı basamak sayısındaki yuvarlama hatalarına karşı son derece hassas hâle geliyordu. Longley'nin verisi o günden bu yana, istatistik yazılımlarının doğruluğunu sınamak için kullanılan klasik bir test veri seti oldu.

Kavram

Longley'nin verisindeki sorun, açıklayıcı değişkenlerin birbirine çok yakın hareket etmesiydi. Bu durum, çoklu regresyonun kendine özgü bir sorunudur ve ayrı bir adla anılır.

Bağlantının en uç biçiminde, bir değişken öbürlerinden tam olarak hesaplanabilir. Bu durumda regresyon hiç çalışmaz.

Tam olmayan bağlantının ne kadar ciddi olduğunu ölçmek için, her değişkenin standart hatasının bağlantı yüzünden kaç kat büyüdüğüne bakılır. Bunun için kullanılan ölçü, basit bir formüle dayanır.

Varyans şişirme çarpanı her değişkeni ayrı ayrı değerlendirir. Açıklayıcıların bir bütün olarak ne kadar ayırt edilemez olduğunu tek bir sayıyla özetleyen başka bir ölçü de vardır.

Bağlantılı değişkenlerin her biri tek başına anlamsız görünebilir, ama birlikte çok şey açıklayabilir. Bu durumda doğru soru, değişkenlerin tek tek değil, birlikte bir etkisi olup olmadığıdır.

Bağlantının büyüttüğü varyansı, biraz sapma kabul ederek küçültmek de mümkündür. Bu fikir, sapmasızlık ile kesinlik arasında bilinçli bir takası temsil eder.

Veri ve kanıt

Longley'nin verisini bugünkü yazılımlarla yeniden tahmin etmek, sorunun sayısal olmaktan öte bir boyutu olduğunu gösterir. İstihdam altı açıklayıcıyla regresyona sokulduğunda belirlilik katsayısı yaklaşık 0,995'tir, ama altı katsayıdan yalnızca üçü yüzde 5 düzeyinde anlamlıdır. Gayri safi milli hasılanın katsayısı negatiftir; bu, üretim arttıkça istihdamın azaldığını söyleyen, sezgiye aykırı bir sonuçtur. Hasılanın varyans şişirme çarpanı yaklaşık 1.789, yılınki yaklaşık 759'dur. Son yıl olan 1962 veriden çıkarıldığında deflatörün katsayısı yaklaşık artı 15'ten eksi 20,5'e, nüfusun katsayısı eksi 0,05'ten artı 0,05'e döner. Tek bir gözlem, katsayıların işaretini değiştirmeye yetmektedir.

Goldberger'in şakasının ardında ciddi bir nokta vardır. Bağlantı da, küçük örneklem de aynı sonucu doğurur: verinin, bir katsayıyı kesin biçimde belirlemeye yetecek kadar bağımsız değişim içermemesi. Her ikisinde de katsayılar sapmasızdır ve standart hatalar bu belirsizliği doğru biçimde yansıtır. Bu yüzden bağlantı, düzeltilmesi gereken bir model hatası değil, verinin cevaplayabileceği soruların sınırını gösteren bir işarettir; onu «tespit etmek» için harcanan emek, çoğu zaman daha fazla ve daha çeşitli veri aramaya harcanmalıdır.

Neden önemli?

İktisadi değişkenler çoğu zaman birlikte hareket eder. Gelir ile servet, eğitim ile deneyim, faiz oranları ile enflasyon, bir ilin nüfusu ile ekonomik büyüklüğü aynı yönde değişir. Politika yapıcılar ise genellikle bunlardan birinin ayrı etkisini bilmek ister: gelir desteğinin mi, servet vergisinin mi tüketimi daha çok etkilediğini ya da faizin mi, beklentilerin mi enflasyonu belirlediğini. Bağlantı güçlüyse, veri bu soruların bazılarına kesin bir cevap veremeyebilir; bunu bilmek, gevşek bir tahminin kesin bir sonuç diye raporlanmasını önler.

Bağlantı, araştırma tasarımı açısından da önemlidir. Bir çalışmayı planlarken ilgilenilen değişkenin öbür değişkenlerden bağımsız olarak değiştiği durumları aramak, örneğin farklı illerde farklı zamanlarda uygulanan politikaları ya da deneysel varyasyonu kullanmak, bağlantının ağırlığını azaltır. Bir çalışmayı okurken de sorulması gereken soru şudur: sonuç anlamsız çıktıysa, bu etkinin olmadığını mı, yoksa verinin onu ayırt edemediğini mi gösteriyor?

Model

Bağlantı nereden gelir?

Bağlantının en yaygın kaynağı, zaman içinde birlikte büyüyen değişkenlerdir. Makroekonomik serilerde hasıla, nüfus, fiyat düzeyi ve istihdam aynı eğilimi izler; Longley'nin verisi bunun uç bir örneğidir. Kesit verilerinde de benzer örüntüler görülür: gelişmiş illerde hem eğitim düzeyi hem gelir hem de kentleşme yüksektir.

İkinci kaynak, modelin kendi yapısıdır. Bir değişkenle onun karesi, bir değişkenle onun başka bir değişkenle çarpımı ya da birbirini kısmen içeren ölçüler, örneğin toplam harcama ile gıda harcaması, doğal olarak ilişkilidir. Üçüncü kaynak, veri toplama biçimidir: dar bir aralıktan ya da benzer birimlerden gelen gözlemler, değişkenlerin bağımsız olarak değişmesine fırsat vermez.

Sonuçlar

Bağlantının ilk sonucu, bağlantılı değişkenlerin standart hatalarının büyümesidir. Katsayılar yine sapmasızdır, ama örneklemden örnekleme çok daha fazla dalgalanır. Bu yüzden gerçekte önemli olan değişkenler tek tek anlamsız görünebilir; Longley'nin verisinde olduğu gibi, belirlilik katsayısı çok yüksekken katsayıların yarısı anlamlılık sınırını geçemeyebilir.

İkinci sonuç, katsayıların küçük değişikliklere karşı kırılgan olmasıdır. Birkaç gözlem eklemek ya da çıkarmak, bir değişkeni modele katmak ya da modelden atmak, katsayıların büyüklüğünü, hatta işaretini değiştirebilir. Üçüncü sonuç, katsayıların sezgiye aykırı işaretler taşıyabilmesidir; iki bağlantılı değişkenden biri büyük pozitif, öbürü büyük negatif bir katsayı alabilir, ama toplam etkileri makul kalır.

Neyin etkilenmediği

Bağlantının etkilemediği şeyleri bilmek de aynı ölçüde önemlidir. Modelin bir bütün olarak açıklama gücü, belirlilik katsayısı ve tahmin edilen değerler bağlantıdan etkilenmez. Bağlantılı değişkenlerin ortak etkisi de genellikle kesin biçimde tahmin edilir: veri, iki değişkenin birlikte ne yaptığını bilir, yalnızca bu etkiyi aralarında nasıl paylaştıracağını bilemez.

Bu yüzden amaç tahmin yapmaksa ve bağlantı yapısının gelecekte de süreceği bekleniyorsa, bağlantı çoğu zaman sorun değildir. Aynı biçimde, bağlantı yalnızca kontrol değişkenleri arasındaysa ve ilgilenilen değişken bunlardan görece bağımsızsa, ilgilenilen katsayının kesinliği etkilenmez. Bağlantı ancak, ayrı etkisi ölçülmek istenen değişkenin kendisi öbürleriyle güçlü biçimde ilişkiliyse gerçek bir sorundur.

Varyans şişirme çarpanının mantığı

Çoklu regresyonda bir katsayının varyansı üç şeye bağlıdır: hata teriminin varyansına, o değişkenin toplam değişimine ve o değişimin öbür açıklayıcılarla açıklanamayan kısmına. Çoklu regresyon dersinde gördüğümüz gibi, bir katsayı yalnızca değişkenin öbür açıklayıcılardan arındırılmış kısmından öğrenir. Bu kalan kısım küçüldükçe, katsayının dayandığı bilgi de azalır.

Varyans şişirme çarpanı bu azalmayı ölçer. Değişken öbür açıklayıcılarla regresyona sokulduğunda belirlilik katsayısı 0,5 ise, değişimin yarısı öbürleri tarafından açıklanmıştır ve çarpan 2'dir. Belirlilik katsayısı 0,9 ise çarpan 10, 0,99 ise 100 olur. Çarpan büyüdükçe, katsayının öğrenebileceği bağımsız değişim oranı hızla daralır.

Çözümlü örnek — Korelasyondan standart hataya

İki açıklayıcılı bir modelde, varyans şişirme çarpanı doğrudan iki değişken arasındaki korelasyondan hesaplanabilir: bir bölü, bir eksi korelasyonun karesi. Korelasyon 0,5 ise çarpan yaklaşık 1,33'tür ve standart hata yalnızca yüzde 15 büyür. Korelasyon 0,8'e çıktığında çarpan yaklaşık 2,78, standart hatadaki büyüme ise yaklaşık 1,67 kattır.

Korelasyon 0,95 olduğunda çarpan yaklaşık 10,3'e, standart hata ise yaklaşık 3,2 katına çıkar. Korelasyon 0,99'da çarpan yaklaşık 50, standart hata yaklaşık 7,1 kattır. Bu tablo, bağlantının etkisinin korelasyonla doğrusal değil, bire yaklaştıkça hızla büyüyen bir biçimde arttığını gösterir: 0,8 ile 0,95 arasındaki fark, 0,5 ile 0,8 arasındakinden çok daha büyük bir kesinlik kaybı demektir.

Eşikler ve bağlam

Uygulamada varyans şişirme çarpanının 10'u, bazen 5'i aşması güçlü bağlantı işareti sayılır. Robert O'Brien 2007'de yayımladığı bir makalede bu eşiklerin kuramsal bir dayanağı olmadığını ve mekanik bir kesme noktası gibi kullanılmaması gerektiğini vurguladı. Aynı çarpan, büyük bir örneklemde küçük bir standart hataya, küçük bir örneklemde ise çok büyük bir standart hataya karşılık gelebilir.

Daha anlamlı soru, standart hatanın ilgilenilen soruyu cevaplamaya yetip yetmediğidir. Çarpan 20 olsa bile güven aralığı ekonomik olarak anlamlı sonuçları ayırt edecek kadar darsa, bağlantı pratik bir sorun değildir. Çarpan 3 olsa bile aralık çok genişse, sorun bağlantıdan çok örneklemin küçüklüğü ya da hata varyansının büyüklüğüdür.

Koşul sayısı ve sayısal kararlılık

Koşul sayısı, bütün açıklayıcıların birlikte ne kadar ayırt edilemez olduğunu özetler. Longley'nin verisinde, değişkenler ham birimleriyle kullanıldığında koşul sayısı dört milyarın üzerindedir; bu, değişkenlerin ölçeklerinin çok farklı olmasından da kaynaklanır. Değişkenler ortalamadan arındırılıp standart sapmalarına bölündüğünde koşul sayısı yaklaşık 110'a iner, ama yine yüksektir.

David Belsley, Edwin Kuh ve Roy Welsch'in 1980'de yayımladıkları kitapta geliştirdikleri tanı yöntemlerinde, ölçeklendirilmiş verilerle 30'u aşan koşul endeksleri güçlü bağlantı işareti olarak kabul edilir. Bu ölçü, Longley'nin gösterdiği sayısal sorunla da doğrudan ilişkilidir: koşul sayısı büyüdükçe hesaplamalar yuvarlama hatalarına daha duyarlı hâle gelir. Bugünkü yazılımlar sayısal olarak daha kararlı algoritmalar kullanır, ama çok yüksek koşul sayılarında hâlâ uyarı verir.

Ortak anlamlılık

Bağlantılı değişkenler tek tek anlamsız çıktığında, ilk yapılması gereken onları birlikte sınamaktır. Ortak anlamlılık testi, bu değişkenlerin hepsinin katsayısının sıfır olduğu hipotezini sınar. Bu test, değişkenlerin ortak etkisine baktığı için bağlantıdan etkilenmez.

Örneğin bir tüketim modelinde hane geliri ve hane serveti birbirine çok bağlı olsun ve her birinin t istatistiği 1,5 civarında kalsın. İkisinin birlikte sıfır olduğu hipotezini sınayan F istatistiği ise çok büyük çıkabilir. Bu sonuç, verinin gelir ve servetin birlikte tüketimi etkilediğini güçlü biçimde gösterdiğini, ama bu etkiyi ikisi arasında paylaştıramadığını söyler.

Kare terimler ve ortalamadan arındırma

Bir değişkenle onun karesini birlikte kullanmak, örneğin yaşla yaşın karesini, yapısal bir bağlantı yaratır. Yaşın 20 ile 60 arasında düzgün dağıldığı bir örneklemde, yaş ile karesi arasındaki korelasyon yaklaşık 0,99'dur ve iki değişkenin varyans şişirme çarpanı 58 civarındadır.

Yaş, karesi alınmadan önce ortalamasından arındırılırsa, yani her gözlemden ortalama yaş olan 40 çıkarılırsa, arındırılmış yaş ile karesi arasındaki korelasyon simetrik bir dağılımda sıfıra iner. Bu dönüşüm modeli değiştirmez: tahmin edilen eğri, dönüm noktası ve uyum aynıdır. Değişen yalnızca katsayıların yorumudur: arındırılmış modelde doğrusal terimin katsayısı, ortalama yaştaki marjinal etkiyi gösterir ve çok daha kesin tahmin edilir. Bu örnek, bağlantının bazen modelin sorusundan değil yalnızca yazılış biçiminden kaynaklandığını gösterir.

Etkileşim terimleri

Kuklalarla kurduğumuz etkileşim terimleri de benzer bir yapısal bağlantı üretir. Bir kadın kuklası ile deneyimin çarpımı, hem kuklayla hem de deneyimle güçlü biçimde ilişkilidir; çünkü çarpım yalnızca kadınlar için sıfırdan farklıdır ve deneyimle birlikte büyür. Bu yüzden etkileşimli modellerde ana terimlerin varyans şişirme çarpanları çoğu zaman yüksek çıkar.

Burada da ortalamadan arındırma yardımcı olur: deneyim ortalamasından arındırılıp çarpım bu arındırılmış değişkenle kurulduğunda, ana terimlerle etkileşim arasındaki korelasyon belirgin biçimde düşer. Etkileşim katsayısının kendisi ve onun standart hatası ise değişmez. Bu, yüksek çarpanların bazen yalnızca katsayıların hangi noktada yorumlandığıyla ilgili olduğunu, etkileşimin ne kadar kesin ölçüldüğüyle ilgisi bulunmadığını gösterir.

Teşhisin sırası

Bir regresyonda bağlantıdan şüphelenildiğinde, izlenecek sıra bellidir. İlk adım, açıklayıcılar arasındaki ikili korelasyonlara ve saçılım grafiklerine bakmaktır; ama ikili korelasyonlar, üç veya daha çok değişkenin birlikte oluşturduğu bağlantıyı gözden kaçırabilir. İkinci adım, her değişken için varyans şişirme çarpanını hesaplamak ve hangi değişkenlerin etkilendiğini belirlemektir.

Üçüncü adım, etkilenen değişkenlerin ilgilenilen değişkenler mi, yoksa yalnızca kontroller mi olduğunu sormaktır. Dördüncü adım, katsayıların güven aralıklarının soruyu cevaplamaya yetip yetmediğini değerlendirmektir. Ancak bu adımlardan sonra, aralıklar gerçekten çok genişse ve soru ayrı etkileri gerektiriyorsa, aşağıdaki seçeneklerden birine başvurulur. Bu sıra, bağlantıyı mekanik bir eşik aşıldığında değil, ilgilenilen soruya zarar verdiğinde ele almayı sağlar.

Seçenek bir: daha fazla ve daha çeşitli veri

Goldberger'in hatırlattığı gibi, bağlantının asıl ilacı bilgidir. Daha fazla gözlem, standart hataları küçültür; ama daha önemlisi, bağlantılı değişkenlerin birbirinden bağımsız olarak değiştiği gözlemlerdir. Gelir ile servetin birlikte arttığı bir örnekleme, geliri yüksek ama serveti düşük genç haneleri ya da serveti yüksek ama geliri düşük emeklileri eklemek, iki etkiyi ayırt etmeyi mümkün kılar.

Zaman serisi verilerinde kesit verisi eklemek, ülke ya da il verilerini bir araya getirmek, farklı dönemleri birleştirmek bu tür bağımsız değişim sağlayabilir. Bu seçenek her zaman mümkün değildir, ama mümkün olduğunda bağlantıyı gerçekten çözen tek yoldur.

Seçenek iki: değişkeni çıkarmak

Bağlantılı değişkenlerden birini modelden çıkarmak, kalanın standart hatasını küçültür. Ama çoklu regresyon dersinde gördüğümüz gibi, çıkarılan değişken bağımlı değişkeni etkiliyorsa ve kalanla ilişkiliyse, kalan değişkenin katsayısı sapmalı hâle gelir. Kesinlik kazancı, doğruluk kaybıyla ödenir.

Bu seçenek, çıkarılan değişkenin gerçek etkisinin sıfıra yakın olduğuna dair güçlü bir kuramsal ya da ampirik gerekçe varsa makuldür. Bir başka durumda da savunulabilir: iki değişken aynı kavramın farklı ölçüleriyse, örneğin iki ayrı gelir göstergesiyse, ikisini birden kullanmak zaten aynı şeyi iki kez ölçmektir.

Seçenek üç: değişkenleri birleştirmek

Bağlantılı değişkenler ortak bir kavramı yansıtıyorsa, onları tek bir göstergede birleştirmek hem bağlantıyı giderir hem de yorumu kolaylaştırır. Örneğin eğitim, gelir ve meslek bilgisi tek bir sosyoekonomik düzey endeksinde birleştirilebilir. Temel bileşenler analizi gibi yöntemler, bu birleştirmeyi veriye dayanarak yapar.

Bu seçeneğin bedeli, ayrı etkilerin artık ölçülmemesidir. Soru «gelirin ve servetin ayrı etkisi nedir?» değil, «ekonomik refahın etkisi nedir?» hâline gelir. Soru bu biçimde anlamlıysa, birleştirme dürüst bir çözümdür; ayrı etkiler gerçekten gerekiyorsa, birleştirme sorunu çözmez, yalnızca görünmez kılar.

Seçenek dört: sırt regresyonu

Arthur Hoerl ve Robert Kennard 1970'te, bağlantı altında en küçük kareler katsayılarının aşırı büyük ve kararsız olabileceğini ve katsayıları sıfıra doğru çeken bir cezanın toplam hatayı azaltabileceğini gösterdi. Sırt regresyonu, bağlantılı değişkenlerin katsayılarını birbirine yaklaştırır ve işaret değişimleri gibi kararsızlıkları yumuşatır.

Bu yöntem özellikle tahmin amaçlı çalışmalarda ve çok sayıda açıklayıcının bulunduğu makine öğrenmesi uygulamalarında yaygındır. Nedensel etkileri ölçmek isteyen çalışmalarda ise dikkatle kullanılmalıdır: katsayılar bilinçli olarak sapmalıdır ve standart güven aralıkları doğrudan uygulanamaz. Ceza parametresinin nasıl seçildiği, sonuçları belirleyen bir araştırmacı kararıdır.

Çözümlü örnek — Hangi yolu seçmeli?

Bir araştırmacı, 81 ilin verisiyle konut fiyatlarını nüfus, işgücü ve ortalama gelirle açıklıyor. Nüfus ile işgücü arasındaki korelasyon 0,98'dir; iki değişkenin varyans şişirme çarpanı yaklaşık 25'tir. Nüfusun katsayısı pozitif ama anlamsız, işgücününki negatif ve anlamsızdır; ikisinin ortak anlamlılık testi ise yüzde 1 düzeyinde anlamlıdır.

Araştırmacının sorusu gelirin etkisiyse, gelirin çarpanı 2 civarındaysa ve güven aralığı darsa, bağlantı sorun değildir; nüfus ve işgücü kontrol olarak kalabilir. Soru nüfus ile işgücünün ayrı etkileriyse, veri bu soruyu cevaplayamaz; en dürüst yol bunu açıkça yazmak, iki değişkenin ortak etkisini raporlamak ve ayrı etkiler için işgücüne katılım oranının illere göre farklılaştığı dönemleri ya da ek veri kaynaklarını aramaktır. İşgücünü çıkarıp nüfusun katsayısını anlamlı bulmak ise, nüfusa işgücünün etkisini de yüklemek anlamına gelir.

Uygulama

Özet kartı

1. Çoklu doğrusal bağlantı, bir açıklayıcının öbürleriyle büyük ölçüde açıklanabilmesidir; katsayıları saptırmaz ve Gauss–Markov teoremini bozmaz, ama bağlantılı değişkenlerin ayrı etkilerini ayırt etmek için gereken bilgiyi azaltır. Tam doğrusal bağlantıda ise katsayılar hiç belirlenemez.
2. Varyans şişirme çarpanı, bir eksi yardımcı belirlilik katsayısının tersidir; iki değişken arasındaki korelasyon 0,8'den 0,95'e çıktığında çarpan yaklaşık 2,8'den 10,3'e, standart hata ise 1,7 kattan 3,2 kata yükselir.
3. Longley'nin 1967'deki 16 yıllık ABD verisinde belirlilik katsayısı 0,995 iken katsayıların yarısı anlamsızdır, hasılanın çarpanı yaklaşık 1.789'dur ve tek bir yılı çıkarmak iki katsayının işaretini değiştirir.
4. Bağlantı modelin açıklama gücünü, tahminleri ve bağlantılı değişkenlerin ortak etkisini etkilemez; ortak anlamlılık testi bu ortak etkiyi sınar. Kare terimlerde ortalamadan arındırma, modeli değiştirmeden yapısal bağlantıyı azaltır.
5. Goldberger'in hatırlattığı gibi bağlantı özünde bir bilgi eksikliğidir; daha çeşitli veri gerçek çözümdür, değişken çıkarmak sapma, birleştirmek soru değişikliği, sırt regresyonu ise bilinçli bir sapma-varyans takası getirir.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Tam doğrusal bağlantı ile güçlü ama tam olmayan bağlantı arasındaki fark nedir? Her durum için somut bir örnek düşün.
2. (Çıktı 2) Güçlü bağlantı altında katsayılar neden sapmasız kalır ama kararsızlaşır? Goldberger'in «küçük sayılılık» benzetmesi bu durumu nasıl açıklar?
3. (Çıktı 3) Bir değişken öbür açıklayıcılarla regresyona sokulduğunda belirlilik katsayısı 0,96 çıkmıştır. Varyans şişirme çarpanını ve standart hatanın kaç kat büyüdüğünü hesapla.
4. (Çıktı 3) İki açıklayıcı arasındaki korelasyon 0,9'dur. Varyans şişirme çarpanını hesapla. Aynı bilgiyi korelasyonu sıfır olan iki değişkenle elde etmek için örneklemin yaklaşık kaç kat büyük olması gerekirdi?
5. (Çıktı 3) Deneyim yılı 0 ile 40 arasında düzgün dağılmış bir örneklemde deneyim ve deneyimin karesi birlikte kullanılıyor. Bağlantıyı azaltmak için ne yapılabilir? Bu dönüşümden sonra dönüm noktası ve tahmin edilen ücret profili değişir mi?
6. (Çıktı 4) Bir araştırmacı, «Nüfus ve işgücünün varyans şişirme çarpanları 25; işgücünü çıkardım ve nüfusun katsayısı anlamlı oldu, demek ki konut fiyatlarını belirleyen nüfus» diyor. Çıkarılan değişken yanlılığını, ortak anlamlılık testini ve bağlantıya karşı öbür seçenekleri kullanarak bu çıkarımın sağlamlığını tart.

Cevaplar

1. Tam doğrusal bağlantıda bir açıklayıcı, öbürlerinin kesin bir doğrusal birleşimidir; katsayılar tek bir biçimde belirlenemez ve yazılım bir değişkeni dışarıda bırakır. Örnek: bütün bölgeler için kukla değişken ile sabit terimi birlikte kullanmak ya da aynı geliri hem lira hem bin lira cinsinden modele koymak. Güçlü ama tam olmayan bağlantıda ise değişkenler birbirine çok yakındır ama tam olarak aynı değildir; katsayılar hesaplanabilir ama belirsizdir. Örnek: bir kentin nüfusu ile çalışan sayısı ya da Longley verisindeki hasıla ile deflatör.
2. Bağlantı klasik varsayımların hiçbirini bozmaz; hatalar açıklayıcılarla ilişkisiz kaldığı sürece katsayılar ortalamada doğrudur. Ama katsayılar yalnızca değişkenlerin birbirinden bağımsız olarak değiştiği kısımdan öğrenir; bu kısım küçükse, birkaç gözlemdeki değişiklik tahmini büyük ölçüde oynatır. Goldberger'in benzetmesi, bu durumun küçük örneklemle aynı olduğunu gösterir: her ikisinde de katsayıyı belirleyecek bağımsız bilgi azdır; bağlantı yalnızca bu bilgi eksikliğinin belirli bir biçimidir.
3. Çarpan, bir bölü bir eksi 0,96, yani 1 bölü 0,04, 25'tir. Standart hata bunun karekökü olan 5 kat büyür.
4. Çarpan, bir bölü bir eksi 0,81, yani 1 bölü 0,19, yaklaşık 5,26'dır. Varyans örneklem büyüklüğüyle ters orantılı olduğu için, aynı kesinliğe ilişkisiz değişkenlerle ulaşmak yaklaşık 5,26 kat daha küçük bir örneklemle mümkün olurdu; tersinden bakıldığında, bağlantılı değişkenlerle aynı kesinliğe ulaşmak için örneklemin yaklaşık 5,3 kat büyük olması gerekir.
5. Deneyim, karesi alınmadan önce ortalamasından arındırılabilir: her gözlemden ortalama deneyim olan 20 çıkarılır ve arındırılmış değişken ile onun karesi kullanılır. Simetrik bir dağılımda bu iki değişken arasındaki korelasyon sıfıra iner. Dönüşüm modeli değiştirmez: tahmin edilen ücret profili, dönüm noktası ve uyum aynıdır; yalnızca doğrusal terimin katsayısı artık ortalama deneyimdeki marjinal etkiyi gösterir ve daha kesin tahmin edilir.
6. Yaklaşım yanıltıcıdır. İşgücü konut fiyatlarını gerçekten etkiliyorsa ve nüfusla güçlü biçimde ilişkiliyse, onu çıkarmak nüfusun katsayısını sapmalı kılar: nüfusun katsayısı artık işgücünün etkisini de taşır. Anlamlılığın ortaya çıkması, nüfusun kendi etkisinin kanıtı değil, iki etkinin bir değişkende toplanmasının sonucudur. Daha dürüst bir yol, iki değişkenin ortak anlamlılık testini raporlamak ve verinin ikisinin birlikte etkili olduğunu ama etkiyi aralarında paylaştıramadığını açıkça yazmaktır. Ayrı etkiler gerçekten gerekiyorsa, işgücüne katılım oranının illere ya da dönemlere göre farklılaştığı ek veriler aranmalı; soru ortak bir kavramla anlamlıysa, iki değişken tek bir göstergede birleştirilebilir.

İleri okuma

• J. W. Longley (1967). «An Appraisal of Least Squares Programs for the Electronic Computer from the Point of View of the User». Journal of the American Statistical Association 62(319). Bağlantının sayısal sonuçlarını gösteren klasik çalışma ve ünlü test veri seti.
• Arthur S. Goldberger (1991). A Course in Econometrics. Harvard University Press. Bölüm 23'te küçük sayılılık benzetmesiyle bağlantıya eleştirel bakış.
• Arthur E. Hoerl ve Robert W. Kennard (1970). «Ridge Regression: Biased Estimation for Nonorthogonal Problems». Technometrics 12(1). Sırt regresyonunun temel makalesi.
• Robert M. O'Brien (2007). «A Caution Regarding Rules of Thumb for Variance Inflation Factors». Quality & Quantity 41(5). Çarpan eşiklerine neden temkinle yaklaşılmalı.

Sonraki derse köprü

Bir değişkeni modele katmanın ya da modelden çıkarmanın katsayıları nasıl değiştirebileceğini gördük: gereksiz bir değişken kesinliği azaltır, gerekli bir değişkeni çıkarmak ise sapma yaratır. Bu ödünleşim daha genel bir soruya işaret eder: elimizdeki değişkenlerden hangileri modelde yer almalı? Açıklama gücünü artırmak için her değişkeni eklemek neden yanıltıcıdır ve birbiriyle yarışan modeller nasıl karşılaştırılır? Sıradaki ders model seçimini ele alıyor: aşırı uyumu, bilgi ölçütlerini, örneklem dışı sınamayı ve kuramın model kurmadaki rolünü inceleyeceğiz.