En küçük kareler yöntemi (OLS)

Öğrenme çıktıları

• Hatırlama — Anakütle regresyon fonksiyonunu, hata terimini, uydurulmuş değeri, normal denklemleri, regresyonun standart hatasını ve etkili gözlemi tanımlar.
• Anlama — En küçük kareler yönteminin neden hata karelerinin toplamını küçülttüğünü, bu seçimin kalıntılara hangi özellikleri kazandırdığını ve bir tahmin edici olarak neden örneklemden örnekleme değiştiğini açıklar.
• Uygulama — Birkaç gözlemlik bir veri setinde eğimi, sabit terimi, kalıntıları, belirlilik katsayısını ve eğimin standart hatasını elle hesaplar; tek bir gözlemin sonucu nasıl değiştirebileceğini gösterir.
• Değerlendirme — En küçük kareler yönteminin güçlü yanlarını, aykırı ve etkili gözlemlere karşı duyarlılığını ve alternatif yöntemleri birlikte tartar.

Sezgi

Açılış

Bir veri bulutuna bakan iki kişi, onun içinden farklı doğrular geçirebilir. Biri gözüyle en uygun görüneni çizer, öbürü uç noktaları birleştirir, bir başkası ortadaki yoğunluğa odaklanır. Bilimde ve iktisatta sonuçların tekrarlanabilir olması için, herkesin aynı veriden aynı doğruya ulaşmasını sağlayan açık bir kurala ihtiyaç vardır.

Önceki derste ekonometrinin amaçlarını ve verinin arkasındaki süreci düşünmenin önemini gördük. Bu derste o sürecin ilk ve en çok kullanılan aracına geçiyoruz. İstatistik derslerinde regresyon doğrusunu ve en küçük kareler fikrini tanıtmıştık; burada yöntemin mantığını daha derinlemesine kuracak, katsayıların nereden geldiğini adım adım hesaplayacak, tahminlerin ne kadar kesin olduğunu ölçecek ve yöntemin zayıf noktalarını tartışacağız.

Hikâye — Kaybolan gezegen

1 Ocak 1801 gecesi, Palermo Gözlemevi'nde çalışan gökbilimci Giuseppe Piazzi, gökyüzünde yıldız haritalarında bulunmayan küçük bir ışık noktası fark etti. Sonraki haftalarda noktanın yerini izledi ve onun bir yıldız değil, güneşin çevresinde dönen yeni bir gök cismi olduğunu anladı. Bu cisme Ceres adı verildi. Ama birkaç hafta sonra Ceres güneşin parıltısı içinde kayboldu. Elde yalnızca kırk günlük, gökyüzünün küçük bir parçasını kapsayan dağınık gözlemler vardı.

Avrupa'nın gökbilimcileri Ceres'in yeniden nerede görüneceğini tahmin etmeye çalıştı. Henüz yirmi dört yaşındaki Alman matematikçi Carl Friedrich Gauss, bu az ve hatalı gözlemlerden cismin yörüngesini hesaplamak için kendi geliştirdiği bir yöntemi kullandı. Tahmini öbürlerinden belirgin biçimde farklıydı. 1801'in son gecesi gökbilimci Franz Xaver von Zach, Ceres'i Gauss'un tahmin ettiği yere çok yakın bir noktada yeniden buldu.

Gauss yöntemini hemen yayımlamadı. 1805'te Fransız matematikçi Adrien-Marie Legendre, kuyruklu yıldızların yörüngeleri üzerine hazırladığı bir çalışmanın ekinde, gözlemler ile hesap arasındaki farkların karelerinin toplamını en küçük yapan bir yöntem önerdi ve ona «en küçük kareler yöntemi» adını verdi. Gauss 1809'da yayımladığı kitabında aynı yöntemi 1795'ten beri kullandığını yazdı. İstatistik tarihinin en ünlü öncelik tartışması böyle başladı. Bugün iktisatçıların her gün kullandığı yöntem, o dönem gezegen sayılan bir gök cismini bulmak için doğmuştu.

Kavram

Gauss'un sorunu, gürültülü gözlemlerin arkasındaki gerçek yörüngeyi bulmaktı. İktisatçının sorunu da benzerdir: dağınık verilerin arkasındaki gerçek ilişkiyi tahmin etmek.

Anakütledeki ilişki, tek tek gözlemleri tam olarak açıklamaz. Her gözlem, bu ortalamadan biraz sapar.

Tahmin edilen doğru, her gözlem için bir tahmin üretir. Bu tahminler, kalıntıların hesaplandığı noktalardır.

En küçük kareler çözümü, iki koşulun aynı anda sağlanmasıyla bulunur. Bu koşullar, yöntemin bütün özelliklerinin kaynağıdır.

Tahmin edilen doğrunun verilere ne kadar yakın durduğunu ölçmenin bir yolu, kalıntıların tipik büyüklüğüne bakmaktır. Bu büyüklük, açıklanan değişkenin birimiyle ifade edilir.

Bütün gözlemler doğrunun konumunu eşit ölçüde belirlemez. Bazıları, tek başına sonucu değiştirecek kadar güçlüdür.

Veri ve kanıt

Tartışmanın bugünkü önemi, kimin haklı olduğundan çok yöntemin neden hızla yayıldığıdır. Legendre'nin sunumu, hesabı herkesin uygulayabileceği basit bir işleme dönüştürüyordu. Gauss ise sonradan yöntemi olasılık kuramına bağlayarak, hataların belirli bir dağılıma uyduğu durumlarda en küçük kareler çözümünün neden en makul tahmin olduğunu gösterdi. Bir yöntemin bilimde yerleşmesi için hem kolay uygulanabilir hem de kuramsal olarak gerekçelendirilebilir olması gerekiyordu.

Bu çalışma, en küçük kareler yönteminin iktisattaki yaygınlığını ve sınırını birlikte gösterir. Aynı basit denklem onlarca yıl boyunca yüzlerce çalışmada tahmin edildi ve politika tartışmalarına girdi oldu; ama yöntemin verdiği katsayının anlamı, denklemin arkasındaki varsayımların verilerle uyuşmasına bağlıydı. Ekonometrinin amacını tartışırken gördüğümüz gibi, bu katsayılar eğitim ile kazanç arasındaki ilişkiyi ölçer; yetenek ve aile olanakları gibi etkenler eğitimle ilişkiliyse, katsayı eğitimin nedensel etkisinden farklı olabilir.

Neden önemli?

En küçük kareler yöntemi, iktisatta ve öbür sosyal bilimlerde en çok kullanılan istatistiksel araçtır. Merkez bankalarının enflasyon modellerinden, bir şirketin satış tahminlerine, bir belediyenin trafik projeksiyonlarından bir araştırmacının eğitim getirisi hesaplarına kadar sayısız analiz bu yönteme dayanır. Elektronik tablolardaki eğilim çizgisi özelliği de aynı hesabı yapar.

Yöntemi anlamak, onun çıktısını doğru okumak için gereklidir. Bir raporda karşılaşılan bir katsayının, standart hatasının ya da belirlilik katsayısının ne anlama geldiğini bilmek, iddiaların gücünü değerlendirmeyi sağlar. Yöntemin tek bir uç gözleme ne kadar duyarlı olabileceğini bilmek de, dikkat çekici bir bulguyla karşılaşıldığında sorulması gereken ilk soruyu öğretir: bu sonuç birkaç gözleme mi dayanıyor?

Model

Anakütle ve örneklem

Ekonometrik analizde iki düzey birbirinden ayrılır. Anakütle düzeyinde, açıklayıcı değişkenin her değeri için açıklanan değişkenin ortalamasını veren bir ilişki vardır; bu ilişkinin sabit terimi ve eğimi bilinmeyen parametrelerdir. Her gözlem bu ortalamadan bir hata terimi kadar sapar.

Örneklem düzeyinde ise elimizde yalnızca sınırlı sayıda gözlem vardır. Bu gözlemlerden, anakütledeki parametrelerin tahminlerini hesaplarız. Tahmin edilen sabit terim ve eğim, gerçek parametrelerin kendisi değil, onların bu örnekleme dayanan tahminleridir. Aynı anakütleden başka bir örneklem çekilseydi, farklı tahminler elde edilirdi.

Neden kareler?

Bir doğrunun verilere ne kadar uyduğunu ölçmek için kalıntılara bakarız. Kalıntıların düz toplamını kullanamayız, çünkü pozitif ve negatif sapmalar birbirini götürür; verilerin ortalamasından geçen her doğru sıfır toplam kalıntı verir. Kalıntıların mutlak değerlerini toplamak bir seçenektir, ama karelerin toplamını kullanmanın birkaç avantajı vardır.

Birincisi, kareler toplamını en küçük yapan doğru her zaman tektir ve basit formüllerle hesaplanır. İkincisi, yöntem ortalamayla yakından bağlantılıdır: yalnızca sabit terimden oluşan bir modelde, kalıntı karelerini en küçük yapan değer örneklem ortalamasıdır. Üçüncüsü, büyük sapmaları küçüklerden çok daha ağır cezalandırır; bu, bir yandan büyük hatalardan kaçınmayı sağlar, öbür yandan uç gözlemlere karşı duyarlılığa yol açar.

Normal denklemler ve formüller

Kalıntı karelerinin toplamını en küçük yapmak için, bu toplamın sabit terime ve eğime göre türevleri sıfıra eşitlenir. Matematik derslerinde gördüğümüz bu adım, iki koşul verir. İlk koşul, kalıntıların toplamının sıfır olmasıdır; buradan doğrunun her iki değişkenin ortalamasından geçtiği sonucu çıkar. İkinci koşul, kalıntıların açıklayıcı değişkenle ilişkisiz olmasıdır.

Bu iki koşul birlikte çözüldüğünde, istatistik derslerinde gördüğümüz formül elde edilir: eğim, iki değişkenin sapmalarının çarpımlarının toplamının, açıklayıcı değişkenin sapmalarının karelerinin toplamına bölümüdür. Sabit terim ise açıklanan değişkenin ortalamasından, eğimin açıklayıcı değişkenin ortalamasıyla çarpımının çıkarılmasıyla bulunur.

Çözümlü örnek — Beş gözlemle en küçük kareler

Beş çalışanın eğitim yılları 8, 10, 12, 14 ve 16; aylık kazançları bin lira olarak 20, 24, 25, 30 ve 31 olsun. Eğitimin ortalaması 12, kazancın ortalaması 26'dır. Eğitimin ortalamadan sapmaları eksi 4, eksi 2, 0, 2 ve 4; kazancınkiler eksi 6, eksi 2, eksi 1, 4 ve 5'tir. Sapma çarpımlarının toplamı 24 artı 4 artı 0 artı 8 artı 20, yani 56'dır; eğitim sapmalarının karelerinin toplamı 40'tır.

Eğim, 56'nın 40'a bölümü olan 1,4'tür: bir yıllık ek eğitim, ortalamada 1.400 liralık ek aylık kazançla ilişkilidir. Sabit terim, 26 eksi 1,4 çarpı 12, yani 9,2'dir. Uydurulmuş değerler 20,4; 23,2; 26,0; 28,8 ve 31,6'dır. Kalıntılar eksi 0,4; 0,8; eksi 1,0; 1,2 ve eksi 0,6'dır ve toplamları sıfırdır. Kalıntıların eğitim sapmalarıyla çarpımlarının toplamı da sıfırdır: 1,6 eksi 1,6 artı 0 artı 2,4 eksi 2,4. İki normal denklem sağlanmıştır.

Uyum ve belirlilik katsayısı

Kalıntı karelerinin toplamı 0,16 artı 0,64 artı 1 artı 1,44 artı 0,36, yani 3,6'dır. Kazancın ortalamadan sapmalarının karelerinin toplamı ise 36 artı 4 artı 1 artı 16 artı 25, yani 82'dir. Belirlilik katsayısı, 1 eksi 3,6'nın 82'ye bölümü olan yaklaşık 0,956'dır: kazançtaki yayılımın yaklaşık yüzde 96'sı eğitimle ilişkilendirilmiştir.

Bu kadar yüksek bir belirlilik katsayısı, gerçek verilerde nadiren görülür; örnekteki veriler öğretim amacıyla düzenli seçilmiştir. Gerçek kazanç verilerinde, eğitimin açıkladığı pay çoğu zaman çok daha düşüktür, çünkü kazanç yaş, deneyim, sektör, şehir ve pek çok gözlenmeyen etkene bağlıdır. Düşük bir belirlilik katsayısı, tahmin edilen eğimin yanlış olduğu anlamına gelmez; yalnızca modelin açıklanan değişkenin yayılımının küçük bir kısmını kapsadığını gösterir.

En küçük kareler bir tahmin edicidir

İstatistik derslerinde tahmin edici kavramını görmüştük: örneklem verilerinden bir anakütle parametresini tahmin eden kural. En küçük kareler formülü de böyle bir kuraldır. Formül her örnekleme uygulandığında bir sayı verir; bu sayılar örneklemden örnekleme değişir ve bir örneklem dağılımı oluşturur.

Gerçek eğimin 1,5 olduğu bir anakütleden bin kez beşer gözlemlik örneklem çekip her birinde eğimi hesapladığımızı düşünelim. Tahminler 1,5'in çevresinde dağılır; bazıları 1,2, bazıları 1,8 olabilir. Bu dağılımın merkezinin gerçek eğime denk gelip gelmediği ve ne kadar yayıldığı, veri üretme sürecine dair varsayımlara bağlıdır. Sıradaki ders bu varsayımları ele alacak.

Eğimin standart hatası

Tahminin ne kadar kesin olduğunu ölçmek için eğimin standart hatası kullanılır. Bu hata, regresyonun standart hatasının, açıklayıcı değişkenin sapma karelerinin toplamının kareköküne bölümüyle hesaplanır. Formül, kesinliği artıran üç etkeni gösterir: kalıntıların küçük olması, gözlem sayısının büyük olması ve açıklayıcı değişkenin geniş bir aralığa yayılmış olması.

Son etken sezgiseldir. Eğitim yılları birbirine çok yakın olan kişilerden oluşan bir örneklemde, eğitimin kazançla ilişkisini ayırt etmek zordur. Eğitim yılları geniş bir aralığa yayıldığında ise ilişki çok daha açık görünür ve eğim daha kesin tahmin edilir.

Çözümlü örnek — Kesinliği ölçmek

Önceki örnekte kalıntı karelerinin toplamı 3,6, gözlem sayısı 5 ve tahmin edilen katsayı sayısı 2'dir; serbestlik derecesi 3'tür. Regresyonun standart hatası, 3,6'nın 3'e bölümünün karekökü, yani yaklaşık 1,095'tir: tipik bir kalıntı yaklaşık 1.100 liradır.

Eğimin standart hatası, 1,095'in 40'ın kareköküne, yani yaklaşık 6,32'ye bölümü olan yaklaşık 0,173'tür. Tahmin edilen eğim 1,4, standart hatası 0,173'tür; eğim, standart hatasının yaklaşık 8 katıdır. Bu oran, sonraki derslerde hipotez testlerinde kullanacağımız temel ölçünün ilk biçimidir. Kabaca söylersek, eğimin sıfır olduğu bir anakütleden böyle bir tahmin elde etmek çok olası değildir.

Birimler ve ölçek

En küçük kareler katsayıları, değişkenlerin ölçüldüğü birimlere bağlıdır. Kazanç bin lira yerine lira olarak ölçülürse, eğim ve sabit terim bin kat büyür; eğitim yıl yerine ay olarak ölçülürse, eğim on iki kat küçülür. Bu değişiklikler, verilerin anlattığı ilişkiyi değiştirmez; yalnızca aynı ilişkiyi farklı bir dille ifade eder.

Birimlerden etkilenmeyen ölçüler de vardır. Belirlilik katsayısı, eğimin standart hatasına oranı ve uydurulmuş değerlerin verilere uyumu, birim değişikliğiyle değişmez. Bu yüzden bir katsayının «büyük» ya da «küçük» olduğunu söylemeden önce, hangi birimlerle ölçüldüğüne bakmak gerekir. Birimlerden bağımsız bir karşılaştırma için bazen değişkenler standartlaştırılır ya da logaritmaları alınır; bu seçenekleri fonksiyonel formu ele alacağımız derste inceleyeceğiz.

Çözümlü örnek — Ölçeği değiştirmek

Önceki örnekte kazanç bin lira, eğitim yıl olarak ölçülmüş ve eğim 1,4 bulunmuştu. Kazanç lira olarak ölçülürse eğim 1.400 olur: bir yıllık ek eğitim, ortalamada 1.400 liralık ek aylık kazançla ilişkilidir. Sabit terim de 9,2'den 9.200'e çıkar. Anlatılan ilişki aynıdır.

Eğitim ay olarak ölçülürse, bir yıllık fark 12 aya karşılık gelir; eğim 1,4'ün 12'ye bölümü olan yaklaşık 0,117 bin liraya, yani bir aylık ek eğitim için yaklaşık 117 liraya iner. Standart hata da aynı oranda küçülür; eğimin standart hatasına oranı yaklaşık 8 olarak kalır. Belirlilik katsayısı ise her durumda yaklaşık 0,956'dır.

Etkili gözlemler

En küçük kareler büyük kalıntıları karesiyle cezalandırdığı için, doğrudan çok uzakta duran tek bir gözlem, doğruyu kendine doğru çekebilir. Bu etki, gözlem açıklayıcı değişkenin ortalamasından uzaktaysa özellikle büyüktür; böyle bir nokta bir kaldıraç gibi davranır.

Bu yüzden bir regresyon sonucunu raporlamadan önce veriyi çizmek ve tek tek gözlemleri çıkarıp sonucun nasıl değiştiğine bakmak iyi bir uygulamadır. Sonucu birkaç gözlem belirliyorsa, bu gözlemlerin veri hatası mı yoksa gerçek ama sıra dışı durumlar mı olduğu araştırılmalıdır.

Çözümlü örnek — Tek bir gözlemin gücü

Önceki beş gözleme, eğitim yılı 20 ve aylık kazancı 20 bin lira olan altıncı bir kişi ekleyelim. Belki bu kişi uzun yıllar okuyup düşük ücretli bir işe girmiş, belki de veri yanlış girilmiştir. Altı gözlemle yeniden hesaplandığında eğim 1,4'ten yaklaşık 0,17'ye düşer; belirlilik katsayısı yaklaşık 0,956'dan yaklaşık 0,02'ye iner.

Tek bir gözlem, eğitim ile kazanç arasındaki güçlü ilişkiyi neredeyse yok etmiştir. Bu nokta, eğitimin ortalamasından en uzaktaki gözlemdir ve doğruya en az uyan noktadır; kaldıraç etkisi bu yüzden çok büyüktür. Gerçek bir araştırmada bu gözlemin doğruluğu kontrol edilmeli ve sonuçlar gözlemle ve gözlem olmadan ayrı ayrı raporlanmalıdır.

Alternatif: mutlak sapmalar

En küçük kareler tek seçenek değildir. On sekizinci yüzyılın ortasında Dubrovnikli bilim insanı Ruđer Bošković, kalıntıların mutlak değerlerinin toplamını en küçük yapan bir yöntem önermişti. Bu yöntem, ortalama yerine ortancayla bağlantılıdır ve uç gözlemlere karşı çok daha az duyarlıdır.

Roger Koenker ve Gilbert Bassett 1978'de bu fikri genelleştirerek, yalnızca ortancayı değil, dağılımın farklı yüzdeliklerini tahmin eden bir yöntem geliştirdi. Bu yöntemle, örneğin eğitimin düşük ücretliler ile yüksek ücretliler üzerindeki etkisinin farklı olup olmadığı incelenebilir. Ama en küçük kareler, hesaplama kolaylığı ve kuramsal özellikleri nedeniyle ekonometrinin temel aracı olmaya devam ediyor.

Birden çok açıklayıcı değişken

Gerçek analizlerde kazanç yalnızca eğitime değil, deneyime, cinsiyete, bölgeye ve sektöre de bağlıdır. En küçük kareler yöntemi, birden çok açıklayıcı değişkene kolayca genişletilebilir: yine kalıntı karelerinin toplamı en küçük yapılır, ama bu kez her açıklayıcı değişken için bir normal denklem vardır. Kalıntılar, modeldeki bütün açıklayıcı değişkenlerle ilişkisiz olacak biçimde belirlenir.

Ragnar Frisch ve Frederick Waugh 1933'te, çok değişkenli bir regresyondaki bir katsayının, o değişkenden öbür değişkenlerin etkisi arındırıldıktan sonra kalan kısmın açıklanan değişkenle ilişkisini gösterdiğini ortaya koydu. Sonradan Michael Lovell'in genelleştirdiği bu sonuç, «diğer değişkenler sabitken» yorumunun matematiksel temelidir. Çoklu regresyon ve bu yorum, iki ders sonra kendi başına bir konu olarak işlenecek.

Çıktıyı okumak

Bir elektronik tablo ya da istatistik yazılımı en küçük kareler regresyonunu çalıştırdığında, genellikle aynı biçimde bir tablo üretir. Her açıklayıcı değişken için bir katsayı, bu katsayının standart hatası ve ikisinin oranı yer alır; tablonun altında gözlem sayısı, belirlilik katsayısı ve regresyonun standart hatası bulunur. Bu derste elle hesapladığımız her sayı, o tablonun bir satırıdır.

Tabloyu okurken sorulacak ilk soru, katsayının hangi birimlerle ifade edildiğidir. İkincisi, standart hatanın katsayıya göre ne kadar büyük olduğudur. Üçüncüsü de sonucun kaç gözleme dayandığı ve etkili gözlemlerin varlığıdır. Sonraki derslerde tabloya eklenen her yeni sütunun, örneğin güven aralıklarının ve test istatistiklerinin, bu temel sayılardan türetildiğini göreceğiz.

Yöntemin sınırları

En küçük kareler yöntemi, verilere bir doğru uydurmanın mekanik bir kuralıdır. Kural, veriler hangi süreçten gelirse gelsin bir sonuç üretir. Bu sonucun anakütledeki gerçek ilişkinin iyi bir tahmini olup olmadığı ise yöntemin kendisine değil, veri üretme sürecine bağlıdır.

Önceki dersteki Moore örneğinde olduğu gibi, en küçük kareler bir arz eğrisini talep eğrisi sanan bir araştırmacıya da kesin bir eğim verir. Eğitim ile kazanç arasındaki regresyonda yetenek hata teriminde kalıyorsa, yöntem eğitimin ve yeteneğin karışık etkisini hesaplar. Yöntemin ne zaman gerçek parametreyi ortalamada doğru tahmin ettiğini söyleyen koşullar, sıradaki dersin konusudur.

Uygulama

Özet kartı

1. Anakütle regresyon fonksiyonu gerçek ama bilinmeyen ortalama ilişkidir; her gözlem bu ilişkiden gözlenemeyen bir hata terimi kadar sapar; örneklemden hesaplanan doğru ve kalıntılar bunların tahminleridir.
2. En küçük kareler yöntemi kalıntı karelerinin toplamını en aza indirir; normal denklemler kalıntıların toplamının sıfır olmasını ve açıklayıcı değişkenle ilişkisiz olmasını gerektirir, doğru ortalamalardan geçer.
3. Beş gözlemlik örnekte eğim 1,4, sabit terim 9,2, belirlilik katsayısı yaklaşık 0,96, regresyonun standart hatası yaklaşık 1,1 ve eğimin standart hatası yaklaşık 0,17 bulundu; kesinlik, küçük kalıntılar, çok gözlem ve açıklayıcı değişkende geniş yayılım ile artar.
4. Yöntem büyük sapmaları karesiyle cezalandırdığı için etkili gözlemlere duyarlıdır; uçtaki tek bir nokta eğimi 1,4'ten 0,17'ye indirebilir; mutlak sapmalara ve yüzdeliklere dayanan yöntemler bu duyarlılığı azaltır.
5. Gauss ve Legendre'nin yöntemi bugün dünyanın dört bir yanında eğitim getirisinden enflasyon tahminine kadar kullanılıyor; ama yöntem mekanik bir kuraldır ve sonucun anlamı veri üretme sürecine dair varsayımlara bağlıdır.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Hata terimi ile kalıntı arasındaki fark nedir? Hangisi gözlenebilir?
2. (Çıktı 2) En küçük kareler yönteminde kalıntıların toplamı neden sıfırdır? Bu koşuldan doğrunun konumu hakkında hangi sonuç çıkar?
3. (Çıktı 3) Beş gözlemde açıklayıcı değişken 6, 9, 12, 15 ve 18; açıklanan değişken 15, 21, 22, 27 ve 30'dur. Eğimi, sabit terimi ve kalıntıları hesapla.
4. (Çıktı 3) Üçüncü sorudaki verilerle kalıntı karelerinin toplamını, belirlilik katsayısını ve regresyonun standart hatasını hesapla. Açıklanan değişkenin sapma karelerinin toplamı 134'tür.
5. (Çıktı 2) Eğimin standart hatasını hangi etkenler küçültür? Açıklayıcı değişkenin geniş bir aralığa yayılması neden kesinliği artırır?
6. (Çıktı 4) Bir araştırmacı, «Veri setimde en küçük kareler yöntemi çok yüksek bir eğim verdi; belirlilik katsayısı da 0,9; demek ki bu ilişki kesin ve nedenseldir» diyor. Etkili gözlem kavramını, en küçük kareler yönteminin bir tahmin edici olarak doğasını ve yöntemin sınırlarını kullanarak bu çıkarımı sına.

Cevaplar

1. Hata terimi, gözlenen değer ile bilinmeyen anakütle regresyon fonksiyonunun verdiği değer arasındaki farktır ve gözlenemez, çünkü anakütle ilişkisi bilinmez. Kalıntı ise gerçek değer ile verilerden tahmin edilen doğrunun verdiği uydurulmuş değer arasındaki farktır ve hesaplanabilir. Kalıntılar, hata terimlerinin tahminleridir.
2. Kalıntı karelerinin toplamı sabit terime göre en küçük yapıldığında, türevin sıfıra eşitlenmesi kalıntıların toplamının sıfır olmasını gerektirir; bu normal denklemlerden ilkidir. Buradan, tahmin edilen doğrunun açıklayıcı değişkenin ve açıklanan değişkenin ortalamalarından oluşan noktadan geçtiği sonucu çıkar.
3. Açıklayıcı değişkenin ortalaması 12, açıklanan değişkeninki 23'tür. Sapma çarpımlarının toplamı 48 artı 6 artı 0 artı 12 artı 42, yani 108; açıklayıcı değişkenin sapma karelerinin toplamı 90'dır. Eğim, 108'in 90'a bölümü olan 1,2; sabit terim 23 eksi 1,2 çarpı 12, yani 8,6'dır. Uydurulmuş değerler 15,8; 19,4; 23; 26,6 ve 30,2'dir; kalıntılar eksi 0,8; 1,6; eksi 1; 0,4 ve eksi 0,2'dir ve toplamları sıfırdır.
4. Kalıntı karelerinin toplamı 0,64 artı 2,56 artı 1 artı 0,16 artı 0,04, yani 4,4'tür. Belirlilik katsayısı, 1 eksi 4,4'ün 134'e bölümü olan yaklaşık 0,967'dir. Regresyonun standart hatası, 4,4'ün 3'e bölümünün karekökü olan yaklaşık 1,21'dir.
5. Eğimin standart hatası, regresyonun standart hatası küçüldükçe, gözlem sayısı arttıkça ve açıklayıcı değişkenin sapma karelerinin toplamı büyüdükçe küçülür. Açıklayıcı değişken geniş bir aralığa yayıldığında, onun farklı değerlerine karşılık gelen açıklanan değişken değerleri arasındaki fark daha belirgin görünür; rastgele sapmalar bu farkı gölgeleyemez ve eğim daha kesin tahmin edilir.
6. Görüş üç noktada fazla ileri gider. Birincisi, yüksek eğim ve yüksek belirlilik katsayısı birkaç etkili gözleme dayanıyor olabilir; bu gözlemler çıkarıldığında ilişki zayıflayabilir, bu yüzden veri çizilmeli ve sonucun gözlemlere duyarlılığı sınanmalıdır. İkincisi, en küçük kareler bir tahmin edicidir; başka bir örneklemde farklı bir eğim bulunurdu ve tahminin kesinliği standart hatasıyla değerlendirilmelidir, belirlilik katsayısı bunu göstermez. Üçüncüsü, yöntem veriler hangi süreçten gelirse gelsin bir doğru uydurur; hata teriminde açıklayıcı değişkenle ilişkili etkenler varsa eğim nedensel etkiyi değil, karışık bir ilişkiyi ölçer. Yüksek uyum nedenselliğin kanıtı değildir.

İleri okuma

• Stephen M. Stigler (1981). «Gauss and the Invention of Least Squares». Annals of Statistics 9(3). Yöntemin doğuşu ve öncelik tartışması.
• James J. Heckman, Lance J. Lochner ve Petra E. Todd (2003). «Fifty Years of Mincer Earnings Regressions». NBER Working Paper 9732. En yaygın en küçük kareler uygulamalarından birinin varsayımlarının sınanması.
• Roger Koenker ve Gilbert Bassett (1978). «Regression Quantiles». Econometrica 46(1). En küçük karelere bir alternatif olarak yüzdelik regresyonu.
• Ragnar Frisch ve Frederick V. Waugh (1933). «Partial Time Regressions as Compared with Individual Trends». Econometrica 1(4). Çok değişkenli regresyonda bir katsayının öbür değişkenlerden arındırılarak yorumlanması.

Sonraki derse köprü

Bu derste en küçük kareler yönteminin bir veri setine nasıl bir doğru uydurduğunu ve tahminlerin örneklemden örnekleme nasıl değiştiğini gördük. Ama bu değişimin merkezi gerçek parametreye denk düşüyor mu? Tahmin edilen eğim ortalamada doğru mudur, standart hatalar güvenilir midir ve en küçük kareler başka yöntemlerden daha kesin midir? Bu soruların cevabı, veri üretme sürecine dair bir dizi varsayıma bağlıdır. Sıradaki ders klasik varsayımları ele alıyor: doğrusallıktan hata teriminin açıklayıcı değişkenlerle ilişkisizliğine, sabit varyanstan hataların birbirinden bağımsızlığına kadar her varsayımın ne anlama geldiğini ve biri bozulduğunda ne olacağını inceleyeceğiz.