Standart hata ve güven aralığı

Açılış sahnesi

Deneme histogramı bir gece için öğrencinin ekranında kaldı, sonra kapandı. Ertesi sabah elinde yine yalnız kendi örneklemi var. Tez taslağının bulgular bölümüne şu cümleyi yazmak üzere: görüşülen büyükanneler haftada ortalama şu kadar saat torun bakımına ayırıyor. Danışman taslağı okurken o cümlenin yanına kurşun kalemle küçük bir not düşüyor: bu ortalama ne kadar oynayabilir?

Öğrenci önce soruyu anlamıyor. Ortalama ortalamadır, verisinden hesaplanmıştır, yanlış bir işlem yoktur. Sonra geçen haftaki deneme aklına geliyor. Histogramda ortadaki değerin iki yanına yayılan çubuklar vardı. Kendi ortalaması o çubuklardan yalnız biriydi. Danışmanın sorduğu şey, o yayılmanın genişliğiydi. Ama gerçek bir araştırmada histogram yoktur, tek bir sonuç vardır. Görünmeyen bir dağılımın genişliği, tek bir örneklemden nasıl kestirilebilir?

Bu derste ne olacak

Taslaktaki cümle, kurşun kalemle düşülen not ve ekrandan silinen histogram derse eşlik eden kurgunun parçaları. Tek bir örneklemden hem bir tahmin hem de o tahminin ne kadar güvenilir olduğunu gösteren bir ölçü üretmek ise sosyal bilimlerde her gün yapılan gerçek bir işlem.

Önceki ders örnekleme dağılımını sezgi düzeyinde kurdu. Bu ders o dağılımın genişliğini tek sayıyla anlatan ölçüyü, bu ölçüye dayanarak çizilen aralığı ve o aralığa bağlanan güvenin tam olarak neyi anlattığını ele alıyor. Formül kullanılmıyor, rakam verilmiyor. Amaç, bir raporda bir aralıkla karşılaşıldığında onu doğru okuyabilmek ve kendi bulgusunu yazarken doğru kurabilmek.

Sıfır noktası — Tek sayı ile aralık

Bir örneklemden hesaplanan ortalama ya da pay, evrendeki değer için verilebilecek en iyi tek tahmindir. Ama tek başına verildiğinde, okura ne kadar güvenilmesi gerektiğini söylemez.

Anket kursu, örnekleme hatasını ve kesinliği tanıtırken bir sonucun şans yüzünden gerçek değerden sapabileceğini anlatmıştı. Bu ders, o sapmanın büyüklüğünü ölçmenin yolunu gösteriyor.

Mekanizma — Dağılımın genişliğinden aralığa

Örnekleme dağılımı dar ise, olası örneklemlerin sonuçları birbirine yakındır ve tek bir örneklemin sonucu gerçek değerden uzak düşmez. Dağılım geniş ise tek bir sonuç çok şaşırtıcı yerlere düşebilir. Bu genişliğe verilen ad, çıkarımsal istatistiğin en çok kullanılan ölçülerinden biridir.

Burada bir karışıklığa dikkat etmek gerekir. Önceki kursta görülen standart sapma, örneklemdeki kadınların bakım saatlerinin birbirinden ne kadar farklı olduğunu söyler. Standart hata ise bu kadınların ortalamasının, olası başka örneklemlerin ortalamalarından ne kadar farklı çıkabileceğini söyler. Örneklem büyüdükçe standart sapma aşağı yukarı aynı kalır, çünkü kadınlar birbirinden yine aynı ölçüde farklıdır. Standart hata ise küçülür, çünkü büyük örneklemlerin ortalamaları birbirine daha yakındır.

Standart hatanın asıl gücü, tek bir örneklemden kestirilebilmesidir. Araştırmacı örneklemdeki dağılımı ve örneklem büyüklüğünü bildiğinde, görmediği örnekleme dağılımının genişliğini tahmin edebilir. Önceki dersteki yüzlerce kuranın gösterdiği şey, olasılık kuramı sayesinde tek bir kuradan hesaplanabilir hâle gelir.

Standart hata bilindiğinde, nokta tahmininin iki yanına bir aralık çizilebilir.

Bu son ayrım dersin en ince noktasıdır. Araştırmacı bir güven aralığı hesapladığında, evrendeki gerçek değer ya o aralığın içindedir ya dışındadır. Hangisi olduğu bilinmez. Güven düzeyi, bu belirli aralığın gerçek değeri içerme olasılığını değil, aralığı üreten yöntemin ne kadar sık başarılı olduğunu anlatır.

Kuramsal mercekler

Güven aralığının anlamı, olasılığın nasıl yorumlandığına bağlıdır. Olasılığı tekrarların düzeni olarak gören yaklaşımda, evrendeki gerçek değer sabittir ve onun hakkında olasılık cümlesi kurulamaz. Değişen şey aralıktır. Bu yüzden doğru cümle, gerçek değerin şu olasılıkla aralıkta olduğu değil, bu yöntemin şu sıklıkla gerçek değeri yakaladığıdır.

Olasılığı inanç derecesi olarak gören yaklaşımda ise araştırmacı, eldeki veriye ve önceden sahip olduğu bilgiye dayanarak gerçek değerin nerede olabileceğine dair bir inanç aralığı hesaplar. Bu aralık, çoğu kişinin güven aralığını yanlışlıkla okuduğu biçimde okunabilir: gerçek değerin bu aralıkta olma olasılığı şudur. İki yaklaşımın aralıkları kimi durumlarda sayısal olarak birbirine çok yakın çıkar, ama anlamları farklıdır.

Ölçek

Standart hata, bir bulgunun hangi düzeyde raporlandığına göre büyür ya da küçülür. Bütün örneklem için hesaplanan bir ortalama, çok sayıda gözleme dayandığı için dar bir aralıkla verilebilir. Aynı örneklem alt gruplara bölündüğünde, her alt grup daha az gözleme dayanır ve aralıklar genişler. Anket kursunda anılan alt grup çözümlemesi sorunu, tam da bu genişlemenin sonucudur.

Örneklem tasarımı da ölçeğe bağlı bir etki yaratır. Kümelenmiş örneklemlerde aynı mahalleden gelen kadınlar birbirine benzediği için, gözlem sayısı büyük görünse de taşıdığı bilgi daha azdır. Tasarım etkisi hesaba katılmadan hesaplanan standart hata, gerçek belirsizliği olduğundan küçük gösterir.

Türkiye bağlamı ve karşılaştırma

Türkiye'de bir tez, bir rapor ya da bir anket haberi okunurken sorulabilecek en yararlı soru şudur: bu sayı ne kadar oynayabilir? Yalnız nokta tahmini veren bir metin, okuru bu soruyu kendi başına sormaya zorlar. Aralık, standart hata ya da en azından örneklem büyüklüğü verilmemişse, bulgunun gücü değerlendirilemez. Tematik kurslardan birinde anket haberlerini sorgulama üzerine anlatılanlar, bu dersin araçlarıyla daha sağlam bir zemine oturur.

Uluslararası karşılaştırmada, resmî istatistik kurumlarının tahminlerini belirsizlik ölçüleriyle birlikte yayımlama pratikleri birbirinden ayrışır. Bazı kurumlar her tahminin yanına bir hata payı koymayı standart hâle getirmiştir. Bu, okura yalnız bir sayı değil, o sayıya ne kadar güvenebileceğini de verir.

Bu bilgiyi nasıl biliyoruz?

Standart hatanın tek bir örneklemden kestirilebileceği, olasılık kuramının matematiksel bir sonucudur ve gerçek değeri bilinen evrenlerle yapılan sayısız denemeyle sınanmıştır. Güven aralıklarının davranışı da böyle sınanır: gerçek değeri önceden bilinen bir evrende kura tekrar tekrar çekilir, her turda aralık hesaplanır ve gerçek değeri yakalayan aralıkların sıklığı sayılır.

Ama bir şeyi bilmek ile onu doğru okumak ayrı işlerdir. Güven aralığının ne anlattığı konusunda yaygın bir yanlış anlama olduğu, araştırmalarla da gösterilmiştir.

Yaygın hatalar

Aklında kalsın

1. Nokta tahmini tek başına verildiğinde, olduğundan daha kesin bir bilgi izlenimi yaratır.
2. Standart hata, bir örneklem istatistiğinin olası örneklemler arasında ne kadar oynayacağını gösterir.
3. Standart sapma birimlerin, standart hata tahminin dağılımını anlatır.
4. Belirsizliği yarıya indirmek için örneklemi dört katına çıkarmak gerekir.
5. Güven düzeyi tek bir aralığın değil, aralığı üreten yöntemin uzun dönemli başarısıdır.
6. Güven yükseldikçe aralık genişler ve bilgi azalır.
7. Aralık yalnız örneklemenin şans payını ölçer, öteki hata kaynaklarını değil.

Sonraki derse köprü

Öğrenci artık ortalamasının yanına bir aralık yazabiliyor. Ama tezindeki asıl soru tek bir ortalama değil, bir karşılaştırma. Kızı çalışan büyükanneler ile kızı çalışmayanlar arasında bakım saatleri bakımından bir fark var ve öğrenci bu farkın evrende de bulunup bulunmadığını bilmek istiyor. Danışman ona tersinden başlamasını öneriyor: evrende hiç fark olmadığını varsay ve bu varsayım doğru olsaydı, elindeki kadar büyük bir farkın şans eseri ne sıklıkta çıkacağını sor. Bu tersine düşünme biçiminin adı sıfır hipotezidir ve onu sınamanın aracı anlamlılık testidir.