Örneklem büyüklüğü, hata ve temsil

Açılış sahnesi

Öğrencinin tabakalı tasarımı hazır: üç tür mahalle, her birinden ayrı kura. Ama tabloda "kaç hane" sütunu hâlâ boş. Bir arkadaşı kendinden emin bir kural söylüyor: "Kentteki büyükannelerin belli bir payına ulaşman lazım, yoksa örneklem temsil etmez." Öğrenci kentin ne kadar büyük olduğunu düşünüp umutsuzluğa kapılıyor. O kadar insanla görüşmesi imkânsız.

Danışmanın itirazı başka yerden geliyor: "Kentin büyüklüğü sandığın kadar belirleyici değil. Asıl soru, hangi grupları birbiriyle karşılaştırmak istediğin." Öğrenci yalnız kentin genelini değil, üç mahalle türünü ayrı ayrı ve kızı çalışan ile kızı çalışmayan büyükanneleri birbiriyle karşılaştırmak istiyor. Danışman defterine küçük bir tablo çiziyor. Her karşılaştırma grubu için ayrı bir hücre, her hücrede kaç kişi kalacağı.

Hücreleri doldururken öğrenci bir şey fark ediyor. Kentin geneli için makul görünen bir örneklem, üç mahalle türüne ve iki çalışma durumuna bölününce her hücrede bir avuç insana düşüyor. Danışman bir uyarı daha ekliyor: "Bir de şunu unutma. Örneklemi ne kadar büyütürsen büyüt, yanlış kişilerle konuşuyorsan sonuç yine yanlış olur."

Bu derste ne olacak

Arkadaşın kuralı da danışmanın defterindeki tablo da bir kurgudan geliyor. Ama "kaç kişi yeter" sorusuna hazır bir sayı bulunamaması, sahaya çıkmaya hazırlanan her araştırmacının yaşadığı bir sıkıntı. Önceki ders olasılıklı ve olasılıksız seçimi, tabakalı ve küme tasarımlarını anlattı. Kapanışında her tabakadan kaç birim seçileceği ve sonuçlara ne kadar güvenilebileceği sorusu kaldı.

Bu ders örneklemden gelen sonucun evrendeki gerçek değerden iki farklı nedenle sapabileceğini ayırıyor. Biri şans eseri oluşan ve örneklem büyüdükçe küçülen hata, öbürü seçim sürecinden gelen ve örneklem büyüdükçe küçülmeyen sapma. Ardından örneklem büyüklüğüne karar verirken asıl belirleyicinin ne olduğu ve tasarımın bu kararı nasıl etkilediği ele alınıyor.

Sıfır noktası — Şans ve sapma

Temel derslerde hata payı, bir anket sonucunun etrafındaki belirsizlik aralığı olarak tanıtılmıştı. Bu aralık, örneklemin evrenin tamamı olmamasından doğan belirsizliği anlatır. Ama bir anket sonucunu evrendeki gerçek değerden uzaklaştırabilecek tek şey bu değildir.

Bu ayrım dersin geri kalanının temelidir. Örnekleme hatası büyüklükle çözülür. Örneklem yanlılığı ise ancak seçim sürecini düzelterek çözülür. Birini öbürüyle karıştırmak, yanlış bir soruna yanlış bir çözüm uygulamak anlamına gelir.

Mekanizma — Büyüklüğü belirleyen şeyler

Örneklem büyüklüğüne karar verirken sorulacak ilk soru, sonucun ne kadar kesin olması gerektiğidir.

Kesinlik ile örneklem büyüklüğü arasındaki ilişki doğrusal değildir. Örneklem büyüdükçe kesinlik artar ama artışın hızı giderek yavaşlar. Belirsizlik aralığını yarıya indirmek için örneklemi iki katına değil, kabaca dört katına çıkarmak gerekir. Bu yüzden belli bir büyüklükten sonra her yeni görüşme sonuca çok az kesinlik ekler.

Sezgiye aykırı gelen bir başka nokta, evrenin büyüklüğünün kesinliği sanıldığı kadar etkilememesidir. Evren örneklemden çok büyük olduğu sürece, kesinliği belirleyen asıl etken evrenin büyüklüğü değil örneklemin büyüklüğüdür. Küçük bir kasaba ile büyük bir kent için benzer kesinlikte bir sonuç elde etmek, benzer sayıda görüşme gerektirir.

Tasarımın kendisi de gereken büyüklüğü etkiler. Önceki derste küme örneklemesinin sahayı kolaylaştırdığı ama aynı kümedeki birimlerin birbirine benzediği söylenmişti.

Çoğu araştırmada örneklem büyüklüğünü belirleyen asıl etken ise kentin geneli değil, karşılaştırılmak istenen alt gruplardır.

Kuramsal mercekler

Örnekleme kuramı, olasılıklı bir örneklemden evrene genelleme yapmanın istatistiksel dayanağını kurar. Bu kurama göre rastgele seçilmiş örneklemlerin sonuçları, evrendeki gerçek değerin etrafında öngörülebilir bir biçimde dağılır. Bu öngörülebilirlik, bir tek örneklemden hem bir tahmin hem de o tahminin belirsizliği hakkında bilgi çıkarmayı mümkün kılar. Bu dağılımın matematiksel ayrıntıları ve belirsizlik aralıklarının hesaplanması, istatistiksel çıkarım kursunda ayrıntılı biçimde ele alınacak.

Anket araştırmasının daha geniş bir çerçevesi ise örnekleme hatasının, bir anketin sonucunu gerçekten uzaklaştırabilecek birçok hata kaynağından yalnız biri olduğunu vurgular. Çerçevedeki eksikler, yanıt vermeyenler, soruların ifadesi ve ölçüm sorunları da sonucu saptırabilir. Bu çerçeveye göre yalnız örnekleme hatasını raporlamak, bir anketin toplam belirsizliğini olduğundan küçük gösterir. Yanıtlamama ve kapsama sorunları kursun ilerisinde ayrıca ele alınacak.

Ölçek

Bir anketten hangi düzeyde sonuç verileceği, gereken örneklem büyüklüğünü doğrudan belirler. Kentin tamamı için verilecek bir sonuç, örneklemin bütününe dayanır ve en yüksek kesinliği taşır. Mahalle türü düzeyinde verilecek sonuçlar, örneklemin yalnız bir kısmına dayanır. Mahalle türü içinde kızı çalışan ve çalışmayan büyükanneler gibi daha ince ayrımlar ise örneklemin çok küçük parçalarına düşer. Tek bir mahalle için sonuç vermek, o mahallede yapılan birkaç görüşmeye dayanır.

Tahmin düzeyi inceldikçe her düzey için gereken görüşme sayısı çoğalır. Araştırmacı hangi düzeyde sonuç vermek istediğine örneklemi tasarlamadan önce karar vermelidir. Sonradan yapılan ince ayrımlar, örneklemin taşıyamayacağı bir yükle karşılaşabilir.

Türkiye bağlamı ve karşılaştırma

Türkiye'de kamuoyu araştırmalarının haberlerinde sık sık yalnız görüşülen kişi sayısı öne çıkarılabilir. "Şu kadar kişiyle görüşüldü" ifadesi sonucun güvenilirliğinin bir göstergesi gibi sunulur. Oysa örneklemin nasıl seçildiği, hangi çerçeveden çekildiği ve kaç kişinin görüşmeyi reddettiği çoğu zaman yazılmaz. Bu dersin gösterdiği gibi, büyük bir sayı yanlılığı gidermez.

Türkiye'deki tez çalışmalarında da örneklem büyüklüğü çoğu zaman bir hesapla değil, alışkanlıkla ya da zaman ve bütçe sınırlarıyla belirlenebilir. Bu doğal bir kısıttır. Önemli olan, seçilen büyüklüğün hangi düzeyde ve ne kesinlikte sonuç verebileceğini açıkça yazmak ve alt gruplar için bu sınırın ötesine geçmemektir.

Bu bilgiyi nasıl biliyoruz?

Örneklem büyüklüğü ile kesinlik arasındaki ilişki, olasılık kuramından türetilmiş ve çok sayıda anket deneyimiyle sınanmıştır. Aynı evrenden tekrar tekrar örneklem çekilerek yapılan canlandırmalar, örneklem sonuçlarının gerçek değerin etrafında nasıl dağıldığını ve bu dağılımın örneklem büyüdükçe nasıl daraldığını açıkça gösterir.

Yanlılığın varlığını tespit etmek ise çoğu zaman daha zordur, çünkü evrendeki gerçek değer genellikle bilinmez. Araştırmacılar örneklemin bilinen özelliklerini, örneğin yaş ve cinsiyet dağılımını, resmî istatistiklerle karşılaştırarak yanlılığın izlerini arar. Bu karşılaştırma bilinen özelliklerdeki sapmayı gösterir, ama bilinmeyen özelliklerdeki sapmayı güvence altına almaz.

Yaygın hatalar

Aklında kalsın

1. Örnekleme hatası şans kaynaklıdır ve örneklem büyüdükçe küçülür.
2. Örneklem yanlılığı seçim sürecinden gelir ve örneklem büyüdükçe küçülmez.
3. Kesinlik doğrulukla aynı şey değildir: yanlı bir örneklem çok kesin ama yanlış bir sonuç verebilir.
4. Belirsizlik aralığını yarıya indirmek için örneklemi kabaca dört katına çıkarmak gerekir.
5. Evren örneklemden çok büyük olduğu sürece kesinliği evrenin değil örneklemin büyüklüğü belirler.
6. Tasarım etkisi, küme ya da tabakalı tasarımın kesinliği basit rastgele örneklemeye göre nasıl değiştirdiğini gösterir.
7. Örneklem büyüklüğü çoğu zaman karşılaştırılmak istenen en küçük alt gruptan geriye doğru hesaplanmalıdır.

Sonraki derse köprü

Öğrencinin örneklem tasarımı artık tamam: kimle, kaç kişiyle ve nasıl seçerek görüşeceğini biliyor. Şimdi sıra, bu kişilere ne soracağında. Anket formunun ilk taslağını yazıyor ve arkadaşlarına deneme olarak veriyor. Bir soruya "Torununuza bakmak sizi yoruyor mu?" diye sormuş. Bir arkadaşı bu sorunun "yorulmak" sözcüğü yüzünden insanları olumsuz bir cevaba yönlendirebileceğini söylüyor. Başka bir arkadaşı, aynı soruyu formun başında mı sonunda mı sorduğunun cevapları değiştirebileceğini hatırlatıyor. Soru türleri, ifade ve sıralama etkileri, bir sorunun nasıl kurulduğunun yanıtı nasıl biçimlendirdiğini ele alıyor.