Anketler ve örneklem yanlılığı

Öğrenme çıktıları

• Hatırlama — Örneklem çerçevesini, kapsama hatasını, yanıtsızlık yanlılığını, gönüllü yanıt örneklemini, soru ifadesi etkisini ve sosyal beğenirlik yanlılığını tanımlar.
• Anlama — Büyük bir örneklemin neden yanlılığı gidermediğini ve bir anketin hangi aşamalarda sistematik olarak yanılabileceğini açıklar.
• Uygulama — Farklı grupların farklı yanıt oranlarından doğan yanlılığı hesaplar; bilinen nüfus paylarıyla ağırlıklandırarak tahmini düzeltir.
• Değerlendirme — Bir anket sonucunun güvenilirliğini, örneklemin nasıl seçildiği, kimlerin yanıt verdiği, soruların nasıl sorulduğu ve ağırlıklandırmanın dayandığı varsayımlar açısından değerlendirir.

Sezgi

Açılış

Gazetenin iç sayfalarındaki kısa bir haber, bir çevrimiçi ankete yüz binden fazla kişinin katıldığını ve katılımcıların yüzde 70'inin maaşının geçinmeye yetmediğini söylediğini yazıyor. Yüz bin kişi, bir önceki derslerde gördüğümüz bin kişilik anketlerin yüz katı. Hata payı neredeyse sıfır olmalı.

Ama haberin bir satırında, anketin bir sosyal medya hesabından paylaşıldığı ve isteyen herkesin katılabildiği yazıyor. Bu durumda ankete kimlerin katıldığını düşünmek gerekir: o hesabı takip edenler, bu konuyu önemseyenler, belki de geçim sıkıntısı çekenler. Maaşından memnun olan biri, böyle bir anketi görse bile doldurmaya zahmet etmeyebilir.

Bu ders, örneklemin büyüklüğünün değil, nasıl oluştuğunun önemini ele alıyor. Rastgele örneklemin güzel matematiği, ancak rastgelelik gerçekten sağlandığında işler. Kime ulaşılamadığını, kimin cevap vermediğini ve sorunun nasıl sorulduğunu sormadan, en kalabalık anket bile yanıltıcı olabilir.

Hikâye — On milyon mektup

1936'da ABD'de Başkan Franklin Roosevelt ile Cumhuriyetçi aday Alf Landon arasında bir seçim yapılacaktı. Dönemin en çok okunan dergilerinden The Literary Digest, önceki seçimlerde sonucu başarıyla tahmin ettiği geniş bir posta anketi yürütüyordu. Bu kez yaklaşık on milyon kişiye oy pusulası gönderdi.

Adres listeleri derginin kendi okurlarından, telefon rehberlerinden ve otomobil sahiplerinin kayıtlarından derlenmişti. Gönderilen pusulalardan yaklaşık 2,38 milyonu geri döndü. Bu, bir kamuoyu yoklaması için akıl almaz bir sayıydı. Sonuç açıktı: Landon oyların yaklaşık yüzde 57'sini alarak kazanacaktı.

Seçim günü tablo tersine döndü. Roosevelt, Maine ve Vermont dışındaki bütün eyaletleri kazandı ve oyların yaklaşık yüzde 61'ini aldı. Tarihin en büyük anketlerinden biri, tarihin en büyük farklarından biriyle yanılmıştı. Aynı seçimde George Gallup, çok daha küçük bir örneklemle Roosevelt'in kazanacağını doğru tahmin etti; ama o da Roosevelt'in oy payını birkaç puan düşük hesapladı.

Uzun yıllar boyunca yanılgının nedeni olarak adres listeleri gösterildi. Büyük Buhran yıllarında telefonu ve otomobili olanlar görece varlıklı kesimdi; varlıklı seçmenler de Cumhuriyetçilere daha yakındı. Bu açıklamaya göre sorun, listenin anakütleyi temsil etmemesiydi.

1988'de siyaset bilimci Peverill Squire, o dönemde yapılmış bir kamuoyu araştırmasının verilerini kullanarak yanılgıyı yeniden inceledi. Vardığı sonuç farklıydı: asıl sorun yanıtsızlıktı. Posta pusulasını geri gönderenler, göndermeyenlerden farklıydı; Landon destekçileri anketi yanıtlamaya daha istekliydi. Squire'a göre, pusula gönderilen herkes yanıt verseydi, dergi en azından kazananı doğru tahmin edecekti. Yanılgının kaynağı, mektupların kime gittiğinden çok kimin geri döndüğüydü.

Kavram

Bir anketin sonucunu bozan hatalar, örneklemin oluşturulmasının farklı aşamalarında ortaya çıkar. İlk aşama, kime ulaşılabileceğini belirleyen listedir.

Çerçeve doğru olsa bile, seçilen herkes cevap vermez.

Doğru kişilere ulaşılsa ve herkes cevap verse bile, sorunun kendisi cevabı değiştirebilir.

Veri ve kanıt

Literary Digest'in yanılgısı, anket tarihinin en çok anlatılan hikâyesidir. Ama hikâyenin kendisi de zaman içinde düzeltildi.

Yanıtsızlık, 1936'nın bir sorunu olarak kalmadı. Günümüzde anketçilerin karşılaştığı en büyük sorunlardan biri, insanların anketlere yanıt verme isteğinin sürekli azalmasıdır.

Yüzde 6'lık bir yanıt oranı, ulaşılmak istenen her yüz kişiden doksan dördünün cevap vermediği anlamına gelir. Bu tablo iki farklı biçimde yorumlanır. Temkinli yorum, yanıt verenlerin öbürlerinden farklı olma riskinin çok büyüdüğünü vurgular. Daha iyimser yorum ise yanıt oranının düşüklüğünün kendiliğinden yanlılık yaratmadığını, yanıt vermemenin ölçülen konuyla ilişkili olmadığı durumlarda ağırlıklandırılmış anketlerin hâlâ isabetli sonuçlar verebildiğini hatırlatır. Pew'in kendi karşılaştırmaları da düşük yanıt oranlı anketlerin pek çok konuda resmî kayıtlarla uyumlu, ama sivil katılım gibi bazı konularda yanlı sonuçlar verdiğini göstermiştir.

Neden önemli?

İktisatta en çok izlenen sayıların çoğu anketlerden gelir. İşsizlik oranı, hane gelirleri ve harcamaları, yoksulluk, tüketici güveni ve enflasyon beklentileri, hane ve işletme anketleriyle ölçülür. Bu anketlerde kimlerin ulaşılamadığı ve kimlerin yanıt vermediği, sayıların kendisini etkiler. Örneğin çok yüksek gelirli hanelerin gelir anketlerine katılma olasılığı düşükse ve katıldıklarında gelirlerini eksik bildiriyorlarsa, anketlerden hesaplanan eşitsizlik gerçek eşitsizliği küçümser.

İşletmeler de anketlere dayanır. Müşteri memnuniyeti anketleri, genellikle çok memnun ya da çok memnuniyetsiz müşterilerden yanıt alır; ortadakiler sessiz kalır. Çevrimiçi ürün yorumları, gönüllü yanıt örnekleminin tipik örneğidir. Bu sonuçlara dayanarak alınan ürün ya da fiyat kararları, gerçek müşteri kitlesini yansıtmayabilir.

Gündelik hayatta da bu dersin uyarıları geçerlidir. Sosyal medyada paylaşılan anketler, bir televizyon programının telefonla oylaması ya da bir derneğin üyelerine yaptığı araştırma, hepsi belirli bir gruptan gelen sonuçlardır. Bir anket sonucunu okumadan önce, «bu kişiler nasıl seçildi ve kimler cevap verdi?» diye sormak, en basit ve en etkili korunma yoludur.

Model

Toplam anket hatası

Bir anketin sonucunu gerçek değerden uzaklaştıran hatalar, anket araştırmacılarının toplam anket hatası dediği bir çerçevede bir araya getirilir. Bu çerçevede iki büyük hata ailesi vardır. Birincisi temsil hatalarıdır: kime ulaşıldığı ve kimin cevap verdiğiyle ilgili hatalar; kapsama hatası, örnekleme hatası ve yanıtsızlık hatası bu aileye girer. İkincisi ölçüm hatalarıdır: soruların neyi ölçtüğü ve cevapların ne kadar doğru olduğuyla ilgili hatalar; soru ifadesi, sosyal beğenirlik ve yanlış hatırlama bu aileye girer. Önceki derslerde öğrendiğimiz standart hata, bu listenin yalnızca bir kalemidir.

Rastgele hata ile sistematik hata

Anket hatalarını anlamanın temel ayrımı, rastgele hata ile sistematik hata arasındadır. Rastgele hata, bir örneklemden öbürüne sonucun bir yukarı bir aşağı oynamasıdır; ortalamada sıfırdır ve örneklem büyüdükçe küçülür. Sistematik hata ise sonucu her seferinde aynı yöne iter; ortalamada sıfır değildir ve örneklem büyüdükçe küçülmez. Hedef tahtası benzetmesiyle, rastgele hata okların dağınıklığı, sistematik hata ise okların merkezin yanında bir noktada toplanmasıdır. Büyük bir örneklem, okları sıkı bir kümede toplar; ama küme yanlış yerdeyse, sıkılık, yanlış bir hedefe dair sahte bir kesinlikten başka bir şey değildir.

Kapsama hatasının kaynakları

Kapsama hatası, örneklem çerçevesi ile anakütle arasındaki boşluktan doğar. Sabit telefon rehberinden yapılan bir anket, yalnızca cep telefonu kullananları dışarıda bırakır; bu grup ortalamada daha gençtir. Adres kayıtlarına dayanan bir anket, kayıtlı bir adresi olmayanları, örneğin mevsimlik işçileri ya da evsizleri kapsamaz. Çevrimiçi bir anket, internete erişimi olmayanlara ulaşamaz. Bir şirket müşteri listesinden anket yaparsa, rakibe geçmiş eski müşterileri kaçırır. Her durumda soru aynıdır: çerçevede olmayanlar, ölçülen konuda çerçevedekilerden farklı mı?

Yanıtsızlığın mekanizması

Yanıtsızlık yanlılığının büyüklüğü iki şeye bağlıdır: yanıt oranına ve yanıt verenlerle vermeyenler arasındaki farka. Yaklaşık olarak yanlılık, yanıt vermeyenlerin payı ile iki grubun ortalamaları arasındaki farkın çarpımıdır. Yanıt oranı yüzde 90 olsa bile, yanıt vermeyen yüzde 10 çok farklıysa yanlılık büyük olabilir. Yanıt oranı yüzde 10 olsa bile, yanıt verenlerle vermeyenler ölçülen konuda benzerse yanlılık küçük kalabilir. Sorun, yanıt vermeyenlerin ne düşündüğünü çoğu zaman bilmememizdir; yanlılık bu yüzden doğrudan ölçülemez, yalnızca dolaylı yollarla tahmin edilebilir.

Çözümlü örnek — Bir gelir anketi

Bir ilde hanelerin yüzde 20'si yüksek gelirli, ortalama aylık gelirleri 100 bin lira; yüzde 80'i öbür haneler, ortalama gelirleri 25 bin lira olsun. İldeki gerçek ortalama gelir 0,20 × 100 + 0,80 × 25 = 40 bin liradır.

Yanıt oranları. Bir anket 1.000 haneyi rastgele seçer: 200 yüksek gelirli, 800 öbür hane. Yüksek gelirli hanelerin yüzde 30'u, öbür hanelerin yüzde 60'ı yanıt verir. Yanıt verenler 60 yüksek gelirli ve 480 öbür hanedir, toplam 540.

Yanlı tahmin. Yanıt verenlerin ortalama geliri (60 × 100 + 480 × 25) ÷ 540 = (6.000 + 12.000) ÷ 540 ≈ 33,3 bin liradır. Tahmin, gerçek değerin yaklaşık 6,7 bin lira, yani yüzde 17 altındadır.

Örneklemi büyütmek. Anket 10.000 haneyle tekrarlansa, yanıt oranları aynı kaldığı sürece tahmin yine yaklaşık 33,3 bin lira çıkar. Standart hata küçülür, ama yanlılık yerinde kalır.

Ağırlıklandırma. İldeki yüksek gelirli hanelerin payının yüzde 20 olduğu başka bir kaynaktan, örneğin vergi kayıtlarından biliniyorsa, iki grubun ortalaması bu paylarla birleştirilir: 0,20 × 100 + 0,80 × 25 = 40 bin lira. Yanlılık giderilir.

Ağırlıklandırmanın koşulu. Bu düzeltme, yanıt veren yüksek gelirli hanelerin, yanıt vermeyen yüksek gelirli hanelerle aynı ortalama gelire sahip olduğu varsayımına dayanır. En zengin haneler grubun içinde de daha az yanıt veriyorsa, ağırlıklandırılmış tahmin de gerçek değerin altında kalır.

Ağırlıklandırma ne yapar, ne yapamaz?

Ağırlıklandırma, yanıt verenlerin bilinen özelliklerini nüfus paylarına uyduran bir düzeltmedir. Yaş, cinsiyet, bölge ve eğitim gibi özelliklerin nüfustaki payları nüfus kayıtlarından biliniyorsa, her yanıtçıya kendi grubunun eksik ya da fazla temsil edilme derecesine göre bir ağırlık verilir. Ağırlıklandırma, bu özelliklerle açıklanan yanlılığı giderir. Ama yanıt verme eğilimi, ağırlıklandırmada kullanılmayan bir özellikle ilişkiliyse, örneğin siyasete ilgi ya da gönüllülük eğilimi gibi, ağırlıklandırma bu yanlılığı düzeltemez. Ayrıca çok büyük ağırlıklar, birkaç kişinin sonucu sürüklemesine yol açar ve standart hatayı büyütür.

Gönüllü yanıt örneklemleri

Katılımcıların kendilerini seçtiği anketler, yanlılığın en uç biçimini taşır. Bir televizyon programının telefon oylaması, bir haber sitesinin okur anketi ya da bir sosyal medya oylaması, konuyla güçlü bir ilgisi olan, güçlü bir görüşü olan ya da o platformu kullanan kişilerden gelir. Bu kişilerin anakütledeki payı ve ne kadar farklı oldukları bilinmediği için, sonuç ne düzeltilebilir ne de hata payıyla sunulabilir. Katılımcılar yüz binleri bulsa da, bu tür bir anket yalnızca katılanların görüşünü yansıtır; bir nüfus hakkında tahmin olarak kullanılmamalıdır.

Soru ifadesi

Aynı konu, farklı kelimelerle sorulduğunda farklı cevaplar üretebilir. 1941'de Donald Rugg, bu etkiyi ölçmek için örneklemi ikiye böldü. Bir yarıya ABD'nin demokrasi karşıtı konuşmalara izin vermesi gerekip gerekmediği, öbür yarıya bu konuşmaları yasaklaması gerekip gerekmediği soruldu. İki soru mantıksal olarak birbirinin tersiydi. Ama «yasaklamalı mı» sorusuna yüzde 54 evet derken, «izin vermeli mi» sorusuna yüzde 75 hayır dendi. Aynı görüş, sorunun nasıl sorulduğuna göre yüzde 54 ile yüzde 75 arasında ölçülebiliyordu.

Soru sırası ve seçenekler

Sorunun kendisi kadar, önünde hangi soruların sorulduğu da cevabı etkiler. Ekonominin genel durumu hakkındaki bir soru, önce kişinin kendi mali durumu sorulduktan sonra sorulursa, kişisel deneyim cevaba daha çok yansıyabilir. Seçeneklerin sunuluş biçimi de önemlidir: bir «fikrim yok» seçeneği eklemek, kararsızların zorla bir tarafa itilmesini önler ama cevapların dağılımını değiştirir. Yüz yüze anketlerde listenin son seçenekleri, yazılı anketlerde ilk seçenekleri daha sık seçilme eğilimindedir. İyi anketler bu etkileri azaltmak için soruları önceden sınar ve seçeneklerin sırasını katılımcılar arasında değiştirir.

Sosyal beğenirlik ve hassas sorular

İnsanlar, başkalarına, hatta bir anketçiye bile, kendilerini iyi göstermek isterler. Bu yüzden oy verme, bağış yapma ya da düzenli spor yapma gibi onaylanan davranışlar olduğundan fazla, sigara, alkol ya da vergi kaçırma gibi onaylanmayan davranışlar olduğundan az bildirilir. Gelir de hassas bir konudur: bazı hanelerde gelir düşük, bazılarında yüksek gösterilmek istenebilir. Bu yanlılığı azaltmak için anket yöntemleri kullanılır: yüz yüze görüşme yerine katılımcının kendi dolduracağı formlar, anonimlik güvencesi ve hassas soruların dolaylı sorulması. Gelir gibi konularda anket sonuçlarının idari kayıtlarla karşılaştırılması da yaygın bir denetim yoludur.

Yanlış hatırlama

Katılımcılar dürüst olsa bile, geçmişi doğru hatırlamayabilir. Geçen ay ne kadar harcadığını soran bir anket, küçük ve sık harcamaları eksik, büyük ve seyrek harcamaları ise olduğundan yakın bir zamana tarihlendirme eğilimiyle karşılaşır. Bu yüzden hane bütçe anketleri çoğu zaman katılımcılardan harcamalarını belirli bir süre boyunca günlük olarak bir deftere kaydetmelerini ister. Hatırlama süresi kısaldıkça hata azalır, ama katılımcının yükü ve anketi yarıda bırakma olasılığı artar. Anket tasarımı, bu tür ödünleşimler arasında bir denge kurar. Günlük kayıt tutmayı bırakan hanelerin daha yoğun ya da daha düzensiz bir hayat sürenler olması da mümkündür; bu da yanıtsızlığın ölçüm sürecinin içinden yeniden ortaya çıkabileceğini gösterir.

Panel anketler ve yıpranma

Aynı kişileri zaman içinde tekrar tekrar izleyen panel anketler, değişimi ölçmek için çok değerlidir: bir hanenin gelirinin, işinin ya da tüketiminin nasıl değiştiğini aynı hane üzerinden gösterirler. Ama her dalgada bazı katılımcılar ankete devam etmez. Bu kayba yıpranma denir ve rastgele değilse bir tür yanıtsızlık yanlılığı yaratır. Örneğin işini kaybedip başka bir şehre taşınan kişilerin panelden çıkma olasılığı daha yüksekse, panel iş kayıplarını ve hareketliliği olduğundan az gösterir. Panel anketler bu yüzden yıpranmayı izler ve ağırlıklarını her dalgada yeniden düzenler.

Olasılığa dayalı anketler ve paneller

Yanıt oranlarının düşmesi ve maliyetlerin artmasıyla, anketçiler yeni yöntemlere yöneldi. Bir yaklaşım, olasılığa dayalı çevrimiçi panellerdir: katılımcılar önce adres kayıtlarından rastgele seçilir, sonra düzenli olarak çevrimiçi anketlere davet edilir. Bu yöntem, rastgele seçimin avantajını çevrimiçi anketin hızı ve ucuzluğuyla birleştirir. Öbür yaklaşım, kendi isteğiyle kaydolan kişilerden oluşan paneller ve bunların ağırlıklandırılmasıdır. Birinci yolu savunanlar, seçim olasılıkları bilindiği için belirsizliğin ölçülebildiğini vurgular; ikinci yolu savunanlar, çok daha düşük maliyetle ve çok daha büyük gruplara ulaşıldığını, iyi bir ağırlıklandırmayla sonuçların çoğu konuda yakın çıktığını hatırlatır. Hangisinin seçileceği, sorunun ne kadar hassas olduğuna ve bütçeye bağlıdır.

Kayıtlar, büyük veri ve anketler

Kart harcamaları, ödeme sistemleri, arama motoru sorguları ve sosyal medya gönderileri gibi büyük veri kaynakları, bazı konularda anketlerin yerini almaya aday görünür. Bu veriler çok büyük ve çok hızlıdır. Ama çoğu zaman bir gönüllü yanıt örneklemi gibi davranır: yalnızca belirli bir platformu kullananları, belirli bir ödeme aracını tercih edenleri ya da belirli bir konuda yazanları kapsar. Nakit kullananlar kart verisinde, internete erişimi olmayanlar arama verisinde görünmez. Bu yüzden büyük veri, anketlerin yerini almaktan çok onları tamamlar: hızlı sinyal verir, anketler ise bu sinyalin nüfusun geneline ne kadar uyduğunu denetler.

Anket sonucunu okumak için sorular

Bir anket sonucunu değerlendirirken sorulacak sorular, bu dersin hata listesinden çıkar. Anakütle neydi ve örneklem çerçevesi onu ne kadar kapsıyordu? Örneklem rastgele mi seçildi, yoksa katılımcılar kendilerini mi seçti? Yanıt oranı neydi ve yanıt verenler hangi özelliklerle ağırlıklandırıldı? Sorular tam olarak nasıl ifade edildi ve hangi sırayla soruldu? Konu hassas mıydı ve görüşme nasıl yapıldı? Açıklanan hata payı yalnızca örnekleme hatasını mı kapsıyor? Bu soruların cevapları yayımlanmamışsa, sonuç temkinle okunmalıdır.

Anket hatalarını ölçmek

Anket yanlılığı çoğu zaman doğrudan ölçülemez, ama dolaylı yollarla tahmin edilebilir. Bir yol, anketin bazı sorularını gerçek değeri bilinen kayıtlarla karşılaştırmaktır: seçimden sonra kişilerin oy verip vermediğini sorup seçmen kayıtlarıyla karşılaştırmak ya da bildirilen geliri vergi kayıtlarıyla eşleştirmek. Bir başka yol, kolayca ulaşılan katılımcılarla ancak defalarca aranarak ulaşılanları karşılaştırmaktır; iki grup farklıysa, hiç ulaşılamayanların da farklı olması muhtemeldir. Seçim anketleri ise sonucun kendisiyle sınanır; bu yüzden anket yöntemlerinin gelişiminde seçim tahminlerinin başarısızlıkları önemli bir rol oynamıştır.

Modelin sınırları

Örnekleme kuramı, rastgele seçilmiş ve herkesin doğru cevap verdiği bir anketin belirsizliğini kesin biçimde ölçer. Gerçek anketler bu idealden uzaklaştıkça, açıklanan hata payı toplam belirsizliğin giderek küçülen bir parçası hâline gelir. Ağırlıklandırma ve modelleme yöntemleri bu açığı kapatmaya çalışır, ama her biri doğrulanması güç varsayımlara dayanır. Bu yüzden iyi bir anket raporu, yalnızca sonucu ve hata payını değil, yöntemi, yanıt oranını, ağırlıklandırmayı ve olası yanlılık kaynaklarını da açıklar. Okurun yapabileceği en iyi şey, tek bir anket yerine farklı yöntemlerle yapılmış birkaç anketin ortak tablosuna bakmaktır.

Uygulama

Özet kartı

1. Anket hataları temsil hataları ve ölçüm hataları olarak ikiye ayrılır; standart hata bunlardan yalnızca örnekleme hatasını ölçer.
2. Rastgele hata örneklem büyüdükçe küçülür, sistematik hata küçülmez; büyük ama yanlı bir örneklem, yanlış sonuca yalnızca daha kesin biçimde ulaşır.
3. Kapsama hatası örneklem çerçevesinin anakütleyi kaçırmasından, yanıtsızlık yanlılığı yanıt verenlerle vermeyenlerin farklı olmasından doğar; Literary Digest'in asıl yanılgısı yanıtsızlıktı.
4. Ağırlıklandırma, bilinen özelliklerle açıklanan yanlılığı düzeltir ama bu özelliklerle açıklanmayan farkları düzeltemez; gönüllü yanıt örneklemleri ise hiç düzeltilemez.
5. Soru ifadesi, soru sırası, sosyal beğenirlik ve yanlış hatırlama, doğru kişilere ulaşılsa bile cevapları sistematik olarak kaydırabilir; iyi bir anket yöntemini ve olası yanlılıklarını açıkça yazar.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Örneklem çerçevesini ve anakütleyi bir örnek üzerinden birbirinden ayır. Kapsama hatası ne zaman ortaya çıkar?
2. (Çıktı 2) Literary Digest'in 2,38 milyon yanıta rağmen yanılmasının iki açıklaması nedir? Squire'ın bulgusu hangisini öne çıkardı?
3. (Çıktı 3) Bir işyerinde çalışanların yüzde 40'ı vardiyalı, yüzde 60'ı gündüz çalışıyor olsun. Vardiyalı çalışanların iş memnuniyeti puanı ortalaması 5, gündüz çalışanlarınki 8. Bir memnuniyet anketine vardiyalıların yüzde 20'si, gündüz çalışanların yüzde 60'ı yanıt veriyor. Yanıt verenlerin ortalama puanı nedir ve gerçek ortalamadan ne kadar sapar?
4. (Çıktı 3) Aynı anketi, iki grubun işyerindeki paylarını kullanarak ağırlıklandır. Bu düzeltme hangi varsayıma dayanır?
5. (Çıktı 2) Bir bankanın müşteri memnuniyeti anketine yalnızca şikâyet hattını arayan müşteriler davet ediliyor. Bu anketin sonuçları hangi yönde yanlı olabilir ve neden?
6. (Çıktı 4) Bir araştırma şirketi, 50.000 kişinin katıldığı bir çevrimiçi ankete dayanarak halkın yüzde 65'inin yeni bir vergi düzenlemesine karşı olduğunu açıklıyor ve «katılımcı sayısı çok yüksek olduğu için hata payı yüzde 0,5'in altında» diyor. Bu iddiayı değerlendir.

Cevaplar

1. Anakütle, hakkında sonuç çıkarılmak istenen bütün birimlerdir; örneklem çerçevesi ise örneklemin fiilen seçildiği listedir. Örneğin anakütle bir ildeki bütün yetişkinler, çerçeve ise bir telefon şirketinin abone listesi olabilir. Kapsama hatası, çerçevede bulunmayan ya da çerçevede fazladan bulunan birimler, ölçülen konuda anakütlenin geri kalanından farklı olduğunda ortaya çıkar.
2. Birinci açıklama, adres listelerinin telefon ve otomobil sahiplerinden derlendiği için varlıklı seçmenleri aşırı temsil etmesiydi; bu bir kapsama sorunudur. İkinci açıklama, pusulaları geri gönderenlerin göndermeyenlerden farklı olmasıydı; bu yanıtsızlık yanlılığıdır. Squire, asıl nedenin yanıtsızlık olduğunu, pusula gönderilen herkes yanıt verseydi kazananın doğru tahmin edileceğini gösterdi.
3. 100 çalışan düşünelim: 40 vardiyalı, 60 gündüz. Gerçek ortalama 0,40 × 5 + 0,60 × 8 = 6,8'dir. Yanıt verenler 8 vardiyalı ve 36 gündüz çalışanıdır, toplam 44. Yanıt verenlerin ortalaması (8 × 5 + 36 × 8) ÷ 44 = (40 + 288) ÷ 44 ≈ 7,45'tir. Tahmin, gerçek ortalamanın yaklaşık 0,65 puan üstündedir.
4. Ağırlıklandırılmış tahmin 0,40 × 5 + 0,60 × 8 = 6,8 olur ve yanlılık giderilir. Bu düzeltme, yanıt veren vardiyalıların yanıt vermeyen vardiyalılarla, yanıt veren gündüz çalışanlarının da yanıt vermeyen gündüz çalışanlarıyla aynı ortalama memnuniyete sahip olduğu varsayımına dayanır. Örneğin en memnuniyetsiz vardiyalılar ankete hiç katılmıyorsa, düzeltilmiş tahmin de gerçek değerin üstünde kalır.
5. Şikâyet hattını arayan müşteriler, bir sorun yaşamış olan müşterilerdir; bu kişiler bütün müşteri kitlesini temsil etmez. Anket, memnuniyeti olduğundan düşük gösterir. Bu bir kapsama hatasıdır: örneklem çerçevesi, anakütlenin belirli ve farklı bir alt grubundan oluşmaktadır.
6. Hesaplanan hata payı, yalnızca rastgele örneklemede şans kaynaklı hatayı ölçer ve seçim olasılıklarının bilinmesini gerektirir. Çevrimiçi ve gönüllü katılımlı bir ankette katılımcılar kendilerini seçmiştir; konuyla güçlü ilgisi olanlar ve anketin yayıldığı platformun kullanıcıları aşırı temsil edilir. Bu sistematik hata örneklem büyüklüğüyle küçülmez ve hata payına dahil değildir. Sonuç, katılımcıların görüşünü yansıtır; halkın yüzde 65'inin karşı olduğunu gösteren bir tahmin olarak sunulmamalıdır.

İleri okuma

• Peverill Squire (1988). «Why the 1936 Literary Digest Poll Failed». Public Opinion Quarterly 52(1). Anket tarihinin en ünlü yanılgısının yeniden incelenmesi.
• Donald Rugg (1941). «Experiments in Wording Questions: II». Public Opinion Quarterly 5(1). «Yasaklamak» ile «izin vermemek» arasındaki fark.
• Robert M. Groves vd. (2009). Survey Methodology. 2. baskı, Wiley. Toplam anket hatası çerçevesinin kapsamlı ders kitabı.
• Pew Research Center, yöntem araştırmaları (pewresearch.org). Yanıt oranları, çevrimiçi paneller ve ağırlıklandırma üzerine güncel çalışmalar.

Sonraki derse köprü

Bu kursta bir veri kümesini betimlemekten başladık; olasılık, dağılımlar, örnekleme, güven aralıkları, hipotez testleri, korelasyon ve regresyondan geçtik ve son olarak verinin nasıl toplandığının bütün bu araçları nasıl etkileyebileceğini gördük. Bu araçlar tek tek öğrenildiğinde anlamlıdır, ama asıl değerleri gerçek bir soruyla karşılaştıklarında ortaya çıkar. Resmî bir veri kaynağından bir veri kümesi indirip bir soruyu baştan sona, betimlemeden yoruma kadar nasıl cevaplarız? Bu kursun araçlarını tek bir gerçek analizde birleştirmeyi sıradaki uygulama dersi ele alıyor.