Anket tasarımı ve örneklem

Kanca

1936'da ABD'nin en tanınmış dergilerinden biri yaklaşık on milyon kişiye bir kart postaladı ve kimi seçeceklerini sordu. Kartların yaklaşık 2,4 milyonu geri döndü. Dergi sonucu güvenle yayımladı: rakip aday yüzde 54 ile kazanacaktı.

Seçimi yüzde 61 ile öbür aday kazandı. Dergi iki yıl sonra kapandı.

2,4 milyon cevap, bugün bir markanın toplayabileceği herhangi bir anketten büyüktür. Yine de yanlış çıktı. Bir anketin değeri kaç kişinin cevap verdiğine değil, kimin cevap verdiğine ve neyin sorulduğuna bağlıdır.

Büyük fikir

Anket, nitel araştırmada bulunan şeylerin ne kadar yaygın olduğunu ölçer; ama yalnız doğru kişilere doğru biçimde sorulduğunda. Büyük bir örneklem, yanlış kişilerden ya da yanlı sorulardan gelen hatayı düzeltmez, yalnız onu daha kesin gösterir.

Anlatım

Kime soruyorsun

Bir çorbanın tuzunu tatmak için bütün tencereyi içmek gerekmez; iyi karıştırılmışsa bir kaşık yeter. Ama tencere karıştırılmamışsa, üstten alınan bir kepçe dolusu çorba bile yanıltır. Anketin mantığı budur.

Önce evreni tanımlamak gerekir: markanın soruyu kimler için sorduğu. "Kahve içenler" mi, "Eskişehir'de paketli filtre kahve alanlar" mı, "son üç ayda paketimizi almış olanlar" mı? Evren belirsizse örneklem de belirsizdir. Sonra o evrenden kimin seçileceğine karar verilir. En güvenilir yol, evrendeki herkesin seçilme şansının eşit olduğu rastgele seçimdir. Ama markaların çoğu buna ulaşamaz; ellerindeki kitleye, yani takipçilerine, müşteri listelerine ya da mağazaya gelenlere sorarlar. Bu kolaylık örneklemi, ancak hangi yöne yanlı olduğunu bilerek kullanılabilecek bir şeye çevirir.

Büyüklük konusunda kaba bir kural yardımcı olur. Gerçekten rastgele seçilmiş 400 kişilik bir örneklemde, yüzde 50 civarındaki bir oranın hata payı kabaca artı eksi 5 puandır; örneklemi dörde katlamak bu payı yalnız yarıya indirir. Bu hesap yalnız rastgele örneklemler için geçerlidir. Takipçilere atılmış 400 cevaplık bir anket için böyle bir hata payı hesaplanamaz.

Kim cevap veriyor

Doğru kişilere sormak yetmez; cevap verenlerin cevap vermeyenlerden farklı olmadığından da emin olmak gerekir.

Bu incelemenin marka için iki dersi var. Birincisi, büyük bir örneklem yanlı bir cevap oranını kurtarmaz: 2,4 milyon kart dönmüştü ama dönen kartlar dönmeyenlere benzemiyordu. İkincisi, bir hatanın en çok anlatılan açıklaması bile yanlış olabilir; bir başarısızlığın nedeni de veriyle sınanmalıdır. Bir markanın memnuniyet anketine en çok cevap verenler çoğu zaman çok memnun olanlar ve çok kızgın olanlardır; ortadaki sessiz çoğunluk görünmez.

Nasıl soruyorsun

Doğru kişiler bile yanlı bir soruya yanlı cevap verir. En sık rastlanan beş tuzak var.

Yönlendirici soru cevabı ima eder: "Taze kavrulmuş kahvenin farkını hissediyor musunuz?" Çift soru iki şeyi birden sorar: "Paketimizin tasarımını ve fiyatını beğeniyor musunuz?" Tasarımı beğenip fiyatı beğenmeyen ne cevap verecek? Varsayımlı soru doğru olmayabilecek bir şeyi kabul ettirir: "Kahvemizi en çok hangi saatte içiyorsunuz?" sorusu, kişinin bu kahveyi içtiğini varsayar. Belirsiz kelime herkese başka bir şey ifade eder: "Sık sık" kimine göre her gün, kimine göre ayda bir. Dengesiz seçenekler sonucu baştan belirler: "çok iyi, iyi, oldukça iyi, orta" listesinde "kötü" yoktur.

Bu tuzakların hepsinden kaçınmanın en ucuz yolu, anketi göndermeden önce birkaç kişiyle denemektir. M04-D04'te gördüğümüz Türk kahvesi makinesi tezinde ekip, anketi önce küçük bir gruba uyguladı ve cevaplayanlardan birinin hiç kahve içmediği hâlde soruları doldurduğunu, ankette kahve içmeyenler için hiçbir yol olmadığını fark etti. Asıl ankette soruların büyük kısmı değişti. Bu küçük deneme, anketin kendi yanlışını bulmasının en kolay yoludur.

Vakalar

Örnek markada

Görüşmelerden sonra Ilgaz ile Mert'in elinde bir soru vardı: kavrum tarihini fark etmeyen müşteri bir kişi miydi, yoksa çoğunluk mu? Bunu sayıyla görmek için kısa bir anket hazırlamaya karar verdiler.

Son olarak beklentilerini yazdılar: belki altmış kart geri dönecekti. Bu bir hata payıyla raporlanacak bir oran değildi; kartı doldurmaya istekli müşterilerin söylediğiydi. Yine de dört görüşmeden çok daha geniş bir resim verecekti.

Hata köşesi

Kendi markanda

Özet

1. Anket, nitel araştırmada bulunan şeylerin yaygınlığını ölçer; değeri cevap sayısına değil, kimin cevap verdiğine ve neyin sorulduğuna bağlıdır.
2. Örneklem, tanımlanmış bir evrenden seçilir; hata payı yalnız rastgele örneklemler için hesaplanabilir.
3. Cevap verenler cevap vermeyenlerden farklıysa, büyük bir örneklem bile yanlış sonuç verir.
4. Yönlendirici, çift, varsayımlı, belirsiz sorular ve dengesiz seçenekler cevabı soru yazılırken belirler.
5. Anketi göndermeden önce küçük bir grupla denemek, hataları en ucuza bulmanın yoludur.

Kendini sına

1. Bir marka memnuniyet anketini yalnız sosyal medya takipçilerine gönderiyor ve yüzde 92 memnuniyet buluyor. Bu sonucu en doğru nasıl okursun: (a) müşterilerin yüzde 92'si memnun, (b) markayı takip eden ve anketi doldurmaya istekli kişilerin büyük kısmı memnun, (c) anket tamamen değersiz?
2. Tasarımı beğenen ama fiyatı pahalı bulan biri "Paketimizin tasarımını ve fiyatını beğeniyor musunuz?" sorusuyla karşılaşıyor. Ne olur: (a) soruyu atlar, çünkü fazla uzun, (b) hangi cevabı vereceğini bilemez, çünkü soru iki ayrı şeyi birden soruyor, (c) açık uçlu bir cevap yazar?
3. 1936 dergi anketinde 2,4 milyon kart geri döndüğü hâlde sonuç neden yanlış çıktı: (a) örneklem çok küçüktü, (b) Lusinchi'nin incelemesine göre kartı geri gönderenler göndermeyenlerden farklıydı, (c) kartlar yanlış adreslere gitti?
4. TMME'de marka başına 100 ile 250 kişiyle, sektör başına 800 ile 2.000 kişiyle görüşülmesi neyi gösterir: (a) örneklem büyüklüğünün raporlanacak düzeye göre ayarlandığını, (b) büyük markaların daha çok önemsendiğini, (c) telefon anketinin pahalı olduğunu?
5. Ilgaz ile Mert'in denemesinde anketin "kendi cevabını öğrettiği" ortaya çıktı. Bu ne demek: (a) katılımcılar cevap vermeden önce pakete bakıp tarihi buluyordu, (b) anket çok kolaydı, (c) katılımcılar cevapları birbirinden kopyaladı?

Yanıtlar

Takipçi sorusunda (b). Sonuç yanlış değil, ama evreni takipçilerdir; bu kitle markanın en ilgili kesimidir. (c) fazla sert, çünkü bu kitlenin ne düşündüğünü bilmek de değerlidir; yalnız bütün müşterilere genellenemez.

Çift soru sorusunda (b). Tasarımı beğenip fiyatı beğenmeyen kişi hangi cevabı vereceğini bilemez ve verdiği cevap hiçbir şeyi ayırt etmez.

Dergi sorusunda (b). Örneklem son derece büyüktü; sorun, cevap verenlerin bir adayı belirgin biçimde daha çok desteklemesiydi. Lusinchi, telefon ve otomobil sahiplerinin seçilmesinin asıl neden olduğu yönündeki yaygın açıklamanın veriyle desteklenmediğini gösteriyor.

TMME sorusunda (a). Sektör düzeyinde bir sonuç, marka düzeyindekinden daha çok kişiyi gerektirir; çünkü sektör sonucu birçok markanın cevaplarını birlikte temsil eder.

Son soruda (a). Paket elinin altındayken katılımcı soruyu cevaplamadan önce tarihi arıyor ve buluyordu; anket ölçmek istediği şeyi, yani tarihin kendiliğinden fark edilip edilmediğini, bozuyordu.

Sonraki derse köprü

Kartlar dönmeye başladığında elde sayılar, yüzdeler ve belki bir iki grafik olacak. Sayılar kendiliğinden konuşmaz; onları okuyan kişi konuşturur. M04-D06 veriyi doğru okumak, bir grafiğin bizi nasıl yanıltabileceğini ve iki şeyin birlikte artmasının birinin öbürüne yol açtığı anlamına neden gelmediğini konuşuyor.