Örneklem ve Katılımcı Seçimi

Açılış sahnesi

Bir işletme sitesine kısa bir geri bildirim formu koyuyor ve altı ayda üç bin cevap topluyor.

Üç bin sayısı toplantıda tekrar tekrar söyleniyor. Bu kadar cevabın yanılma payı düşüktür deniyor ve kararlar buna dayandırılıyor.

Aylar sonra formu kimin gördüğü sorgulanıyor.

Form yalnız sipariş tamamlandıktan sonra çıkan teşekkür sayfasında görünüyormuş.

Yani formu dolduran herkes, satın alma işlemini sonuna kadar götürebilmiş biri. Sepete ekleyip vazgeçen, ödeme adımında takılan, kargo ücretini görüp çıkan hiç kimse o formu görmemiş.

İşletmenin asıl derdi tam olarak buydu: insanlar neden satın almadan çıkıyor?

Üç bin cevap bu soruya dair tek bir şey söylemiyor. Söyleyemezdi de, çünkü sorunun ilgilendiği insanların hiçbiri o cevapların içinde yok.

Sayının büyüklüğü burada hiçbir işe yaramıyor. Otuz bin cevap olsaydı sonuç aynı ölçüde boş olacaktı.

Bu derste ne olacak

Önce iki kavramı ayıracağız: araştırmanın hakkında konuşmak istediği grup ile fiilen konuştuğu grup. Bu ikisi karıştığında toplanan verinin miktarı hiçbir şeyi kurtarmıyor.

Sonra katılımcıların hangi biçimlerde seçildiğine bakacağız. Üç ana yol var ve her biri farklı bir iddiaya izin veriyor; birinin izin verdiği cümle ötekinde yanlış oluyor.

Ardından kaç kişi sorusunu ele alacağız. Bu sorunun tek bir cevabı yok ve nitel ile nicel çalışmada aynı şeyi bile sormuyor.

Son olarak seçimden doğan çarpıtmaları konuşacağız. Bir örneklem yalnız kimi içerdiğiyle değil, kimi sistematik olarak dışarıda bıraktığıyla da tanımlanıyor.

Buradaki işletmelerin ve sayıların hepsi uydurma.

Sıfır noktası

Her araştırmada iki ayrı grup vardır ve bu iki grubun çakıştığı durum istisnadır.

İşin sırası burada da tersine çevrilemiyor. Önce evren yazılır, sonra ona ulaşmanın yolu aranır. Uygulamada ise genellikle tersi oluyor: elde bir liste vardır, araştırma o listeye yapılır ve evren sonradan o listeye benzetilir.

Bir örneklemin sağlığı büyüklüğüyle değil, evreni ne kadar iyi temsil ettiğiyle ölçülüyor. Yanlış gruptan toplanan çok sayıda cevap, doğru gruptan toplanan az sayıda cevaptan daha kötü sonuç veriyor; çünkü büyük sayı yanlış bir güven duygusu üretiyor.

Mekanizma — üç seçim biçimi

Katılımcıya ulaşmanın üç ana yolu var ve aralarındaki fark, sonunda kurabileceğin cümlenin ne olduğunda.

Ayrım pratikte tek bir soruya iniyor: sonunda hangi cümleyi kurmak istiyorsun? "Böyle bir şey var ve şöyle işliyor" demek için amaçlı seçim yeterli. "Müşterilerimizin şu kadarı böyle" demek için olasılıklı seçim şart.

Kolayda örnekleme bu ikisinin arasına sıkışıyor ve tehlikesi de burada. Hızlı olduğu için sık kullanılıyor, sonra çıkan sayı sanki olasılıklı bir çalışmadan gelmiş gibi cümleye dönüştürülüyor.

Usta katmanı — kaç kişi ve kimin görünmediği

Kaç kişi sorusunun tek bir cevabı yok, çünkü iki yöntem ailesinde soru aynı şeyi sormuyor.

Nicel bir çalışmada sayı, sonucun ne kadar dar bir aralıkla verilebileceğini belirliyor. Katılımcı arttıkça tahmin daralıyor ve belirli bir noktadan sonra kazanç hızla azalıyor; iki katına çıkan katılımcı, hatayı yarıya indirmiyor.

Nitel bir çalışmada ise sayı bir hedef değil, bir sonuç. Katılımcı eklemenin ne zaman duracağını konunun kendisi belirliyor ve karmaşık bir konuda bu nokta hep daha geç geliyor.

Sayı yeterli olsa bile bir seçim hâlâ eksik kalabiliyor. Evren içinde birbirinden belirgin biçimde ayrılan gruplar varsa, rastgele bir seçim küçük olanı tamamen ıskalayabiliyor; toplam içindeki payı düşük olan grup, şans eseri hiç düşmediğinde bulgularda yok sayılmış oluyor. Bu yüzden seçim yapılmadan önce evrenin hangi anlamlı gruplara ayrıldığı yazılıyor ve her grubun örneklemde kaç kişiyle temsil edileceği ayrıca belirleniyor. Küçük ama kararı değiştirebilecek bir grup varsa, o gruptan payına düşenden fazla kişi alınıp hesapta bu fark düzeltiliyor.

Yaygın hatalar

Aklında kalsın

Her araştırmanın iki grubu vardır ve işin sırası tersine çevrilemez. Önce hakkında konuşmak istediğin grup tek cümleyle yazılır, sonra ona ulaşmanın yolu aranır. Elde bir liste olduğu için o listeye araştırma yapmak ve evreni sonradan listeye benzetmek, bu dersin en sık görülen kusurudur.

Örneklemin sağlığı büyüklüğüyle değil temsil gücüyle ölçülür. Sayı yalnız rastlantısal dalgalanmayı azaltır; sistematik bir çarpıtmayı azaltmaz, aksine ona sahte bir güven kazandırır. Yanlış gruptan gelen üç bin cevap, doğru gruptan gelen otuz cevaptan daha az şey söyler.

Seçim biçimi, sonunda kurabileceğin cümleyi belirler. Bilerek seçilmiş katılımcılarla "böyle bir şey var ve şöyle işliyor" denebilir; "müşterilerimizin şu kadarı böyle" demek için ise herkesin seçilme şansının bilindiği bir seçim gerekir. Kolay ulaşılanla yetinmek keşif için uygundur ve oran cümlesini taşımaz.

Son olarak bir örneklem, kimi içerdiği kadar kimi dışarıda bıraktığıyla da tanımlanır. Ayrılanlar, vazgeçenler ve cevap vermeyenler neredeyse her zaman en çok bilgiyi taşıyan gruptur ve neredeyse her zaman listede yoktur. Geriye tek cümle kalsın: sormadığın kişi, cevabı bilen kişidir.

Sonraki derse köprü

Kimin araştırılacağını belirledik ve bu insanlara ulaşmadan önce cevaplanması gereken bir soru daha var.

Bu derste sürekli insanlara ulaşmaktan söz ettik. Ayrılan velilerle konuşmak, cevap vermeyenleri telefonla aramak, müşteri listelerinden seçim yapmak; hepsi somut kişilere temas etmek demek.

Sonraki derste bu temasın kurallarını konuşacağız. Bir kişiye soru sormak, onun zamanını ve çoğu zaman özel bilgisini istemektir; bu isteğin nasıl yapıldığı hem katılımcının hakkı hem araştırmanın güvenilirliğiyle ilgilidir.

Orada özellikle iki konuya bakacağız. Katılımcının neye evet dediğini gerçekten bilip bilmediği bir konu, toplanan bilginin sonradan nerede ve ne kadar saklandığı ayrı bir konu. İkisi de araştırmanın kalitesini doğrudan etkiliyor, çünkü kendini güvende hissetmeyen bir katılımcı doğruyu söylemiyor.