Önce özete göz atDersin sonundaki özet, okumaya başlamadan önce yol haritası olarak.
Bir örneklemden çıkan sayı ile gerçek değer arasındaki fark iki parçadan oluşur ve ikisi zıt davranır. Rastlantıdan gelen parça yön tutmaz, tekrarlarda dağılır ve katılımcı sayısıyla küçülür; sistemli parça hep aynı yöne bakar, tekrarlarda üst üste biner ve katılımcı sayısından hiç etkilenmez.
Bu yüzden örneklemi büyütmek bir yöntem değil, yalnız bir sorunun cevabıdır. Büyük bir örneklem sonucun ne kadar oynadığını daraltır ve nereye baktığını hiç değiştirmez; yanlış yere bakan bir ölçüm, kalabalıklaştıkça yanlış yere daha güvenle bakar.
Sistemli kaymanın üç girişi var ve üçü de sıradan iş akışının içinde duruyor. Katılımcıların seçildiği liste evrenle örtüşmüyor olabilir, davet edilenlerin bir bölümü cevaplamıyor ve cevaplamayanlar ölçülen konuda ötekilerden farklı olabilir, ya da katılma kararı doğrudan katılımcının elindedir ve bu karar tutumun kendisiyle ilgilidir.
Veri toplandıktan sonra da yapılacak iş var. Geç gelen cevaplarla erken gelenlerin farkı kaymanın yönünü gösterir, cevaplayanların bilinen özellikleri bütün kütükle karşılaştırılır ve payı bilinen eksik gruplar ağırlıklandırmayla kısmen telafi edilir.
Ağırlığın da bir sınırı var ve o sınır sıfırda başlıyor: hiç cevap vermemiş bir grup hesapla geri getirilemez. Kalan tek doğru hamle, kapsanmayanı raporun başında adıyla yazmaktır. Bir ölçümü güvenilir kılan şey kusursuz görünmesi değil, nerede sustuğunu söylemesidir.
Açılış sahnesi
Bir perakende zinciri dört hafta boyunca aynı anketi aynı yöntemle gönderdi ve dört ayrı sonuç aldı.
Memnuniyet puanı sırasıyla yetmiş bir, yetmiş dört, altmış dokuz ve yetmiş üç çıktı; aradaki oynama küçüktü ama toplantıda herkesin dikkatini çekecek kadar görünüyordu.
Ekip bunu gürültü saydı ve gürültüyü azaltmanın bilinen yolunu denedi. Beşinci hafta forma üç kat daha fazla müşteri çağrıldı.
Yöntem işledi. Oynama daraldı, sonuç yetmiş ikide durdu ve ekip nihayet gerçek değeri bulduğunu düşündü.
Aynı çeyreğin sonunda depodan gelen rapor bu sayıyla açıkça çelişiyordu: iadeler artmış, ikinci siparişler seyrelmiş ve destek hattına gelen çağrılar çoğalmıştı.
Sonunda kimsenin dört hafta boyunca sormadığı soru soruldu. Bu form kime gidiyor?
Form yalnız mobil uygulamadan sipariş verenlere gidiyordu ve mağazadan alışveriş yapan müşterilerin yarısı o uygulamayı hiç açmamıştı.
Dört haftanın dördü de aynı yöne kayıklıydı. Beşinci haftanın kalabalık örneklemi bu kaymaya hiç dokunmadı; yalnız üstündeki titremeyi sildi ve kaymayı daha keskin, daha güvenilir görünen tek bir sayıya çevirdi.
Elde edilen şey daha doğru bir sonuç değildi. Daha büyük bir güvenle söylenen, aynı yanlış sonuçtu.
Bu derste ne olacak
Önce bir örneklemin ürettiği sayının gerçek değerden neden ayrıldığına bakacağız ve bu ayrılığın tek parça olmadığını göreceğiz. İki bileşen var, ikisi de sapma üretiyor ve ikisi birbirinden tamamen farklı davranıyor.
Sonra ayrımın pratik sonucuna geleceğiz. Bileşenlerden birini katılımcı sayısıyla küçültebiliyorsun, ötekini büyüterek yalnızca daha inandırıcı hâle getiriyorsun.
Ardından sistemli kaymanın araştırmaya hangi kapılardan girdiğini tek tek açacağız. Kapı üç tane ve üçü de gündelik çalışma düzeninin içinde, kimse yanlış bir şey yaptığını hissetmeden açılıyor.
Usta katmanında iki iş yapacağız. Kaymanın hangi yöne çalıştığı sonuç elimizdeyken tahmin edilebiliyor ve tablodaki dengesizliğin bir bölümü hesapla düzeltilebiliyor; düzeltilemeyen bölümün ise raporda adıyla yazılması gerekiyor.
Aşağıdaki işletme adları da geçen bütün rakamlar da kurgudur; gerçek olan tek şey, bir sayının nereden geldiğine bakmadan okunmasının ne ürettiğidir.
Sıfır noktası
Bu akademide evren ile örneklem ayrımını daha önce kurmuştuk: hakkında konuşmak istediğin grup ile fiilen konuştuğun grup aynı şey değil ve aradaki mesafe araştırmanın bütün riskini taşıyor.
O ders kimi araştıralım sorusuna cevap veriyordu. Bu ders bir adım sonrasını soruyor, çünkü araştırma bitti ve elimizde bir sayı var; o sayı evrenin gerçek değeriyle aynı değil ve aradaki farkın nereden geldiği yalnız kendi başına merak konusu değil, kararın dayanağı.
Fark iki kaynaktan besleniyor ve bu iki kaynağı ayırmak dersin bütün işi. Biri her örneklemde bulunuyor, kaçınılmaz ve zararsız; öteki her örneklemde bulunmuyor, kaçınılabilir ve sonucu ısrarla tek yöne itiyor.
Birinci örnekte sapma yön tutmuyor ve grup büyüdükçe sönüyor. İkincisinde sapma yön tutuyor ve grup büyüdükçe sönmüyor; üstelik kalabalık örneklem, sapmanın varlığını sezdiren tek işareti, yani oynamayı da ortadan kaldırıyor.
Mekanizma — aynı sapma, iki ayrı davranış
İkisini ayırmanın basit bir sınaması var ve aynı ölçümü tekrarlamaktan ibaret. Örneklem hatası tekrarlarda dağılır ve sonuçlar gerçek değerin iki yanında toplanır; yanlılık tekrarlarda üst üste biner ve bütün sonuçlar aynı tarafta durur.
Buradan çıkan pratik cümle, araştırma toplantılarında en çok direnç görenlerden biri: örneklemi büyütmek her sorunu çözmez. Büyütmek tek bir sorunu çözer ve yanlış insanlara sorulduğunda o tek çözüm de hiçbir işe yaramaz.
Mekanizma — birinci kapı, elindeki liste
Yanlılığın araştırmaya giriş yerlerinden ilki, forma hiç dokunmadan ve daha kimse davet edilmeden işliyor.
Bu hatanın en can sıkıcı yanı, tabloya bakarak görülememesi. Eksik kalan grup bir satır olarak görünmez, hücreler dolu durur ve toplamlar tutar; çerçeve ile evreni yan yana yazmadan boşluk hiçbir aşamada kendini belli etmez.
Mekanizma — ikinci ve üçüncü kapı, sessiz kalanlar ile öne çıkanlar
Çerçeve doğru kurulsa bile davet edilen herkes cevaplamıyor ve cevaplamamak masum bir davranış değil.
Bu ayrım pratikte çok işe yarıyor. Onda birlik bir yanıt oranı, cevaplayanlar rastgele bir onda birse sorun çıkarmıyor; aynı oran, cevaplayanlar en memnun onda birse bütün sonucu tek başına taşıyor.
Üçüncü kapı ise araştırmacının değil, cevap verenin kendi kararıyla açılıyor.
Bu kapının tanınabilir bir izi var ve tabloda görülüyor. Cevaplar ortada boşalıp iki uçta toplanıyor, çünkü sıradan bir deneyim yaşayan kişinin form doldurmak için bir nedeni yok; çok memnun olanla çok kızgın olanın ise fazlasıyla var.
Usta katmanı — yönü tahmin etmek, düzeltmek ve söylemek
Buraya kadar yapılan iş teşhisti. Şimdi asıl soru şu: veri toplandıktan sonra, geri dönüş imkânı kalmamışken elde ne var?
İlk iş kaymanın yönünü tahmin etmek ve bunun için tablonun içinde kalan izler kullanılıyor. Geç gelen cevapların erken gelenlerden farkı bir ipucu, çünkü geç cevaplayan kişi cevaplamamaya en yakın duran kişidir; aynı biçimde hatırlatmadan sonra gelen dalganın ortalaması ilk dalganınkinden ayrılıyorsa, ayrılmanın yönü cevap vermeyenlerin bulunduğu yönü işaret eder.
İkinci ipucu, elde zaten bulunan kayıtlarla karşılaştırmaktan geliyor. Cevaplayanların ortalama harcaması, kıdemi ya da sipariş sıklığı biliniyorsa, bu değerler bütün müşteri kütüğünün değerleriyle yan yana konur ve iki sütun arasındaki fark hangi grubun eksik geldiğini doğrudan söyler.
Tabloyu düzeltmenin sınırlı ama gerçek bir yolu var ve adı ağırlıklandırma. Evrendeki payı güvenilir biçimde bilinen bir grup örneklemde eksik temsil edilmişse, o grubun cevapları hesapta payına oranla daha ağır sayılır ve ortalama buna göre yeniden kurulur. Yöntem iki şeye birden dayanıyor ve biri eksik kaldığında hesap hiç çalışmıyor: payın geldiği kaynak sağlam olmalı, düzeltilecek grup ise örneklemde hiç değilse birkaç kişiyle temsil edilmiş olmalı.
Üçüncü iş, düzeltilemeyeni yazmak. Bir araştırmanın güvenilirliği kusursuz olmasından değil, kusurunu bilinir kılmasından geliyor ve raporun kimi kapsamadığını söyleyen tek cümle, o raporu okuyanın yanlış karar vermesini engelleyen tek şey oluyor.
Yaygın hatalar
Yaygın yanlışBütün sapma tek bir hata sayılır ve çaresi katılımcı sayısı sanılır.
Oysa sapmanın yalnız rastlantıdan gelen kısmı sayıyla küçülür; sistemli kısmı olduğu yerde durur ve örneklem büyüdükçe yalnız daha dar bir aralıkla, daha inandırıcı biçimde raporlanır. Kalabalık bir örneklem yanlış sonucu düzeltmez, ona sahte bir kesinlik kazandırır.
Yaygın yanlışYanıt oranı tek başına kalite ölçütü sayılır ve yüksek oran güvence gibi okunur.
Belirleyici olan oranın kendisi değil, cevaplayanla cevaplamayan arasındaki farkın ölçülen konuyla ilgili olup olmadığıdır. Yüksek oranlı bir ölçüm de tek yöne kayabilir, düşük oranlı bir ölçüm de temiz olabilir.
Yaygın yanlışElde hazır bir liste olduğu için o liste evren sayılır.
Fatura kayıtları, uygulama kullanıcıları ve bülten aboneleri birer erişim yoludur ve hiçbiri müşterinin tamamı değildir. Listeyle evrenin farkı yazılmadığında araştırma, ulaşılabilir olanı ölçüp herkes adına konuşur.
Yaygın yanlışHerkese açık bir bağlantıdan gelen cevaplar ölçüm sayılır.
Böyle bir toplamada katılma kararını katılımcı veriyor ve karar, ölçülmek istenen tutumun kendisiyle doğrudan ilgili oluyor. Bu veri şikâyetin içeriğini öğrenmek için değerlidir ve hiçbir koşulda oran cümlesine dönüştürülemez.
Yaygın yanlışAğırlıklandırma her dengesizliğin çaresi sanılır ve hesapla temizlenemeyecek kusur yok gibi davranılır.
Ağırlık yalnız var olan cevapları büyütür; örneklemde hiç temsil edilmemiş bir grubu geri getiremez ve payların kaynağı sağlam değilse yanlışı büyütmekten başka bir şey yapmaz.
Yaygın yanlışKaymanın bilindiği durumlarda bile sonuç düz bir sayı olarak sunulur.
Yönü tahmin edilebilen bir kayma raporda söylenmediğinde okuyan kişi sayıyı olduğu gibi kullanır. Sınırı yazmak araştırmayı zayıf göstermez; sınırı yazılmamış bir araştırma, yanlış kullanıldığında kendini savunacak hiçbir cümle bırakmaz.
Aklında kalsın
Bir örneklemden çıkan sayı ile gerçek değer arasındaki fark iki parçadan oluşur ve ikisi zıt davranır. Rastlantıdan gelen parça yön tutmaz, tekrarlarda dağılır ve katılımcı sayısıyla küçülür; sistemli parça hep aynı yöne bakar, tekrarlarda üst üste biner ve katılımcı sayısından hiç etkilenmez.
Bu yüzden örneklemi büyütmek bir yöntem değil, yalnız bir sorunun cevabıdır. Büyük bir örneklem sonucun ne kadar oynadığını daraltır ve nereye baktığını hiç değiştirmez; yanlış yere bakan bir ölçüm, kalabalıklaştıkça yanlış yere daha güvenle bakar.
Sistemli kaymanın üç girişi var ve üçü de sıradan iş akışının içinde duruyor. Katılımcıların seçildiği liste evrenle örtüşmüyor olabilir, davet edilenlerin bir bölümü cevaplamıyor ve cevaplamayanlar ölçülen konuda ötekilerden farklı olabilir, ya da katılma kararı doğrudan katılımcının elindedir ve bu karar tutumun kendisiyle ilgilidir.
Veri toplandıktan sonra da yapılacak iş var. Geç gelen cevaplarla erken gelenlerin farkı kaymanın yönünü gösterir, cevaplayanların bilinen özellikleri bütün kütükle karşılaştırılır ve payı bilinen eksik gruplar ağırlıklandırmayla kısmen telafi edilir.
Ağırlığın da bir sınırı var ve o sınır sıfırda başlıyor: hiç cevap vermemiş bir grup hesapla geri getirilemez. Kalan tek doğru hamle, kapsanmayanı raporun başında adıyla yazmaktır. Bir ölçümü güvenilir kılan şey kusursuz görünmesi değil, nerede sustuğunu söylemesidir.
Sonraki derse köprü
Bu noktada elde iki şey birden var: bir sayı ve o sayının hangi yöne ne kadar kayabileceğine dair bir yargı. İkincisi olmadan birincisi okunamaz, artık bunu biliyoruz.
Ama tablo hâlâ okunmadı.
Şimdiye kadar hep tek bir ortalamadan söz ettik; oysa ortalama, arkasında duran cevap yığınının yalnız bir özeti ve bu özet çok şey saklıyor. Herkesin ortada toplandığı bir kitleyle, yarısı çok memnun yarısı çok kızgın bir kitle aynı ortalamayı üretebiliyor ve iki kitle için verilecek kararın birbiriyle hiçbir ilgisi yok.
Bir de tek bir toplamın içinde ters yönlere giden gruplar var. Genel sonuç yerinde dururken içindeki iki müşteri grubu zıt yönlere gidiyorsa, toplam sayı ikisini birbirine yedirip hiçbirini göstermiyor. Bu grupları görmenin yolu tabloyu tek sütun olarak değil, iki soruyu kesiştirerek okumaktan geçiyor.
Sonraki derste anketten çıkan tabloyu okumaya başlıyoruz: sayıların nasıl dağıldığı, ortadaki değerin neyi temsil ettiği, iki grup arasındaki farkın ne zaman bir şey ifade ettiği ve iki sorunun birlikte incelendiğinde neyi görünür kıldığı.