Örneklem ve WEIRD sorunu

Açılış sahnesi

Psikoloji bölümünde ikinci sınıf öğrencisi olan Defne, bir proje ödevi için "Türkiye'deki gençler her gün ekran başında ne kadar vakit harcıyor ve bundan nasıl etkileniyor?" sorusunu soruyor. Anketini hazırlıyor ve kendi sosyal medya hesabında paylaşıyor. Arkadaşları da paylaşıyor. Üç gün içinde dört yüz cevap geliyor.

Defne heyecanla sonuçları raporuna yazıyor: Türkiye'deki gençler her gün ortalama altı saatini sosyal medyaya veriyor ve çoğu bunun ruh hâlini olumsuz etkilediğini düşünüyor.

Hocası raporu okuyup bir soru soruyor: "Bu dört yüz kişi kim?" Defne bakınca fark ediyor: cevap verenlerin neredeyse hepsi büyük şehirlerde yaşayan, üniversiteye giden, yirmi yaş civarında, sosyal medyayı yoğun kullanan ve onun hesabını takip eden gençler. Anketi hiç görmeyenler, sosyal medyası olmayanlar, köyde tarımda çalışan gençler, lise sonrası işe girenler ve Defne'nin çevresine hiç değmeyen milyonlarca genç bu dört yüz kişinin dışında.

Defne'nin bulgusu yanlış değil. Ama "Türkiye'deki gençler" hakkında değil; Defne'nin hesabını görebilen gençler hakkında.

Bu derste ne olacak

Önceki ders (M02-D07) nitel bulguların görüşülen kişilerin ötesine nasıl aktarılabileceğini tartıştı. Bu ders aynı soruyu sayısal araştırmalar için soruyor: bir çalışmadaki kişilerden, o çalışmada olmayan kişiler hakkında ne söyleyebiliriz?

Terapi tarafında S00-P02-D04 bir araştırmanın hakkında olduğu kişilerle gerçekte ölçülen kişiler arasındaki farkı, örneklemin klinikte nerede çarpıldığını ve bir bulgunun başka bir ülkeye taşınırken nelere dikkat edilmesi gerektiğini anlattı. Bu ders onları tekrar etmeyecek; iki başka konuya odaklanacak.

Birincisi, temsil eden bir örneklemin nasıl seçildiği: hangi seçme yöntemleri var ve her biri neyi güvenceye alıyor?

İkincisi, psikolojinin bütün bir alan olarak karşı karşıya olduğu sorun: kitaplarda "insan zihni böyle çalışır" diye anlatılan sonuçların ezici çoğunluğunun dünyanın küçük ve sıra dışı bir kesiminden gelmesi ve bunun ne anlama geldiği.

Defne ve onun anketi bu ders için kurgulandı; seçim anketi, dergilerdeki örneklemlerin dağılımı ve farklı toplumlarda yapılan para paylaşma oyunları ise gerçek araştırmalardan alındı.

Sıfır noktası

Kimi seçeceğiz

Olasılıklı örneklemenin en basit biçimi, topluluğun bütün üyelerinin bir listesinden rastgele seçim yapmaktır. Ama pratikte çoğu zaman böyle bir liste yoktur ve daha akıllı yollara ihtiyaç duyulur.

Mekanizma

Psikolojinin kim üzerine kurulduğu

Buradaki asıl sorun yalnızca temsil eksikliği değil. Bu kesim, birçok psikolojik özellikte insanlığın geri kalanının ortasında değil, ucunda yer alıyor olabilir. Bunu gösteren en çarpıcı örneklerden biri, farklı toplumlarda yapılan ekonomik oyunlardan geliyor.

Büyük tekrar projeleri ne gösterdi

WEIRD sorununa verilen cevaplardan biri, aynı deneyi aynı anda dünyanın birçok ülkesinde ve birçok laboratuvarında tekrarlayan büyük ortak projeler oldu. Bu projelerin sonuçları beklenmedik bir şey de gösterdi.

Usta katmanı

Çevrim içi örneklemler ve yeni sorunlar

Son yıllarda psikoloji araştırmalarının önemli bir kısmı, para karşılığında anket dolduran katılımcılardan oluşan çevrim içi platformlara taşındı. Bu platformlar örneklemleri üniversite öğrencilerinin ötesine genişletti; ama kendi sorunlarını da getirdi.

Kanıtın sınırı

Psikoloji araştırmalarının dar bir kesimden geldiği güçlü biçimde belgelenmiş durumda; ama bunun her bir bulgu için ne kadar önemli olduğu bilinmiyor. Bir bulgunun farklı toplumlarda ne kadar değiştiği, ancak orada sınanarak öğreniliyor ve bu tür sınamaların sayısı, sınanması gereken bulguların sayısının çok gerisinde.

Kültürlerarası karşılaştırmaların kendisi de sorunlu olabiliyor. Bir toplumda geliştirilmiş bir ölçeğin başka bir dile çevrilip kullanılması, iki toplumda aynı şeyi ölçtüğünü garanti etmiyor. Ölçüm eşdeğerliği denen bu sorun M15-D01'de açılıyor ve birçok kültürlerarası bulgunun gerçek bir fark mı yoksa bir ölçüm farkı mı olduğu tartışmalı kalıyor.

Büyük çok ülkeli tekrar projelerinin sonuçları, bazı etkilerin örneklemler arasında beklenenden tutarlı olduğunu gösterse de, bu projelerin katılımcıları da büyük ölçüde farklı ülkelerin üniversite öğrencileriydi. Bu yüzden tutarlılık bulgusunun gerçekten insanlığın genelini mi, yoksa dünyanın farklı yerlerindeki benzer bir eğitimli kesimi mi yansıttığı açık bir soru.

Son olarak, temsil eden örneklemler bile değişen bir dünyayı izlemek zorunda. Bugün topluluğu iyi yansıtan bir seçme yöntemi, yarın aynı işi göremeyebilir; sabit hatlı telefon anketlerinin hikâyesi bunun açık bir örneği.

Kendin dene

Aklında kalsın

Olasılıklı örnekleme, topluluktaki her kişinin seçilme olasılığının bilindiği bir şans sürecine dayanır; tabakalı ve küme örnekleme, bütün bir listenin olmadığı durumlarda bu ilkeyi uygulanabilir kılar.

Kolay ulaşılan örneklemler hızlı ve ucuzdur; bazı mekanizma soruları için yeterli olabilirler, ama sıklık sorularına ve geniş genellemelere temel olamazlar.

Psikolojinin önde gelen dergilerindeki katılımcıların çok büyük kısmı, dünya nüfusunun küçük bir bölümünü oluşturan Batılı, eğitimli, sanayileşmiş, varlıklı ve demokratik toplumlardan geliyor ve bu kesim bazı özelliklerde insanlığın ucunda yer alıyor.

WEIRD sorunu bulguların yanlış olduğunu değil, nereye kadar genellenebileceğinin bilinmediğini gösterir; bazı bulgular farklı toplumlarda tutarlı çıkıyor, bazıları belirgin biçimde farklılaşıyor.

Bir ülkeden örneklem eklemek o ülkenin çeşitliliğini otomatik olarak eklemez; çevrim içi platformlar ise örneklemi genişletirken dikkatsiz ve aşırı deneyimli katılımcılar gibi yeni sorunlar getirir.

Sonraki derse köprü

Bu derste kimin araştırmaya katıldığını tartıştık. Ama doğru kişileri seçmek bir araştırmanın güvenilirliği için yeterli değil.

Araştırmaya katılan biri, kendisine ne yapıldığını ve ne beklendiğini bildiğinde ya da tahmin ettiğinde, gerçekten değişmiş gibi hissedebilir ve davranabilir. Araştırmacı da hangi katılımcının hangi koşulda olduğunu bildiğinde, farkında olmadan sonuçları kendi beklentisine doğru kaydırabilir. Hiçbir etkin madde içermeyen bir hapın gerçek bir iyileşme yaratabildiği ve bu yüzden hem katılımcının hem araştırmacının bilgisizliğinin bir araştırma aracına dönüştüğü bir düzenek var. Sonraki ders o düzeneği anlatıyor: plasebo, beklenti ve çift kör.