İstatistiksel güç

Açılış sahnesi

Bir psikoloji bölümünde beş yüksek lisans öğrencisi, aynı dönem aynı soruyu sınıyor: sınavdan önce kaygıyı on dakika yazıya dökmek, sınav performansını iyileştirir mi? Her biri kendi üniversitesinde, aynı yöntemle, yirmişer öğrencilik iki grupla çalışıyor.

Dönem sonunda bir seminerde sonuçlarını paylaşıyorlar. İki öğrenci anlamlı bir iyileşme bulmuş ve heyecanlı. Üç öğrenci hiçbir anlamlı fark bulamamış. Tartışma hızla kızışıyor. Etki bulanlar, bulamayanların yöntemi yanlış uyguladığını düşünüyor. Bulamayanlar, ötekilerin şanslı olduğunu ya da bir şeyi gözden kaçırdığını söylüyor. Bir öğrenci "bu yöntem bazı üniversitelerde işe yarıyor, bazılarında yaramıyor demek ki" diye bir uzlaşma öneriyor.

Seminer hocası tahtaya bir sayı yazıyor: yüzde otuz dört. "Bu yazma alıştırmasının gerçek etkisi orta büyüklükteyse ve her biriniz yirmişer kişiyle çalıştıysanız, herhangi birinizin anlamlı sonuç bulma olasılığı aşağı yukarı bu kadardı. Beş çalışmanın ikisinin bulup üçünün bulamaması, tam olarak beklenecek şey."

Öğrenciler birbirine bakıyor. Hiçbiri hata yapmamıştı. Hepsi, gerçek bir etkiyi yakalamak için baştan yetersiz donanımla yola çıkmıştı.

Bu derste ne olacak

Önceki ders bir etkinin büyüklüğünü anlatmanın yollarını gösterdi ve yayımlanmış etkilerin çoğu zaman olduğundan büyük çıktığını söyleyip nedenini bu derse bıraktı. Bu ders o nedeni açıyor.

M03-D07'deki iki hatadan ikincisi, gerçekte orada duran bir etkiyi görmeden geçmekti. İkincisine karşı ne kadar korunduğumuzu ölçen kavram, istatistiksel güç. Bu derste önce gücün neye bağlı olduğunu ve nasıl önceden hesaplanabileceğini göreceğiz. Sonra güçsüz çalışmaların yalnızca gerçek etkileri kaçırmakla kalmayıp, buldukları etkileri nasıl şişirdiğine ve bazen yönünü bile ters gösterdiğine bakacağız. Son olarak psikolojinin tarihinde gücün nasıl ihmal edildiğine ve bunun bugün nasıl düzeltilmeye çalışıldığına geçeceğiz.

Beş öğrencinin semineri ve sayısal örnekler hesapları izlenebilir kılmak için kurgulandı; benzetim sonuçları bu ders için bilgisayarda yeniden üretildi; psikoloji ve sinirbilim dergilerindeki güç düzeylerine dair taramalar ise yayımlanmış çalışmalardan.

Sıfır noktası

Gerçek bir etkiyi yakalama olasılığı

Mekanizma

Gücü belirleyen dört şey

Güç dört şeye bağlıdır: etkinin gerçek büyüklüğü, örneklem büyüklüğü, ölçümün ne kadar gürültülü olduğu ve anlamlılık düzeyi. Araştırmacı etkinin büyüklüğünü seçemez; ama öbür üçü üzerinde söz sahibidir.

Güçsüz çalışmaların gizli bedeli

Güçsüz bir çalışmanın en bilinen sorunu, gerçek etkileri kaçırmasıdır. Ama daha az bilinen ve daha sinsi bir sorunu var: etkiyi bulduğunda, onu olduğundan büyük gösterir.

Usta katmanı

Kanıtın sınırı

Gücün matematiği ve güçsüz çalışmaların sonuçları üzerine kuramsal tablo sağlam; tartışmalı olan, psikolojinin farklı alanlarında gerçek güç düzeylerinin ne olduğu. Gücü hesaplamak için gerçek etki büyüklüğünü bilmek gerekir ve bu hiçbir zaman bilinmez. Taramalar genellikle meta-analizlerin bulduğu etkileri ya da geleneksel küçük, orta, büyük değerlerini kullanıyor; bu ikisi de gerçek etkinin ancak yaklaşık birer tahmini.

Etki şişmesinin büyüklüğü de, yayımlanmış literatürde ne kadar güçsüz çalışma bulunduğuna ve olumsuz sonuçların ne sıklıkla rafa kaldırıldığına bağlı. Bilgisayar benzetimleri olası bir tabloyu çiziyor; gerçek literatürde bunun tam olarak ne ölçüde yaşandığı, büyük tekrar projeleri dışında doğrudan ölçülemiyor.

Son yıllarda psikolojide örneklem büyüklüklerinin arttığı ve güç analizlerinin daha sık raporlandığı bildiriliyor. Ama birçok çalışmada güç analizi, önceden belirlenmiş bir örneklemi geriye dönük olarak meşrulaştırmak için, gerçekçi olmayan büyük etki büyüklükleriyle yapılıyor. Bir güç analizinin raporlanması, onun gerçekçi varsayımlarla yapıldığını garanti etmiyor.

Kendin dene

Aklında kalsın

İstatistiksel güç, gerçek bir etki varken bir çalışmanın onu bulma olasılığıdır; etkinin büyüklüğüne, örneklem büyüklüğüne, ölçümün gürültüsüne ve anlamlılık düzeyine bağlıdır.

Orta büyüklükte bir etki için yirmişer kişilik iki grup yaklaşık üçte bir güç verirken, yüzde seksenlik güç için grup başına altmış dört kişi civarı gerekir; etki yarıya inince gereken örneklem dört katına çıkar.

Güç analizi, çalışma başlamadan önce, önemsenen en küçük etkiye göre yapılmalıdır; küçük pilot çalışmaların ya da tek bir yayımlanmış çalışmanın şişkin etkileri bu iş için yanıltıcıdır.

Güçsüz çalışmalar yalnızca gerçek etkileri kaçırmaz: anlamlı çıktıklarında bulunan etkiyi sistematik olarak şişirir ve çok küçük etkilerde yönü bile ters gösterebilir.

Psikoloji ve sinirbilimde güç onlarca yıl boyunca düşük kaldı ve bu, tekrarlanamayan bulguların köklerinden biri oldu; ortak laboratuvar ağları, denek içi desenler ve gerçekçi güç analizleri bu sorunu azaltmanın yolları.

Sonraki derse köprü

İstatistik modülünün dokuz dersinde, bir sonucun arkasındaki sayıları tek tek açtık: ortalamalar, yayılımlar, korelasyonlar, aralıklar, p değerleri, etki büyüklükleri ve güç. Ama bir psikoloji bulgusuyla karşılaştığımız ilk yer çoğu zaman bir sayı değil, bir resim: bir haberdeki çubuk grafik, bir sunumdaki eğri, bir sosyal medya paylaşımındaki renkli bir şekil.

Aynı veri, eksenin nereden başlatıldığına, hangi zaman aralığının seçildiğine ve neyin gösterilip neyin gizlendiğine göre ya önemsiz ya da çarpıcı görünebilir. Göz, bir grafiğe saniyeler içinde bir yargı yükler ve bu yargı çoğu zaman alttaki sayılardan bağımsızdır. Modülün son dersi, grafiklerin yanılttığı en yaygın yolları tanımayı ve bir grafiği doğru okumayı anlatıyor: grafikle yanıltmak ve doğru okumak.