Örneklem büyüklüğü

Açılış sahnesi

Bir akşam, bir öğretmenin masasında aynı konuda iki makale duruyor. İlki on iki kişiyle yapılmış küçük bir çalışma: altı kişi sekiz hafta boyunca yoga yapmış, altı kişi yapmamış. Yoga grubunda uyku sorunları dikkat çekici biçimde azalmış; makale "güçlü bir etki" bildiriyor.

İkincisi aynı soruyu dört yüz kişiyle sormuş. Burada yoga grubundaki iyileşme çok daha küçük: var, ama birincisindeki kadar göz alıcı değil. Makaleleri gönderen meslektaşı, ilkinin daha heyecan verici olduğunu, ikincisinin "sıkıcı" bulunduğunu yazmış.

Öğretmen iki çalışmanın aynı soruya neden bu kadar farklı büyüklükte cevaplar verdiğini merak ediyor. On iki kişi ile dört yüz kişi arasındaki fark, yalnızca bir sayı farkı mı; yoksa iki çalışmanın söyleyebileceklerini baştan belirleyen bir fark mı?

Bu derste ne olacak

Bu ders araştırma okuryazarlığının ikinci birimini açıyor: çalışmaların niteliğini ve sonuçlarını okumayı. İlk soru bir çalışmanın büyüklüğü. İlk durak, katılımcı sayısına nasıl karar verildiği. Sonra bir çalışmanın iki farklı biçimde yanılabileceğini, var olmayan bir etkiyi görmeyi ve var olan bir etkiyi kaçırmayı, ve bir çalışmanın gerçek bir etkiyi yakalama olasılığını, istatistiksel gücü tartışacağız. Ardından küçük çalışmaların neden bazen etkileri abarttığını konuşacağız. En sonda bir çalışmanın büyüklüğünün alt gruplar için ne anlama geldiğine bakacağız; burada ten tonu, az sayıda katılımcının bulunduğu bir grupta "fark bulunamadı" demenin neden bir fark olmadığını göstermediğini ortaya koyacak.

Sıfır noktası

Y5.75'te birincil sonucun, bir çalışmanın katılımcı sayısının hesaplandığı sonuç olduğunu söylemiştik. Y5.72'de birleştirmenin tek tek zayıf kalan çalışmaları güçlendirebildiğini, ama düşük nitelikli küçük çalışmaların etkileri şişirebildiğini görmüştük. Her iki derste de büyüklük bir ayrıntı gibi geçiyordu.

Bu ders o ayrıntıyı merkeze alıyor. Bir çalışmanın büyüklüğü, onun neyi görebileceğini ve neyi kaçırabileceğini belirler. On iki kişilik bir çalışma ile dört yüz kişilik bir çalışma aynı soruyu sorabilir; ama ikisi aynı güvenle cevaplayamaz.

Mekanizma

Kaç kişi?

Örneklem büyüklüğünün belirlenmesi maddesi, bu işlemi istatistiksel bir örneğe kaç gözlemin alınacağının seçilmesi olarak tanımlıyor ve örneklem büyüklüğünün, bir örnekten bir nüfus hakkında çıkarım yapmayı amaçlayan her çalışmanın önemli bir özelliği olduğunu yazıyor. Madde, uygulamada bir çalışmanın örneklem büyüklüğünün genellikle veri toplamanın maliyetine, zamanına ya da kolaylığına ve yeterli istatistiksel güç sağlama gereğine göre belirlendiğini ekliyor.

Madde, örneklem büyüklüğünün birkaç yoldan seçilebildiğini sıralıyor ve bunlardan birinin deneyime dayanmak olduğunu, ama küçük örneklemlerin, bazen kaçınılmaz olsalar da, geniş güven aralıklarına ve istatistiksel testlerde hata riskine yol açabildiğini yazıyor. Güven aralığını okumak, birkaç ders sonra kendi başına bir konu olacak.

İki tür yanılgı ve güç

Tip I ve tip II hatalar maddesi, bir çalışmanın yanılabileceği iki yolu tanımlıyor. Tip I hata ya da yanlış pozitif, doğru olan bir sıfır hipotezinin yanlışlıkla reddedilmesidir: gerçekte bir etki yokken bir etki görmek. Tip II hata ya da yanlış negatif, yanlış olan bir sıfır hipotezinin yanlışlıkla kabul edilmesidir: gerçekte bir etki varken onu kaçırmak. Madde, tip II hatanın kusurlu ya da yetersiz veriler yüzünden yapıldığını yazıyor.

İstatistiksel güç maddesi, bu ikinci hatanın öteki yüzünü tanımlıyor: güç, gerçekten var olan bir etkiyi belirli bir test ile belirli bir bağlamda yakalama olasılığıdır. Madde, gücün kullanılan teste, örneklem büyüklüğüne, daha fazla veri genellikle daha fazla güç sağlar, ve etki büyüklüğüne bağlı olduğunu yazıyor. Madde, resmî bir standart olmasa da pek çok araştırmacının ve fon kuruluşunun gücü yüzde seksen düzeyinde yeterli saydığını aktarıyor.

Madde, gücün bir sonucun yorumunu da etkilediğini vurguluyor: güçlü bir çalışmada bir sonuç bulunamaması, bir etkinin olmadığına dair, güçsüz bir çalışmadaki aynı bulgudan daha güçlü bir kanıttır. Madde, gücü düşük bir çalışmanın büyük olasılıkla sonuçsuz kalacağını da ekliyor.

Küçük çalışmalar neden abartabilir?

Açılış sahnesindeki küçük çalışma "güçlü bir etki" bildirmişti; büyük çalışma ise çok daha küçük bir etki. Neden bulgularının çoğu yanlış maddesi, John Ioannidis'in iki bin beşte yayımladığı bir denemeyi anlatıyor. Madde, Ioannidis'in bir alandaki araştırma bulgularının, yapılan çalışmalar ne kadar küçükse ve etki büyüklükleri ne kadar küçükse o kadar az olasılıkla doğru olduğunu öne süren sonuçlar sıraladığını yazıyor. Madde, Ioannidis'in bu sorunun kaynakları arasında küçük örneklemlerle sınırlı kalan tek başına çalışan araştırmacıyı, hipotezlerin önceden kaydedilmemesini ve en iyi sonucu veren hipotezlerin sonradan seçilmesini saydığını aktarıyor.

Madde aynı zamanda Ioannidis'in modelinin geçerliliğinin ve bilimsel bulguların çoğunun yanlış olduğu iddiasının eleştirildiğini, bazı cevapların daha düşük yanlış pozitif ve yanlış negatif oranları öne sürdüğünü de yazıyor. Denemenin yöntem reformu önerileri ise genel olarak olumlu karşılanmış.

Bunun mantığı basittir: küçük bir çalışmada tesadüf sonucu kolayca büyütebilir ya da küçültebilir. Küçük çalışmalar arasından yalnızca anlamlı çıkanlar göze çarptığında, ya da yalnızca onlar yayımlandığında, bu çalışmalar çoğu zaman tesadüfün etkiyi büyüttüğü çalışmalardır. Sonuçları yayımlanmayan çalışmaların oluşturduğu bu çarpıklık, bu birimin son derslerinden birinde ayrıca ele alınacak.

Alt gruplar için büyüklük

Bir çalışmanın toplam büyüklüğü, alt grupları için aynı güveni sağlamaz. Örneklem büyüklüğünün belirlenmesi maddesi, tabakalı örneklemede örneklemin alt örneklere bölünebildiğini ve bunun nedenlerinden birinin tabakaları, yani alt grupları, tek tek incelemek olduğunu yazıyor. Bir alt grubu ayrıca incelemek, o alt grup için de yeterli sayıda katılımcı gerektirir.

Ten tonu burada, az sayıda katılımcının bulunduğu bir grupta "fark bulunamadı" demenin neden bir fark olmadığını göstermediğini ortaya koyar. Dört yüz kişilik bir çalışmada yalnızca on beş koyu tenli katılımcı varsa, çalışma bu küçük alt grupta bir farkı görmek için büyük olasılıkla yeterli güce sahip değildir. Bu alt grupta "etki görülmedi" sonucu bir tip II hata olabilir; "etki farklı değildi" sonucu ise hiç sınanmamış bir iddia. Y5.73'te bir alt grup sorusunun protokole baştan yazılması gerektiğini söylemiştik; bu ders, o sorunun cevabını gerçekten verebilmek için alt grupta da yeterli katılımcının planlanması gerektiğini ekliyor.

Örneklerden okuma

Usta katmanı

Bir çalışmanın büyüklüğü, onun neyi görebileceğini ve neyi kaçırabileceğini belirler. Küçük bir çalışma, var olan bir etkiyi kolayca kaçırabilir; bulduğu bir etkiyi ise tesadüfle büyütmüş olabilir. Büyük bir çalışma bu iki riski azaltır, ama tasarımın başka zayıflıklarını gidermez.

Usta öğretmenin makalede ilk aradığı şey güç hesabıdır: araştırmacılar hangi büyüklükte bir etkiyi görmek istediler ve bunun için kaç kişiye ihtiyaç duydular? Bir çalışma bir etki bulamadıysa, "etki yok" demeden önce çalışmanın bir etkiyi bulabilecek kadar büyük olup olmadığını sorar. Çok küçük bir çalışmanın çok büyük bir etki bildirmesini bir uyarı olarak okur.

Usta bir öğretmen, bir çalışmanın toplam büyüklüğünün alt gruplar için aynı güveni sağlamadığını da bilir. Az sayıda katılımcının bulunduğu bir grupta, farklı tenlerden ya da kökenlerden gelen katılımcılarda, "fark görülmedi" sonucunu "fark yok" diye değil, "bu grup için bilinmiyor" diye aktarır.

Yaygın hatalar ve yanlış bilinenler

Uygulama

Aklında kalsın

Bir çalışmanın büyüklüğü, neyi görebileceğini ve neyi kaçırabileceğini belirler.

Güç, var olan bir etkiyi yakalama olasılığıdır; gücü düşük bir çalışma bir etkiyi kolayca kaçırır.

Bir etki bulunamadığında önce sorulan soru: çalışma bunu bulabilecek kadar büyük müydü?

Çok küçük bir çalışmanın çok büyük bir etki bildirmesi, dikkat etmek için bir nedendir.

Alt grupta az katılımcı varsa, "fark görülmedi" demek "fark yok" demek değildir; o grup için sonuç bilinmez.

Sonraki derse köprü

Bu derste bir çalışmanın büyüklüğünün neyi belirlediğini gördük. Ama bir çalışmanın ne kadar büyük olduğu kadar, yoga grubunun neyle karşılaştırıldığı da sonucu belirler: hiçbir şey yapmayan bir grupla mı, bekleme listesindeki bir grupla mı, yoksa başka bir etkinlik yapan bir grupla mı?

Sıradaki dersin konusu bu seçim: kontrol grubu seçimi.

Soru şu: bir yoga programı neyle karşılaştırılırsa hangi soruyu cevaplar ve karşılaştırma grubunun seçimi, bir etkinin olduğundan büyük ya da küçük görünmesine nasıl yol açabilir?