M02-D11

Tekrarlama krizi

Ünlü bulguların neden tekrarlanamadığını yayın yanlılığı, küçük örneklem ve esnek analiz üzerinden açıklar.

Temel Psikoloji Akademisi — M02, Araştırma yöntemleri · 2.845 kelime · 16 örnek durum · 4 kanıt kartı · ≈ 13 dk okuma · 19 dk dinleme

Önce özete göz atDersin sonundaki özet, okumaya başlamadan önce yol haritası olarak.

Bir bulgu, başka araştırmacılar onu bağımsız olarak yeniden bulabildiğinde güvenilir sayılır; doğrudan tekrar özgün yöntemi aynen izler, kavramsal tekrar aynı fikri farklı yöntemle sınar.

2011'de geleceği sezme makalesi, veri uydurma skandalı ve esnek analizin saçma sonuçlar üretebildiğini gösteren çalışma, psikolojinin yöntemlerini sorgulamasının başlangıcı oldu.

Araştırmacı serbestlik dereceleri, anlamlılık avcılığı ve sonradan hipotez kurma, dürüst araştırmacıların farkında olmadan yanlış pozitif sonuçlar üretmesine yol açabilir; sorun birkaç sahtekârdan çok, herkesin kullandığı alışkanlıklardaydı.

Büyük tekrar projeleri, yayımlanmış bulguların önemli bir kısmının tekrarlanamadığını ve tekrarlananların da çoğu zaman daha küçük etkiler verdiğini gösterdi; bazı ünlü bulgular düştü, bazıları küçüldü, bazıları güçlü biçimde ayakta kaldı.

Tekrarlanamama bir suçlama değil, yeni bir bilgidir; küçük örneklem, sınırda sonuç ve çarpıcı iddia, bir bulgunun dikkatle okunması gerektiğini gösteren işaretlerdir.

Açılış sahnesi

2011'de sosyal psikolojinin en saygın dergilerinden biri, deneyimli ve tanınmış bir psikoloğun dokuz deneyden oluşan bir makalesini yayımladı. Makale, insanların geleceği önceden sezebildiğini iddia ediyordu.

Deneylerden birinde üniversite öğrencileri bir bilgisayar ekranında iki perde görüyordu ve hangisinin arkasında bir resim olduğunu tahmin etmeleri isteniyordu. Resmin hangi perdenin arkasına konacağına, öğrenci seçimini yaptıktan sonra bilgisayar rastgele karar veriyordu. Şans düzeyi yüzde ellidir. Resim erotik olduğunda öğrenciler yüzde elliyi biraz aşan bir oranda doğru tahmin etti. Dokuz deneyin sekizinde istatistiksel olarak anlamlı sonuçlar çıktı.

Makale, döneminin standart yöntemleriyle yazılmıştı: rastgele atama, kontrol koşulları, yeterli sayılan örneklemler, kabul görmüş testler. Hakemler yöntemde açık bir hata bulamadı.

Çoğu psikolog, insanların geleceği sezdiğine inanmadı. Ama bu, rahatsız edici bir soruyu gündeme getirdi: eğer alanın standart yöntemleri, neredeyse kesinlikle yanlış olan bir sonucu dokuz deneyin sekizinde "kanıtlayabiliyorsa", aynı yöntemlerle elde edilen öbür bulgulara ne kadar güvenmek gerekir?

Bu derste ne olacak

Önceki ders, araştırmacının katılımcıya karşı sorumluluğunu konuştu ve sonunda başka bir sorumluluğa işaret etti. Bu ders o sorumluluğun yerine getirilmediği bir dönemin hikâyesini anlatıyor.

Terapi tarafında S00-P02-D08 yayın yanlılığını ve bildirim seçiciliğini, yani olumsuz sonuçların çekmecede kalmasını ve lehte çıkan analizlerin öne alınmasını tanımladı. Bu ders bu kavramları yeniden tanımlamayacak; onların psikolojide birikerek neye yol açtığını gösterecek.

Önce tekrarlamanın ne olduğunu ve neden bilimin temel taşı sayıldığını göreceğiz. Sonra 2011'den sonra gelen büyük tekrar projelerinin ne bulduğuna bakacağız. Ardından bu sonuçların arkasındaki mekanizmaları, yani esnek analizi ve sonradan kurulan hipotezleri inceleyeceğiz. Son olarak tekrarlanamayan bir bulgunun ne anlama gelip ne anlama gelmediğini tartışacağız.

Bu dersteki deneyler, tekrar projeleri ve tartışmalar yayımlanmış kaynaklara dayanıyor; laboratuvar toplantısı ve tez öğrencisi örnekleri ise anlatım için kuruldu.

Sıfır noktası

Bir sonucu yeniden bulmak

Bir bulgu, onu bulan laboratuvardan bağımsız olarak, başka araştırmacılar tarafından, başka katılımcılarla yeniden elde edilebildiğinde güvenilir sayılır. Tek bir çalışma, ne kadar iyi yapılmış olursa olsun, şansın, gözden kaçmış bir hatanın ya da o laboratuvara özgü bir koşulun ürünü olabilir.

2011'den önce psikolojide doğrudan tekrar az yapılıyor ve yayımlanması zor oluyordu. Dergiler yeniliği ödüllendiriyordu; başkasının deneyini aynen yeniden yapmak "özgün olmayan" bir iş sayılıyordu. Kavramsal tekrarlar ise daha çok yayımlanıyordu, ama yalnızca başarılı olduklarında.

Kanıt kartı

Psikoloji ve psikiyatri dergilerinde yayımlanan makalelerin, sınadıkları hipotezi desteklediğini bildirme oranı, karşılaştırılan bilim dalları arasında en yüksekler arasında bulunmuştur · Kimde: farklı bilim dallarından binlerce makalenin rastgele seçilmiş örneklemi · Neye kıyasla: uzay bilimleri, fizik, biyoloji gibi başka dallarda yayımlanan makaleler · Sonuç: makalenin ilk hipotezinin desteklendiğini bildirme oranı · Etiket: Orta düzey destek · Not: Psikoloji ve psikiyatride bu oran yüzde doksanın üzerindeydi. Bir alanın sınadığı hipotezlerin bu kadar büyük bir kısmının doğru çıkması, araştırmacıların olağanüstü isabetli olduğunu değil, olumsuz sonuçların büyük ölçüde yayımlanmadığını ya da hipotezlerin sonuç görüldükten sonra kurulduğunu düşündürüyor.

Yaygın yanlış"Bir bulgu birçok farklı çalışmada tekrar edildiyse, sağlam olduğu kesindir."

Doğrusu

Çok sayıda yayımlanmış tekrar, yalnızca başarılı tekrarların yayımlandığı bir ortamda yanıltıcı bir güven verir. Özellikle kavramsal tekrarlar, başarısız olduklarında "yöntem uymadı" diye kenara konabildiği için, bir bulgunun gerçekte olduğundan daha sağlam görünmesine yol açabilir. Sorulması gereken, bu bulguyu tekrar etmeye çalışıp başarısız olan çalışmaların ne olduğu ve onlara ne olduğudur.

Mekanizma

2011 ve küçük kararların toplamı

2011'de, geleceği sezme makalesiyle aynı yıl, psikolojide başka iki olay yaşandı. Hollanda'da tanınmış bir sosyal psikoloğun, onlarca makalesinde verileri uydurduğu ortaya çıktı. Aynı yıl üç araştırmacı, hiçbir veri uydurmadan, yalnızca yaygın ve kabul gören analiz kararlarını kullanarak saçma bir sonucu nasıl "kanıtlayabildiklerini" gösteren bir makale yayımladı. İkincisi, alan için daha rahatsız ediciydi: sorun birkaç sahtekârda değil, herkesin kullandığı yöntemlerdeydi.

Kanıt kartı

Yaygın ve kabul gören analiz kararlarının birkaçı birlikte esnek biçimde kullanıldığında, gerçekte hiçbir etki olmayan bir veride istatistiksel olarak anlamlı bir sonuç bulma olasılığının, kabul edilen yüzde beş düzeyinden yüzde altmışın üzerine çıkabildiği gösterilmiştir · Kimde: bilgisayar benzetimleriyle üretilmiş, gerçek bir etki içermeyen veri setleri ve gerçek katılımcılarla yapılmış iki gösterim deneyi · Neye kıyasla: analiz kararları önceden sabitlenmiş durumdaki yanlış pozitif oranı · Sonuç: gerçekte olmayan bir etkinin anlamlı bulunma oranı · Etiket: Güçlü destek · Not: Araştırmacılar gösterim deneylerinden birinde, belirli bir şarkıyı dinleyen katılımcıların, başka bir şarkı dinleyenlere göre takvim yaşı bakımından daha genç çıktığını "buldular"; bu, açıkça imkânsız bir sonuçtu. Kullandıkları kararlar o dönemin yayımlanmış makalelerinde sık rastlanan kararlardı. Makale, hiçbir araştırmacının sahtekârlık yapmadan yanlış bir bulguya ulaşabileceğini somut olarak gösterdi.

Kanıt kartı

Yüz psikoloji çalışmasının, özgün yazarlarla iş birliği içinde ve önceden belirlenmiş planlarla tekrarlandığı büyük bir projede, özgün çalışmaların neredeyse tamamı anlamlı sonuç bildirmişken, tekrarların ancak yaklaşık üçte biri anlamlı sonuç vermiş ve etkiler ortalamada özgünlerin yarısı kadar çıkmıştır · Kimde: üç önde gelen psikoloji dergisinde aynı yıl yayımlanmış yüz çalışma ve bunları tekrarlayan yüzlerce araştırmacı · Neye kıyasla: özgün çalışmaların bildirdiği sonuçlar ve etki büyüklükleri · Sonuç: tekrarın anlamlı çıkıp çıkmadığı ve etkinin büyüklüğü · Etiket: Güçlü destek · Not: Tekrar oranı sosyal psikoloji çalışmalarında bilişsel psikolojiye göre daha düşüktü. Projenin sonuçlarının nasıl yorumlanacağı tartışıldı: bazı eleştirmenler, tekrarların özgün çalışmalardan bazı noktalarda farklı olduğunu ve başarı ölçütünün tartışılabilir olduğunu söyledi. Ama asıl tablo, alanın kendine güvenini derinden sarstı.

Usta katmanı

Ders kitaplarından düşen bulgular

Hangi bulgular tekrarlanır?

Kanıt kartı

Sosyal bilimlerde en saygın genel bilim dergilerinde yayımlanmış deneylerin tekrarlandığı bir projede, araştırmacıların hangi çalışmanın tekrarlanacağına dair tahminleri ya da bunun üzerine yaptıkları bahisler, gerçek tekrar sonuçlarını şanstan belirgin biçimde daha iyi öngörmüştür · Kimde: beş yıllık bir dönemde iki büyük genel bilim dergisinde yayımlanmış yirmi bir sosyal bilim deneyi ve bu deneylerin tekrarlanıp tekrarlanmayacağını tahmin eden yüzlerce araştırmacı · Neye kıyasla: deneylerin gerçek, büyük örneklemli tekrar sonuçları · Sonuç: tekrar oranı ve araştırmacı tahminlerinin isabeti · Etiket: Orta düzey destek · Not: Deneylerin yaklaşık üçte ikisi tekrarlandı, ama etkiler ortalamada özgünlerin yarısı kadardı. Araştırmacıların hangi bulgunun tekrarlanacağını sezebilmesi, tekrarlanamayan bulguların çoğu zaman tanınabilir özellikler taşıdığını düşündürüyor: küçük örneklem, anlamlılık sınırına çok yakın sonuçlar ve sezgiye aykırı, çarpıcı iddialar.

Yaygın yanlış"Tekrarlanamayan bir çalışma ya hatalıydı ya da sahtekârlıkla yapılmıştı."

Doğrusu

Bir çalışmanın tekrarlanamamasının birçok nedeni olabilir. Özgün sonuç dürüst bir çalışmanın şans eseri yanlış pozitifi olabilir. Esnek analiz kararları onu şişirmiş olabilir. Ya da etki gerçek ama yalnızca bazı koşullarda, bazı insanlarda ortaya çıkıyor olabilir ve tekrar bu koşulları sağlamamış olabilir. Tek bir başarısız tekrar da, tek bir başarılı çalışma gibi, şansın etkisinde kalabilir. Bu yüzden tekrarlanamama bir suçlama değil, bulgunun ne kadar güvenilir olduğuna dair yeni bir bilgidir.

Yaygın yanlış"Tekrarlama krizi, psikolojinin gerçek bir bilim olmadığını gösterir."

Doğrusu

Kriz, bir alanın kendi bulgularını sistematik biçimde yeniden sınadığı, sonuçları açıkça yayımladığı ve buna göre yöntemlerini değiştirdiği bir süreçti. Bilimi bilim yapan, hiç yanılmamak değil, yanılgılarını bulup düzeltebilecek bir düzeneğe sahip olmaktır. Tekrar projelerini psikologların kendisi başlattı, yürüttü ve yayımladı. Benzer sorunlar başka alanlarda da bulundu; psikolojiyi ayıran, sorunun varlığı değil, onunla erken ve açıkça yüzleşmesi oldu.

Kanıtın sınırı

Psikolojide bulguların ne kadarının tekrarlanabildiğine dair tek bir sayı yok. Farklı projeler farklı dergilerden, farklı dönemlerden ve farklı alt alanlardan çalışmalar seçti ve oranlar üçte birden üçte ikiye kadar değişti. Bu projelerin hangi çalışmaları tekrar ettiği de rastgele değildi; çoğu zaman ünlü, çarpıcı ya da tekrarı kolay çalışmalar seçildi.

Bir tekrarın "başarılı" sayılması için kullanılan ölçüt de tartışmalı. Tekrarın anlamlı çıkması mı, etkinin özgün etkiye yakın olması mı, yoksa iki çalışmanın birlikte değerlendirildiğinde etkinin sıfırdan farklı olması mı? Aynı veri, farklı ölçütlerle farklı tekrar oranları veriyor.

Krizin ne kadar psikolojiye özgü olduğu da tartışılıyor. Benzer sorunlar tıpta, ekonomide, biyolojide ve kanser araştırmalarında da bildirildi. Psikoloji bu sorunlarla erken ve açıkça yüzleşen alanlardan biri oldu ve bu, onu sorunun en ağır olduğu alan olarak göstermeyebilir.

Son olarak, krizden sonra yapılan çalışmaların daha güvenilir olup olmadığı hâlâ ölçülüyor. Erken bulgular, ön kayıtlı ve büyük örneklemli çalışmalarda daha küçük ama daha tutarlı etkiler bulunduğunu düşündürüyor; ama bu değişimin alanın tamamına ne kadar yayıldığı henüz belli değil.

Kendin dene

Popüler bir psikoloji kitabından, bir kişisel gelişim konuşmasından ya da sosyal medyadan "bilim gösterdi ki" diye başlayan bir iddia seç: "iki dakikalık bir duruş özgüveni artırır", "insanlar kırmızı renkli kişileri daha çekici bulur" gibi bir şey olabilir. Bu iddianın dayandığı ilk çalışmayı bul ve not al: kaç katılımcı vardı, yayımlandığı yıl neydi, sonuç anlamlılık sınırına yakın mıydı? Sonra iddianın adıyla birlikte "tekrar" ya da "replication" sözcüklerini aratarak bağımsız bir doğrudan tekrar olup olmadığına bak. Bulduğun şeyi üç cümleyle yaz: özgün bulgu neydi, tekrar ne buldu, iddia bugün hangi biçimde savunulabilir? Hiç tekrar bulamadıysan, bunu da yaz; tekrarı yapılmamış bir bulgu, henüz yalnızca bir öneri.

Aklında kalsın

2011'de geleceği sezme makalesi, veri uydurma skandalı ve esnek analizin saçma sonuçlar üretebildiğini gösteren çalışma, psikolojinin yöntemlerini sorgulamasının başlangıcı oldu.

Tekrarlanamama bir suçlama değil, yeni bir bilgidir; küçük örneklem, sınırda sonuç ve çarpıcı iddia, bir bulgunun dikkatle okunması gerektiğini gösteren işaretlerdir.

Sonraki derse köprü

Bu derste sorunun kaynağını gördük: analiz kararlarının sonuç görüldükten sonra verilmesi, yalnızca işe yarayan analizlerin raporlanması ve olumsuz sonuçların görünmez kalması. Bu sorunların her biri, araştırmacının ne yaptığının dışarıdan görülememesinden besleniyor.

Krize verilen cevap da buradan doğdu: araştırmacının planını veriyi toplamadan önce herkese açık biçimde kayda geçirmesi, verisini ve analiz kodunu paylaşması, ve bir derginin bir çalışmayı sonucunu görmeden, yalnızca sorusunun ve yönteminin değerine bakarak kabul etmesi. Sonraki ders bu araçların her birinin hangi hatayı önlediğini ve neyi önleyemediğini anlatıyor: açık bilim ve ön kayıt.

Anlamadığın bir yer mi var?

Mentor yalnız bu dersin metnine dayanarak cevap verir. Metinde geçmeyen bir şey sorarsan uydurmaz, geçmediğini söyler.