Giriş
2011 yılında, psikolojinin en saygın dergilerinden birinde, Amerikalı psikolog Daryl Bem'in dokuz deneyden oluşan bir makalesi yayımlandı. Makale, katılımcıların gelecekte olacak bazı olayları, olaylar henüz gerçekleşmeden, rastlantıdan biraz daha iyi tahmin edebildiğini, yani bir tür önsezi yeteneğine sahip olduğunu öne sürüyordu. Deneyler, dönemin psikolojisinde yaygın olarak kullanılan yöntemlerle tasarlanmış ve analiz edilmişti; hakemlerden geçmişti. Pek çok psikolog için makalenin asıl rahatsız edici yanı, iddianın kendisi değildi. Asıl rahatsız edici olan, alanın standart yöntemlerinin bu kadar olağanüstü bir iddiayı "kanıtlayabilmesiydi". Yöntemler bunu yapabiliyorsa, başka neleri de yapıyor olabilirdi?
Aynı yıl, üç araştırmacı, Joseph Simmons, Leif Nelson ve Uri Simonsohn, yayımladıkları bir makalede, alanda yaygın ve masum sayılan analiz tercihlerinin, olmayan bir etkiyi "anlamlı" gösterme olasılığını ne kadar artırabildiğini gösterdi. Bir önceki derste Bayesçi hesabın, tek bir güçlü tekrar çalışmasının bir bulguya duyulan güveni nasıl sarsabileceğini gösterdiğini gördük. Bu derste, bu hesabın yıllarca neden yapılmadığını, psikoloji başta olmak üzere pek çok alanın replikasyon krizi denen dönemde neyle karşılaştığını ve bilimin kendini nasıl düzeltmeye çalıştığını inceleyecek, Modül 5'i kapatacağız.
Bu dersin kazanımları:
- Replikasyon krizini, onu doğuran araştırma ve yayın alışkanlıklarını ve bilimin geliştirdiği düzeltme araçlarını açıklarsın. (anla)
- Bir araştırma bulgusunu örneklem büyüklüğü, önceden kayıt, tekrar ve etki büyüklüğü gibi ölçütlerle çözümlersin. (analiz et)
- Bir bulgunun güvenilirliğini ve bilimin kendini düzeltme kapasitesini, hem kriz hem de verilen cevaplar ışığında değerlendirirsin. (değerlendir)
Ana anlatım
Krizin boyutu
2011'den sonra psikologlar, alanlarının en çok bilinen bulgularını sistemli biçimde yeniden sınamaya başladı. Bu çabanın en ünlü ürünü, 2015'te Science dergisinde yayımlanan bir çalışmaydı. Açık Bilim İşbirliği adıyla bir araya gelen iki yüz yetmişten fazla araştırmacı, üç önde gelen psikoloji dergisinde yayımlanmış yüz çalışmayı, mümkün olduğunca özgün malzemelerle ve daha büyük örneklemlerle tekrarladı. Özgün çalışmaların yüzde doksan yedisi istatistiksel olarak anlamlı sonuç bildirmişti; tekrarların ise yalnızca yüzde otuz altısı anlamlı sonuç verdi. Tekrarlarda bulunan etkilerin ortalama büyüklüğü de özgün çalışmalardakinin yaklaşık yarısıydı.
Sorun psikolojiyle sınırlı değildi. 2012'de ilaç şirketi Amgen'de çalışan araştırmacılar Glenn Begley ve Lee Ellis, kanser biyolojisinde "çığır açıcı" sayılan elli üç laboratuvar çalışmasını tekrarlamaya çalıştıklarını ve yalnızca altısında özgün bulguyu doğrulayabildiklerini bildirdi. Ekonomi ve diğer sosyal bilimlerdeki tekrar projeleri de, alanlar arasında farklılıklar olsa da, yayımlanmış bulguların önemli bir kısmının tekrarlanamadığını gösterdi. Replikasyon krizi ifadesi, bu dönemi ve onun ortaya çıkardığı soruyu anlatmak için yerleşti: yayımlanmış bilimsel bulguların ne kadarına güvenebiliriz?
"Anlamlı" ne demek?
Krizi anlamak için bir kavramı netleştirmek gerekir. Pek çok alanda bir sonuç, p-değeri denen bir sayı belirli bir eşiğin, çoğu zaman yüzde beşin altında kaldığında "istatistiksel olarak anlamlı" sayılır. P-değeri şu soruya cevap verir: gerçekte hiçbir etki yoksa, bu kadar büyük ya da daha büyük bir farkı tesadüfen görme olasılığı nedir? Bu sayı sık sık yanlış yorumlanır. Yüzde beşin altında bir p-değeri, hipotezin yüzde doksan beş olasılıkla doğru olduğu anlamına gelmez. Bayesçi dersteki dille, p-değeri yalnızca "etki yoksa bu kanıtı görme olasılığı" hakkında bir şey söyler; hipotezin sonsal olasılığı için taban oranına ve çalışmanın gücüne de bakmak gerekir. Anlamlılık eşiğinin bir yayın kapısına dönüşmesi, krizin bütün öteki nedenlerini besledi.
Birinci neden: yayın yanlılığı
Krizin kökünde tek bir kötü niyet değil, birbirini besleyen alışkanlıklar vardı. Birincisi yayın yanlılığıdır: dergiler, "anlamlı" ve yeni sonuçları yayımlamaya, sonuç bulamayan çalışmaları ise reddetmeye eğilimliydi. Bunun sonucu, Amerikalı psikolog Robert Rosenthal'ın 1979'da çekmece sorunu adını verdiği durumdu: sonuç bulamayan çalışmalar çekmecelerde kalır, bulanlar yayımlanır. Bir etki gerçekte yoksa bile, yeterince çok çalışma yapıldığında bazıları tesadüfen "anlamlı" sonuç verir; ve literatürde yalnızca onlar görünür.
Bu, Bayesçi dersteki hesabın gözle görülmeyen bir çarpıtmasıdır. Bir alandaki yayımlanmış çalışmalara bakarak bir etkiye güven hesaplayan biri, aslında seçilmiş bir örneğe bakıyordur. Ego tükenmesi literatürünü toplayan ilk meta-analizler orta büyüklükte bir etki bulmuştu; sonraki analizler, yayımlanmamış çalışmaları ve yayın yanlılığını hesaba katmaya çalışınca bu etki belirgin biçimde küçüldü.
İkinci neden: esnek analiz
İkinci neden, Simmons ve arkadaşlarının gösterdiği araştırmacı serbestlik dereceleridir. Bir araştırmacı, verilerini toplarken ve analiz ederken pek çok karar verir: kaç katılımcıya ulaşılınca durulacak, hangi aykırı değerler çıkarılacak, hangi ölçüm kullanılacak, hangi alt gruplara bakılacak. Bu kararların her biri tek başına makul görünebilir. Ama sonuçları gördükten sonra verildiklerinde, olmayan bir etkiyi anlamlı gösterme olasılığı hızla yükselir.
Simmons ve arkadaşları bunu çarpıcı bir örnekle gösterdi. Katılımcılara farklı şarkılar dinlettiler ve bu esnek analiz tercihlerini kullanarak, belirli bir şarkıyı dinleyen katılımcıların, dinlemeyenlere göre "daha genç" olduğu sonucunu istatistiksel olarak anlamlı biçimde elde ettiler; bir şarkının insanların doğum tarihini değiştiremeyeceği açık olduğu hâlde. Bu uygulamalara topluca p-hackleme denir: istatistiksel anlamlılık eşiğini aşana kadar analizleri, çoğu zaman farkında olmadan, değiştirmek. Andrew Gelman ve Eric Loken buna benzer bir durumu çatallanan yollar bahçesi diye adlandırdı: araştırmacı tek bir analiz yapsa bile, verilere bakarak hangi yolu seçeceğine karar verdiyse, sonuç aynı sorunla lekelenir.
Üçüncü neden: sonuçtan sonra hipotez
Üçüncü neden, Amerikalı psikolog Norbert Kerr'in 1998'de adlandırdığı bir uygulamadır: sonuçlar bilindikten sonra hipotez kurmak ve bunu baştan beri öngörülmüş gibi sunmak. Bir araştırmacı bir etki bekler, bulamaz ama beklenmedik başka bir ilişki bulur; makalesini, bu ilişkiyi baştan beri araştırıyormuş gibi yazar.
Bu uygulama, Popper ve Lakatos derslerinde gördüğümüz ayrımı ortadan kaldırır. Bir öngörünün değeri, önceden söylenmiş olmasındadır; sonradan uydurulmuş bir "öngörü", Lakatos'un diliyle, olgulara önden değil arkadan yetişir. Ama okur, makalede bu farkı göremez. Sonuçtan sonra kurulan hipotez, keşif bağlamındaki bir fikri gerekçelendirme bağlamındaki bir sınamaymış gibi gösterir.
Dördüncü neden: küçük örneklemler ve teşvikler
Dördüncü neden, düşük güçlü çalışmalardır. Pek çok alanda çalışmalar, gerçek bir etkiyi güvenilir biçimde yakalayamayacak kadar küçük örneklemlerle yapılıyordu. Bayesçi dersteki hesap, bunun anlamlı sonuçların güvenilirliğini nasıl düşürdüğünü göstermişti. Üstelik küçük örneklemli bir çalışma tesadüfen anlamlı bir sonuç bulduğunda, bulduğu etki büyüklüğü genellikle gerçeğinden çok daha büyük olur; çünkü küçük bir örneklemde ancak büyük görünen etkiler anlamlılık eşiğini aşabilir.
Bu alışkanlıkların arkasında bir teşvik yapısı vardı. Araştırmacıların kariyerleri, yayın sayısına ve dikkat çekici bulgulara bağlıydı. Tekrar çalışmaları, "yeni" olmadıkları için yayımlanması zor ve kariyer açısından az ödüllendirilen işlerdi. Merton'ın örgütlü kuşkuculuk normu, bu teşvik yapısı içinde zayıflamıştı. Açık sahtekârlık vakaları da vardı; 2011'de Hollandalı sosyal psikolog Diederik Stapel'in uzun yıllar boyunca veri uydurduğu ortaya çıktı. Ama krizin büyük kısmı sahtekârlıktan değil, iyi niyetli araştırmacıların sıradan alışkanlıklarından kaynaklanıyordu. Bu, krizi daha da düşündürücü kılar.
Başarısız bir tekrar neyi gösterir?
Bir tekrar çalışmasının özgün sonucu bulamaması, özgün bulgunun yanlış olduğunu tek başına kanıtlamaz. Tekrar çalışması da tesadüfen etkiyi kaçırmış olabilir; ya da iki çalışma arasında, katılımcıların kültürü ya da deneyin uygulanış biçimi gibi, fark edilmeyen bir koşul değişmiş olabilir. 2016'da Daniel Gilbert ve arkadaşları, 2015 psikoloji projesini bu gerekçelerle eleştirdi ve tekrar oranının karamsar yorumlandığını öne sürdü; projenin yazarları da bu eleştiriye cevap verdi. Bu tartışma, tek bir tekrarın da tek bir özgün çalışma gibi bir kanıt olduğunu, ikisinin birlikte ve tekrarların sayısı arttıkça tartılması gerektiğini hatırlatır. Bayesçi dersteki güncelleme mantığı burada da geçerlidir.
Bilimin cevabı: kurumsal düzeltmeler
Krizin asıl ilginç yanı, ona verilen cevaptır. Bilim insanları, sorunu ortaya çıkaran araçları sorunu çözmek için de kullandı. Birinci ve belki en önemli düzeltme önceden kayıttır: araştırmacı, veriyi toplamadan önce hipotezini, örneklem büyüklüğünü ve analiz planını kamuya açık bir kayıt sistemine yazar. Böylece esnek analiz ve sonuçtan sonra hipotez kurma görünür hâle gelir. Popper'ın aradığı şey, yani çürütme koşulunu sonuçtan önce ilan etmek, böylece bir dergi ya da kayıt sisteminin kuralı hâline gelir.
İkinci düzeltme, kayıtlı rapor formatıdır. Bu formatta dergi, makaleyi sonuçlar görülmeden, yalnızca araştırma sorusu ve yöntemi üzerinden değerlendirir ve kabul eder; sonuç ne çıkarsa çıksın makale yayımlanır. Bu, yayın yanlılığını doğrudan hedef alır. Üçüncü düzeltme açık veri ve açık koddur: başkalarının analizleri yeniden yapabilmesi için verilerin ve analiz kodunun paylaşılması. Dördüncüsü, çok merkezli tekrar projeleridir: pek çok laboratuvarın aynı protokolü eşzamanlı olarak uygulaması. Bu modülün vakası olan ego tükenmesi, bu projelerin en bilinen hedeflerinden biri oldu.
Kriz bir çöküş mü, bir düzeltme mi?
Replikasyon krizi, bilime güvensizlik için bir gerekçe olarak da kullanılabilir: "Bilim insanlarının yarısı bile tekrarlanamıyorsa, neden onlara güvenelim?" Bu sonuç, krizin kendisinin nasıl ortaya çıktığını gözden kaçırır. Krizi ortaya çıkaran, bilimin dışındaki eleştirmenler değil, bilim insanlarının kendileriydi: tekrar çalışmalarını tasarlayan, yayın yanlılığını ölçen, esnek analizin etkisini hesaplayan araştırmacılar. Bu, Merton'ın örgütlü kuşkuculuğunun, geç de olsa, işlediğinin bir göstergesidir.
Ama bu iyimserlik de dikkatle ifade edilmelidir. Kendini düzeltme otomatik değildir; tekrar çalışmaları yapılmadıkça, önceden kayıt uygulanmadıkça, teşvikler değişmedikçe, yanlış bulgular literatürde onlarca yıl kalabilir. Bilimin kendini düzeltme kapasitesi, onun kurumlarının kalitesine bağlıdır. Bu yüzden bir bilimsel iddiaya duyduğumuz güven, yalnızca onun "bilimsel" olmasına değil, onu üreten alanın bu kurumsal araçları ne kadar benimsediğine de bağlı olmalıdır.
Çalışma Kalite Kontrol Listesi
Bu dersin aracı, modül boyunca geliştirdiğimiz araçları tek bir listede toplar. Bir araştırma bulgusuyla karşılaştığında sekiz soru sorarsın. Örneklem ne kadar büyük ve çalışma, iddia edilen büyüklükte bir etkiyi yakalayacak güce sahip mi? Hipotez ve analiz planı önceden kayıt altına alınmış mı? Bulgu, bağımsız bir ekip tarafından birebir tekrar edildi mi? Bildirilen etki büyüklüğü ve belirsizlik aralığı ne; etki pratikte önemli mi? Veri ve analiz kodu paylaşılmış mı? Araştırmacıların bu sonuçta bir çıkarı var mı? İddia, önceki bilgimiz ışığında ne kadar şaşırtıcı; yani önseli ne kadar düşük? Ve bulgu, yayın yanlılığı hesaba katılmış bir literatür incelemesinde nasıl duruyor?
Araç 5K'nın Kanıt kapısında, tek bir çalışmanın kanıt değerini tartmak için kullanılır. Listedeki soruların hepsine olumlu cevap veren bir çalışma nadirdir; amaç, çalışmayı "geçti" ya da "kaldı" diye etiketlemek değil, ona ne kadar güveneceğini ayarlamaktır.
Örnekler
Basit örnek: güç pozu
2010'da Amerikalı araştırmacılar Dana Carney, Amy Cuddy ve Andy Yap, katılımcıların birkaç dakika boyunca geniş ve açık bir beden duruşu sergilemesinin, yani bir "güç pozu" vermesinin, hormon düzeylerini değiştirdiğini ve risk alma davranışını artırdığını bildiren bir çalışma yayımladı. Bulgu, popüler bir konuşma ve pek çok kişisel gelişim kitabı aracılığıyla çok geniş kitlelere ulaştı. Çalışma Kalite Kontrol Listesi'ni uygulayalım. Örneklem: özgün çalışma küçük bir katılımcı grubuyla yapılmıştı. Önceden kayıt: yoktu. Tekrar: 2015'te çok daha büyük bir örneklemle yapılan bir tekrar çalışması, hormonal etkileri bulamadı. Şaşırtıcılık: birkaç dakikalık bir duruşun hormon düzeylerini ölçülebilir biçimde değiştirmesi, önsel olarak düşük olasılıklı bir iddiaydı. Sonraki yıllarda özgün çalışmanın yazarlarından Carney, kendisinin artık etkiyi gerçek saymadığını ve çalışmanın analiz sürecindeki esnek tercihleri açıkça yazdığı bir açıklama yaptı. Bu örnek, bir bulgunun bilimsel kanıttan çok daha hızlı yayılabildiğini ve bilim insanlarının kendi bulgularını geri çekebildiğini aynı anda gösterir.
Orta örnek: kanser biyolojisinde tekrar
Begley ve Ellis'in 2012'de bildirdiği sonuç, özellikle ilaç geliştirme açısından çarpıcıydı. Laboratuvarlarda umut verici görünen ve ilaç araştırmalarına yön veren bulguların büyük kısmı, şirketin kendi laboratuvarlarında tekrarlanamamıştı. Çalışma Kalite Kontrol Listesi'ni uygulayalım. Tekrar: bu, tam olarak bağımsız birebir tekrarın ne kadar önemli olduğunu gösteren bir durumdu. Açık veri: yazarlar, gizlilik anlaşmaları nedeniyle hangi çalışmaları tekrarlayamadıklarını açıklamadı; bu, kendi raporlarının da bağımsız olarak sınanmasını zorlaştırdı ve eleştiri aldı. Bu ayrıntı önemlidir: replikasyon krizine dair iddialar da aynı kontrol listesine tabidir. Sonraki yıllarda kanser biyolojisinde başlatılan sistemli bir tekrar projesi, yayımlanmış yöntem açıklamalarının çoğu zaman bir deneyi tekrarlamaya yetecek ayrıntıyı içermediğini de ortaya koydu. Örnek, krizin yalnızca psikolojiye özgü olmadığını ve düzeltmenin, bulguların yanında yöntemlerin de açık yazılmasını gerektirdiğini gösterir.
Gerçek hayat örneği: bir internet sitesinde deneme
Bir e-ticaret şirketi, sitesindeki satın alma düğmesinin rengini değiştirmenin satışları artırıp artırmadığını görmek için bir deneme yapıyor. Ziyaretçilerin yarısı eski, yarısı yeni düğmeyi görüyor. Ürün yöneticisi, sonuçları her sabah kontrol ediyor ve üçüncü gün yeni düğmenin "anlamlı" biçimde daha iyi olduğunu görünce denemeyi durdurup değişikliği kalıcı hâle getiriyor. Çalışma Kalite Kontrol Listesi'ni uygulayalım. Önceden kayıt: denemenin ne kadar süreceği ve kaç ziyaretçiye ulaşınca değerlendirileceği önceden belirlenmemişti. Esnek analiz: sonuçlara her gün bakmak ve anlamlılık görüldüğü anda durmak, istatistikçilerin iyi bildiği bir hatadır; gerçekte hiçbir fark olmasa bile, yeterince sık bakıldığında bir noktada tesadüfen "anlamlı" bir sonuç görülme olasılığı ciddi biçimde artar. Bu, p-hacklemenin gündelik iş dünyasındaki bir biçimidir. Etki büyüklüğü: üç günlük verideki fark, gerçek etkiyi büyük olasılıkla abartıyordur. Düzeltme: deneme süresini ve örneklem büyüklüğünü önceden belirlemek ve sonucu yalnızca o noktada değerlendirmek. Replikasyon krizinin dersleri, laboratuvarların çok dışında da geçerlidir.
Vakaya dönüş
Modülün vakası olan ego tükenmesi, replikasyon krizinin simgelerinden biri oldu. Hikâyeyi baştan sona Çalışma Kalite Kontrol Listesi ile gözden geçirelim. İlk çalışmalar küçük örneklemlerle yapıldı, önceden kayıt altına alınmadı ve çoğu farklı görevlerle yapılan kavramsal tekrarlardı. İlk meta-analizler, yayımlanmış çalışmalara dayanarak orta büyüklükte bir etki buldu; yayın yanlılığını hesaba katan sonraki analizler bu etkiyi küçülttü. 2016'da yirmi üç laboratuvarın katıldığı, önceden kayıtlı çok merkezli tekrar çalışması etkinin neredeyse sıfır olduğunu gösterdi.
Hikâyenin en öğretici bölümü ise sonrasında geldi. Özgün kuramın geliştiricileri arasında yer alan araştırmacıların da yürütücüleri arasında bulunduğu yeni bir çok merkezli proje, iki farklı protokolle ve otuz altı laboratuvardan 3.531 katılımcıyla yürütüldü; sonuçları 2021'de yayımlandı. Önceden kaydedilmiş analizler, anlamlı bir tükenme etkisi bulmadı; gözlenen etki çok küçüktü. Bu sonuç, bir kuramın taraftarlarının, kendi kuramlarını en adil ve en güçlü biçimde sınamaya katılmalarının bir örneğidir. Ego tükenmesinin hiç var olmadığı kesin olarak kanıtlanmış değildir; bazı araştırmacılar, farklı koşullarda küçük bir etki olabileceğini savunmaya devam ediyor. Ama bir zamanlar ders kitaplarında kesin bir bulgu olarak anlatılan bir fikir, bugün çok daha temkinli bir dille anlatılıyor. Bu değişim, bilimin kendini düzeltmesinin yavaş, zahmetli ama gerçek bir örneğidir.
Araç kartı: Çalışma Kalite Kontrol Listesi
| Alan | Açıklama |
|---|---|
| Ne işe yarar | Bir araştırma bulgusunun kanıt değerini, modül boyunca geliştirilen ölçütleri tek listede toplayarak değerlendirir |
| 5K kapısı | Kanıt |
| Adımlar | 1) Örneklem büyüklüğüne ve çalışmanın gücüne bak. 2) Hipotez ve analiz planı önceden kayıtlı mı, kontrol et. 3) Bağımsız bir birebir tekrar var mı, ara. 4) Etki büyüklüğünü, belirsizlik aralığını ve pratik önemini yaz. 5) Açık veri, çıkar çatışması, iddianın şaşırtıcılığı ve yayın yanlılığını hesaba katan literatür incelemelerine bakıp güvenini buna göre ayarla |
| Ne zaman kullanılır | Bir araştırma bulgusu bir sağlık, eğitim, iş ya da kişisel karar için gerekçe olarak sunulduğunda; bir bilim haberini aktarmadan önce; kendi yaptığın bir denemenin sonucunu yorumlarken |
| Sık hata | Tek bir eksik yüzünden bütün bir çalışmayı değersiz saymak; ya da replikasyon krizini "bilime güvenilmez" genellemesine çevirmek |
Egzersiz
Bu proje, modülün bütün araçlarını bir araya getirir. Amaç, iddiayı "doğru" ya da "yanlış" diye etiketlemek değil, ona ne kadar ve hangi gerekçeyle güveneceğini açıkça ortaya koyabilmektir.
Mini test
- 2015'te yayımlanan psikoloji tekrar projesi ne buldu?
- Yayın yanlılığı ve çekmece sorunu, bir literatürden çıkarılan sonuçları nasıl çarpıtır?
- P-hackleme nedir ve Simmons ile arkadaşlarının şarkı örneği neyi gösterir?
- Önceden kayıt ve kayıtlı rapor formatı, krizin hangi nedenlerini hedef alır?
- Bir haber sitesi şöyle yazıyor: "Yeni araştırma: sabahları beş dakika soğuk duş almak kaygıyı yüzde otuz azaltıyor." Haberin ayrıntısında, çalışmanın kırk katılımcıyla yapıldığı ve daha önce hiç tekrar edilmediği yazıyor. Çalışma Kalite Kontrol Listesi ile değerlendir.
Cevapları göster
- Yüz psikoloji çalışmasının tekrar edildiği projede, özgün çalışmaların yüzde doksan yedisi anlamlı sonuç bildirmişken tekrarların yalnızca yüzde otuz altısı anlamlı sonuç verdi; tekrarlardaki ortalama etki büyüklüğü de özgünlerin yaklaşık yarısıydı.
- Sonuç bulamayan çalışmalar yayımlanmadığı için literatür seçilmiş bir örnek hâline gelir; gerçekte olmayan ya da küçük olan etkiler, yalnızca tesadüfen anlamlı çıkan çalışmalar görünür olduğu için var ya da büyük görünür.
- Anlamlılık elde edene kadar veri toplama ya da analiz tercihlerini sonuçlara bakarak değiştirmektir. Şarkı örneği, bu tür esnek tercihlerle imkânsız bir sonucun, yani bir şarkının insanları gençleştirdiği iddiasının bile istatistiksel olarak anlamlı gösterilebileceğini gösterir.
- Önceden kayıt esnek analizi ve sonuçtan sonra hipotez kurmayı görünür kılar. Kayıtlı rapor, makaleyi sonuç görülmeden kabul ettiği için yayın yanlılığını doğrudan hedef alır.
- Örneklem küçük: kırk katılımcı, özellikle kaygı gibi değişken bir ölçüm için sınırlı bir güç sağlar. Tekrar yok. Önceden kayıt belirtilmemiş. Yüzde otuzluk bir azalma, küçük bir örneklemde abartılmış olabilir; belirsizlik aralığı muhtemelen geniş. Katılımcılar ne yaptıklarını bildiği için beklenti etkisi göz ardı edilemez. Bu, ilginç bir ilk bulgu olabilir ama davranış değişikliğine gerekçe olacak kadar güçlü bir kanıt değildir; önceden kayıtlı ve daha büyük bir tekrar gerekir.
Özet
- Replikasyon krizi, 2010'lardan itibaren psikoloji başta olmak üzere pek çok alanda yayımlanmış bulguların önemli bir kısmının tekrar çalışmalarında doğrulanamamasıdır; 2015 psikoloji projesinde tekrarların yalnızca yüzde otuz altısı anlamlı sonuç verdi.
- Krizin başlıca nedenleri yayın yanlılığı, esnek analiz ve p-hackleme, sonuçtan sonra hipotez kurma, küçük örneklemler ve bunları ödüllendiren teşvik yapısıdır; sahtekârlık vakaları da vardır ama krizin büyük kısmı sıradan alışkanlıklardan kaynaklanır.
- Bilim, önceden kayıt, kayıtlı raporlar, açık veri ve kod ve çok merkezli tekrar projeleriyle cevap verdi.
- Krizi ortaya çıkaran bilim insanlarının kendileriydi; bu, örgütlü kuşkuculuğun işlediğini gösterir, ama kendini düzeltme otomatik değildir ve kurumların kalitesine bağlıdır.
- Ego tükenmesi, kuram taraftarlarının da katıldığı önceden kayıtlı projelerle yeniden sınandı ve bugün çok daha temkinli bir dille anlatılıyor.
- Çalışma Kalite Kontrol Listesi, bir bulgunun güvenilirliğini örneklem, önceden kayıt, tekrar, etki büyüklüğü, açıklık, çıkar, önsel ve yayın yanlılığı üzerinden değerlendirir.
Flashcard'lar
| Ön yüz | Arka yüz |
|---|---|
| 2015 psikoloji tekrar projesinde anlamlı tekrar oranı? | Yüzde otuz altı |
| Begley ve Ellis 2012'de ne bildirdi? | Elli üç kanser biyolojisi çalışmasından yalnızca altısını doğrulayabildiklerini |
| Çekmece sorunu kavramı kime ait? | Robert Rosenthal, 1979 |
| P-hackleme? | Anlamlılık elde edene kadar tercihleri sonuçlara bakarak değiştirmek |
| Çatallanan yollar bahçesi? | Verilere bakarak analiz yolu seçmenin tek analizde bile sonucu lekelemesi |
| Kayıtlı rapor formatının farkı? | Makale sonuç görülmeden değerlendirilip kabul edilir |
| 2021 ego tükenmesi projesinin boyutu? | Otuz altı laboratuvar, 3.531 katılımcı |
| Krizin büyük kısmının kaynağı? | Sahtekârlıktan çok sıradan araştırma ve yayın alışkanlıkları |
Sonraki derse köprü
Bu modülde bilimin bir bilgi üretme kurumu olarak nasıl işlediğini, nerede yanıldığını ve nasıl düzeldiğini inceledik. Ama çoğumuz bu kurumun içinde değil, dışında yaşarız: bir hekimin, bir bilim insanının, bir gazetecinin söylediklerine güvenerek. Bir salgın sırasında uzmanlar birbiriyle çelişen tavsiyeler verdiğinde kime, ne kadar güveneceğiz? Ders 6.1 Modül 6'yı, sosyal epistemolojiyi açacak; bilgimizin ne kadarının başkalarına bağımlı olduğunu, tanıklık zincirlerinin nasıl işlediğini inceleyecek ve araç kutuna Güven Bütçesi'ni ekleyecek.
Günlük sorusu: Son bir yılda davranışını değiştirdiğin bir "araştırma bulgusu" var mı? O bulgu bugün bu dersin kontrol listesinden geçer miydi?
Tarihte bu tartışma
Bilimsel bulguların tekrarlanabilirliği, modern bilimin kuruluşundan beri bir ideal olarak kabul edildi. On yedinci yüzyılda İngiliz kimyager Robert Boyle, deneylerinin başkaları tarafından tekrarlanabilmesi için onları ayrıntılı biçimde yazmayı ve tanıkların önünde yapmayı önemsedi. Ama bu idealin sistemli biçimde uygulanıp uygulanmadığı uzun süre sorgulanmadı. Yirminci yüzyılın ikinci yarısında bazı istatistikçiler ve psikologlar, yayın yanlılığı ve düşük güçlü çalışmalar konusunda uyarılarda bulundu; Rosenthal'ın 1979'daki makalesi bunlardan biriydi. 2005'te Ioannidis'in makalesi tartışmayı tıp alanında keskinleştirdi. 2011'deki olaylar ve 2015'teki psikoloji tekrar projesi ise sorunu bilim camiasının ve kamuoyunun gündemine taşıdı. Sonraki yıllarda önceden kayıt ve açık bilim uygulamaları pek çok dergide ve fon kuruluşunda yaygınlaştı; ama bu uygulamaların alanlar arasında ne kadar benimsendiği, bugün de izlenen bir sorudur.