Önce özete göz atDersin sonundaki özet, okumaya başlamadan önce yol haritası olarak.
Birincisi: tekrarlama projeleri, yayımlanmış bulguların önemli bir kısmının tekrarlanmadığını ve tekrarlananlarda etkilerin küçüldüğünü göstermiştir — bu bir sahtekârlık krizi değil, yapısal bir şişme sorunudur.
İkincisi: aynı veri farklı ekiplere verildiğinde farklı sonuçlar çıkar; analiz kararları tarafsız değildir ve çoklu analiz gösterimi bu duyarlılığı görünür kılar.
Üçüncüsü: beş yapısal önlem beş farklı soruna karşılık gelir — ön kayıt, kayıtlı rapor, veri paylaşımı, bağımsız tekrarlama ve çok merkezli işbirliği.
Dördüncüsü: yeterli güçte ve ön kayıtlı bir çalışmadan gelen sıfır sonuç, olumlu sonuç kadar bilgi verir; ama sonuç bulamamak ile etkinin olmadığını göstermek aynı şey değildir.
Beşincisi: meditasyon alanı bu değişimin gerisinde — ön kayıt düşük, veri paylaşımı nadir, doğrudan tekrarlama çok az; bu yüzden tek çalışmaya dayanan iddiaları geçici saymak gerekiyor.
Açılış sahnesi
On yıl kadar önce psikoloji alanında büyük bir çalışma yapıldı.
Yüz kadar yayımlanmış bulgu seçildi ve bağımsız ekipler bunları yeniden yapmaya çalıştı. Aynı yöntem, aynı ölçümler, çoğu zaman özgün yazarların desteğiyle.
Sonuç: bulguların yalnızca üçte biri ile yarısı arasındaki bir kısmı tekrarlandı. Tekrarlananlarda da etkiler, özgün çalışmalardakinin yaklaşık yarısı kadar çıktı.
Bu sonuç alanı sarstı ve bir isim kazandı.
Ama asıl önemli olan ne olduğu değil, sonrasında ne yapıldığı. Çünkü bu sarsıntı bir çöküşle sonuçlanmadı — bir dizi somut değişiklikle sonuçlandı.
Ve o değişiklikler, bugün bir makaleyi okurken bakabileceğiniz somut işaretlere dönüştü.
Bu ders, o işaretleri tanımayı öğretiyor.
Bu derste ne olacak
Önce tekrarlanabilirlik sorununun ne olduğunu ve ne olmadığını netleştireceğiz. Sonra sebeplerini ele alacağız — çoğu, S7-M04'te gördüğümüz yanlılıkların devamı. Ardından aynı verinin farklı ekiplerce nasıl farklı sonuçlar ürettiğini göreceğiz. Sonra çözüm olarak geliştirilen uygulamaları sıralayacağız ve her birinin ne işe yaradığını yazacağız. Ardından sıfır sonuçların değerini konuşacağız. En sonda da meditasyon alanının bu değişimin neresinde durduğuna bakacağız.
Ders bittiğinde bir makalede açık bilim işaretlerini arayabiliyor, bir bulgunun tekrarlanıp tekrarlanmadığını sorabiliyor ve sıfır sonuçları doğru okuyabiliyor olacaksınız.
Sıfır noktası
Bir yemek tarifi düşünün.
Tarifi yazan kişi harika bir yemek yapmış. Ama tarifte bazı adımlar eksik: fırın kaç derece, hamur ne kadar dinlendi, hangi un kullanıldı.
Başka biri aynı tarifi uyguluyor ve sonuç tutmuyor.
İki ihtimal var. Ya tarif eksikti, ya da ilk yemek bir tesadüftü.
Üçüncü bir ihtimal daha var ve en can sıkıcı olanı: ilk aşçı, tutmayan denemelerini yazmadı ve yalnızca tutanı paylaştı.
Tarif benzetmesinin zayıf tarafı şu: mutfakta sonucu tadarsınız. Araştırmada "sonuç tutmadı" demek için de bir ölçüt gerekiyor ve o ölçüt her zaman net değil. İkinci çalışma daha küçükse, farklı bir grupta yapıldıysa ya da ölçüm biraz değiştiyse, tekrarlanmama tek başına bir hüküm vermez.
Mekanizma
Sorun tam olarak ne
Önce ne olmadığını söyleyelim: bu bir sahtekârlık krizi değil.
Veri uydurma vakaları var ama nadir. Sorunun kaynağı başka: yayımlanmış bulguların önemli bir kısmının, olduğundan güçlü görünmesi.
Sebepler S7-M04'te sıraladığımız yanlılıklarla büyük ölçüde aynı ve üç tanesi öne çıkıyor.
Düşük güç. Küçük örneklemli çalışmalar hem gerçek etkileri kaçırır hem de yakaladıklarını abartılı gösterir. Bu ikinci kısım sezgiye aykırı ama matematiksel olarak beklenen bir sonuç: küçük bir çalışmada anlamlılık eşiğini geçmek için etkinin büyük görünmesi gerekir.
Analiz esnekliği. Bir veri setinde savunulabilir çok sayıda analiz kararı vardır: hangi katılımcılar dışlanacak, hangi değişkenler kontrol edilecek, hangi dönüşüm uygulanacak. Bu kararlar sonuca bakılarak verildiğinde, anlamlı sonuç bulma olasılığı belirgin biçimde artar.
Sonuçtan sonra hipotez kurmak.
Bu üçü bir araya geldiğinde, dürüst araştırmacılar tarafından yürütülen bir literatür bile sistematik olarak şişer.
Aynı veri, farklı sonuç
S6-M03'te beyin görüntülemede bir örneğini görmüştük. Bu, alandan bağımsız bir olgu.
Yapılan şey şu: aynı veri seti, birbirinden bağımsız çok sayıda araştırma ekibine veriliyor ve aynı soruyu cevaplamaları isteniyor.
Her ekip kendi analiz kararlarını veriyor — hepsi savunulabilir kararlar.
Sonuç: ekipler farklı sonuçlara ulaşıyor. Bazıları anlamlı etki buluyor, bazıları bulmuyor, bulunanların büyüklüğü geniş bir aralığa yayılıyor.
Bu, ekiplerden birinin hata yaptığını göstermiyor. Analiz kararlarının sonucu ne kadar belirlediğini gösteriyor.
Buna karşı geliştirilen bir yöntem var: tek bir analiz yolu seçmek yerine, savunulabilir bütün yolları hesaplayıp sonuçların dağılımını göstermek.
Bir bulgu, bütün makul analiz yollarında aynı yönde çıkıyorsa sağlamdır. Yalnızca belirli bir yolda çıkıyorsa, o yolun neden seçildiği sorulmalıdır.
Çözümler ve ne işe yaradıkları
Beş uygulama var ve her biri farklı bir soruna karşılık geliyor.
Ön kayıt. Hipotez, birincil sonuç ölçütü ve analiz planı veri toplanmadan ilan edilir. Neye karşı: analiz esnekliği ve sonuçtan sonra hipotez kurma.
Kayıtlı rapor.
Neye karşı: yayın yanlılığı. Bu format, sonucun yayımlanma kararını sonuçtan önce veriyor.
Veri ve analiz kodunun paylaşılması. Başkalarının aynı veriyi yeniden analiz edebilmesi. Neye karşı: seçici raporlama ve analiz kararlarının görünmezliği.
Bağımsız tekrarlama. Aynı sorunun farklı bir ekip tarafından sorulması. Neye karşı: araştırmacı bağlılığı ve tesadüfî bulgular.
Çok merkezli işbirlikleri. Birden çok kurumun aynı protokolle veri toplaması. Neye karşı: düşük güç ve tek merkezin özgüllüğü.
Bir makalede bu beşinden kaçının bulunduğuna bakmak, birkaç saniyelik bir kalite taraması sağlar.
Sıfır sonucun değeri
Şimdi en çok yanlış anlaşılan kısım.
İki koşul önemli.
Birincisi güç: yeterli büyüklükte olmayan bir çalışmada sonuç bulunmaması bilgi vermez. Aranan şey oradaydı da yakalanamadı olabilir.
İkincisi ön kayıt: sonuç bulunmayan bir çalışma ön kayıtlıysa, o çalışmanın "olumlu bulunca yazarız" mantığıyla yürütülmediğini biliyoruz.
Bu iki koşul sağlandığında sıfır sonuç güçlü bir bilgidir ve alanı ilerletir.
Ama bir ayrım gerekiyor ve sık atlanıyor: sonuç bulamamak ile etkinin olmadığını göstermek aynı şey değil.
Birincisi "bulamadık" der. İkincisi için farklı bir tasarım gerekir — belirli bir büyüklükteki etkinin dışlanabildiğini gösteren analizler.
Örneklerden okuma
Tekrarlanmayan bulgu
Analiz yollarının dağılımı
Yayımlanmayan çalışma
İşaretlere bakmak
Usta katmanı
Üç ileri not.
Birincisi: tekrarlanabilirlik tartışması alanı zayıflatmadı, güçlendirdi. Kendi bulgularını sistematik olarak test eden bir alan, test etmeyen bir alandan daha güvenilirdir. Bu tartışmanın hiç yaşanmadığı alanlar daha sağlam değil — yalnızca daha az bakılmış.
İkincisi: meditasyon alanı bu değişimin görece gerisinde. Ön kayıt kullanımı artıyor ama düşük; veri paylaşımı nadir; doğrudan tekrarlama çalışmaları çok az; çok merkezli büyük denemeler sınırlı. Bu, alanın kötü olduğunu değil, genç ve dağınık olduğunu gösteriyor.
Üçüncüsü: bir okuyucu olarak yapabileceğiniz en pratik şey, tek çalışmaya dayanan iddiaları geçici saymak. Bir bulgu ilginç olabilir ve yine de yerleşik olmayabilir. "Bir çalışma bunu bildirdi" ile "bu bulgu tekrarlandı" arasındaki farkı cümlelerinizde korumak, bu seviyenin en aktarılabilir alışkanlığı.
Yaygın hatalar ve yanlış bilinenler
Yaygın yanlış"Tekrarlanamayan çalışma, sahte çalışmadır."
· Bir bulgunun tekrarlanmaması hile göstermez; küçük örneklem, bağlam farkı ya da ilk çalışmadaki şansın payı yeterli açıklamadır. Sahtekârlık vakaları vardır ama nadirdir ve bu tartışmanın konusu değildir.
Yaygın yanlış"Bir kez yayımlanmış bulgu yerleşik bilgidir."
· Tek bir çalışma, bir bulgunun sağlam olduğunu göstermez. Tekrarlama projeleri, yayımlanmış bulguların önemli bir kısmının tekrarlanmadığını ve tekrarlananlarda etkilerin küçüldüğünü göstermiştir.
Yaygın yanlış"Sıfır sonuç, çalışmanın başarısızlığıdır."
· Yeterli güçte ve ön kayıtlı bir çalışmadan gelen sıfır sonuç, olumlu bir sonuç kadar bilgi verir. Asıl sorun, sıfır sonuçların yayımlanmaması ve alanın aynı soruyu tekrar tekrar sormasıdır.
Yaygın yanlış"Açık bilim, veriyi paylaşmakla olur."
· Veri paylaşımı önemlidir ama tek başına yeterli değildir. Analiz planının veri görülmeden ilan edilmesi ve yayın kararının sonuçtan önce verilmesi, en az onun kadar belirleyicidir.
Sınırlar
Bu dersteki işaretler bir kalite garantisi değildir. Ön kayıtlı bir çalışma da kötü tasarlanmış olabilir; ön kayıtsız bir çalışma da iyi yürütülmüş olabilir.
Tekrarlanmama, bir bulguyu tek başına geçersiz kılmaz. İki çalışmanın farklı sonuç vermesi, hangisinin doğru olduğunu söylemez; daha fazla veri gerektiğini söyler.
Bu araçlar bir alanı topluca reddetmek için de kullanılamaz. "Psikolojide hiçbir bulgu güvenilir değil" cümlesi, bu literatürden çıkmaz ve kendisi de bir abartıdır.
Ve tıbbi sınır aynı: bir bulgunun tekrarlanmamış olması, mevcut bir tedavi hakkında karar vermenizin gerekçesi olamaz.
Uygulamalı çalışma
Bir makale seçin ve beş açık bilim işaretini arayın. Her biri makalenin belirli bir yerinde bulunur.
Bir — ön kayıt. Yöntem bölümünün başında ya da makalenin sonunda bir kayıt numarası var mı? Varsa kaydı açın ve birincil sonuç ölçütünün makaleyle uyuşup uyuşmadığına bakın. Bu adım, yapabileceğiniz en bilgilendirici tek kontrol.
İki — veri erişim beyanı. Makalenin sonunda genellikle bir bölüm bulunur: veri nerede, kim erişebilir? "İstek üzerine" ifadesi yaygındır ve pratikte çoğu zaman erişim sağlamaz.
Üç — yayın biçimi. Makale kayıtlı rapor mu? Dergiler bunu genellikle makalenin başında belirtir.
Dört — tekrarlama. Bulgu daha önce tekrarlandı mı? Makalenin giriş bölümünde önceki çalışmalar sayılır; aynı bulgunun bağımsız ekiplerce elde edilip edilmediğine bakın.
Beş — çıkar beyanı ve fon. Kim finanse etti ve yazarların programla ticari bir bağı var mı?
Beş işareti tarayın ve kaç tanesinin bulunduğunu sayın. Sonra tek bir cümle yazın: bu bulguya ne kadar ağırlık veriyorum ve neden?
Kendin dene
Kilit özet
Birincisi: tekrarlama projeleri, yayımlanmış bulguların önemli bir kısmının tekrarlanmadığını ve tekrarlananlarda etkilerin küçüldüğünü göstermiştir — bu bir sahtekârlık krizi değil, yapısal bir şişme sorunudur.
İkincisi: aynı veri farklı ekiplere verildiğinde farklı sonuçlar çıkar; analiz kararları tarafsız değildir ve çoklu analiz gösterimi bu duyarlılığı görünür kılar.
Üçüncüsü: beş yapısal önlem beş farklı soruna karşılık gelir — ön kayıt, kayıtlı rapor, veri paylaşımı, bağımsız tekrarlama ve çok merkezli işbirliği.
Dördüncüsü: yeterli güçte ve ön kayıtlı bir çalışmadan gelen sıfır sonuç, olumlu sonuç kadar bilgi verir; ama sonuç bulamamak ile etkinin olmadığını göstermek aynı şey değildir.
Beşincisi: meditasyon alanı bu değişimin gerisinde — ön kayıt düşük, veri paylaşımı nadir, doğrudan tekrarlama çok az; bu yüzden tek çalışmaya dayanan iddiaları geçici saymak gerekiyor.
Sonraki derse köprü
Seviye 7 boyunca yöntem konuştuk: soru, tasarım, sayı, yanlılık, makale okuma ve tekrarlanabilirlik.
Bir konu kaldı ve o teknik değil.
Bu alanda araştırma yapmak, aynı zamanda birilerinin geleneğiyle, birilerinin deneyimiyle ve birilerinin güvenliğiyle çalışmak demek. Kimin bilgisi kullanılıyor, kime atıf yapılıyor, kimin adı geçiyor? Yoğun uygulama çalışmalarında katılımcı güvenliği nasıl korunuyor? Ticari bir programı araştıran ekip, o programla nasıl bir ilişki içinde?
Ve bir soru daha: uzun süreli uygulayıcıları "olağanüstü örnekler" olarak sunmak, bilimsel olarak ne kadar savunulabilir?
Bir sonraki ders olan S7-M07 kontemplatif bilim etiğini ele alıyor: geleneksel bilgi sahipleriyle çalışmayı, katılımcı güvenliğini, çıkar çatışması ve ticari programları, deneyimli uygulayıcıları üstün insan gibi örneklememeyi ve kültürel çeviri ile kavram geçerliliğini. Seviye 7'nin kapanışı orası.
Animasyon ve seslendirme notları
Animasyon ve seslendirme notları
Görsel an — açılışta: yüz kutu. Bağımsız ekipler tek tek test ediyor; kutuların bir kısmı yeşil kalıyor, çoğu soluyor. Yeşil kalanlarda etki çubukları da kısalıyor.
Görsel an — yemek tarifi: bir tarif kâğıdı; bazı satırlar boş. İkinci mutfakta aynı tarif uygulanıyor ve sonuç farklı çıkıyor. Kenarda ilk aşçının denemeleri, çöp kutusunda görünüyor.
Görsel an — analiz yolları: tek bir veri kutusundan çok sayıda dallanan yol çıkıyor. Yolların ucundaki sonuçlar farklı yükseklikte. Sonra hepsi bir dağılım grafiğinde toplanıyor.
Görsel an — beş önlem: beş rozet ve her birinin altında karşılık geldiği sorun yazılı. Rozetler bir makalenin üstüne yerleşiyor; eksik olanlar boş çerçeve olarak duruyor.
Görsel an — çekmece: yayımlanmayan çalışmalar bir çekmecede birikiyor. Kayıtlı rapor formatı devreye girdiğinde çekmece açılıyor ve çalışmalar rafa çıkıyor.
Görsel an — yerleşiklik: bir iddia ve altında dayandığı çalışmalar. Önce tek bir kutu; sonra bağımsız ekiplerin kutuları ekleniyor ve iddia sağlamlaşıyor.
Motif — ders boyunca köşede bir gösterge: "kaç bağımsız çalışma?" Her bölümde sayı güncelleniyor.
Ritim — açılıştaki sonuç cümlesinden sonra iki saniye sessizlik. Beş önlem sayılırken her biri arasında bir saniye. Alanın gerisinde olduğu bölüm suçlayıcı değil olgusal bir tonda. Kilit özette beş cümle arasında birer saniye.