Açık bilim ve ön kayıt

Açılış sahnesi

Ozan, yüksek lisans tezi için bir soru seçti: yatmadan bir saat önce telefonu başka bir odaya bırakmak, üniversite öğrencilerinin uykusunu iyileştirir mi?

Danışmanı ona, tek bir katılımcıyla bile görüşmeden önce bir belge hazırlamasını istiyor. Belgede şunlar yazacak: hipotez tam olarak ne, kaç öğrenci alınacak ve bu sayıya nasıl karar verildi, hangi öğrenciler çalışmanın dışında tutulacak, uyku hangi ölçümle ölçülecek ve hangisi asıl sonuç sayılacak, veri hangi testle analiz edilecek, hangi sonuç hipotezi destekler, hangisi desteklemez.

Ozan başta bunu gereksiz bir bürokrasi gibi görüyor. "Neyi bulacağımı bilmeden nasıl analizini yazayım?" diye soruyor. Danışmanı gülümsüyor: "Tam olarak bu yüzden. Ne bulduğunu gördükten sonra yazarsan, bulduğuna uyan analizi yazarsın."

Belgeyi yazmak iki hafta sürüyor. Ozan, ölçmeyi düşündüğü dört uyku ölçümünden hangisinin asıl sonuç olacağına karar vermekte zorlanıyor; yorgun sabahlarda ölçüm yapılmazsa ne yapacağını, telefonunu bir gece unutup odaya getiren öğrenciyi sayıp saymayacağını düşünmek zorunda kalıyor. Belgeyi herkese açık bir kayıt sitesine yüklediğinde, tarih ve saat kaydediliyor ve bir daha değiştirilemiyor.

Altı ay sonra veriler geldiğinde, analizin büyük kısmı bir gün sürüyor. Çünkü bütün kararlar zaten verilmiş.

Bu derste ne olacak

Tekrarlama krizinin arkasında, önceki dersin gösterdiği gibi, tek tek masum görünen ama hep aynı yöne iten kararlar vardı. Bu ders krize verilen cevabı, Ozan'ın tez planı üzerinden adım adım kuruyor.

Terapi tarafında S01-P01-D10 ön kaydı, S11-P01-D01 ise önceden kayıtlı protokolü ve sonuç görülmeden kabul edilen raporları klinik araştırmalar açısından tanımladı. Bu ders aynı araçlara bir araştırmacının masasından bakacak: plan nasıl yazılır, nerede zorlanılır, plandan sapıldığında ne yapılır, veri ve kod nasıl paylaşılır?

Önce açık bilimin neyi hedeflediğini göreceğiz. Sonra Ozan'ın planındaki her kararın, önceki dersteki hangi hatayı kapattığına bakacağız. Ardından veri paylaşımına ve kayıtlı rapor biçimine geçeceğiz. Son olarak bu araçların neyi çözemediğini tartışacağız.

Ozan ve tezi bir öğretim örneği olarak kuruldu; dersteki projeler, oranlar ve tartışmalar ise yayımlanmış çalışmalardan.

Sıfır noktası

Görünmeyeni görünür kılmak

Önceki dersteki sorunların ortak noktası, araştırmacının ne yaptığının dışarıdan görülememesiydi. Okuyucu, bir makalede yalnızca araştırmacının sonunda yazmayı seçtiği şeyi görüyordu: kaç analiz denendiğini, hangi ölçümlerin bırakıldığını, hangi katılımcıların çıkarıldığını göremiyordu. Açık bilim bu görünmezliği hedef alıyor.

Mekanizma

Planın her satırı bir hatayı kapatır

Ozan'ın planındaki her karar, önceki derste gördüğümüz belirli bir hata kapısını kapatmak için orada.

Usta katmanı

Veri ve kod

Sonucu görmeden kabul

Kanıtın sınırı

Açık bilim uygulamalarının bulguların güvenilirliğini ne ölçüde artırdığı henüz tam olarak ölçülmüş değil. Ön kayıtlı çalışmaların daha az olumlu sonuç bildirdiği ve daha küçük etkiler bulduğu tutarlı biçimde gözleniyor; ama bu çalışmaların daha mı doğru, yoksa farklı türden sorulara mı yöneldiği her zaman ayrılamıyor.

Ön kayıtlar da kusurlu olabiliyor. Bazı kayıtlar o kadar belirsiz yazılıyor ki birçok farklı analizle uyumlu hâle geliyor; bazı makaleler kayıttan sapıyor ve bunu belirtmiyor. Kayıtların ne kadar sık okunup makaleyle karşılaştırıldığı da belirsiz; okunmayan bir kayıt, yalnızca bir güvence görüntüsü veriyor.

Açık bilimin yükü herkese eşit dağılmıyor. Planlama, belgeleme ve paylaşım ciddi zaman gerektiriyor ve bu yük, az kaynakla çalışan küçük laboratuvarlarda ve dünyanın farklı bölgelerindeki araştırmacılarda daha ağır olabiliyor. Bazı araştırma türleri, örneğin nitel çalışmalar, uzun süreli gözlemler ya da tek seferlik doğal olayların incelenmesi, bu araçlara kolayca uymuyor; onlar için farklı açıklık biçimleri tartışılıyor.

Son olarak, açık bilim tekrarlama krizinin bütün nedenlerini çözmüyor. Ölçümün zayıf olması, kuramların belirsiz olması ya da etkilerin gerçekten bağlama göre değişmesi gibi sorunlar, en iyi kaydedilmiş planla bile ortadan kalkmıyor.

Kendin dene

Aklında kalsın

Açık bilim, araştırmanın planını, verisini, kodunu ve sonuçlarını başkalarının görebileceği ve denetleyebileceği biçimde paylaşmayı hedefler; amacı, tekrarlama krizine yol açan görünmezliği ortadan kaldırmaktır.

Ön kaydın her satırı bir hata kapısını kapatır: asıl sonucun önceden belirlenmesi ölçüm seçimini, durma kuralı katılımcı eklemeyi, dışlama kuralları seçici çıkarmayı, yorum ölçütü de sonradan yeniden yorumu engeller.

Ön kayıt keşfi yasaklamaz; keşfedici bulguları doğrulayıcı bulgulardan ayırır ve plandan sapmaların açıkça yazılmasını ister.

Veri ve kod paylaşımı, başkalarının sonuçları yeniden üretmesini ve hataları bulmasını mümkün kılar; ama paylaşılan bir verinin doğru olduğu ancak biri onu gerçekten denetlediğinde anlaşılır, ve bazı veriler katılımcıyı korumak için paylaşılamaz.

Kayıtlı rapor, hakem eleştirisini veri toplanmadan önceye taşır ve yayın kararını sonuçtan ayırır; bu araçların hiçbiri zayıf ölçümü ya da belirsiz kuramı tek başına düzeltmez.

Sonraki derse köprü

Bu modül boyunca bir bulgunun nasıl üretildiğini konuştuk: hangi desenle, kimlerle, hangi kontrollerle, hangi etik sınırlar içinde ve hangi güvencelerle. Ama her aşamada aynı sorunla karşılaştık. Ozan'ın öğrencileri her gece farklı uyudu; aynı öğrenci bile bir gece yedi, ertesi gece beş saat uyudu. İki grup arasında bir fark çıktığında, bunun telefondan mı yoksa bu doğal dalgalanmadan mı geldiğine nasıl karar verilecek?

Modül 3 bu soruyla başlıyor. Psikolojide ölçülen her şey kişiden kişiye ve andan ana değişiyor; bu değişkenlik bir kusur değil, insan davranışının kendisi. Sonraki ders, değişkenliğin neden kaçınılmaz olduğunu ve onun içinde gerçek bir sinyali aramanın yolunu anlatıyor: neden istatistik.