Tekrarlanabilirlik ve yeniden üretilebilirlik

Açılış sahnesi

Bir diş hekimliği muayenehanesinde Nevin Hanım altmış üç yaşında ve iki yıldır alt ve üst hareketli protez kullanıyor. Sabahları ağzındaki kokudan utandığını söylüyor ve telefonundaki bir haberi diş hekimi Selma Hanım'a gösteriyor. Başlık iddialı: yeni bir gargara bileşimi ağız kokusunu dört haftada yarıya indirmiş. Haberin altında kırk üniversite öğrencisiyle yapılmış tek bir çalışma anılıyor.

Selma Hanım bu gargarayı biliyor, çünkü çalışma meslek çevresinde bir yıldır konuşuluyor ve hikâyenin devamı haberde yok. Önce bağımsız bir istatistikçi, araştırmacıların paylaştığı veriyi alıp aynı analizi baştan yapmış ve aynı sonucu bulmuş. Sonra başka bir fakültedeki bir ekip, aynı protokolü iki yüz kişilik yeni bir grupta uygulamış ve bu kez kokudaki düşüş çok daha küçük, şansla açıklanabilecek sınırda çıkmış. Nevin Hanım'ın sorusu ise ikisinden de farklı: "Bu gençlerde işe yaradıysa, bende de yarar mı?" Aynı gargara için üç ayrı soru sorulmuş ve üçü üç farklı cevap vermiş; bu ders o üç soruyu birbirinden ayırıyor.

Bu derste ne olacak

Önce üç kavramı ayıracağız: yeniden üretilebilirlik, tekrarlanabilirlik ve genellenebilirlik. Üçü Türkçede de İngilizcede de sık karıştırılıyor ve Selma Hanım'ın anlattığı hikâye tam da bu üçünü sırayla sınıyor. Sonra tekrarlanmanın neden zorunlu olduğuna, tekrarlanma krizinin ne kadar büyük olduğuna ve bulguların neden tekrarlanmadığına bakacağız. Son olarak dersin kolayca yanlış okunabilecek sorusuna geleceğiz: bütün bunlar "bilime güvenilmez" anlamına mı geliyor?

Sıfır noktası

Üç kavram bir merdiven gibi dizilir: aynı veri, yeni veri, farklı bağlam. İstatistikçinin yaptığı ilk basamaktı ve gargara çalışması onu geçti; bu yalnız hesapta hata olmadığını gösteriyor, bulgunun doğru olduğunu değil. İkinci fakültenin çalışması ikinci basamaktı ve bulgu orada takıldı. Nevin Hanım'ın sorusu ise üçüncü basamak, çünkü protez kullanan ileri yaştaki birinde kokunun kaynakları gençlerdekinden farklı olabilir; protez yüzeyinde biriken plak bunlardan biri. Her basamak öncekini gerektirir ama garanti etmez.

Mekanizma

Tekrarlanma neden zorunlu

Gerekçe, yanlışlanabilirliği işleyen derste (L01-P01-M01-D04) gördüğün iki fikirden çıkıyor: destek biriktirmek bir iddiayı kanıtlamaz ve tek bir sınamanın sonucu her zaman yan varsayımlardan birine bağlanabilir. Tek bir çalışmanın sonucu üç şeyden gelebilir: gerçek etki, şans ya da yöntemsel bir sapma. Sonucun kendisi bu üçünü birbirinden ayırt etmez. Kırk öğrencilik çalışmada kokunun yarıya inmesi gargaranın etkisi olabilir, o kırk kişinin tesadüfen iyi bir ay geçirmesi olabilir ya da ölçümü yapanların hangi grubu ölçtüğünü bilmesinden doğan bir sapma olabilir.

Tekrarlama, ikinci ve üçüncü olasılığı elemenin tek yolu. Şans aynı yönde, aynı büyüklükte iki kez kolay kolay tekrarlanmaz. Yöntemsel bir sapma da farklı bir ekip farklı bir ortamda çalıştığında genellikle sürmez. Bu yüzden ikinci fakültenin sonucu, ilk çalışmanın kendisinden daha çok bilgi taşıyor.

Nevin Hanım'ın telefonundaki haber bu yanılsamanın tipik bir örneği: kırk kişilik tek çalışma, bir başlıkta "yarıya indiriyor" cümlesine dönüşmüş. Nedensellik quizinde rozet merdivenini kurarken (L01-P03-M01-D10) bunun kanıt kartlarındaki karşılığını görmüştün. A rozetinin ölçütlerinden biri tutarlı tekrardı ve tek çalışma, bir iddiayı C rozetine düşüren eksiklerin başında geliyordu; ne kadar iyi tasarlanmış olursa olsun tek bir çalışma, tutarlı tekrar ölçütünü tanım gereği karşılayamaz.

Kriz ne kadar büyük

Çeşitli alanlarda yürütülen sistematik tekrarlama projeleri, yayımlanmış bulguların önemli bir kısmının tekrarlanamadığını gösterdi. Oranlar alana ve ölçüte göre değişiyor, ama hiçbir alanda "neredeyse hepsi tekrarlandı" sonucu çıkmadı. Bu yüzden bu tartışmaya "tekrarlanma krizi" deniyor.

Kartın son cümlesindeki ayrıntı önemli, çünkü "tekrarlandı" sözcüğünün tanımı bile tartışmalı. Aynı yönde anlamlı bir sonuç mu aranıyor, benzer büyüklükte bir etki mi, yoksa iki çalışmanın güven aralıklarının örtüşmesi mi? Farklı tanımlar aynı çalışma kümesinden farklı oranlar çıkarıyor. İkinci fakültenin sonucu da bu yüzden iki türlü okunabilir: etki aynı yönde ama anlamlılık sınırında.

Kartın ikinci ayrıntısı daha da öğretici. Tekrarlanan çalışmalarda bile etki genellikle ilk bildirilenden küçük çıkıyor, tıpkı gargaradaki yarı yarıya düşüşün yeni grupta çok daha mütevazı bir düşüşe dönmesi gibi. Bu örüntünün bir adı var.

Neden tekrarlanmıyor — dört neden

Tekrarlanmamanın birinci nedeni yayın yanlılığı. Olumlu sonuçlar yayımlanıyor, olumsuzlar çekmecede kalıyor ve yayımlanmış literatür, yapılmış araştırmanın taraflı bir örneklemine dönüşüyor. Aynı gargarayı başka üç ekip daha denemiş ve bir şey bulamamış olabilir; o sonuçlar hiçbir dergiye gönderilmediyse Selma Hanım onları hiç görmez.

İkinci neden küçük örneklem. Kırk kişilik bir çalışma dalgalı sonuç verir ve bu boyutta ancak büyük çıkan etkiler anlamlılık eşiğini geçer. Anlamlı çıkanlar yayımlandığı için, küçük çalışmalardan gelen yayımlanmış etkiler sistematik olarak abartılı olur. Küçülen etkinin tanımında sayılan nedenlerden ikisi, yayın yanlılığı ve küçük örneklem, tam burada birleşiyor.

Üçüncü neden analitik esneklik. Aynı veriden çok sayıda farklı analiz çıkarılabilir ve hangisinin raporlanacağı sonuç görüldükten sonra seçilirse "anlamlı" bulma olasılığı yapay olarak yükselir. Yanlışlanabilirlik dersindeki yardımcı hipotez sorununun veri analizindeki karşılığı bu: sonuç uymadığında suç bir yan varsayıma atılıyordu, burada ise uymayan analiz sessizce bir kenara konuyor. Dördüncü neden teşvik yapısı. Yeni ve çarpıcı bulgu ödüllendiriliyor, tekrarlama çalışması ise çoğu zaman ödüllendirilmiyor; kimse tekrarlamayınca da kimse fark etmiyor.

Bu kart, merdivenin ilk basamağına ince bir not düşüyor. İstatistikçi gargara verisini aynı analizle yeniden çalıştırdığında aynı sonucu buldu, ama araştırmacıların seçtiği analizi tekrar etti. Başka savunulabilir bir analiz seçseydi sonuç farklı çıkabilirdi. Yeniden üretilebilirlik hesabın doğru yapıldığını gösterir; seçilen hesabın tek makul hesap olduğunu göstermez.

En önemli soru

Şimdi asıl soruya geliyoruz, çünkü bu ders kolayca yanlış okunur. Bir okur buraya kadar gelip "bilimin yarısı yanlışsa, bilime niye güvenelim?" diye sorabilir. Bu soruya üç cevap var ve üçü birlikte gerekli.

İlk cevap, tekrarlanma krizini bilimin kendisinin ortaya çıkarması. Krizi görünür kılan, dışarıdan gelen bir eleştiri değil, bilim insanlarının kendi alanlarını sistematik olarak sınamasıydı. Kendi hata oranını ölçebilen bir sistem, ölçemeyenden daha güvenilirdir; bilimin kendini düzeltmesi dersi bu mekanizmayı ayrıntısıyla işleyecek.

İkinci cevap, krizin her iddiayı eşit ölçüde vurmaması. Tek çalışmaya dayanan yeni ve çarpıcı bulgular kırılgandır, gargaranın ilk çalışması gibi. Onlarca kez tekrarlanmış, farklı yöntemlerle desteklenmiş ve mekanizması bilinen bulgular ise kırılgan değildir; kanıt rozetlerinin var olma nedeni bu ayrımı yapabilmek. Üçüncü cevap, alternatifin daha kötü olması. "Bilim tekrarlanamıyor, o hâlde deneyimime güvenirim" cümlesindeki alternatif, tekrarlama sınavından hiç geçmemiş bir bilgi kaynağıdır ve krizden çıkan sonuç bilimi bırakmak değil, daha çok tekrarlamak.

Klinik gerçeklik

Selma Hanım, Nevin Hanım'ın haberine dört soruyla bakıyor ve aynı soruları sen de herhangi bir bulguya sorabilirsin. Önce bulgunun kaç kez ve kimler tarafından tekrarlandığını soruyor; bir ekibin kendi bulgusunu tekrarlaması, bağımsız bir ekibin tekrarlamasından zayıftır. Sonra örneklemin büyüklüğüne bakıyor, çünkü küçük örneklem ile büyük etki bir araya geldiğinde temkinli olmak gerekir. Üçüncü soru, analizin veri toplanmadan önce belirlenip belirlenmediği; önceden kayıt varsa güven artar.

Dördüncü soru, sonraki çalışmalarda etkinin büyüyüp küçüldüğü. Küçülme beklenen bir örüntüdür, büyüme ise nadirdir; gargarada etki ikinci çalışmada belirgin biçimde küçüldü. Bu dört soru bir bulgunun rozetini kendi başına kabaca tahmin etmeni sağlar. Nevin Hanım'ın kendi sorusu bunlardan ayrı durur: gargara gençlerde tekrarlansaydı bile, protez kullanan birine taşınıp taşınamayacağı ancak o grupta sınandığında bilinebilir.

Selma Hanım'ın önerdiği şey bu yüzden bir yasak değil, bir sıra. Önce protezin ve dilin temizliğine, diş etlerinin durumuna ve ağız kuruluğu gibi bilinen kaynaklara bakmayı; gargarayı ise tekrarlanmamış bir bulgu olarak, kararın merkezine değil kenarına koymayı öneriyor. Nevin Hanım'ın rahatsızlığı gerçek ve ciddiye alınıyor; tartışılan yalnız haberin bu rahatsızlık hakkında ne kadar şey bildiği.

Kendini sına

1. Üç kavramı ayır: yeniden üretilebilirlik, tekrarlanabilirlik, genellenebilirlik. Selma Hanım'ın hikâyesindeki üç adım hangisine karşılık geliyor?
2. Tek bir çalışmanın sonucu hangi üç şeyden gelebilir? Kırk öğrencilik çalışma için her birine bir örnek yaz.
3. Küçülen etki nedir ve hangi üç mekanizma buna katkıda bulunur?
4. Tekrarlanmamanın dört nedenini say. Birincisi neden ikincisiyle birlikte en güçlü etkiyi yapar?
5. Çok ekipli analiz çalışmaları neyi gösteriyor? Ekipler hata mı yaptı? Bu, yeniden üretilebilirliğin sınırı hakkında ne söylüyor?
6. "Bilime niye güvenelim" sorusuna üç cevabı yaz.
7. Bir bulguya soracağın dört soruyu say. Nevin Hanım'ın sorusu bu dördünden neden ayrı duruyor?

Bir sonraki derse köprü

Bu derste bulguların sistemin içinde nasıl yanlış çıkabildiğine baktın: çekmecede kalan sonuçlara, küçük örneklemlere ve sonradan seçilen analizlere. Sıradaki ders aynı sorunu bir kişinin zihnine taşıyacak. Orada bir kuralı sınamak için hangi kartların çevrilmesi gerektiğini soran küçük bir bulmacayla başlayacak ve insanların ısrarla kuralı doğrulayacak kartı seçip onu yanlışlayabilecek kartı atladığını göreceksin. Doğrulama yanlılığının seçici arama, seçici yorum ve seçici hatırlama diye üç biçimi ayrılacak ve bilginin ona karşı neden koruma sağlamadığı sorulacak.