Kanıt ağırlığı

Açılış sahnesi

Pazar kahvaltısında iki kardeş, annelerinin uykusuzluğu için aldığı bitki çayını tartışıyor. Deniz telefonundan bir liste okuyor: "Bu çayın uykuyu düzelttiğini gösteren on iki çalışma var." Ece de kendi ekranını çeviriyor: "Ben iki çalışma buldum, ikisinde de işe yaramamış." Deniz gülüyor, on ikiye iki, tartışma bitti. Ece ikna olmuyor ama nedenini söyleyemiyor.

Masadaki hamle bir tartışma değil, bir sayım. Sayım da hiçbir şeyi çözmüyor, çünkü çalışmalar eşit ağırlıkta değil. İyi tasarlanmış tek bir çalışma on zayıf çalışmadan ağır basabiliyor; on zayıf çalışmanın hepsi aynı kusuru taşıyorsa, sayıları arttıkça güven artmıyor, aynı hata on kez tekrarlanıyor. Bu ders, kahvaltı masasındaki on dört çalışmayı birlikte saymak yerine tartmayı öğretiyor.

Bu derste ne olacak

Önce bir kanıtın ağırlığını belirleyen dört boyutu tanıyacağız ve Deniz ile Ece'nin çalışmalarını bu boyutlardan tek tek geçireceğiz. Sonra çalışma sayısının neden bu kadar yanıltıcı olduğunu üç gerekçeyle göreceğiz. Ardından dersin en rahatsız edici kısmına geleceğiz: aynı çalışmayı, sonucu işimize geldiğinde daha sağlam, gelmediğinde daha kusurlu bulma eğilimimiz. Son bölümde buna karşı tek ve mekanik bir korunma yolu kuracağız.

Sıfır noktası

Kahvaltı masasındaki on dört çalışma tek bir kanıt gövdesi oluşturuyor. Deniz bu gövdeyi sayıyor ve her çalışmaya bir oy veriyor. Ağırlıklandırma ise her çalışmaya "sen bu soruya ne kadar bilgi taşıyorsun?" diye soruyor. Bu akademideki kanıt kartlarının taşıdığı rozetler de bir sayım değil, bir tartım sonucu; bir kartın rozeti, arkasındaki çalışma sayısından değil, o çalışmaların bu sorudan nasıl geçtiğinden geliyor.

Mekanizma

Ağırlığı belirleyen dört boyut

Deniz'in on iki çalışmasını açıp bakıyoruz. Hepsi aynı kliniğin, aynı araştırma ekibinin çalışması. Hiçbirinde karşılaştırma grubu yok; katılımcılar çayı birkaç hafta içiyor, sonra "uykum nasıl?" sorusunu bir ankette cevaplıyor. Ece'nin iki çalışması iki ayrı ülkede, birbirinden habersiz iki ekip tarafından yürütülmüş. İkisinde de katılımcıların bir kısmı gerçek çayı, bir kısmı aynı tatta ve görünümde bir taklidini içiyor, kimin hangisini içtiğini ne katılımcı ne de araştırmacı biliyor. Uyku süresi bileğe takılan bir hareket ölçerle kaydediliyor ve ne ölçüleceği çalışma başlamadan bir kayıt sistemine yazılmış.

İlk boyut tasarım ve yürütme: karşılaştırma var mı, atama nasıl yapıldı, kim neyi biliyordu, kaç kişi yolda çalışmadan çıktı? Deniz'in çalışmalarında karşılaştırma olmadığı için, uykudaki düzelmenin çaydan mı, zamanla kendiliğinden gelen iyileşmeden mi, yoksa "bir şey yapıyorum" duygusundan mı geldiği ayrılamıyor. İkinci boyut doğrudanlık: ölçülen şey sorulan soruyla aynı mı? Annelerinin sorusu "daha iyi uyuyacak mıyım?"; bir anket cevabı buna yakın, ama beklentiden kolay etkileniyor. Bir ara ölçüt üzerinden gösterilen etki sonlanımın kendisi değil ve bir hayvan modelinde gösterilen etki de insan sorusuna ancak dolaylı kanıt.

Üçüncü boyut tutarlılık: bağımsız çalışmalar aynı yöne mi gidiyor, ayrılıyorlarsa ayrılık açıklanabiliyor mu? Burada iki gövde birbirine karşı ayrılıyor ve ayrılığın açıklaması tasarımda duruyor. Dördüncü boyut kesinlik: güven aralığı ne kadar dar? Deniz'in her çalışması birkaç düzine kişiyle yapılmış ve tek başına geniş aralıklar veriyor; Ece'nin çalışmaları yüzlerce kişiyle yapılmış ve daha dar aralıklar veriyor. Dört boyut birlikte bir ağırlık üretiyor ve dördünün hiçbiri çalışma sayısı değil.

Neden sayı bu kadar yanıltıcı

Birinci neden, aynı kusurun çoğalması. On iki çalışmanın hepsi karşılaştırma grubu olmadan ve öz bildirimle ölçtüyse, masada on iki ayrı bilgi değil, aynı ölçüm sorunu on iki kez var. Aynı kusuru taşıyan on çalışma, o kusurun ürettiği sonucu on kez doğrular; kusurun kendisini hiç sınamaz. Önceki derste gördüğün soruyla söylersek, bu on iki sonuç hem "çay etkili" açıklamasıyla hem de "beklenti ve zaman etkili" açıklamasıyla aynı ölçüde uyumlu, yani ikisi arasında ayırt edici değil.

İkinci neden, bağımsız olmamaları. Aynı ekip, aynı klinik, aynı nüfus ve aynı anket; sayıca on iki, bilgi olarak bir kanıt hattı. Bilimsel uzlaşmanın gücünü belirleyen şey de çalışma sayısı değil, birbirinden bağımsız kanıt hatlarının sayısıydı. Ece'nin iki çalışması ise iki ayrı hat: farklı ekipler, farklı ülkeler, farklı katılımcılar ve aynı sonuç.

Üçüncü neden, yalnız yayımlananları sayıyor olman. Olumlu sonuç veren çalışmalar daha kolay ve daha hızlı yayımlanıyor (L01-P02-M04-D07). Deniz'in ekibi on iki olumlu çalışma yayımladıysa, aynı dönemde sonuç vermediği için bir çekmecede kalan başka çalışmalar olup olmadığını bilemiyoruz. Ece'nin çalışmaları önceden kayıtlı olduğu için, sonucu ne çıkarsa çıksın görünür olacaktı. Üç neden birleşince tek bir sonuç çıkıyor: çalışma sayısı, kanıt gücünün kötü bir vekili.

Vakanın sonucu, Ece'nin haklı olduğu anlamına gelmiyor; iki çalışma da yanılabilir ve yeni çalışmalar gövdeyi kaydırabilir. Söylediği şey daha dar: bugünkü gövdenin ağırlık merkezi, sayının gösterdiği yerde değil.

En zor kısım: sonucuna göre tartmak

Şimdi masanın öteki ucuna, kendimize dönelim. Diyelim ki Ece'nin iki çalışmasından biri, çay lehine sonuç vermiş olsaydı. Deniz o çalışmayı büyük ihtimalle "işte, en iyi tasarlanmış çalışma bile gösteriyor" diye sunardı. Aynı çalışma çay aleyhine çıktığında ise, "hareket ölçer uykuyu tam ölçemez" diyerek yöntemini eleştirmeye başlıyor. Yöntem değişmedi; değişen tek şey sonuç.

Kart, tartışmalardaki en yaygın çıkmazı açıklıyor. İki taraf da karşı tarafın kanıtını zayıf buluyor ve ikisi de bunu yöntemsel bir gerekçeyle söylüyor. Bu tuzağa Ece de düşebilir; Deniz'in çalışmalarındaki kusurları o kadar kolay görmesinin bir nedeni, zaten çaya inanmıyor olması olabilir. Kartın notuna göre uzmanlık da korumuyor: yöntem bilgisi hangi kusurun aranacağını öğretiyor, ama o kusurun hangi çalışmada aranacağını seçen eğilimi ortadan kaldırmıyor.

Bu, araştırmacının analiz planını veri toplanmadan ilan etmesinin okuyucu tarafındaki karşılığı. Araştırmacı protokolünü önceden kayda geçiriyor; okuyucu da ölçütünü önceden yazabilir. Kardeşler aramaya başlamadan bir kâğıda "karşılaştırma grubu olsun, katılımcılar hangi çayı içtiğini bilmesin, uyku bir cihazla ölçülsün, farklı ekiplerden en az iki çalışma olsun" yazsalardı, sonra bulunan on dört çalışmayı aynı ölçütle tartarlardı. Pratikteki soru tek cümle: beni ikna edecek çalışma nasıl olurdu?

Kartın son cümlesi rozetlerin de gerekçesi. Bir rozet bir otorite değil, tartımın yazılı hâli; okuyan kişi ona katılmayabilir, ama neye katılmadığını görebilir. Kardeşlerin kâğıdı da aynı işi görüyor: tartışma "sen yanılıyorsun" düzeyinden "şu ölçütü şu çalışma karşılıyor mu" düzeyine iniyor.

Klinik gerçeklik

Bir kanıt gövdesini tartarken önce çalışmaların birbirinden bağımsız olup olmadığına bak: aynı ekip, aynı nüfus ve aynı protokol birden çok yayında görünüyorsa, onları tek bir hat say. Sonra ortak bir kusur paylaşıp paylaşmadıklarını sor; hepsi karşılaştırmasızsa ya da hepsi aynı öz bildirim sorusuna dayanıyorsa, sayıları kusuru küçültmez. Ardından ölçülen şeyin sorulan şey olup olmadığını ve çalışmaların ayrıştığı yerde bu ayrılığın açıklanıp açıklanmadığını kontrol et.

Son soru en zoru ve öbürlerini koruyan tek soru: ölçütümü sonucu görmeden mi belirledim? Bir hastanın elinde bir çalışma listesiyle geldiği bir görüşmede de sıra aynı. Listedeki sayıyı değil, listedeki hatları ve kusurları konuş; hangi çalışmanın seni ikna edeceğini ona sonuçlara bakmadan söyle. Sonuç görüldükten sonra seçilen ölçüt, ölçüt değil.

Kendini sına

1. Sayım ile tartımı ayır. Bu akademideki kanıt rozetleri hangisinin ürünü?
2. Ağırlığı belirleyen dört boyutu say ve her birini Deniz'in on iki çalışmasına uygula.
3. Ece'nin iki çalışması neden iki ayrı kanıt hattı, Deniz'in on iki çalışması neden tek bir hat sayılıyor?
4. Yalnız yayımlanan çalışmaları saymak sayımı neden baştan eğiyor? Ön kayıt bunu nasıl değiştiriyor?
5. Vakadaki iki gövdeden hangisi daha ağır ve fark tek bir yerde; nerede? Bu, Ece'nin kesin haklı olduğu anlamına mı geliyor?
6. B rozetli kart neyi gösteriyor? Uzmanlık neden korumuyor?
7. "Ölçütü önce yaz" hangi araştırma ilkesinin okuyucu tarafındaki karşılığı? Kardeşler için kendi ölçüt listeni yaz.
8. "Tek çalışma hiçbir şey göstermez" neden yanlış? Tek çalışmanın abartılmasına karşı uyarı neye karşıydı?

Bir sonraki derse köprü

Bu derste kanıtın nasıl tartılacağını gördük ve tartımın, kardeşlerin ikisinin de aynı soruyu sorduğunu varsaydığını fark etmiş olabilirsin: çay uykuyu düzeltiyor mu? Ama bir anlaşmazlık her zaman bu türden değil. Deniz, kanıt zayıf olsa bile zararsız bir çayı denemenin değerli olduğunu düşünüyorsa, Ece'nin iki çalışması bu fikri değiştirmeyecek; çünkü ikisi olgu üzerinde değil, belirsizlik karşısında ne yapılacağı üzerinde ayrılıyor olabilir. Sıradaki derste anlaşmazlıkları türlerine ayıracak ve hangilerinin yeni veriyle kapandığını, hangilerinin ancak daraldığını göreceksin (L01-P06-M03-D05).