Kanıt kalitesi ve belirsizlik

Açılış sahnesi

Bir kişi bir bitki hakkında üç cümle duyuyor.

Birinci cümle: bu bitki klasik metinlerde şu amaçla anılır.

İkinci cümle: bu bitkinin özütü hücre çalışmalarında şu etkiyi göstermiştir.

Üçüncü cümle: bu bitkiyi konu alan birden fazla insan çalışması yapılmış ve sonuçlar bir araya getirilmiştir.

Üç cümle de aynı bitkiden bahsediyor ve üçü de doğru olabilir. Yine de aynı ağırlıkta değiller.

Bugüne kadarki derslerde bu farkı üretenin ne olduğunu tek tek gördük. Şimdi bu farkı yazılı hâle getirmenin bir yolunu kuracağız.

Çünkü konuşmada "daha güçlü kanıt" demek kolaydır; asıl iş, bir cümlenin nereye oturduğunu işaretleyebilmektir.

Bu derste ne olacak

Bu ders iki parçadan oluşuyor ve ikisi birbirini tamamlıyor.

Birinci parçada bu akademinin kanıt ölçeğini tanıyacağız. Altı basamaklı bir ölçek ve her basamağın kendi tanımı var.

İkinci parçada belirsizliğe bakacağız. Bir bulgunun hangi basamakta olduğu kadar, o basamakta ne kadar kesin olduğu da ayrı bir bilgi.

Aralarda üç kural işleyecek: basamak bir ürüne değil bir cümleye aittir, etkinlik ile güvenlik ayrı değerlendirilir ve kullanım süresi tek başına basamağı yükseltmez.

Son bölümde klasik metnin bir kaynağı seçerken kullandığı ölçütlere bakacağız.

Bu derste geçen durumların hiçbiri gerçek değildir; hepsi bir kavramı görünür kılmak için yazılmış kurgulardır.

Sıfır noktası

Bu akademinin kanıt ölçeği altı basamaklıdır ve basamaklar şöyle adlandırılır.

Sıfırıncı basamak değerlendirilmemiş demektir. Konu hakkında henüz düzenli bir inceleme yapılmamıştır.

Birinci basamak geleneksel ya da tarihsel iddiadır. Bilgi klasik metinlerden ya da yazılı uygulama geçmişinden gelir.

İkinci basamak ön klinik kanıttır. Elde hücre ya da hayvan çalışmaları vardır; insanda ölçüm yoktur.

Üçüncü basamak sınırlı insan araştırmasıdır. İnsanda yapılmış çalışma vardır ama sayıca az, küçük ya da yöntemce zayıftır.

Dördüncü basamak birden fazla uygun insan çalışmasıdır. Aynı soruya bakan, düzgün kurulmuş çalışmalar bulunmaktadır.

Beşinci basamak güvenilir bir kanıt sentezi ya da resmî kılavuz desteğidir. Çalışmalar sistemli biçimde birleştirilmiş ya da yetkili bir kurum tarafından değerlendirilmiştir.

Şimdi en sık yapılan hatayı baştan kapatalım: bu basamaklar ürünlere verilmez.

Mekanizma — basamağı ne yükseltir ve ne yükseltmez

Ölçeğin taşıdığı iki kural var ve ikisi de bu akademinin yazılı ilkesinden geliyor.

Birinci kural: etkinlik ve güvenlik ayrı ayrı değerlendirilir.

Bir uygulamanın işe yaradığına dair kanıt ile zararsız olduğuna dair kanıt aynı şey değil ve genellikle aynı kaynaktan da gelmiyor.

İkinci kural: geleneksel kullanım süresi tek başına basamağı yükseltmez.

Bu kural gelenekle bir çekişme değil; iki farklı sorunun karıştırılmasını önleyen bir sınır.

Bir uygulamanın uzun süredir sürdürülüyor olması, o uygulamanın tarihi hakkında sağlam bir bilgidir ve tarih gerçek bir alandır.

Sonucun ne olduğu ise ayrı bir soru ve o soru ancak ölçümle cevaplanıyor.

Usta katmanı — belirsizliği okumak

Basamak bir bulgunun türünü söylüyor. Söylemediği bir şey var: o bulgunun ne kadar kesin olduğu.

Bu ikisinin karıştırılması, sayı okumanın en yaygın hatası.

Şimdi bir kaynağı derecelendirme işinin ne kadar eski olduğuna bakalım.

Yaygın hatalar ve yanlış bilinenler

Aklında kalsın

Kanıt basamağı bir ürüne değil, belirli bir hazırlığın belirli bir sonuç üzerindeki etkisine dair tek bir cümleye aittir.

Etkinlik ve güvenlik ayrı ayrı değerlendirilir; bir tarafın dolu olması diğer tarafı doldurmaz.

Geleneksel kullanım süresi tarihsel bilgi taşır ve karşılaştırma içermediği için basamağı tek başına yükseltmez.

Anlamlılık farkın rastlantıya bağlanmasının güçlüğünü, etki büyüklüğü ise farkın uygulamadaki karşılığını gösterir.

Bir bulgunun yanındaki aralık, o bulgunun ne kadar kesin olduğunu söyler ve aktarımda kaybolan bilgi genellikle budur.

Sıfırıncı basamak bir olumsuz sonucu değil henüz sorulmamış bir soruyu bildirir; bu iki durum hiçbir cümlede birleştirilmez.

Sonraki derse köprü

Ölçek bir cümlenin ağırlığını söylüyor ama bir soruyu açık bırakıyor.

Elimizde iyi kurulmuş bir çalışma olduğunu ve iki şeyin birlikte hareket ettiğini gördüğümüzü düşünelim. Birlikte hareket etmek, birinin diğerine yol açtığı anlamına geliyor mu?

Bu soru bütün modülün en çok tuzak barındıran yeri ve günlük konuşmada neredeyse hiç sorulmuyor.

Sonraki ders korelasyon ile nedenselliği ayırıyor. Ele alacağımız şey, iki şeyin birlikte görünmesinin kaç ayrı biçimde açıklanabildiği ve bir nedensellik iddiasının hangi koşulları sağlaması gerektiği.