Kanıt kesinliği

Açılış sahnesi

Akşam saatlerinde bir aile hekimi, muayenehanesinde aynı soruyu inceleyen iki çalışmanın özetini yan yana okuyor. İkisinde de göreli risk 0,80 yazıyor: müdahale alan grupta olay riski, almayan gruba göre beşte bir daha düşük. Birinci özetin yanında 0,70 ile 0,91 arasında dar bir aralık var, ikincisinin yanında 0,43 ile 1,50 arasında geniş bir aralık. Hekim ilk bakışta birinci çalışmaya güveniyor.

Sonra birinci çalışmanın yöntem bölümünü okuyor. Katılımcılar müdahaleyi kendileri seçmiş; müdahaleyi seçenler zaten daha sağlıklı yaşayan, daha düzenli kontrole gelen kişiler. Dar aralık, rastlantının bu sayıyı ne kadar oynatabileceğini söylüyordu; sayının kendisinin yanlı olup olmadığını söylemiyordu. Önceki derste bir tahminin aralığını hesaplamayı gördün. Bu ders ikinci bir soruyu soruyor: o sayıya ne kadar güveniyoruz?

Bu derste ne olacak

Önce iki belirsizlik türünü ayıracağız ve iki kurgu çalışmanın aralığını elle okuyup 1'i kapsayıp kapsamadığına bakacağız. Sonra dar bir aralığın yanlı bir sayıyı nasıl kesin gösterebildiğini bir hesapla göstereceğiz. Ardından bu akademinin rozetlerinin kanıt kesinliğini nasıl taşıdığına ve kesinliğin okura hangi yollarla aktarıldığına geçeceğiz. Son bölümde derecelendirmenin iletişimde düştüğü üç tuzağı ve belirsizliği dürüstçe bildirmenin bedelini ele alacağız.

Sıfır noktası

Bir bulgu iki ayrı belirsizlik taşır. Birincisi rastlantıdan gelir: aynı çalışma başka bir örneklemle yapılsaydı sayı biraz farklı çıkardı ve güven aralığı bu oynamanın genişliğini gösterir. İkincisi çalışmanın kendisinden gelir: tasarım yanlıysa, sonuçlar çalışmadan çalışmaya tutarsızsa ya da bulgu başka bir nüfustan taşınıyorsa, sayının kendisine duyulan güven düşer. Bu ikinci belirsizlik aralığın genişliğinde görünmez.

Ayrımı bir cümleyle söylersek, aralık "bu sayı ne kadar oynayabilir?" sorusuna, kesinlik "bu sayıya ne kadar güvenebiliriz?" sorusuna cevap verir. Güven aralığını işleyen L01-P04-M02-D02'deki uyarı burada merkeze oturur: dar aralık doğruluk değil kesinlik gösterir. Yanlı bir çalışmanın dar aralığı, yanlış bir tahmini daha kesin biçimde verir. Kanıt kesinliği tam bu boşluğu doldurmak için vardır.

Mekanizma

Aralığı elle okumak

Açılıştaki iki çalışmanın sayılarını açalım; ikisi de öğretim için kurulmuş kurgu çalışmalardır. Birinci çalışmada her grupta 10.000 kişi var: müdahale grubunda 400, karşılaştırma grubunda 500 kişide olay görülmüş. Riskler 400 ÷ 10.000 = 0,04 ve 500 ÷ 10.000 = 0,05, göreli risk 0,04 ÷ 0,05 = 0,80. İkinci çalışmada her grupta 200 kişi var ve olay sayıları 16 ile 20; riskler 16 ÷ 200 = 0,08 ve 20 ÷ 200 = 0,10, göreli risk yine 0,08 ÷ 0,10 = 0,80.

Nokta tahmini aynı, aralıklar değil. Göreli risk 1 olsaydı iki grup arasında hiç fark olmayacaktı; bu yüzden bir aralığı okurken ilk soru, 1'in aralığın içinde kalıp kalmadığıdır. Birinci çalışmanın aralığı 0,70 ile 0,91 arasında ve iki uç da 1'in altında, yani aralık 1'i dışarıda bırakıyor. İkinci çalışmanın aralığı 0,43 ile 1,50 arasında; 0,43 < 1 < 1,50 olduğu için 1 aralığın içinde kalıyor ve "hiç fark yok" olasılığı veriyle uyumlu.

Aynı aralıkları yüzdeye çevirmek okumayı kolaylaştırır. Göreli risk 0,80, (1 − 0,80) × 100 = yüzde 20'lik bir azalma demektir. Birinci çalışmanın uçları yüzde 30 ile yüzde 9 arasında bir azalmaya karşılık gelir: (1 − 0,70) × 100 = 30 ve (1 − 0,91) × 100 = 9. İkinci çalışmanın uçları ise yüzde 57'lik bir azalma ile yüzde 50'lik bir artış arasında gidip gelir; bu aralık, müdahalenin işe yarayabileceğini de zarar verebileceğini de dışlamıyor.

Dar aralık, yanlış merkez

Şimdi açılıştaki hekimin fark ettiği soruna sayılarla bakalım. Diyelim ki müdahalenin gerçek etkisi sıfır, yani gerçek göreli risk 1,00. Ama müdahaleyi kendi seçenler zaten daha sağlıklı olduğu için onların olay riski, müdahale olmadan da yüzde 5 yerine yüzde 4 düzeyindedir. Çalışma yine 0,04 ÷ 0,05 = 0,80 bulur ve 10.000 kişilik gruplar sayesinde aralığı yine 0,70 ile 0,91 arasında dardır.

Bu hesapta aralık hiçbir yanlış yapmadı; rastlantıyı doğru ölçtü. Yanılan şey aralığın merkeziydi ve dar aralık, yanlış merkezi daha inandırıcı gösterdi. Örneklemi büyütmek aralığı daraltır ama yanlılığı gidermez; 100.000 kişiyle yapılan aynı tasarım daha da dar bir aralıkla yine 0,80 bulurdu. Kanıt kesinliği bu yüzden aralıktan ayrı bir değerlendirmedir ve tasarıma, tutarlılığa, dolaylılığa bakar.

Bu akademinin rozetleri neyi yapıyor

Kanıt kesinliği bu akademide bir arayüz öğesi olarak karşına çıkar: her kanıt kartındaki rozet. A rozeti, kesinliği düşüren beş etkenin hiçbirinin belirgin biçimde devrede olmadığını söyler. B, bir ya da iki etkenin kesinliği düşürdüğünü; C, birden çok etkenin düşürdüğünü söyler. D, dolaylılığın en uç hâlidir ve kanıtın insana hiç ulaşmadığını gösterir; X ise bir iddianın sınandığını ve yarar çıkmadığını ya da zarar gösterildiğini bildirir.

Not satırı bir süs değil, sistemin çalışması için zorunlu bir parçadır. Beş etken tek bir puana toplanmadığı için harf tek başına hangi kusurun devrede olduğunu söylemez. Açılıştaki birinci çalışma, dar aralığına rağmen yanlılık riski yüzünden C alabilir; ikinci çalışma ise geniş aralığı yüzünden, yani belirsizlik etkeniyle düşer. İki kartta aynı harf, iki farklı gerekçe olabilir ve farkı yalnız Not satırı gösterir.

Kesinlik nasıl aktarılır

Kesinliği okura aktarmanın dört yolu var ve bu akademide dördü de kullanılıyor. En hızlısı derece işaretidir, yani rozet; tek bakışta okunur ama gerekçe taşımaz. Onu tamamlayan gerekçe cümlesi, "bu tahmin katılımcıların kendi seçtiği tek bir çalışmaya dayanıyor" gibi, daha yavaş okunur ama bilgi verir. Üçüncü yol kesinliğin ne anlama geldiğini doğrudan söyleyen bir değişme ifadesidir: "sonraki araştırmaların bu tahmini değiştirmesi olası."

Dördüncü yol en az kullanılanı ve okur için en anlamlısıdır: eylem sonucu. "Bu bilgiyle karar verilebilir" ya da "bu bilgi tek başına karar için yeterli değil" demek, bir derecenin sonunda neye varacağını gösterir. Okurun asıl sorusu çoğu zaman "bu bilgiyle ne yapacağım?" sorusudur ve harf bu soruya kendiliğinden cevap vermez.

Kartın son cümlesi bu akademiye doğrudan bir uyarıdır: harf tek başına yetmiyor. Bu yüzden kartlarda rozet, nüfus, karşılaştırma ve not birlikte duruyor. Kart okurken harfle yetinip Not satırını atlamak, rozetin taşıyabildiğinden fazlasını ondan beklemek olur.

Üç iletişim tuzağı

İlk tuzak dereceyi etki büyüklüğüyle karıştırmaktır. A rozeti "etki büyük" değil, "kanıt sağlam" demektir. Açılıştaki birinci çalışmada mutlak fark 0,05 − 0,04 = 0,01, yani yüz kişiden birdir; bir kişide olayı önlemek için 100 ÷ 1 = 100 kişinin müdahale alması gerekir. Bu küçük etki, kusursuz bir tasarımla ölçülmüş olsaydı A rozeti taşıyabilirdi. Etki büyüklüğü, tahminin belirsizliği ve kanıt kesinliği birbirinden bağımsız üç boyuttur ve kart yapısı üçünü ayrı alanlarda tutar.

İkinci tuzak düşük dereceyi olumsuz sonuç sanmaktır. C rozeti "işe yaramıyor" değil, "bilgi yetersiz" demektir; açılıştaki ikinci çalışmanın geniş aralığı da "etkisiz" değil, "henüz değerlendirilemez" diye okunur. X rozetinin bu akademide ayrı bir kategori olmasının nedeni budur. Bir şeyin işe yarayıp yaramadığını henüz bilmemek ile işe yaramadığını bilmek farklı durumlardır; biri araştırmanın eksik kaldığını, öteki sınandığını ve sonucun olumsuz çıktığını söyler.

Üçüncü tuzak dereceyi bir onay damgası gibi okumaktır. Rozet bir tavsiye değil, bir kanıt durumu bildirimidir. Yüksek rozetli bir müdahale, kartın nüfus satırındaki kişilerle örtüşmeyen biri için doğrudan geçerli olmayabilir.

Belirsizliği dürüstçe bildirmenin bedeli

Bu ders bir gerilimi kabul etmeli. Kesinliği düşük bildirmek okuru karar veremez hâlde bırakabilir ve karar verilmesi gereken durumlarda "kanıt yetersiz" cümlesi tek başına bir eylem planı değildir. Çözüm belirsizliği gizlemek değil, yanına ne yapılabileceğini koymaktır.

Karar ertelenebiliyorsa ertelemek bir seçenektir ve bu açıkça söylenmelidir. Ertelenemiyorsa en az zarar verme olasılığı taşıyan seçenek gerekçesiyle sunulur. Zarar riski varsa, yarar belirsizken zararın daha iyi bilindiği bu asimetri ayrıca belirtilir; açılıştaki ikinci çalışmanın aralığı yüzde 50'lik bir artışı da içerdiği için orada bu cümle kurulmadan bir karar önermek eksik kalırdı.

Bu kart, belirsizlik bildiriminin yalnız bir bilgi aktarımı olmadığını hatırlatıyor. Karşındaki kişi o bilgiyle bir karar vermek ve o kararla yaşamak zorunda. Belirsizliği seçeneklerle birlikte sunmak, bilgiyi eksiksiz vermenin yanında bir bakım eylemidir.

Klinik gerçeklik

Bir kanıt kesinliği bildirimi okurken ya da yazarken önce iki belirsizliği ayır: aralık ne kadar geniş ve 1'i içeriyor mu, ayrıca rozet hangi etkenler yüzünden düşük? Dar bir aralık gördüğünde tasarımı sormadan güvenme, çünkü yanlılık aralığı daraltmaz, yalnız merkezi kaydırır. Rozetin etki büyüklüğü hakkında bir şey söylemediğini hatırla; büyüklüğü mutlak farktan ve bir kişide sonucu değiştirmek için kaç kişinin müdahale alması gerektiğinden oku. Düşük bir derecenin "işe yaramıyor" diye okunup okunmadığına da dikkat et.

Sonra kartın nüfusunun karşındaki kişiyi kapsayıp kapsamadığını sor. Bir bilgiyi aktarırken ise belirsizliğin yanına bir eylem seçeneği koy: ertelemek mümkün mü, en az zarar veren yol hangisi, zarar olasılığı ayrıca söylendi mi? İlk sorular okuma çıktısıdır, sonuncusu iletişim çıktısı.

Kendini sına

1. Tahminin belirsizliği ile kanıt kesinliğini ayır. Hangisi aralıkla ifade edilir?
2. Her grupta 1000 kişi olan bir çalışmada müdahale grubunda 30, karşılaştırma grubunda 50 olay var. Göreli riski hesapla ve yüzde kaç azalmaya karşılık geldiğini yaz.
3. Göreli risk aralıkları 0,62–0,95 ve 0,75–1,12 olan iki çalışmadan hangisinin aralığı 1'i içeriyor? Her birini yüzde değişime çevir.
4. Gerçek etki sıfırken bir çalışma nasıl 0,80 bulabilir? Örneklemi büyütmek bunu düzeltir mi?
5. Bu akademide kesinlik hangi arayüz öğesiyle taşınıyor? Not satırı neden zorunlu?
6. Kesinliği aktarmanın dört yolunu say. Hangisi okuyucu için en anlamlı?
7. Açılıştaki birinci çalışmada bir kişide olayı önlemek için kaç kişinin müdahale alması gerekir? Bu sayı rozetle ilgili mi?
8. C rozeti ile X rozeti neden ayrı kategoriler? Belirsizlik bildirimi hangi maliyeti taşıyor ve çözüm ne?

Bir sonraki derse köprü

Bu derste belirsizliği sayılarla ve harflerle ifade ettin: 0,70 ile 0,91 arasında bir aralık, bir C rozeti, yüz kişiden bir. Sıradaki ders aynı belirsizliğin sözcüklerle anlatıldığı yere geçiyor: "nadir", "sık", "muhtemel" gibi sözcükler. Farklı okurların aynı sözcüğe ne kadar farklı sayılar yüklediğini ve olasılık dilinin bu yüzden neden güvenilmez olduğunu göreceksin.