Zarar Soruları

Açılış sahnesi

Haziran sonu, bir izci derneğinin toplantı odası. Temmuzda yüz yirmi çocuğu iki haftalığına dere kenarındaki bir yayla kampına götürecekler ve kampın gönüllü hemşiresi Sevda, çocukların sivrisineklere karşı kullanacağı losyonu seçmek için masada iki kâğıt tutuyor. Birincisi yeni bir sivrisinek kovucu losyonun yararını gösteren bir çalışmanın özeti: üç yüz çocuk kura ile ikiye ayrılmış, yarısı iki hafta boyunca yeni losyonu, öteki yarısı içinde etken madde olmayan görünüşte aynı bir losyonu sürmüş ve yeni losyonu kullananlarda sivrisinek ısırığı belirgin biçimde az bulunmuş. Özetin son cümlesi "ciddi bir yan etki görülmedi" diyor.

İkinci kâğıt bir veli grubundan gelmiş bir haber. Eczane satış kayıtları ile aile hekimliği başvuru kayıtları birleştirilmiş ve losyon satışa çıktıktan sonraki üç yılda onu kullanan kırk bin çocuğun kayıtlarına bakılmış ve binde bir civarında, sürüldüğü yerde kabarcıklı bir cilt reaksiyonu bildirilmiş. Dernek başkanı Kadir haberi okuyup kâğıdı kenara itiyor: "Bu bir kayıt çalışması, deney değil. Elimizde kura ile yapılmış bir çalışma var ve orada yan etki çıkmamış." Sevda başını sallıyor, sonra iki kâğıttaki kişi sayılarına bir kez daha bakıyor.

Bu derste ne olacak

Önce zarar sorusunun neyi sorduğunu ve yarar sorusundan hangi noktada ayrıldığını göreceğiz. Sonra yarar için güvendiğin kaynak sıralamasının zarar sorularında neden aynı sırayla işlemediğine geçeceğiz; bir kanıt kartı, yararı göstermek için kurulan bir çalışmanın seyrek zararları görecek büyüklükte olmayabileceğini söylüyor. Ardından Sevda'nın masasındaki iki kâğıdı küçük bir hesapla tartacağız. Kapanışta bir zarar iddiasıyla karşılaştığında soruları hangi sırayla soracağını konuşacağız.

Sıfır noktası

Önceki ders bir yöntemin yararını sordu ve bu sorunun bir karşılaştırma olmadan yarım kaldığını gösterdi. Zarar sorusu aynı eylemi konu alıyor ama bakış yönünü değiştiriyor. Artık "bu losyon ısırığı azaltıyor mu?" değil, "bu losyon istemediğim bir şeyin olasılığını artırıyor mu?" diye soruyorsun. İki soru aynı ürün hakkında, ama farklı sonuçlara bakıyor ve bu fark, hangi kanıtın güvenilir sayılacağını da değiştiriyor.

Tanımın ikinci yarısı bu dersin konusu. Nedensel sorular dersinde kura ile gruplara ayırmanın neden bu kadar güçlü olduğunu görmüştün: kura, ters nedensellik ve ortak neden olasılıklarını dışlıyor ve kalan farkı müdahaleye yüklemeyi mümkün kılıyor. Bu yüzden yarar sorularında kura ile yapılmış bir çalışmayı gözlemsel bir çalışmanın önüne koymak sağlam bir alışkanlık. Kadir'in refleksi bu alışkanlıktan geliyor ve yarar sorusu için yerinde. Zarar sorusunda ise o alışkanlık, kendisine yeni bir soru eklenmeden işlemiyor.

Mekanizma

Aynı hiyerarşi, farklı işleyiş

Kura ile yapılmış bir çalışma, bir farkı müdahaleye yüklemekte güçlü; ama önce o farkı görebilmesi gerekiyor. Bir yarar çalışması, beklenen yararı fark edecek kadar kişiyle ve o yarar ortaya çıkacak kadar süreyle kurulur. Losyonun yararı ilk birkaç günde, üç yüz çocukta açıkça görülebiliyordu; ısırık sık rastlanan bir olay. Binde bir görülen bir cilt reaksiyonu ise çok daha seyrek ve onu görebilmek için başka bir ölçek gerekiyor.

Sevda'nın ikinci bakışı tam bu kartın notunu hesaba döküyor. Reaksiyon gerçekten binde bir sıklıkta görülüyorsa, kura ile yapılan çalışmada beklenen reaksiyon sayısı 300 × 0,001 = 0,3 çıkar. Yani o çalışmadan tek bir reaksiyon bile beklenmiyordu; hiç görülmemesi en olası sonuçtu. Aynı sıklıkta, hiçbir çocukta görülmeme olasılığı 0,999'un üç yüzüncü kuvveti, yaklaşık 0,74. Başka bir deyişle, çalışma dört seferin üçünde bu reaksiyonu hiç görmeden bitecekti. "Ciddi bir yan etki görülmedi" cümlesi doğru, ama bu büyüklükte bir çalışmanın bu soruya verebileceği en zayıf cevap.

Kayıt çalışmasında hesap tersine dönüyor. Aynı sıklıkta, kırk bin çocukta beklenen reaksiyon sayısı 40000 × 0,001 = 40. Kırk olay, bir veri tabanında fark edilmeyecek kadar küçük bir sayı değil. Kadir'in "deney değil" diye kenara ittiği kâğıt, bu özel soru için masadaki tek kâğıttı; öteki kâğıt bu soruya bakabilecek büyüklükte hiç kurulmamıştı. Hiç görülmeyen bir olayın gerçekte ne kadar sık olabileceğini kestirmenin kısa bir kuralı da var; onu zarar için gereken sayı dersinde (L01-P04-M02-D06) ayrıntısıyla göreceksin.

Sormanın doğru sırası

Bir zarar iddiasıyla karşılaştığında ilk bakacağın şey rozet değil, büyüklük: bu çalışma, iddia edilen zararı fark edebilecek kadar çok kişiyi, yeterince uzun süre izlemiş mi? Sevda'nın hesabı bu sorunun cevabını iki satırda verdi. Üç yüz çocuk ve iki hafta, binde birlik bir olay için yetmiyordu; kırk bin çocuk ve üç yıl yetiyordu. Rozete ancak bu sorudan sonra bakılıyor.

Kartın sınırı Sevda'yı da durduruyor ve durdurması iyi. Kayıttaki kabarcıklı reaksiyonların bir kısmı losyondan değil, aynı yaz güneşte uzun kalmaktan, bir bitkiye dokunmaktan ya da aynı anda sürülen başka bir kremden kaynaklanmış olabilir. Kayıt, sinyali görecek kadar büyük; ama sinyalin kaynağını ayırmakta kura ile yapılmış bir çalışma kadar güçlü değil. Bu yüzden iki kâğıdın her biri başka bir iş görüyor: biri losyonun ısırığı azalttığını güvenilir biçimde söylüyor, öteki losyonla birlikte seyrek bir reaksiyonun göründüğünü söylüyor ve bunun ne kadarının losyona ait olduğunu açık bırakıyor.

Bu iki kart yan yana konduğunda ortaya bir sıralama çıkıyor. Yarar sorusunda önce tasarıma bakılır ve kura ile yapılmış çalışma öne geçer. Zarar sorusunda önce "bu çalışma bunu görebilecek büyüklükte miydi?" diye sorulur, tasarıma ve rozete ancak ondan sonra bakılır. Sıra neredeyse tersine dönüyor, ama bu hiyerarşinin çöktüğü anlamına gelmiyor; yalnız farklı bir soru için farklı bir ilk adım istediği anlamına geliyor.

Sevda toplantının sonunda Kadir'e aynı soruyu sordu ve dernek bir karar verdi: losyon kamp listesinde kaldı, ama her çocuğun ilk gün kolunun küçük bir bölgesine sürülüp bir gün beklenmesi ve kabarcık görülürse o çocukta başka bir yönteme geçilmesi kararlaştırıldı. Karar, iki kâğıdın her birini kendi cevaplayabildiği soruya göre kullanıyordu. Yarar kâğıdı losyonu seçtirdi, zarar kâğıdı onu nasıl kullanacaklarını değiştirdi.

Klinik gerçeklik

Bir yöntemin hem yararı hem zararı sorgulandığında, ikisine aynı kanıt çıtasını uygulamamak gerekiyor. Yarar için sorulacak ilk soru "en güçlü tasarım hangisi?" Zarar için sorulacak ilk soru "bu tasarım, iddia edilen şeyi görebilecek ölçekte miydi?" Bu ikinci soruyu sormak için istatistik bilmen gerekmiyor; bir çalışmanın kaç kişiyi ne kadar süre izlediğine ve iddia edilen zararın ne kadar seyrek olduğuna bakman yetiyor.

Bu iki soruyu karıştırmak iki yönde de hataya yol açıyor. Bir yönde, küçük bir çalışmadaki "yan etki görülmedi" cümlesine gereğinden fazla güveniyorsun ve görülmemiş olanı yok sayıyorsun. Öteki yönde, büyük bir kayıttaki zarar bulgusunu yalnız "deney değil" diye haksız yere küçümsüyorsun. Sevda'nın masasındaki iki kâğıt bu iki hatanın ikisine de açık duruyordu ve ikisinden de aynı soruyla kurtuldu: kaç kişi, ne kadar süre, ne kadar seyrek bir olay?

Kendini sına

1. Kadir'in "bu bir kayıt çalışması, deney değil" cümlesi hangi soru için yerinde, hangisi için yanlış yöne gidiyor?
2. Zarar sorusu yarar sorusundan neyi sorduğu bakımından nasıl ayrılıyor?
3. X rozetli kart hangi yaygın varsayımı geçersiz kılıyor?
4. Binde bir görülen bir reaksiyon için üç yüz çocukluk çalışmada beklenen olay sayısı kaç? Kırk bin çocukluk kayıtta kaç?
5. B rozetli kartın sınırı ne — büyük gözlemsel veri hangi konuda randomize çalışmadan zayıf kalabiliyor? Sevda'nın kaydında bunun örneği ne olabilir?
6. Vakadaki kişi kaydı neden artık küçümsemiyor?
7. Yarar ve zarar sorularına aynı kanıt çıtasını uygulamak hangi iki hataya yol açıyor?

Bir sonraki derse köprü

Kamp dönüşü Sevda velilerden kısa bir değerlendirme formu topladı; ısırık sayısı, reaksiyon olup olmadığı, hepsi birer kutucuktu. Ama bir annenin formun kenarına yazdığı not hiçbir kutucuğa sığmıyordu: oğlu, losyonun kokusu yüzünden ilk günler çadır arkadaşlarından ayrı durmuş. Şimdiye kadarki bütün sorular sayılabilir bir sonucu hedefliyordu. Bir sonraki ders, Deneyim ve Anlam Soruları, cevabı bir sayıya dökülmeyen bir soruyu ve sayının yokluğunun neden kanıtın yokluğu sayılamayacağını ele alıyor.