Klinik Yararlılık

Açılış sahnesi

Temmuzun ilk cuması, akşamüstü beş buçuk. Hastane bahçesinin arka köşesindeki kamelyada ıhlamurun gölgesi masanın yarısına düşmüş. Makbule Hanım dört aylık arama defterini masaya bırakıyor; defterin kapağında şubatta santralde kararlaştırılan kırk kişilik listenin çıktısı zımbalı. Şeyma bilgi işlemden gelen iki sayfalık tabloyu açıyor. Başhekimliğin sorusu tabloya kurşun kalemle yazılmış: "Liste başvuruları azalttı mı? Eylülde bütün ilçelere yayacağız".

İlk satır iyi görünüyor. Listedeki kırk hastanın aramalardan önceki dört ayda, kasımdan şubata, 22 acil başvurusu varmış; aramaların yapıldığı marttan hazirana 12. Makbule Hanım gülümsüyor ama defteri kapatmıyor. Deftere göre kırk hastanın hepsine ulaşılamamıştı, ulaşılanların hepsi de erken kontrole gelmemişti.

Bu derste ne olacak

Önce–sonra karşılaştırmasının neden bir etki kanıtı olmadığını aynı hastalardan hesaplayacak, geçmiş yılın verisiyle bir karşılaştırma grubu kurup fark içinde farkı bulacaksın. Uygulanma oranının etkiyi nasıl seyrelttiğini sayıyla göreceksin. Sonra etki çalışmasının tasarımlarını, küme randomize ve basamaklı kama düzenlerini tartacak, tasarım etkisinin gereken hasta sayısını nasıl büyüttüğünü hesaplayacaksın. Son olarak işe yarayan bir modelin kendi kalibrasyonunu neden bozduğunu göreceksin.

Metin

Doğrulanmış olmak ile yararlı olmak

Bu modülde modele çok soru soruldu. Ayırt etme gücü çiftlerle sayıldı, kalibrasyon dilimlerle sınandı, iyimserlik bootstrap ile düşüldü, ilçede taşınabilirlik denendi, net fayda eşik aralığında tartıldı. Bu soruların hepsi aynı şeyi ölçtü: model başvuracak hastayı ne kadar iyi öngörüyor. Hiçbiri, öngörü kullanıldığında başvurunun azalıp azalmadığını ölçmedi.

Bir risk modeli "bu hastanın önümüzdeki aylarda başvurma olasılığı yüksek" der. Aramanın o olasılığı değiştirip değiştirmediğini söylemez, çünkü model hiç aranmamış hastaların verisinden kuruldu. Net fayda hesabı bu yüzden bir varsayımla çalıştı: yakalanan her başvuru önlenebilir sayıldı. Modelin söylediği risk bir hedef adresidir; o adrese gidildiğinde bir şeyin değişip değişmediği ayrı bir deneyin sorusudur.

Brendan Reilly ile Arthur Evans, Annals of Internal Medicine dergisinin 2006 yılı şubat sayısında yayımlanan "Translating clinical research into clinical practice: impact of using prediction rules to make decisions" makalesinde bu ayrımı açıkça yazdılar. Klinik öngörü kurallarının çok azı resmî bir etki analizinden geçmişti; etki analizi olmadan hekim, kuralı kullanmanın yararlı mı zararlı mı olacağını bilemezdi. Yazarlar ayrıca öngörü kuralı ile karar kuralını ayırdılar. Öngörü kuralı bir olasılık verir, karar kuralı o olasılıkla ne yapılacağını söyler.

Önce–sonra karşılaştırması neyi ayıramaz

Kamelyadaki ilk satıra dönelim. Kırk hastada başvuru hızı dört ayda hasta başına 22 ÷ 40 = 0,55'ten 12 ÷ 40 = 0,30'a indi. Oran olarak 12 ÷ 22 ≈ 0,545, yani başvurular neredeyse yarıya düştü. Bu karşılaştırmanın karşısında iki rakip açıklama duruyor.

Takvim bunlardan biri: karşılaştırmanın öncesi kasım–şubata, solunum yolu enfeksiyonlarının sık görüldüğü aylara düşüyordu, sonrası mart–hazirana. Başvurular hiçbir telefon açılmadan, yalnız mevsim döndüğü için de azalabilirdi. Öteki açıklama listenin nasıl kurulduğunda saklı. Bilgi işlemin basit modeli geçen yılki acil başvuru sayısını kullanıyordu, yani listeye girenler kısmen yakın zamanda çok başvurdukları için seçilmişti. Uç değerinden seçilmiş bir grubun bir sonraki ölçümde ortalamaya doğru kaydığını eşleştirilmiş t testi dersinde görmüştün. Ortalamaya dönüş, müdahale olmasa da kırk hastanın başvurularını düşürür.

Kappen ve arkadaşları 2018'de Diagnostic and Prognostic Research'te yayımlanan "Evaluating the impact of prediction models: lessons learned, challenges, and recommendations" makalesinde, ameliyat sonrası bulantı–kusma modeli için yürüttükleri önce–sonra çalışmasını anlatırken aynı çekinceyi yazdılar. Gözlenmemiş zaman etkilerinin bulunan farkın asıl nedeni olma olasılığı her zaman vardı.

Karşılaştırma grubu kurmak

Şeyma bilgi işlemden bir sütun daha istemişti. Aynı basit model geçen yılın şubat verisine uygulanmış ve o zaman kimse aranmamış kırk kişilik bir liste çıkarılmıştı. Bu tarihî listenin başvuruları kasım–şubatta 21, mart–haziranda 14. Arama yokken bile başvuru 14 ÷ 21 ≈ 0,667'ye inmişti. Mevsim de ortalamaya dönüş de bu düşüşün içinde.

İki değişimin farkı, doğal deneyler dersindeki fark-farkı mantığıyla hesaplanır (L01-P03-M01-D08). Bu yılın listesinde değişim 0,30 − 0,55 = −0,25, tarihî listede 0,35 − 0,525 = −0,175. Fark −0,25 − (−0,175) = −0,075, kırk hastada dört ayda üç başvuru. Oran ölçeğinde 0,545 ÷ 0,667 ≈ 0,82. Başhekimliğe gidecek "yarıya indi" cümlesi, karşılaştırma eklenince "beşte bir kadar azalmış olabilir" cümlesine dönüşüyor.

"Olabilir" sözcüğü de süs değil. Dört sayımdan kaba bir belirsizlik hesabı yapılabilir: logaritma ölçeğinde varyans 1 ÷ 22 + 1 ÷ 12 + 1 ÷ 21 + 1 ÷ 14 ≈ 0,248, standart hata yaklaşık 0,50. Oranın yüzde 95 aralığı kabaca 0,31'den 2,17'ye uzanıyor. Listenin başvuruları üçte bire indirdiği de, iki katına çıkardığı da bu veriyle uyumlu. Tarihî karşılaştırmanın bir zaafı daha var: geçen yılın kışı bu yılınkinden farklıysa, fark içinde fark da bu farkı etkiye yazar.

Uygulanan etki, önerilen etki

Makbule Hanım defteri açıyor. Kırk hastanın 26'sına telefonla ulaşılmış, 26 ÷ 40 = 0,65. Ulaşılanlardan 17'si erken kontrole gelmiş, 17 ÷ 26 ≈ 0,65. Aramanın başvuruyu önleyebileceği yol erken kontrolden geçiyorsa, etki ancak 17 hastada doğabilir. Listenin tamamı üzerinden ölçülen etki, erken kontrole gelen hastadaki etkinin en çok 17 ÷ 40 = 0,425'i olabilir.

Bu seyrelme, pragmatik deneme dersinde gördüğün etkililik ile etkinlik arasındaki boşluğun (L01-P02-M03-D08) öngörü modellerindeki karşılığıdır. Poliklinik akışında bir aramanın yapılmaması için meşgul bir hat ya da eskimiş bir numara yeter. Bilgi işlemin listeyi dosya açılınca çıkan bir uyarı olarak koyması da ayrı bir sorun doğurdu: poliklinik hemşireleri gün boyunca ilaç etkileşimi, alerji ve randevu uyarılarıyla zaten karşılaşıyordu.

Uyum sorunu gerçek bir etki çalışmasında da belirleyici oldu. Poldervaart ve arkadaşları 2017'de aynı dergide, göğüs ağrısıyla acile gelen hastalarda HEART skorunun kullanımını dokuz Hollanda hastanesinde sınadılar. 3.648 hastalık çalışmada skorla yönetim güvenli bulundu, ama erken taburculuk, yeniden yatış ve tekrar acil başvurusunda anlamlı fark görülmedi. Yazarlar sınırlılık olarak hekimlerin düşük riskli sınıflanan hastalarda yatıştan ve ek tetkikten vazgeçmekte çekingen kaldığını yazdılar ve sınırlı etkiyi olası bir öneri uyumsuzluğuna bağladılar.

Etki çalışması nasıl kurulur

Hastaları tek tek kurayla listeye almak poliklinikte yürümez. Aynı hemşire bir hastayı arar, yan dosyadaki hastayı aramaz; model hakkında öğrendiği her şey kontrol hastalarına da taşınır. Kappen ve arkadaşları küme randomize ilk çalışmalarında bunun izini buldular. Anestezi bölümündeki 79 hekim iki yılda on iki binden fazla hasta tedavi etmişti. Olasılığı gören grup belirgin biçimde daha çok önleyici ilaç verdi, ama bu artışa ameliyat sonrası bulantı–kusma sıklığında bir azalma eşlik etmedi. Olağan bakım grubundaki hekimler de bir model kullanmadan riske göre önleme yapmıştı; yazarlar bunun Hawthorne etkisinden ya da gruplar arası bulaşmadan ayrılamayacağını belirttiler.

Bu yüzden kura çoğu zaman hastaya değil kümeye uygulanır: polikliniğe, hekime, hastaneye. İl sağlık müdürlüğü listeyi ilçelere yaymak istiyordu; bunu yapmanın en dürüst yolu, on ilçe hastanesinden beşini kurayla listeye almak olurdu. Bedeli dağılım varsayımı dersindeki tasarım etkisiyle ölçülür (L02-P02-M02-D08). Her ilçede 300 hasta ve küme içi korelasyon 0,01 varsayılırsa tasarım etkisi 1 + (300 − 1) × 0,01 = 3,99. Üç bin hastanın taşıdığı bilgi 3.000 ÷ 3,99 ≈ 752 bağımsız hastaya denk. Küme içi korelasyon 0,05 olsaydı tasarım etkisi 15,95 ve 3.000 ÷ 15,95 ≈ 188. Aynı ilçenin hastaları aynı acile, aynı ulaşım koşullarına ve aynı hekim alışkanlığına bağlı; küçük görünen bir benzerlik, büyük kümelerde örneklemi eritir.

HEART çalışması bu tasarımla kuruldu: bütün hastaneler olağan bakımla başladı ve her altı haftada bir hastane kurayla skorlu bakıma geçti. Tasarımın çekiciliği, müdahalenin sonunda herkese ulaşması ve yaygınlaştırma planıyla uyuşması. İl sağlık müdürlüğünün ilçelere zaten sırayla geçme planı varsa, sıra kurayla belirlenebilir. Zaafı da takvimde saklı. Müdahale dönemleri ortalamada kontrol dönemlerinden daha geç düşer, bu yüzden mevsim ve genel eğilim çözümlemede modellenmezse önce–sonra karşılaştırmasının hatası tasarımın içine geri sızar.

İşe yarayan model kendi kalibrasyonunu bozar

Son bir tuzak, liste gerçekten işe yararsa ortaya çıkıyor. Kalibrasyon dersinde makalenin denkleminin en üst dilimi 0,50 öngörmüş, yüz hastada 40 başvuru gözlenmişti; beklenen ile gözlenen oranı 50 ÷ 40 = 1,25. Aramalar bu dilimde başvuruları dörtte bir azaltsaydı gözlenen 30'a iner, oran 50 ÷ 30 ≈ 1,67'ye çıkardı. Ertesi yıl kalibrasyonu yeniden sınayan biri modelin bozulduğunu düşünür. Modeli yeni veriyle yeniden kestirirse, bu hastaların riskini düşük öğrenir ve onları listeden çıkarabilir. Aramanın faydası böylece modelin gözünde riskin azlığına dönüşür.

Lenert, Matheny ve Walsh 2019'da Journal of the American Medical Informatics Association'da yayımlanan "Prognostic models will be victims of their own success, unless…" yazısında bu döngüyü tarif ettiler. Kullanıcılar modelin öngörülerine göre davrandıkça sonuç dağılımı değişir; model ve müdahale sonuçları iyileştirmede ne kadar etkiliyse, model o kadar hızlı bozuluyor görünür. Yazarlara göre yeniden kestirmek her zaman en iyi yanıt değildi; müdahaleyi modelin içine sistemli biçimde katmak ve kullanımdaki modeli sürekli izlemek gerekiyordu. Kimin arandığı, kime ulaşıldığı ve kimin kontrole geldiği de kaydedilmeden, bozulma ile başarı birbirinden ayrılamaz.

Kamelyaya dönüş

Şeyma başhekimliğe gidecek paragrafı yazarken güneş masadan çekilmiş. Listedeki hastaların başvuruları dört ayda yarıya yakın düştü, ama aramasız geçen yılın benzer listesi de üçte bir düşmüştü. Karşılaştırmalı fark kırk hastada üç başvuru ve bu fark rastlantıyla uyumlu. Hastaların üçte birine ulaşılamadı. Listenin yararlı olup olmadığı bu veriyle bilinemiyor; eylüldeki yaygınlaştırma, ilçelerin geçiş sırası kurayla belirlenirse bunu ölçebilecek bir çalışmaya dönüşebilir.

Makbule Hanım bir satır ekliyor: arama defteri bundan sonra her aramanın sonucunu da yazacak; ulaşıldı mı, kontrole gelindi mi, gelinmediyse neden. Ertesi yıl kalibrasyona bakan kişi, düşen başvuruların hangisinin aramadan geldiğini ancak o sütunla ayırabilecek.

Kendini sına

1. Listedeki kırk hastanın başvuru hızı 0,55'ten 0,30'a indi. Bu düşüşü açıklayabilecek, aramadan bağımsız iki nedeni yaz.
2. Tarihî listenin sayılarıyla fark içinde farkı elle hesapla. Sonucu kırk hastada kaç başvuruya çevirirsin?
3. Kırk hastanın 26'sına ulaşılır ve 17'si kontrole gelirse, listenin tamamında görülen etki kontrole gelen hastadaki etkinin en çok kaçta kaçı olabilir?
4. Küme büyüklüğü 300 ve küme içi korelasyon 0,02 ise tasarım etkisi ve üç bin hastanın etkin büyüklüğü kaçtır?
5. Basamaklı kama tasarımında mevsim etkisi çözümlemeye neden özellikle katılmalıdır?
6. Aramalar yüksek riskli dilimde başvuruları azaltırsa ertesi yılın kalibrasyon tablosu nasıl görünür? Bu durumda yeniden kestirmenin tehlikesi nedir?

Modülün ve programın kapanışı

Modül bir makalenin tek satırıyla, C 0,78 ile açılmıştı. Çiftler sayıldı, dilimler tartıldı, iyimserlik düşüldü, model ilçeye taşındı, katlar arasında döndürüldü, eğrinin altındaki alanın sınırı ve eşiğin fiyatı hesaplandı. Kamelyada öğrenilen, bu hesapların hepsinin modelin sözünü tarttığı, sözün dünyayı değiştirip değiştirmediğini ise başka bir deneyin tartacağıydı.

Program ise Malatya'daki altı hastanın sabah tutukluğu dakikaları ve bir kovaryansla başlamıştı. Korelasyon, en küçük kareler, artıklar, çoklu ve lojistik modeller, sayım ve sağkalım modelleri aynı soruyu farklı sonuç türlerinde sordu: bir değişken ötekiyle nasıl değişiyor ve bu değişimin ne kadarı veriye, ne kadarı modelin varsayımına ait.

Bir sonraki derse köprü

Program burada değişiyor ve sayılardan maddeye iniyor. Bu programda regresyonla okuduğun HbA1c, C-reaktif protein ya da kavrama kuvveti, sonunda moleküllerin ve onları kuran atomların davranışından doğan ölçümlerdi. Kimyanın Temelleri programının ilk dersi Atomun Yapısı şunu soracak: bir atomun içinde çekirdek ile elektronlar nasıl yerleşir, bir elementi ötekinden ne ayırır, ve biyobelirteç ölçümünden redoks dengesine kadar fonksiyonel tıbbın kimyasal dili neden bu en küçük yapıdan başlar?