Altın standart

Açılış sahnesi

Bir dermatoloji polikliniğinde, cuma sabahı. Klinik, şüpheli benleri değerlendirmek için yeni bir cilt görüntüleme cihazını bir yıl boyunca denemiş ve şimdi sonuçları bir sunumda topluyor. Slaytta tek bir cümle öne çıkıyor: "Cihaz, kötü huylu lezyonların yüzde 97'sini yakaladı." Masadaki patolog bir soru soruyor: "Kötü huylu olduklarını nereden biliyoruz?" Sunumu hazırlayan asistan cevap veriyor: "Biyopsiyle. Ama biyopsiyi yalnız cihazın şüpheli bulduğu lezyonlara yaptık."

Bu kısa diyalog, bir testin doğruluğunu ölçmenin en az konuşulan sorununu taşıyor. Bir testi "gerçekle" karşılaştırmak istersin, ama gerçeği de başka bir yöntemden öğrenirsin ve o yöntem de ne kusursuzdur ne herkese uygulanır. Bu derste o yüzde 97'nin nereden geldiğini hesaplayacak ve cihazın gerçekte çok daha az başarılı olabileceğini göreceksin. Bir testin doğruluğu, onu ölçtüğün karşılaştırmadan daha iyi bilinemez.

Bu derste ne olacak

Önce karşılaştırmada "gerçek" kabul edilen yöntemi tanımlayacağız ve ona neden daha dürüst bir adla seslenildiğini konuşacağız. Sonra açılıştaki yüzde 97'yi bin lezyonluk bir tabloda yeniden kuracak ve yalnız pozitiflerin doğrulanmasının hesabı nasıl çarpıttığını sayıyla göreceksin. Ardından standardın kendisi yanıldığında ne olduğuna, döngüsel tanıma ve zaman farkına bakacağız. Son bölüm en derin soruya ayrılıyor: standardın seçimi hastalığın ne olduğunu da tanımlar.

Sıfır noktası

"Altın standart" adı yanıltıcı, çünkü bu yöntemlerin hiçbiri saf altın değildir. Biyopsi iğnesi lezyonun yanlış yerinden örnek alabilir, iki patolog aynı kesite farklı ad verebilir, izlem de yavaş ilerleyen bir hastalığı süre dolmadan yakalayamayabilir. Bu yüzden referans standardı adı daha dürüsttür: kusurlu olabileceğini baştan kabul eder ve literatürde giderek bu ad tercih ediliyor. Bu derste iki adı da göreceksin, ama kastedilen hep aynı şey: eldeki en iyi karşılaştırma.

Mekanizma

Tuzak 1 — Doğrulama yanlılığı

En sık ve en pratik tuzakla başlayalım, çünkü açılıştaki sunum tam onun üstünde duruyor. Referans standardı çoğu zaman girişimsel ve pahalıdır: biyopsi, cerrahi, uzun bir izlem. Bu yüzden herkese uygulanmaz ve çoğunlukla yalnız incelenen testi pozitif çıkanlara yapılır. Negatif çıkanların gerçekte hasta olup olmadığı bilinmez ve analize girmez.

Neler olduğunu bin lezyonla gör. Kötü huylu lezyonların oranı 0,10 olsun; 100 kötü huylu, 900 iyi huylu lezyon. Cihaz gerçekte kötü huyluların 100 × 0,80 = 80'ini şüpheli bulsun ve 20'sini kaçırsın; iyi huylulardan da 900 × 0,10 = 90'ına yanlış alarm versin. Cihazın şüpheli bulduğu 80 + 90 = 170 lezyonun hepsine biyopsi yapılıyor. Şüpheli bulmadığı 830 lezyonun ise yalnız onda birine, kabaca 83'üne biyopsi yapılıyor; bunların içinde 20 × 0,10 = 2 kötü huylu ve 810 × 0,10 = 81 iyi huylu lezyon var.

Şimdi asistanın yaptığını yap ve yalnız biyopsisi olan lezyonları say. Kötü huylu olduğu bilinen lezyon sayısı 80 + 2 = 82 ve cihaz bunların 80'ini yakalamış: 80 ÷ 82 ≈ 0,976, yani slayttaki yüzde 97. Oysa cihazın gerçek yakalama oranı 0,80'di; kaçırdığı 20 lezyonun 18'i biyopsiye hiç gitmediği için görünmez oldu. Aynı hesap öteki yönde de sapar: iyi huylu olduğu bilinen 90 + 81 = 171 lezyondan cihaz yalnız 81'ini doğru elemiş görünür, 81 ÷ 171 ≈ 0,47. Gerçek değer 810 ÷ 900 = 0,90'dı.

Sıradaki iki derste hastaları yakalama oranına duyarlılık, sağlıklıları eleme oranına özgüllük diyeceksin; terimin tanımındaki iki yön, az önce hesapladığın 0,976 ile 0,47'dir. Çözüm basit ama pahalı. Ya herkese standart uygulanır ya da negatiflerin rastgele bir örneği doğrulanıp sayılar geri ağırlıklandırılır: biyopsisi yapılan 83 negatifin her biri onda bir örneklemle seçildiği için on lezyonu temsil eder ve 2 × 10 = 20 kaçırılan lezyon geri gelir. Biyopsi yapılamayan negatifler içinse izlem kullanılır; birkaç ay sonra büyüyen ya da değişen bir ben, cihazın kaçırdığı lezyonu ortaya çıkarır. İyi çalışmalar bunlardan birini yapar ve yaptığını açıkça yazar.

Tuzak 2 — Kusurlu standardın etkisi

Herkese biyopsi yapıldığını varsay ve doğrulama yanlılığını tümüyle ortadan kaldır. Sorun yine de bitmez, çünkü biyopsinin kendisi de yanılabilir. Referans standardı hata yapıyorsa, ölçülen test performansı iki yönde birden sapabilir ve hangi yöne sapacağı iki yöntemin hatalarının birbirine bağlı olup olmadığına bağlıdır.

Önce testin haksız yere kötü göründüğü yönü hesapla. Biyopsi, örneklem hatası yüzünden kötü huylu lezyonların onda birini iyi huylu olarak raporlasın; 100 kötü huylu lezyondan 10'u böyle gizlenir. Cihaz bu 10 lezyonun 10 × 0,80 = 8'ini şüpheli bulur, ama biyopsi "iyi huylu" dediği için bu 8 isabet yanlış alarm olarak yazılır. Cihazın yanlış alarm sayısı 90'dan 98'e çıkar ve iyi huyluları eleme oranı 0,90 yerine 812 ÷ 910 ≈ 0,89 olarak ölçülür. Fark küçük, ama yönü önemli: cihaz, standardın yanıldığı yerde haklıyken cezalandırılıyor.

Ters yönde de sapabilir. Klinik cihazı biyopsiyle değil de yine yüzey görünümüne dayanan bir uzman muayenesiyle karşılaştırsaydı, iki yöntem aynı mekanizmayı ölçtüğü için aynı yanıltıcı lezyonlarda birlikte yanılır ve uyumları yüksek çıkardı. Bu durumda test haksız yere iyi görünür, çünkü iki yöntemin uyumu doğruluk değildir.

Tuzak 3 — Döngüsel tanım

Daha ince bir sorun ve bazı hastalıklarda kaçınılmaz. Bazı durumların referans standardı incelenen testin kendisini içerir. Tanı ölçütlerinin içinde o test yer alıyorsa, testi kendi tanımına karşı ölçmüş olursun ve test her zaman iyi görünür, çünkü hastalığın tanımı kısmen testin verdiği sonuçtur.

Bu, ruh sağlığında, kronik ağrıda ve birçok fonksiyonel bozuklukta gerçek bir zorluktur. Bu alanlarda bağımsız bir biyolojik doğrulama yoktur ve tanı, ölçütlerin kendisidir. Birleştirilmiş bir standart kurulduğunda sorulacak ilk soru, incelenen testin o kural setinin içinde olup olmadığıdır.

Tuzak 4 — Zaman farkı

Referans standardı ile incelenen test farklı zamanlarda uygulanırsa, arada hastalık değişebilir. Açılıştaki klinik, biyopsi yapılmayan benleri bir yıl izleyip değişenleri "kaçırılmış" saysaydı, o bir yılda yeni gelişen bir değişikliği de cihazın hatası olarak yazardı. İzlem temelli standartlarda "bir yıl içinde hastalık ortaya çıktı mı?" sorusu, test yapıldığı anda hastalığın var olup olmadığını değil, o dönemde gelişip gelişmediğini ölçer. İkisi farklı sorulardır ve çalışma hangisini sorduğunu yazmalıdır.

Standardın kendisi neyi tanımlıyor

Bu dersin en derin sorusu burada ve sonraki derslerin zemini de bu. Bir testin "doğru" olması, referans standardıyla uyumlu olması demektir. Ama referans standardı da bir seçimdir ve o seçim hastalığın ne olduğunu tanımlar.

Cilt örneğinde standart doku bulgusudur: patolog kesitte kötü huylu hücre görüyorsa lezyon "hasta" sayılır ve cihaz bu bulguyu öngördüğü ölçüde "doğru" olur. Oysa asıl önemli olan doku bulgusu değil klinik sonuç ise, yani lezyonun yayılıp yayılmayacağı ve kişiye zarar verip vermeyeceğiyse, test doğru olduğu hâlde yararsız kalabilir. Kesitte kötü huylu görünen ama ömür boyu yerinde duracak bir lezyonu yakalamak, testin doğruluk hanesine artı yazar, kişiye ise bir ameliyat ve bir tanı yükler.

Bu, bir önceki modülde aşırı tanıyla karşılaştığımız yer: doku bulgusu var, hastalık yok. Aşırı tanı dersindeki emekli öğretmenin lezyonu patolojiyle doğrulanmıştı ve yine de onu hiç rahatsız etmeyecek bir lezyon olabilirdi. Referans standardı bu soruyu çözmez; yalnız hangi soruya cevap verdiğini belirler.

Klinik gerçeklik

Bir test performansı iddiası okuduğunda ilk sorman gereken, referans standardının ne olduğudur; bildirilmemişse performans yorumlanamaz. İkinci soru standardın kime uygulandığıdır. Yalnız pozitiflere uygulandıysa açılıştaki yüzde 97 gibi şişmiş bir sayıyla karşı karşıyasın ve negatiflerin nasıl doğrulandığını, izlendiğini ya da hiç doğrulanmadığını aramalısın.

Üçüncü soru en az sorulan ve en önemli olanıdır: standart klinik olarak anlamlı bir şeyi mi tanımlıyor, yoksa yalnız bir doku bulgusunu mu? Bu soruyu hekimine de sorabilirsin: "Bu testin doğruluğu neye göre ölçülmüş ve o şey benim için ne anlama geliyor?" Sorunun kendisi bir itiraz değil, bir sayının hangi karşılaştırmadan doğduğunu öğrenme isteğidir.

Kendini sına

1. "Altın standart" adı neden yanıltıcı? Hangi ad daha dürüst?
2. Açılıştaki yüzde 97'yi bin lezyonluk tablodan yeniden hesapla. Gerçek yakalama oranı kaçtı ve fark nereden doğdu?
3. Doğrulama yanlılığı nedir? Duyarlılık ve özgüllüğü hangi yönde etkiler? Bu dersteki 0,47 hangi yöndeki sapmanın örneği?
4. Negatiflerin onda biri doğrulandıysa, kaçırılan lezyon sayısını nasıl geri kurarsın?
5. Kusurlu standart, ölçülen performansı hangi iki yönde saptırabilir? Hangisi bağımsız, hangisi ilişkili hatalardan doğar?
6. Döngüsel tanım sorunu hangi alanlarda kaçınılmaz?
7. Referans standardının seçimi neden "hastalığın ne olduğunu" tanımlıyor?
8. Bir performans iddiasına soracağın üç soruyu yaz.

Bir sonraki derse köprü

Bu derste yakalama oranını iki kez hesapladın: yalnız biyopsisi olan lezyonlarda 0,976, bütün lezyonlarda 0,80. İki sayı arasındaki fark tümüyle paydadan, yani hangi kötü huylu lezyonların sayıma girdiğinden doğdu. Sıradaki ders bu orana adını veriyor ve paydasını sabitliyor: hastalığı gerçekten olanlar. Orada aynı kelimelerle kurulmuş iki sorunun, "hastaların ne kadarı yakalanıyor?" ile "pozitif çıkanın ne kadarı hasta?" sorularının, neden farklı sayılar verdiğini göreceksin.