Tip I Hata

Açılış sahnesi

Kuzey Ege'de bir ilçe devlet hastanesi, mart sonu, öğle vardiyasının bitimi. Hemodiyaliz ünitesinin küçük dinlenme odasında diyetisyen Uğur, sorumlu hemşire Fikriye Hanım'a bir dergi makalesinin çıktısını uzatıyor. Makale, diyaliz hastalarına seans aralarında telefonla sıvı hatırlatması gönderen bir programın iki seans arasındaki kilo alımını azalttığını bildiriyor; otuzar hastalık iki grup, fark yaklaşık yarım kilogram, p = 0,03. Uğur programı ünitede başlatmak istiyor ve gerekçesini tek cümleyle söylüyor: eşik 0,05'se yanılma payı en fazla yüzde beş, demek ki bu sonuç yüzde doksan beş ihtimalle doğru.

Fikriye Hanım makaleyi okumadan önce bir soru soruyor. Her yıl bu türden kaç hatırlatma, uygulama ya da eğitim programı sınanıyor, bunların kaçı gerçekten işe yarıyor ve dergiye ulaşanlar hangileri? Uğur'un elinde bu soruya cevap yok. Fikriye Hanım masadaki not kâğıdına bir ağaç çizmeye başlıyor: en üste "bin fikir" yazıyor.

Bu derste ne olacak

Önce sıfır hipotezi doğruyken onu reddetmenin adını koyacak ve alfanın bu hatanın hangi olasılığını bağladığını yazacaksın. Sonra Fikriye Hanım'ın ağacını sayılarla dolduracak, anlamlı çıkan sonuçların içinde yanlış olanların payını hesaplayacaksın. Aynı ağacı üç farklı varsayımla yeniden kurup bu payın neye bağlı olduğunu göreceksin. Son adımda hesabın tanı testlerinden tanıdığın bir yapıyla aynı olduğunu fark edecek ve Uğur'un makalesini bu gözle yeniden okuyacaksın.

Sıfır noktası

Batı Karadeniz'deki kanıta dayalı uygulama kurulunu hatırla: sensörlü yatak protokolünde eşik 0,005'e çekilmişti, çünkü işe yaramayan bir yatak değişiminin anlamlı çıkıp beş yıllık bir bütçeyi bağlaması kurulun en çok korktuğu sonuçtu. O senaryoda sıfır doğrudur, yani yataklar düşmeleri azaltmıyordur, ama veri rastlantıyla uç bir yere düşer ve kural reddi verir. Kurul yanlış bir karar almış olur ve bunu kararın kendisinden anlayamaz; tutanakta her şey usulüne uygundur.

Tanımdaki son cümlenin yönüne dikkat et. Alfa bir koşullu olasılık ve koşulu sıfırın doğruluğu: sıfır doğru olan çalışmaların içinde ret çıkanların payı. Uğur'un cümlesi ise bunun tersini soruyor: ret çıkmış çalışmaların içinde sıfırın doğru olduğu, yani sonucun yanlış olduğu çalışmaların payı. İki payın payı aynı çalışmalar, paydaları farklı. Koşullu olasılık derslerinde bu iki yönün birbirine eşit olmadığını birkaç kez hesaplamıştın; burada aynı ters çevirme bir araştırma bulgusunun güvenilirliği üzerine kuruluyor.

Öteki yöndeki yanılmanın da bir adı var: etki gerçekten varken sonucun anlamlı çıkmaması Tip II hata diye anılıyor ve hesabı sıradaki derste kurulacak. Bu derste yalnız ona ait bir sayıyı ödünç alacaksın.

Mekanizma

Bin fikirlik ağaç

Fikriye Hanım'ın ağacı üç varsayımla dallanıyor. Sınanan bin fikrin yüzde 10'u gerçekten işe yarıyor: 1.000 × 0,10 = 100 gerçek fikir, 900 boş fikir. Her çalışma α = 0,05 ile sınanıyor. Etki gerçekten varken bir çalışmanın onu anlamlı bulma sıklığı 0,80; bu sayının adı ve neye bağlı olduğu modülün ilerleyen derslerinde ayrıca kurulacak, burada yalnız bir girdi.

Boş fikirlerin dalında sıfır doğru ve alfa tam burada çalışıyor: 900 × 0,05 = 45 çalışma rastlantıyla anlamlı çıkıyor. Bunların her biri bir Tip I hata. Gerçek fikirlerin dalında 100 × 0,80 = 80 çalışma anlamlı çıkıyor. Anlamlı sonuçların toplamı 45 + 80 = 125 ve bunların içinde yanlış olanların payı 45 ÷ 125 = 0,36. Uğur'un yüzde beşi değil, üçte birden fazlası.

Alfanın vaadi bu ağaçta bozulmadı: 45 ÷ 900 = 0,05, boş fikirlerin tam yüzde beşi reddedildi. Kural sözünü tuttu. Değişen, sorunun paydası: 900 boş fikir yerine 125 anlamlı sonuç. Dergiye ulaşan, basın bültenine dönüşen, ünitede uygulanmak istenen sonuçlar bu 125'in içinden geliyor. Okurun elindeki makale de oradan.

Aynı alfa, üç ayrı ağaç

Önsel payı değiştir ve öteki her şeyi sabit tut. Fikirlerin yarısının gerçek olduğu bir alanda boş dal 500 × 0,05 = 25 yanlış ret, gerçek dal 500 × 0,80 = 400 doğru ret veriyor; yanlış pozitif risk 25 ÷ 425 ≈ 0,059. Fikirlerin yüzde birinin gerçek olduğu bir alanda hesabı on bin fikirle kur: 9.900 × 0,05 = 495 yanlış ret, 100 × 0,80 = 80 doğru ret, risk 495 ÷ 575 ≈ 0,86. Üç ağaçta da boş fikirlerin yüzde beşi reddedildi; anlamlı sonuçların yanlış olma payı ise yüzde altıdan yüzde seksen altıya uzandı.

Şimdi önseli yüzde 10'da bırak ve gerçek etkilerin yakalanma sıklığını düşür. Küçük örneklemli çalışmalardan oluşan bir alanda bu sıklık 0,20 olsun: gerçek dal 100 × 0,20 = 20 doğru ret veriyor, boş dal yine 45. Risk 45 ÷ 65 ≈ 0,69. Boş dal hiç değişmediği hâlde gerçek dalın incelmesi, anlamlı sonuçların bileşimini yanlış olanlara doğru kaydırdı. Uğur'un makalesindeki otuzar hastalık gruplar tam bu yüzden önemli; yakalama sıklığının örneklemle nasıl değiştiği ileride ayrıca hesaplanacak.

Son olarak eşiği bir önceki dersin tartıştığı 0,005'e çek ve yakalama sıklığını 0,80'de tut. On bin fikirde boş dal 9.000 × 0,005 = 45 yanlış ret veriyor, gerçek dal 1.000 × 0,80 = 800 doğru ret; risk 45 ÷ 845 ≈ 0,053. Katı eşik yanlış pozitif riski yüzde 36'dan yüzde 5'e indirdi, ama bir koşulla: gerçek etkileri aynı sıklıkla yakalamak için daha fazla veri toplanacak. Batı Karadeniz'deki kurulun hesabında bu bedel kabaca iki kat hasta-gündü.

Tanı testinden tanıdık bir tablo

Bu ağacı daha önce başka adlarla kurmuştun. Pozitif öngörü değeri dersinde (L01-P05-M02-D04) duyarlılığı ve özgüllüğü 0,99 olan bir test, hastalığın yüzde on görüldüğü grupta 990 ÷ 1.080 ≈ 0,92, binde bir görüldüğü grupta 10 ÷ 110 ≈ 0,09 pozitif öngörü değeri vermişti. Testin kendisi değişmemişti; değişen, pozitif satıra giren iki sütunun büyüklük oranıydı. Duyarlılık hastalar sütununda aşağı, öngörü değeri pozitif satırında yana okunuyordu.

Hipotez sınamasında sütunlar "fikir gerçek" ve "fikir boş", satırlar "anlamlı" ve "anlamlı değil". Hastalığın yaygınlığının yerini önsel pay alıyor, duyarlılığın yerini gerçek etkilerin yakalanma sıklığı, bir eksi özgüllüğün yerini alfa. Alfa bir sütun ölçüsü, tıpkı özgüllük gibi: yalnız boş fikirlerin içinde hesaplanıyor ve kaç boş fikir sınandığından etkilenmiyor. Yanlış pozitif risk ise bir satır ölçüsü ve bir eksi pozitif öngörü değerinin karşılığı: ilk ağaçta 80 ÷ 125 = 0,64 anlamlı sonucun gerçek olma payı, 0,36 da tümleyeni. Bayes teoremi dersinde (L02-P02-M01-D07) sayımla güncelleme dediğin yöntem de bu dalları saymaktan ibaretti.

Tanı testinde bu hesap bir hastanın sonucunu yorumlamak içindi. Burada yeni olan, aynı hesabın bir araştırma bulgusuna, yani okuduğun makalenin sonuç cümlesine uygulanması. Taban oranı yanılgısının araştırmadaki biçimi şu: bir çalışmanın anlamlı çıkmış olmasını, o alanda sınanan fikirlerin ne kadarının gerçek olduğunu sormadan kanıt saymak. Nadir hastalıkta pozitif testin çoğunlukla yanlış alarm olması gibi, biyolojik olarak az olası fikirlerin sınandığı bir alanda anlamlı sonuçların önemli bir kısmı da yanlış alarm.

Klinik gerçeklik

Fikriye Hanım ile Uğur ağacın en üstündeki varsayımı tartışıyor. Telefon hatırlatmaları diyaliz hastalarında yeni bir fikir değil; benzer programların bir kısmı sınanmış, sonuçları karışık. Uğur önseli iyimser bir yüzde 30'a, otuzar hastalık gruplar için yakalama sıklığını da kabaca 0,50'ye koyuyor. Bin fikirde boş dal 700 × 0,05 = 35 yanlış ret, gerçek dal 300 × 0,50 = 150 doğru ret veriyor ve risk 35 ÷ 185 ≈ 0,19. Kesin bir sayı değil, ama "yüzde doksan beş ihtimalle doğru" cümlesini taşıyamayacak kadar büyük bir belirsizlik.

Ünite programı reddetmiyor, başka bir yoldan ilerliyor. Uğur aynı soruyu soran başka çalışmaları arıyor; bağımsız bir ikinci çalışmada da anlamlı çıkan bir sonuç, ağaçta çok daha küçük bir dala düşüyor. Program altı aylık bir deneme olarak başlıyor ve seans arası kilo alımı başlangıçtan önce tanımlanmış biçimde ölçülüyor. Hatırlatmaların maliyeti düşük ve zarar olasılığı küçük; kararın gerekçesi de bu, tek bir p değeri değil.

Bir makale okurken sonuç cümlesinden önce iki soru sor. Bu fikir çalışma yapılmadan önce ne kadar olasıydı: bilinen bir mekanizmaya ve önceki bulgulara mı dayanıyor, yoksa şaşırtıcı olduğu için mi ilgi çekiyor? Çalışma gerçek bir etkiyi yakalayacak büyüklükte miydi? Fonksiyonel tıp alanında dolaşan pek çok iddia, küçük bir çalışmadan gelen tek bir anlamlı sonuca ve düşük önsel olasılıklı bir mekanizmaya dayanıyor; ağacın en tehlikeli köşesi tam orası. Anlamlılık orada bir başlangıç, bir tekrar araması için bir gerekçe.

Kendini sına

1. Tip I hatayı Batı Karadeniz'deki sensörlü yatak protokolü üzerinden tek cümleyle tanımla. Kurul bu hatayı yaptığını karar anında görebilir mi?
2. Bin fikrin yüzde 20'si gerçek, yakalama sıklığı 0,80, α = 0,05. Kaç yanlış ret, kaç doğru ret çıkar ve yanlış pozitif risk kaçtır?
3. İkinci sorudaki ağaçta boş fikirlerin yüzde kaçı reddedildi? Bu sayı önseli yüzde 1'e düşürünce değişir mi?
4. Uğur "alfa 0,05, o hâlde bu sonucun yanlış olma olasılığı en fazla 0,05" diyor. Hangi iki koşullu olasılık karışmış?
5. Pozitif öngörü değeri hesabındaki yaygınlık, duyarlılık ve bir eksi özgüllük, hipotez sınamasında hangi üç sayıya karşılık gelir?
6. Önsel yüzde 10'dayken α'yı 0,05'ten 0,005'e çekmek ama yakalama sıklığının 0,80'den 0,50'ye düşmesine razı olmak yanlış pozitif riski ne yapar?

Bir sonraki derse köprü

Bu derste ağacın boş dalında çalıştın ve alfanın orada sözünü tuttuğunu, ama anlamlı sonuçların bileşimini tek başına belirlemediğini gördün. Gerçek dalda da sayılmamış bir kayıp duruyordu: ilk ağaçtaki yüz gerçek fikrin yirmisi anlamlı çıkmadı ve ünite o fikirleri hiç duymadı. Tip II hata dersinde soru şu olacak: etki gerçekten varken sonucun anlamlı çıkmamasının adı ne, bu kaçırmanın olasılığı nelere bağlı, ve Tip I hatayı azaltmak için yapılan her şey onu nasıl etkiliyor?