Tip II Hata

Açılış sahnesi

Van Gölü kıyısındaki şehir hastanesi, nisanın ilk haftası. Fizik tedavi kliniğinin araştırma odasında Rojda, gölün kuzey kıyısındaki bir ilçe devlet hastanesinden gelen bir e-postayı Bedriye Hanım'a okuyor. Yazan, oranın fizyoterapisti Mizgin. Kasımdaki kongrede diz protezi özetini dinlemiş, özetteki çift yönlü p = 0,077'yi not etmiş ve bir karar vermiş: kendi hastaneleri için video eşliğinde bir ev programı kurmayı düşünüyorlarmış, özet ev programının klinikten anlamlı biçimde iyi olmadığını gösterdiğine göre bundan vazgeçmişler, video çekimine ayrılan küçük bütçe de başka bir kaleme aktarılmış.

Rojda'nın ilk tepkisi özetin böyle bir şey söylemediğini yazmak; özetteki yüzde 95 aralığı, evin kliniği on dereceye kadar geçtiği değerleri de kapsıyordu. Bedriye Hanım cevabı biraz bekletmesini istiyor ve başka bir soru soruyor. Klinik, aşağı kalmama sorusunu konuşurken beş dereceyi hastaların hissedeceği kadar önemli bir fark saymıştı. Ev programı gerçekten beş derece daha iyi olsaydı, her yoldan otuz altı hastalık bir çalışma bunu ne sıklıkla anlamlı bulurdu? Rojda hesap makinesini ve normal dağılım tablosunu masaya çekiyor.

Bu derste ne olacak

Sıfır yanlışken onu ayakta bırakmanın adını koyacak, bu yanılmanın olasılığını Van verisinde derece cinsinden bir ret sınırı çizerek hesaplayacaksın. Aynı hesabı başka gerçek farklarla, başka hasta sayılarıyla ve başka eşiklerle tekrarlayınca bu olasılığın neye bağlı olduğu kendiliğinden görünecek. Batı Karadeniz'deki kurulun sıkı eşiğinin gerçek bir etkiyi kaçırma pahasına alındığını da burada sayıya dökeceksin. Sonunda Mizgin'e yazılacak cevabı, "anlamlı değil" ile "etki yok" arasındaki mesafeyi bir olasılıkla gösterecek biçimde kuracaksın.

Sıfır noktası

Kuzey Ege'deki hemodiyaliz ünitesinde Fikriye Hanım'ın bin fikirlik ağacında yüz gerçek fikrin 100 × 0,80 = 80'i anlamlı çıkmıştı. Kalan 100 × 0,20 = 20 fikir gerçekti, ama sınamadan eli boş döndü ve ünite onları hiç duymadı. O gün ilgi boş dalın yanlış alarmlarındaydı ve bu yirmi fikir sayılıp bir kenara bırakılmıştı. Mizgin'in okuduğu özet, bu yirmiden birinin başına gelen şeyin ta kendisi olabilir: gerçek bir fark var, çalışma onu göremedi, okur da "yok" diye duydu.

Sıfır doğruyken onu reddetmenin Tip I hata olduğunu ve olasılığının, sıfır doğru olduğu sürece, alfaya eşit olduğunu görmüştün. Karar kuralı öteki yönde de yanılabilir: evren farkı sıfırdan başka bir değerdeyken veri eşiği aşamaz ve sıfır ayakta kalır. Neyman ile Pearson'un karar çerçevesi bu iki yanılmayı baştan birlikte hesaba katıyordu. Alfa tartışmasında ikincisinin adı sonraya bırakılmıştı.

Tanımdaki "belirli" kelimesi betayı alfadan ayırıyor. Sıfır hipotezi tek bir farkı, sıfırı öngördüğü için onun altındaki ret olasılığı da tek bir sayıydı. Alternatif ise, hipotez çiftini kurarken gördüğün gibi, sayısız değeri birden kapsıyor: ev programı bir derece de, beş derece de, on derece de daha iyi olabilir. Her biri için ayrı bir örneklem dağılımı ve ayrı bir beta var; "bu çalışmanın betası kaç?" sorusu "hangi gerçek fark için?" diye tamamlanmadan cevap bulmuyor.

Mekanizma

Ret sınırını dereceye çevirmek

Rojda'nın iki ortalaması arasındaki farkın oynaması √8 ≈ 2,83 derecelik bir standart hatayla ölçülmüştü; kural da çift yönlü, yüzde beşlik düzeyde test istatistiğini ±1,96 ile karşılaştırıyordu. Aynı kuralı derece ölçeğinde yazmak için kritik değeri standart hatayla çarpman yeterli: 1,96 × 2,83 ≈ 5,55. Gözlenen fark 5,55 dereceyi aşarsa ya da −5,55'in altına düşerse sıfır reddedilir. Bu sınır veri toplanmadan belli ve evren farkı ne olursa olsun yerinden oynamıyor.

Şimdi Bedriye Hanım'ın varsayımını koy: evrende ev programı gerçekten 5 derece daha iyi. Gözlenen farkların örneklem dağılımının merkezi artık sıfırda değil 5'te duruyor, genişliği yine 2,83. Soru, bu dağılımdan gelen bir farkın 5,55'in altında kalma olasılığı. Sınırın merkezden uzaklığı standart hata biriminde (5,55 − 5) ÷ 2,83 ≈ 0,19 ve tabloda 0,19'un solunda kalan alan yaklaşık 0,58. Öteki sınıra, −5,55'e düşme olasılığı on binde birin altında ve toplama bir şey katmıyor; beta yaklaşık 0,58.

Sayının nereden geldiği bir bakışta görülüyor. Kliniğin önemli saydığı fark, ret sınırından biraz kısa kalıyor; çalışma, varsayılan etkiden daha büyük bir fark görmedikçe reddetmiyor. Gözlenen fark ancak rastlantı onu yukarı iterse sınırı geçiyor ve bu, denemelerin yarısından biraz azında oluyor. Gerçek fark tam beş derece olsa bile bu tasarımdaki her beş çalışmanın üçe yakını "anlamlı değil" sonucu verir.

Betayı büyüten ve küçülten

Kuralı sabit tutup varsayılan gerçek farkı değiştir. Gerçek fark 10 derece olsaydı sınırın merkezden uzaklığı (5,55 − 10) ÷ 2,83 ≈ −1,57 ve beta yaklaşık 0,06 olurdu; bu büyüklükte bir etki nadiren kaçar. Gerçek fark 2 derece olsaydı uzaklık (5,55 − 2) ÷ 2,83 ≈ 1,25 ve beta yaklaşık 0,9 çıkardı; küçük bir etki bu çalışmada neredeyse her seferinde görünmez kalır. Etki büyüdükçe dağılımın merkezi sınırın ötesine taşınıyor ve kaçırma olasılığı eriyor.

Sonra etkiyi 5'te tut, hasta sayısını değiştir. Her yolda 72 hasta olsaydı bir grup ortalamasının varyansı 12² ÷ 72 = 2, farkın varyansı 2 + 2 = 4 ve standart hata √4 = 2 derece olurdu. Ret sınırı 1,96 × 2 = 3,92 dereceye çekilir ve varsayılan fark bu kez sınırın ötesinde durur. Uzaklık (3,92 − 5) ÷ 2 = −0,54, beta yaklaşık 0,29. Hasta sayısını ikiye katlamak etkiyi değiştirmedi, dağılımı daralttı ve sınırı içeri çekti. Ölçümün kendi oynaması da aynı yoldan işliyor: gonyometre okumaları daha tutarlı olsa standart sapma, onunla birlikte standart hata ve beta küçülürdü.

Alfayı sıkmanın bedeli

Batı Karadeniz'deki kurul, düşmeler için önerilen sensörlü yataklarda binde beşlik bir düzey seçmişti; işe yarayan bir yatağın bu eşikte ne sıklıkla kaçırılacağı o gün ayrı bir sayı olarak bırakılmıştı. O sayının Van'daki karşılığını hesaplayabilirsin. α = 0,005 için kritik değer 2,807 ve ret sınırı 2,807 × 2,83 ≈ 7,94 derece. Gerçek fark 5 iken uzaklık (7,94 − 5) ÷ 2,83 ≈ 1,04 ve beta yaklaşık 0,85. Ters yönde eşiği 0,10'a gevşetmek sınırı 1,645 × 2,83 ≈ 4,66 dereceye çeker ve betayı yaklaşık 0,45'e indirir.

Aynı hastalar, aynı ölçüm, aynı varsayılan fark: alfa 0,10'dan 0,05'e, oradan 0,005'e inerken beta 0,45'ten 0,58'e, oradan 0,85'e çıkıyor. İşleyiş tek bir çizgide: alfayı küçültmek ret sınırını dışarı itiyor, sınır dışarı gittikçe gerçek etkinin dağılımından daha büyük bir parça sınırın içinde kalıyor. Hasta sayısı ve etki sabitken iki hatayı birlikte küçültmenin yolu yok; birini azaltan her hamle ötekini büyütüyor. İkisini aynı anda indirmek ancak dağılımı daraltmakla, yani daha fazla veriyle mümkün ve bunun kaç hasta istediği bir sonraki derste hesaplanacak.

"Anlamlı değil" cümlesinin içindeki beta

Üstünlük ve aşağı kalmama tasarımlarını ayırırken (L01-P02-M03-D07) fark bulamayan bir çalışmanın sonucunu belirsizlik diye okumuş, Bayes faktörü dersinde (L02-P02-M03-D07) "kanıt bulunamadı" ile yokluğun kanıtını birbirinden ayırmıştın. Beta bu ayrıma sınamanın kendi dilinden bir sayı ekliyor. Beş derecelik gerçek bir fark varken bu tasarımdaki çalışmaların yüzde 58'i anlamlı çıkmayacaksa, "anlamlı değil" sonucu o farkla rahatça bağdaşıyor. Mizgin'in okuması, betası büyük bir çalışmanın sessizliğini etkisizlik diye duymak.

Bir eksi beta, yani 1 − 0,58 = 0,42, aynı derste istatistiksel güç adıyla tanımladığın olasılığın bu çalışmadaki değeri; onu veri toplanmadan hedeflemek ve örneklemi buna göre kurmak sıradaki dersin işi olacak. Burada önemli olan, "anlamlı değil" hükmünün tek başına eksik bir cümle olması. Yanına hangi gerçek fark için hangi betayla verildiği yazılmadıkça okur neyi kaçırmış olabileceğini bilemiyor.

Klinik gerçeklik

Rojda'nın Mizgin'e yazdığı cevap kısa. Çalışma ev programının kliniği geçtiğini göstermedi, geçmediğini de göstermedi: kliniğin önemli saydığı beş derecelik fark gerçek olsaydı, bu büyüklükte bir çalışma onu yaklaşık yüzde 58 olasılıkla kaçıracaktı. Bedriye Hanım bir paragraf daha ekletiyor. Hastalar programlara kurayla dağıtılmamıştı ve ev programını seçenler baştan farklı olabilirdi; bu kusur betadan bağımsız ve sonucu iki yönde de bulandırıyor. Mizgin'in hastanesinin ne yapacağı onların kararı: bütçe, hastaların yol mesafesi ve video hazırlama emeği de hesaba girer. Ama kararın gerekçesi "ev programının üstünlüğü yok" olamaz, çünkü veri bunu söylemiyor.

Klinik bu olaydan kendi dersini çıkarıyor. Kurayla dağıtılacak yeni çalışmanın protokolüne beş dereceyi önemli fark olarak, bu fark için hedeflenen betayı da alfanın yanına yazmaya karar veriyor. Böylece çalışma yine anlamlı çıkmazsa, bunun ne kadar bilgi taşıdığı sonuç gelmeden belli olacak.

Fonksiyonel tıp alanında bu hata iki yönde birden dolaşıyor. Bir takviye ya da diyet yaklaşımı otuz kişilik tek bir çalışmada anlamlı çıkmayınca "işe yaramadığı kanıtlandı" deniyor; oysa o büyüklükte bir çalışmanın betası orta büyüklükte bir etki için bile çoğu zaman yarının üstünde. Öteki yönde, binlerce katılımcılı ve önemli bir etki için betası küçük bir çalışmanın anlamlı çıkmayan sonucu "küçük çalışma, kaçırmış olabilir" diye geçiştiriliyor. Beta tam burada iki itirazı ayırıyor: kaçırma olasılığı yüksekse sessizlik az şey söyler, düşükse sessizlik ciddi bir bilgidir.

Kendini sına

1. Tip II hatayı Mizgin'in kararı üzerinden tek cümleyle tanımla. Bu hatanın yapıldığı, çalışmanın sonuç tablosundan anlaşılabilir mi?
2. Van tasarımında (standart hata 2,83, kritik değer 1,96) gerçek fark 8 derece olsaydı ret sınırının merkezden uzaklığı ve beta yaklaşık ne olurdu?
3. Her yolda 72 hasta varken anlamlılık düzeyi binde beşe indirilseydi ret sınırı kaç derece olurdu? Gerçek fark 5 için beta 0,29'dan daha mı büyük, daha mı küçük çıkar?
4. Gözlenen farkla hesaplanan betanın p değerinden yeni bir şey söylemediğini, Van'daki 1,77 ile 1,96'yı kullanarak göster.
5. Fikriye Hanım'ın ağacında gerçek etkilerin yakalanma sıklığı 0,80 yerine 0,50 olsaydı gerçek dalda kaç fikir Tip II hataya düşerdi, ve bu değişiklik anlamlı sonuçlar içindeki yanlış payını nasıl etkilerdi?
6. Sekiz yüz hastalık bir üstünlük çalışmasında önemli fark için beta 0,05 ve sonuç anlamlı değil. "Küçük çalışma, kaçırmış olabilir" itirazı burada ne kadar geçerli?

Bir sonraki derse köprü

Bu derste betayı bitmiş bir çalışmanın üzerinde, veri toplandıktan sonra hesapladın; Mizgin'e giden cevap bu yüzden bir düzeltme olarak kaldı. Aynı hesap asıl işini veri toplanmadan önce görüyor. Güç dersi bir eksi betayı hedef olarak ele alacak: kliniğin önemli saydığı beş dereceyi yüzde beşlik düzeyde istenen bir olasılıkla yakalamak için her yola kaç hasta gerekir, ve o hedef etki hangi gerekçeyle seçilir?