Alt grup avcılığı

Açılış sahnesi

Salı sabahı bir sağlık sitesinde başlık: "Nefes egzersizi genç kadınlarda migreni azaltıyor." Haberin ilk paragrafı, dört yüz migren hastasının katıldığı, katılımcıların rastgele iki gruba ayrıldığı bir çalışmayı anlatıyor: bir grup üç ay boyunca her gün bir nefes egzersizi yapmış, öbür grup her zamanki bakımına devam etmiş. İkinci paragrafta asıl bulgu var: kırk yaş altı kadınlarda aylık migren günü sayısı egzersiz grubunda belirgin biçimde azalmış ve fark istatistiksel olarak anlamlı.

Dördüncü paragrafta, bir yan cümlede, başka bir bilgi geçiyor: "Tüm katılımcılar ele alındığında iki grup arasında anlamlı bir fark bulunmadı." Çalışmanın önceden ilan ettiği soru, yani birincil sonlanım, bütün katılımcılarda migren günü sayısıydı ve orada fark çıkmadı. Haberdeki cümlelerin hiçbiri yalan değil; o alt grupta gerçekten bir fark ölçüldü. Ama o fark hiçbir şey ifade etmiyor olabilir ve bu ders, neden öyle olduğunu sayılarla gösteriyor.

Bu derste ne olacak

Önce alt grup analizinin meşru bir yöntemken nasıl bir avcılığa dönüştüğünü ayıracağız. Sonra iki basit hesap yapacağız: on alt gruba bakan bir araştırmacının, hiçbir gerçek etki yokken en az bir "anlamlı" sonuç bulma olasılığı ve aynı etkinin iki alt grupta biri anlamlı, öbürü anlamsız çıkabilmesi. Ardından meşru bir alt grup bulgusunun beş koşuluna ve en sık ihlal edilen üçüncü koşula geleceğiz. Son bölümde bu hatanın akademinin başka köşelerinde nasıl göründüğüne bakacağız.

Sıfır noktası

Migren çalışmasında olan tam olarak ikincisi. Birincil sonlanım sonuç vermeyince veri yaş gruplarına, cinsiyete, başlangıç şiddetine, migrenin aurası olup olmamasına ve eşlik eden durumlara göre bölünmüş ve bir bölmede fark bulunmuş. Hipotez üretme ile sınamanın ayrıldığı yerde kurulan ayrım burada tam olarak devrede (L01-P02-M01-D06): alt grup bulundu, ama aranarak bulundu ve arayış sonuçlar görüldükten sonra başladı. Bu bir keşif çıktısı; sınanmış bir bulgu değil.

Mekanizma

Aritmetik: on bakış, bir rastlantı

Önce alt grup sayısının ne kadar kolay büyüdüğünü gör. Beş değişkenin her biri ikiye bölünürse beş çarpı iki, on alt grup çıkıyor: kırk yaş altı ve üstü, kadın ve erkek, hafif ve ağır başlangıç şiddeti, auralı ve aurasız, eşlik eden durumu olan ve olmayan. Bu değişkenleri birleştirmeye başlarsan, örneğin "kırk yaş altı, kadın, auralı" gibi, beş ikili değişkenden 2⁵ = 32 ayrı hücre çıkıyor.

Şimdi egzersizin gerçekte hiçbir etkisi olmadığını varsay. Her alt grup sınamasında rastlantıyla "anlamlı" bir fark çıkma olasılığı, alışılmış eşikle yüzde 5, yani 0,05. Tek bir alt grupta anlamlı sonuç çıkmama olasılığı 1 − 0,05 = 0,95. Alt gruplar kabaca birbirinden bağımsızsa, on alt grubun hiçbirinde anlamlı sonuç çıkmama olasılığı 0,95¹⁰ ≈ 0,60. Dolayısıyla en az birinde çıkma olasılığı 1 − 0,60 = 0,40.

Bu hesabı yorumla: hiçbir işe yaramayan bir egzersiz için on alt gruba bakan bir araştırmacı, beş çalışmanın ikisinde en az bir "anlamlı" alt grup bulur. Beklenen yanlış alarm sayısı da 10 × 0,05 = 0,5, yani her iki çalışmadan birinde bir tane. Otuz iki hücreye bakılırsa rastlantısal bir bulgu neredeyse kaçınılmaz hâle geliyor. Çoklu test sorunu dersinde aynı mantığı bir laboratuvar paneli için kurmuştun; burada birim test değil, alt grup.

İkinci bir sorun daha var: her alt grup ana çalışmadan daha az kişi içeriyor ve bu yüzden sonucu daha oynak. Dört yüz kişilik bir çalışmanın kırk yaş altı kadınları belki yüz kişi ediyor, iki kola bölününce kol başına elli. Daha az kişi, güven aralığı dersinde gördüğün gibi daha geniş bir aralık ve daha kolay dalgalanan bir tahmin demek. Yani alt grup bulguları hem daha çok rastlantı üretiyor hem de daha az kesin.

Meşru alt grup analizinin koşulları

Alt grup analizi vazgeçilmez, çünkü bir müdahale gerçekten farklı gruplarda farklı çalışabiliyor ve "kimde işe yarıyor?" sorusu ancak bu analizle sorulabiliyor. Çalışmalar arasındaki farklılığın, heterojenliğin açıklanması da bu yolla yapılıyor. Heterojenlik dersinde bir alt grup bulgusunu değerlendirmek için beş kontrol kurulmuştu (L01-P02-M04-D06) ve migren haberine uygulandıklarında hepsi aynı yöne gidiyor.

İlki ve en kritiği, alt grubun önceden tanımlanıp tanımlanmadığı; protokolde ilan edilmiş bir alt grup, sonradan bulunmuş bir alt gruptan bambaşka bir şey. İkincisi kaç alt gruba bakıldığı; bu sayı bildirilmezse, az önceki hesap yapılamıyor. Üçüncüsü gruplar arası farkın ayrıca sınanıp sınanmadığı. Dördüncüsü bulgunun biyolojik olarak makul olup olmadığı, yani bir mekanizma önerilebiliyor mu, yoksa yalnız veri mi konuşuyor. Beşincisi bulgunun başka çalışmalarda da görülüp görülmediği.

Beşi de sağlanan bir alt grup bulgusu gerçek ve önemli bir bilgi olabiliyor; kişiye göre ayarlanmış öneriler bu yolla kuruluyor. Beşi de sağlanmadığında ise bulgu bir sonuç değil, bir hipotez: sınanmaya değer olabilir, ama henüz sınanmamış.

Üçüncü koşul neden bu kadar sık ihlal ediliyor

Migren haberinin satır aralarında bir cümle daha var: "Kırk yaş üstündekilerde ise fark anlamlı değildi." Doğal çıkarım şu: egzersiz gençlerde işe yarıyor, yaşlılarda yaramıyor. Bu çıkarım geçersiz, çünkü iki ayrı sınavın sonucunu karşılaştırmak, iki grup arasındaki farkı sınamak değil. Örneklem büyüklüğü farkı tek başına bu tabloyu üretebiliyor.

Bunu migren çalışmasından daha büyük, ayrı bir kurgu çalışmada hesapla gör. Bir ağrı ölçeğinde egzersizin iki alt grupta da tam olarak aynı etkiyi yaptığını, ortalamada 1 puanlık bir iyileşme sağladığını varsay; ölçeğin standart sapması 2,5 puan olsun. Birinci alt grupta kol başına 200 kişi var. Standart hata 2,5 × √(2 ÷ 200) = 0,25 ve %95 aralık 1 ± 1,96 × 0,25, yani 0,51 ile 1,49 arası. Aralık sıfırı içermiyor: "anlamlı". İkinci alt grupta kol başına 30 kişi var. Standart hata 2,5 × √(2 ÷ 30) ≈ 0,65 ve aralık 1 ± 1,96 × 0,65, yani yaklaşık −0,27 ile 2,27 arası. Aralık sıfırı içeriyor: "anlamsız".

Etki iki grupta birebir aynı, oysa haber diliyle biri "işe yarıyor", öbürü "yaramıyor". Doğru soru, farkın kendisinin etkileşim sınamasıyla sınanması: iki alt gruptaki etkilerin farkı 1 − 1 = 0 ve bu farkın standart hatası √(0,25² + 0,65²) ≈ 0,69. Aralık kabaca −1,36 ile 1,36 arası; gruplar arasında fark olduğuna dair hiçbir işaret yok. İki grubun ayrı ayrı durumu, aralarındaki farkın sınanmasının yerine geçmez. Bir sınır da var: faktöriyel tasarım dersinde gördüğün gibi etkileşim sınamaları ana etkilere göre çok daha düşük güçte, bu yüzden "etkileşim bulunmadı" çoğu zaman "bulacak güçte değildik" anlamına geliyor.

Bu akademideki karşılığı

Alt grup avcılığı akademide iki yerde daha karşına çıkacak. Hareketli hedef dersinde bir iddianın karşı kanıt geldikçe nasıl daraldığını göreceksin: "herkeste işe yarar" iddiası, sonuç gelmedikçe "aslında yalnız şu tipteki kişilerde" hâline geliyor. Alt grup avcılığı, o nüfus daralmasının veri tarafındaki hâli. Kişiselleştirme iddiası dersinde ise bir yaklaşımın "size özel" olduğu iddiasının sıklıkla önceden tanımlanmamış alt grup bulgularına dayandığını göreceksin.

İkisi birlikte bir örüntü veriyor. "Kimde işe yarıyor?" sorusu meşru ve önemli, ama cevabı sonuçlar görüldükten sonra bulunan bir alt gruptan çıkarılamıyor. Migren haberindeki "genç kadınlar" bulgusu, bir sonraki çalışmanın önceden ilan edebileceği iyi bir soru; bugün bir cevap değil.

Klinik gerçeklik

Bir hasta sana "benim gibi kadınlarda işe yarıyormuş" diye bir haber getirdiğinde, önce birincil sonlanımda ne olduğunu bul; haber alt grubu anlatıyorsa, ana sonuç çoğu zaman bir yan cümlede duruyor. Sonra alt grubun önceden tanımlanıp tanımlanmadığını ve kaç alt gruba bakıldığını ara. On bakış varsa, birinde rastlantısal bir anlamlılık çıkma olasılığının kabaca yüzde kırk olduğunu hatırla.

Haber bir grupta "işe yarıyor", öbüründe "yaramıyor" diyorsa, iki grubun ayrı anlamlılıkları mı karşılaştırılmış, yoksa aradaki fark mı sınanmış, ona bak. Son olarak bulgunun bağımsız bir çalışmada tekrarlanıp tekrarlanmadığını sor. Bu soruların hiçbiri hastanın umudunu yıkmak için değil; onu henüz sınanmamış bir hipoteze bağlamamak için.

Kendini sına

1. Alt grup analizi ile alt grup avcılığını ayır. Migren çalışmasında hangisi yapıldı ve nereden anlıyorsun?
2. Beş ikili değişken kaç alt grup, birleştirildiğinde kaç hücre veriyor?
3. Gerçek etki yokken beş alt gruba bakan bir araştırmacının en az bir anlamlı sonuç bulma olasılığını hesapla. (İpucu: 1 − 0,95⁵.)
4. Alt grup bulguları neden hem daha çok rastlantı üretiyor hem daha az kesin?
5. Heterojenlik dersindeki beş kontrolü migren haberine uygula. Hangileri sağlanmıyor?
6. Aynı 1 puanlık etki, kol başına 200 ve 30 kişilik iki alt grupta neden biri anlamlı, öbürü anlamsız çıktı?
7. Etkileşim sınaması neyi sınıyor ve sınırı ne?
8. Vakadaki eksik sayı neydi ve okura neyi yapma imkânı verirdi?

Bir sonraki derse köprü

Bu derste bulgu, çalışmanın desteklemediği bir nüfusa taşınıyordu. Sıradaki derste bulgu doğru, nüfus da doğru, ama sayının hangi ölçüyle sunulduğu seçilmiş. "Riski iki katına çıkarıyor" başlığı, temel risk söylenmediğinde neredeyse hiçbir şey anlatmıyor; göreli ve mutlak risk ifadesini ayırmayı ve temel riski görünmez kılan bir cümleyi nasıl yakalayacağını orada göreceksin (L01-P06-M01-D05).