Kanıt düzeyi nasıl okunur

Açılış sahnesi

Tıp fakültesinin kütüphanesinde, pazartesi öğleden sonra. Ece önüne iki çıktı koymuş. Birinin başlığında «Meta-analiz: homeopati ameliyat sonrası bağırsak işlevini hızlandırıyor» yazıyor; bir sağlık sitesinden. Öbürü Avustralya'nın ulusal sağlık araştırma kurumu NHMRC için hazırlanmış bir rapordan bir sayfa: aynı konu için «homeopati plasebodan daha etkili değildir» diyor.

Yan masada oturan sınıf arkadaşı Kaan çıktılara göz atıyor. «İkisi de bilimsel kaynak,» diyor. «Biri meta-analiz, öbürü devlet raporu. Hangisine inanacağız?»

Ece raporun sayfasını çeviriyor. Altta küçük bir satır var: «LOC: Moderate». Bir üst paragrafta da bir cümle: iki meta-analiz homeopati lehine anlamlı fark bulmuş, ama ikisi de yanlılık riski yüksek, düşük kaliteli çalışmalar içeriyormuş; tek büyük ve iyi kaliteli deneme ise fark bulmamış.

«Demek ki,» diyor Ece, «ikisi aynı çalışmalara bakıyor ama aynı ağırlığı vermiyor.»

Kaan kaşlarını kaldırıyor. «Peki o ağırlığı kim, neye göre veriyor?»

Bu derste ne olacak

Önceki derste kaynak kartlarına harfler koyduk ve bir okurun «bu harfi kim veriyor» diye sorabileceğini söyledik. Bu ders o soruyu cevaplıyor.

Önce bir bulgunun gücünü belirleyen dört ölçütü, yani çalışma türünü, büyüklüğü, yanlılık riskini ve tutarlılığı ayıracağız. Sonra bu bölümün kartlarda kullandığı ölçeği tanıtacağız. Ardından NHMRC raporunun gerçek bir koşul için bu ölçütleri nasıl uyguladığını, ameliyat sonrası bağırsak tıkanması örneğiyle adım adım okuyacağız. Son olarak raporun kendi sayılarıyla, yalnız bir denemeye dayanan karşılaştırmaların nasıl işaretlendiğini göreceğiz.

Sıfır noktası

Bir haber «araştırma gösterdi» dediğinde iki ayrı soru sorulur. Birincisi, araştırma ne buldu? İkincisi, o bulguya ne kadar güvenebiliriz? Haberler çoğu zaman yalnız birincisini cevaplar. Kanıt düzeyi ikincisinin cevabıdır.

HM00-M01-D01'deki iki kart, NHMRC bildirisi ve Mathie derlemesi, aynı deneme havuzundan farklı cümleler kurmuştu: biri güvenilir kanıt göremiyor, öbürü temkinle küçük bir etki ihtimalinden söz ediyordu. Aradaki farkın büyük kısmı, hangi denemeye ne kadar güvenildiğinde yatıyor.

Mekanizma

Dört ölçüt

Bir bulguya ne kadar güvenileceği dört şeye bakılarak tartılır.

Çalışmanın türü ilk ölçüt. Bir tedaviyi bir kontrol grubuyla, katılımcıları gruplara rastgele dağıtarak karşılaştıran bir deneme, «kullananlar daha iyi hissediyor» diyen bir gözlemden daha fazla şey söyler. Rastgele dağıtım, iki grubun tedavi dışında benzer olmasını sağlamaya çalışır; böylece fark tedaviye bağlanabilir.

Büyüklük ikinci ölçüt. Otuz kişilik bir denemede birkaç kişinin şans eseri iyileşmesi sonucu tersine çevirebilir. Yüzlerce kişilik bir denemede şansın payı küçülür ve sonuç daha kesinleşir.

Yanlılık riski üçüncü ölçüt. Katılımcı ya da araştırmacı kimin gerçek ürünü, kimin plaseboyu aldığını biliyorsa, beklenti sonucu etkileyebilir. Deneme yarıda bırakanları hesaba katmıyorsa, kalanlar iyimser bir tablo çizebilir. Büyük bir deneme bile yanlılık riski yüksekse yanıltıcı olabilir.

Tutarlılık dördüncü ölçüt. Benzer denemeler benzer sonuç veriyorsa bulguya güven artar. Biri büyük bir etki, öbürü hiç etki bulmuyorsa, «etki var» demek için önce bu farkın nedenini anlamak gerekir.

Bu dört ölçüt birbirinden bağımsız değil. Küçük ve yanlılık riski yüksek çalışmalar birbirleriyle tutarlı görünebilir; çünkü aynı kusur aynı yönde sonuç üretir. Bu yüzden «on çalışma aynı şeyi buldu» cümlesi, o on çalışmanın kalitesi bilinmeden bir güven gerekçesi değildir.

Bu bölümün ölçeği

Bu bölümün kaynak kartlarında altı etiket kullanılır. A, görece güçlü kanıt: yanlılık riski düşük, yeterince büyük ve birbiriyle tutarlı çalışmalara dayanan bulgu. B, orta güçte kanıt: iyi bir derleme ya da birkaç kaliteli deneme, ama bir ölçütte eksik. C, ön bulgu: küçük ya da yanlılık riski yüksek çalışmalara, ya da kanıtı kendisi üretmeyen bir değerlendirmeye dayanan bulgu. D, yetersiz ya da çelişkili kanıt: tek çalışma, kalitesi bilinmeyen çalışmalar ya da birbirini tutmayan sonuçlar.

Bu dört harfin yanında iki etiket daha var. T, birincil metin: Hahnemann'ın ya da bir homeopatın kendi sözü; bu bir kanıt değil, bir iddianın belgesidir. M, mevzuat: bir yönetmelik ya da resmî karar; bir kuralın ne dediğini gösterir, bir yöntemin işe yarayıp yaramadığını değil.

Harf kaynağın saygınlığına değil, kartın taşıdığı iddiaya verilir. Saygın bir kurumun raporu, eldeki kanıtın zayıf olduğunu söylüyorsa, o raporun dayandığı bulgu D olabilir.

Bir koşulun okunuşu

NHMRC'nin 2015 değerlendirmesi bu ölçütlerin bir gerçek örnekte nasıl işlediğini adım adım gösteriyor.

Ulusal bir kurum adına hazırlanmış, derlemeleri derleyen bir rapor; ölçütlerini açıkça yazdığı için B olarak okuyoruz.

Kartın en çarpıcı sayısı 36. Altmış bir durumun yarısından fazlasında, o durum için yapılmış bütün denemelerin katılımcıları toplandığında bile 150 kişiye ulaşılmıyor. Bu durumlar için «homeopati işe yarar» da «işe yaramaz» da güvenle söylenemez; kanıtın kendisi küçük.

Şimdi Ece'nin masasındaki koşula bakalım.

Aynı rapordan; yanlılık riski düşük büyük bir denemeye dayandığı için bu sonuç B.

Bu kart Kaan'ın sorusunu cevaplıyor. Sağlık sitesindeki başlık bir meta-analizin sonucunu aktarıyordu ve o sonuç gerçekti: meta-analiz bir fark bulmuştu. Ama o meta-analiz düşük kaliteli çalışmaları da içeriyordu. Rapor, en büyük ve en iyi kaliteli denemeye daha fazla ağırlık verdi ve o deneme fark bulmadı.

Burada bir ders daha saklı. Meta-analiz, tek tek çalışmalardan daha güçlü sayılır; çoğu zaman da öyledir. Ama bir meta-analiz, içine aldığı çalışmalardan daha iyi olamaz. Düşük kaliteli çalışmaları birleştirmek, onları yüksek kaliteli yapmaz; yalnızca aynı kusuru daha büyük bir sayıyla tekrar eder.

Tek bir çalışma

Aynı rapor, tek çalışmaya dayanan durumları da açıkça işaretliyor.

Kalitesi bilinmeyen tek bir çalışma; rapor bir sonuç çıkarmıyor, biz de D olarak okuyoruz.

Bu kartta dikkat edilecek şey, D'nin bir «homeopati işe yaramaz» sonucu olmaması. D, «bilmiyoruz» demek. Tek çalışma doğru sonuç vermiş olabilir; ama tekrarlanmadan, kalitesi bilinmeden, başka denemelerle karşılaştırılmadan, onun doğru mu yoksa şans ya da bir kusur ürünü mü olduğunu ayıramayız.

Homeopatların kendi ölçütü

Kanıtı tartma ölçütlerini yalnız eleştirmenler kullanmıyor. Homeopati araştırmacıları da aynı araçlarla çalışıyor.

Homeopati araştırmacılarının kendi yöntem ölçütü; iddiası güvenilir üç denemeye dayandığı için C.

Bu kart, iki tarafın aynı dili konuştuğunu gösteriyor. Mathie ve arkadaşları otuz iki denemenin yirmisini kendileri yüksek riskli buldu ve sonucu ayrıca yalnız güvenilir üç denemeyle hesapladı. Anlaşmazlık ölçütte değil, o üç denemenin ne kadar şey söyleyebildiğinde. HM05 bu tartışmayı ayrıntısıyla açacak.

Örneklerden okuma

Usta katmanı

Bu dersin bir inceliği, kanıt düzeyi ile etki büyüklüğünün iki ayrı şey olması. Bir bulgu çok güvenilir olup küçük bir etkiyi gösterebilir; ya da büyük bir etkiyi gösterip çok güvenilmez olabilir. Bir haber «yüzde elli daha iyi» dediğinde, bu sayı bir etki büyüklüğüdür; o sayıya ne kadar güvenebileceğimizi ayrıca sormak gerekir. Küçük ve kusurlu çalışmalar, büyük ve kusursuz çalışmalardan daha büyük etkiler bildirmeye yatkındır; bu, yayın yanlılığı ve küçük çalışma etkisi adıyla HM05'te açılacak bir örüntü.

İkinci incelik, bu bölümün ölçeği ile NHMRC'nin ölçeğinin aynı şey olmaması. NHMRC yüksek, orta, düşük ve çok düşük güven düzeyi kullanıyor ve bunu bir durum için toplanan kanıtın bütününe veriyor. Bu bölümün A–D etiketi ise tek bir kartın taşıdığı iddiaya veriliyor. İkisi aynı mantığa dayanıyor ama aynı birime uygulanmıyor. Bir kartı okurken etiketin neye verildiğini sormak, iki ölçeği birbirine karıştırmayı önler.

Üçüncü incelik, «kanıt yokluğu» ile «yokluğun kanıtı» arasındaki fark. Otuz altı durum için kanıt yetersiz; bu, homeopatinin o durumlarda işe yaramadığının kanıtı değil, işe yarayıp yaramadığını bilmediğimizin göstergesi. İleus örneği ise farklı: orada yeterince büyük ve iyi bir deneme var ve bir fark bulmuyor. Bu, orta güvenle «etkili değil» demeye izin veriyor. İki durum bir haber başlığında aynı cümleyle yazılabilir; ama aynı şeyi söylemezler.

Dördüncü incelik, ön olasılık. Bir bulguyu tartarken yalnız o çalışmaya değil, o bulgunun ne kadar şaşırtıcı olduğuna da bakılır. Yerleşik kimya ve fiziğin beklentisine aykırı bir sonuç, sıradan bir sonuçtan daha güçlü kanıt gerektirir. Bu fikir bilim felsefesinde ve istatistikte ayrıntılı bir tartışmanın konusu ve homeopatinin değerlendirilmesinde merkezi bir yer tutuyor; HM04'ün son modülü bunu ayrıca ele alıyor.

Yaygın hatalar ve yanlış bilinenler

Sınır

Bu ders bir sağlık durumu için homeopatinin işe yarayıp yaramadığına dair yeni bir yargı kurmuyor; NHMRC raporunun kendi sonuçlarını ve yöntemini aktarıyor. Kanıt düzeyini okumak, bir tedavi kararı vermenin yerini tutmaz. Bir sağlık sorununuz için hangi tedavinin uygun olduğu, sizin durumunuzu bilen bir hekimle konuşulacak bir sorudur; bir makaleyi tek başına okuyarak sürdürdüğünüz bir tedaviyi bırakmayın ya da değiştirmeyin.

Ameliyat sonrası dönem gibi ciddi durumlarda, bir yöntemin «zararsız» görünmesi onu güvenli bir seçenek yapmaz; asıl risk, etkili bakımın yerine kullanılmasıdır. Bu ders NHMRC'nin genel raporunu ve Mathie derlemesini tam metinlerinden okudu. NHMRC raporunun dayandığı tek tek denemeler açılmadı.

Kendin dene

Kilit özet

Bir bulguya ne kadar güvenileceği dört ölçütle tartılır: çalışmanın türü, büyüklüğü, yanlılık riski ve benzer çalışmalarla tutarlılığı.

Bu bölümün kartlarında A görece güçlü, B orta, C ön bulgu, D yetersiz ya da çelişkili kanıtı gösterir; T birincil metin, M mevzuat kartıdır ve harf kaynağın saygınlığına değil, kartın taşıdığı iddiaya verilir.

NHMRC raporu 68 sağlık durumunu inceledi; hiçbirinde yüksek güven düzeyi yoktu ve çalışma bulunan 61 durumun 36'sında toplam katılımcı 150'nin altındaydı.

Ameliyat sonrası bağırsak tıkanmasında iki meta-analizin olumlu sonucu, kusurlu çalışmalar içerdiği için, fark bulmayan 600 katılımcılı iyi kaliteli denemenin önüne geçmedi; bir meta-analiz içine aldığı çalışmalardan daha iyi olamaz.

Tek bir çalışma tek başına düşük güven verir; D bir «işe yaramaz» hükmü değil, «bilmiyoruz» demektir ve homeopati araştırmacıları da aynı yanlılık ölçütlerini kullanır.

Sonraki derse köprü

Bu derste bir bulgunun ne kadar güvenilir olduğunu tarttık. Ama bir şişenin etiketini okurken daha önce gelen bir soru var: bu şişe tam olarak ne? Sofradaki Selin «zaten bitkisel» demişti; birçok etikette de «doğal» kelimesi duruyor.

HM00-M01-D03 bu üç kelimeyi ayırıyor. Homeopatik ürünü bitkisel üründen ve «doğal» etiketinden üretim yöntemi ve yasal tanımla ayırt edeceğiz ve aynı bitki adının iki ayrı üründe nasıl farklı anlam taşıyabildiğini göreceğiz.