Yanlılık ve tekrar edilebilirlik

Açılış sahnesi

Bir düşünce deneyi.

Diyelim ki bir uygulama tamamen etkisiz. Dünya çapında yüz ekip bu uygulamayı çalışıyor.

Şans eseri, birkaç çalışma olumlu sonuç verecek. İstatistiğin doğası bu.

Şimdi soru: hangi çalışmalar yayımlanır?

Olumlu olanlar daha kolay yayımlanır. Dergiler onları tercih eder, araştırmacılar onları yazmaya daha istekli olur, olumsuz sonuçlar çekmecede kalır.

Sonuç: literatüre bakan biri, etkisiz bir uygulama için olumlu bir tablo görür.

Kimse yalan söylemedi. Sistem seçti.

Bu ders o seçimin nasıl işlediğini ve nasıl fark edileceğini öğretir.

Bu derste ne olacak

Önce yanlılık türlerini geçeceğiz — bu alanda özellikle etkili olanları. Sonra yayın yanlılığına ve dil yanlılığına odaklanacağız. Ardından tekrar edilebilirlik sorununu kuracağız. Sonra on sekiz maddelik eleştirel okuma şablonunu bütünüyle işleyeceğiz. Ders bittiğinde iki çelişkili makaleyi yöntem açısından karşılaştırabiliyor olacaksın — Seviye 5'in çıkış görevi tam olarak bu.

Sıfır noktası

Bir balıkçı ağıyla balık tutuyor ve tuttuğu balıkların hiçbiri on santimden küçük değil.

Sonuç: bu gölde on santimden küçük balık yok.

Yanlış. Ağın gözleri on santim.

Ölçüm aracı, ölçülen şeyi belirledi.

Yanlılık tam olarak budur: bir sonucun, gerçeklikten değil ölçme biçiminden gelen sistematik sapması.

Son cümle çok önemli. Yanlılığı daha çok veri toplayarak çözemezsin. Daha büyük bir ağ daha çok balık tutar ama hepsi yine on santimden büyük olur.

Yanlılık daha çok veriyle düzelmez; yöntem değiştirilmeden aynı yönde büyür.

Bu benzetme bir yere kadar doğru. Nerede kırıldığını söyleyeyim: balıkçı ağının gözünü görebilir ve ölçebilir. Araştırmada yanlılığın çoğu görünmez — çekmecede kalan çalışmayı, yayımlanmayan sonucu, seçilmeyen ölçütü göremezsin. Bu yüzden yanlılık doğrudan ölçülmez, İZLERİNDEN çıkarılır.

Mekanizma

Bu alanda etkili yanlılık türleri

Kaynak paket araştırmayı zorlaştıran sorunları sayıyor ve çoğu bir yanlılık kaynağı.

Körleme güçlüğü. Katılımcı ve uygulayıcı körlenemediğinde beklenti sonuca karışır — ve beklentinin karıştığı yön tahmin edilebilir: gerçek aldığını düşünen kişi daha iyi bildirir.

Sahte müdahalenin etkisiz olmaması. Bu, yanlılığı diğer yöne çeker: sahte kol da fayda gösterirse gerçek ile arasındaki fark küçülür ve etkili bir uygulama etkisiz görünebilir.

İki yanlılık zıt yönlerde çalışıyor. Bu, alanın sonuçlarını neden hem abartılı hem küçümsenmiş okumaya açık kıldığını açıklıyor.

Küçük örneklem. Kısa takip süresi. Yan etkilerin eksik bildirilmesi. Kişiselleştirilmiş formüllerin standartlaştırılma zorluğu. Aynı formül adında farklı ürün ve dozlar. Geleneksel örüntü tanısında sınırlı gözlemci uyumu.

Ve iki tanesi ayrıca ele alınmalı.

Yayın yanlılığı ve dil yanlılığı

Bu, açılış sahnesindeki mekanizma. Ve tespit edilebilir: derlemeler huni grafiği gibi araçlarla küçük ve olumsuz çalışmaların eksikliğini arar.

Bu ikinci tür bu alanda özellikle tartışılmıştır, çünkü çalışmaların önemli bir kısmı İngilizce dışı literatürde yer alıyor. İki yönde de sorun üretebilir: taramaya dâhil edilmezse bilgi kaybolur, dâhil edilirse farklı raporlama gelenekleri karışır.

Bir de kaynağın ayrıca saydığı bir madde var: "toplam etkinlik oranı" gibi uluslararası karşılığı zayıf sonuç ölçümleri. Bir çalışma kendi tanımladığı bir başarı ölçütü kullanıyorsa, o ölçüt karşılaştırılamaz ve genellikle olumlu tarafa eğilimlidir.

Tekrar edilebilirlik

Bir sonucun güvenilir sayılması için başka ekiplerin, başka ülkelerde, bağımsız olarak aynı sonuca ulaşması gerekir.

Bu, on soruluk okuma sırasının dokuzuncu maddesi ve iyi araştırma listesinin son maddesi: bağımsız tekrar.

Neden bu kadar önemli? Çünkü tek bir ekibin sonucu o ekibin yöntemine, hastalarına, uygulayıcı becerisine ve bilinmeyen yerel etkenlere bağlı olabilir. Tekrar, sonucun taşınabilir olup olmadığını sınar.

Ve tekrarın önündeki en büyük engel raporlama eksikliği: bir çalışmanın ne yaptığını tam olarak tarif etmemesi, tekrarını imkânsız kılar.

On sekiz maddelik okuma şablonu

Kaynak paket bir Çin tıbbı araştırmasını okurken doldurulacak bir form veriyor. Bu, Seviye 5'in en pratik aracı.

Araştırma sorusu nedir? Müdahale tam olarak neydi? Ürün ya da nokta protokolü yeniden uygulanabilir kadar açık mı? Geleneksel örüntü tanısı kullanıldı mı; kim ve hangi ölçütle koydu? Karşılaştırıcı nedir? Randomizasyon ve tahsis gizliliği uygun mu? Kimler kördü? Birincil sonuç önceden belirlendi mi? Sonuç klinik olarak anlamlı mı? Kayıp katılımcılar nasıl ele alındı? Yan etki ve etkileşimler aktif olarak arandı mı? Ürün saflığı ve kimliği doğrulandı mı? İstatistiksel çoklu karşılaştırma sorunu var mı? Protokol ve çalışma kaydı ile yayın uyumlu mu? Finansman ve çıkar çatışması ne? Bulgular kimlere genellenebilir? Bağımsız tekrar var mı? Ve son madde: sonuç yazarların iddiasından daha mütevazı mı olmalı?

Son madde bir yöntem sorusu değil bir okuma tavrı — ve genellikle cevabı evet.

Usta katmanı

Üç inceltme.

Birincisi, yanlılık kötü niyet değildir ve bu ayrım korunmalı. Yayın yanlılığı dergilerin, araştırmacıların ve okuyucuların ayrı ayrı makul davranışlarının toplamından doğar. Kimse hile yapmıyor; sistem seçiyor. Bu yüzden çözümü de sistemik: protokol ön kaydı, olumsuz sonuçların yayımlanması, kayıt-yayın uyum denetimi.

İkincisi, bu dersteki eleştiri araçları her yöne çevrilmelidir. Bir uygulamayı savunan çalışmaya uygulanan şablon, o uygulamayı reddeden çalışmaya da uygulanmalı. Aksi hâlde şablon bir araç değil bir silah olur ve okuyucu kendi sonucunu doğrulamak için kullanır.

Bu, bu seviyenin en kolay atlanan dersi: eleştirel okuma seçici uygulandığında eleştirel olmaktan çıkar.

Üçüncüsü ve bütün akademiye bağlanan nokta: bu araçlar Çin tıbbına özgü değil. Randomizasyon, körleme, yayın yanlılığı ve tekrar edilebilirlik bütün klinik araştırmanın sorunları. Bu alanda daha görünür olmalarının sebebi, körlemenin daha zor ve standardizasyonun daha eksik olması.

Kendi kendine kontrol

Kapanış

Bu dersin tek bir cümlesi var.

Yanlılık kötü niyet değil, sistemin seçimidir — ve daha çok veriyle düzelmez.

Bu yüzden çözüm daha çok çalışma yapmak değil, çalışmaları daha iyi tasarlamak, kaydetmek ve raporlamak. Kaynağın "iyi araştırma nasıl görünür" listesi tam olarak bunun tarifi.

Seviye 5 burada bitiyor. Elinde artık bir okuma aracı var ve o aracın en önemli özelliği tarafsız olması: kendi görüşünü destekleyen çalışmaya da uygulanır.

Seviye 6 bir ders listesi değil, sürekli bir çalışma biçimi — klasik metin semineri, makale kulübü, terim veritabanı, kanıt haritası güncellemesi ve etik vaka tartışmaları.