Bir makaleyi on dakikada okumak

Görev

Pazartesi sabahı okulun müdür yardımcısı Sevgül'ü odasına çağırıyor. Bir içecek firması, okulun bütün ilkokul öğrencilerine bir dönem boyunca ücretsiz probiyotik içecek dağıtmayı önermiş. Teklifin ekinde bir araştırma özeti, bir basın bülteni başlığı ve firmanın tanıtım broşürü var. Müdür yardımcısı veli toplantısından önce bir görüş istiyor: "Sen bu işleri okuyorsun. Bu araştırma ne diyor, güvenebilir miyiz?"

Sevgül'ün elinde bir öğle arası var. Bu atölyede onun yerine geçeceksin. M01'den bu yana topladığımız soruları on soruluk bir okuma listesinde birleştirdik. Her soru, bu akademide bir derste ayrıntısıyla işlendi; burada yalnızca hızlı bir tarama için sıraya kondu. Listeyi aşağıdaki malzemeye uygulayacak, sonra kısa bir görüş yazacaksın.

Birinci soru: Bu bir randomize deneme mi, yoksa gözlemsel bir çalışma mı? İkinci soru: Kontrol grubu neydi, plasebo mu, hiçbir şey mi? Üçüncü soru: Kaç kişi katıldı, kaçı sonuna kadar kaldı? Dördüncü soru: Ana sonuç neydi ve hastanın yaşadığı bir sonuç mu, yoksa bir vekil ölçüm mü? Beşinci soru: Ana sonuç baştan kayda geçirilen sonuçla aynı mı? Altıncı soru: Etki ne kadar büyük, mutlak olarak mı göreli olarak mı verilmiş? Yedinci soru: Bulgu bütün katılımcılarda mı görüldü, yoksa bir alt grupta mı? Sekizinci soru: Araştırmayı kim finanse etti, yazarların çıkar ilişkisi var mı? Dokuzuncu soru: Sonuç başka ekiplerce tekrar edilmiş mi, yoksa ortada tek bir ilk çalışma mı var? Onuncu soru: Katılımcılar senin ilgilendiğin insanlara benziyor mu?

Bu tür listeleri ilk hazırlayan biz değiliz. Klinisyenlerin ve öğrencilerin makale değerlendirmesinde yıllardır kullandığı hazır araçlar var.

On dakika sınırı bilerek konuldu. Amaç makaleyi baştan sona anlamak değil, güvenilirliği hakkında ilk ve kaba bir yargıya hızla varabilmek. Bu yargı "güvenilir" ya da "güvenilmez" olmak zorunda değil; çoğu zaman en dürüst cevap "henüz bilmiyoruz, şunları sormak gerekiyor" olur.

Malzeme

Aşağıdaki malzeme bu atölye için yazılmış kurgusal bir örnektir; gerçek bir çalışmayı, ürünü ya da firmayı anlatmaz.

Basın bülteni başlığı: "Dünyada ilk kez gösterildi: Probiyotik içecek çocuklarda okul devamsızlığını yüzde 40 azalttı."

Araştırma özeti: "Amaç: Günlük probiyotik içecek tüketiminin ilkokul çocuklarında enfeksiyon kaynaklı okul devamsızlığına etkisini incelemek. Yöntem: Tek bir özel ilkokuldan 7–10 yaş arası 84 çocuk, rastgele olarak probiyotik içecek ya da görünüş ve tadı aynı plasebo içecek grubuna ayrıldı. Takip on iki hafta sürdü. Bulgular: 84 çocuğun 68'i çalışmayı tamamladı. Probiyotik grubunda hastalık nedeniyle en az bir gün okula gelmeyen çocukların oranı yüzde 24, plasebo grubunda yüzde 40 oldu (p = 0,04). Alt grup analizinde, kız öğrencilerde etki daha belirgindi. Tükürükteki bir bağışıklık göstergesi probiyotik grubunda anlamlı olarak yükseldi. Sonuç: Probiyotik içecek çocuklarda devamsızlığı azaltır ve bağışıklığı güçlendirir."

Finansman satırı: "Bu çalışma içeceği üreten firma tarafından finanse edilmiştir. Yazarlardan biri firmanın bilim danışma kurulu üyesidir."

Deneme kaydı: Denemenin kayıt numarası bulunuyor. Kayıtta ana sonuç "on iki haftalık sürede ebeveyn bildirimine göre üst solunum yolu enfeksiyonu sayısı" olarak yazılmış; okul devamsızlığı ikincil sonuçlar arasında.

Hatayı bul

Bu tür malzemeyle karşılaşan okurların en sık yaptığı iki hata, listeyi hiç açmadan bir yargıya varmalarına yol açar.

Örnek çözüm

Aşağıdaki çözüm bir örnektir; senin çözümün farklı sözcüklerle, farklı bir sırayla da doğru olabilir.

Birinci ve ikinci sorular olumlu: bu bir randomize denemedir ve görünüşü ile tadı aynı bir plaseboyla karşılaştırılmıştır. Bu, çalışmanın en güçlü yanıdır.

Üçüncü soru ilk kırmızı işareti verir. Seksen dört çocuk küçük bir sayıdır ve on altısı, yani yaklaşık her beş çocuktan biri, çalışmayı tamamlamamıştır. Kimlerin ve hangi gruptan ayrıldığı özette yazmıyor. Hasta olduğu için içeceği bırakan çocuklar bir grupta toplanmışsa sonuç çarpılabilir.

Dördüncü ve beşinci sorular en önemli bulguyu verir. Deneme kaydında ana sonuç ebeveynin bildirdiği solunum yolu enfeksiyonu sayısıdır. Özette bu sonuç hiç anılmıyor; başlığa ikincil bir sonuç olan devamsızlık taşınmış. 3.1'de konuştuğumuz seçici raporlamanın tipik görüntüsü budur. Ayrıca "bağışıklığı güçlendirir" yargısı, tükürükteki bir göstergeye, yani bir vekil ölçüme dayanıyor; 3.3'te gördüğümüz gibi, bir göstergenin yükselmesi çocukların daha az hastalandığı anlamına gelmez.

Altıncı soru: Basın bülteni "yüzde 40 azalttı" diyor. Bu göreli bir değişimdir: yüzde 40'tan yüzde 24'e inişin göreli karşılığı. Mutlak fark 16 yüzde puanıdır; yani yaklaşık altı çocuğa içecek verildiğinde, on iki hafta içinde en az bir gün hasta olarak okula gelmeyen çocuk sayısı bir azalmıştır. Bu hesap yalnızca özetteki sayılar doğruysa ve sonuç tekrar edilirse anlamlıdır. Üstelik p değeri 0,04'tür; eşiğin hemen altında ve birkaç çocuğun farklı seyretmesiyle değişebilecek bir sonuç.

Yedinci soru: Kız öğrencilerdeki "daha belirgin etki" önceden planlanmış görünmüyor; 3.2'deki çoklu karşılaştırmanın şans ürünü olabilir. Görüşte bu bulguya ağırlık verilmemeli.

Sekizinci soru: Çalışmayı üretici finanse etmiş, yazarlardan biri firmanın danışmanı. 3.4'te gördüğümüz gibi bu tek başına sonucu geçersiz kılmaz, ama değişen ana sonuçla birleştiğinde dikkat gerektirir.

Dokuzuncu soru: Bülten "dünyada ilk kez" diyor. İlk, küçük ve eşiğe yakın bir sonuç, 3.7'deki kazanan lanetinin tam tarifine uyuyor; etki büyük olasılıkla tekrar çalışmalarında küçülecektir.

Onuncu soru: Katılımcılar tek bir özel okuldan. Sevgül'ün okulunun öğrencileri yaş bakımından benzer, ama beslenme, aile geliri ve okulun koşulları bakımından farklı olabilir.

Gerçek bir makalede bu cevapların çoğu dört yerde durur. Özet, tasarımı, katılımcı sayısını ve ana bulguyu verir. Yöntem bölümü, kontrol grubunu, ana sonucun nasıl tanımlandığını ve deneme kayıt numarasını içerir; kayıt numarası çoğu zaman özetin hemen altında da yazılıdır. Bulgular bölümünün başında genellikle bir akış şeması bulunur: kaç kişinin davet edildiği, kaçının alındığı, kaçının ayrıldığı orada görülür. Finansman ve çıkar beyanları ise makalenin sonunda, kaynakçadan hemen önce ya da ilk sayfanın dipnotundadır. On dakikanın sırrı, makaleyi baştan okumak değil, bu dört yere doğrudan gitmektir.

Sevgül'ün görüşü şöyle olabilir: "Çalışma iyi bir tasarımla başlamış, ama küçük, kısa ve üretici tarafından finanse edilmiş. Baştan belirlenen ana sonuç, yani enfeksiyon sayısı, özette yok; başlıktaki devamsızlık ikincil bir sonuç. Etki göreli olarak verilmiş ve eşiğin hemen altında. Bu tek çalışmaya dayanarak çocuklara 'bağışıklığı güçlendirir' diye bir ürün dağıtmamızı önermem. Firmadan ana sonucun ne çıktığını ve başka bağımsız çalışma olup olmadığını sormamızı öneririm."

Teslim

Teslim: On sorunun her biri için bir cümlelik cevap, deneme kaydı karşılaştırması (bulunabildiyse) ve üç dört cümlelik değerlendirme; hepsi defterinin tek bir sayfasında.

Değerlendirme ölçütleri

1. On sorunun hepsine bir cevap verilmiş; cevabı bulunamayan sorular "yazmıyor" diye işaretlenmiş, boş bırakılmamış.
2. Değerlendirme, en az bir güçlü ve en az bir zayıf yanı adıyla gösteriyor; yalnızca "güvenilir" ya da "güvenilmez" demekle kalmıyor.
3. Etki büyüklüğü göreli ve mutlak olarak ayrılmış, ya da makale yalnızca birini veriyorsa bu eksiklik not edilmiş.
4. Finansman bilgisi tek başına hüküm olarak değil, diğer bulgularla birlikte yorumlanmış.
5. Değerlendirmenin son cümlesi, bu çalışmaya dayanarak yapılacak ya da yapılmayacak somut bir şeyi söylüyor.

Kapanış

1. On soruluk okuma listesi bu modülün ve önceki iki modülün derslerini tek bir taramada birleştirir: tasarım, kontrol, örneklem, ana sonuç, kayıt, etki büyüklüğü, alt grup, finansman, tekrar ve benzerlik.
2. İyi bir tasarım tek başına güçlü bir kanıt anlamına gelmez; asıl yargı, bulguların bir araya gelişinden doğar.
3. On dakikalık bir okumanın en dürüst sonucu çoğu zaman bir hüküm değil, sorulması gereken bir sonraki sorudur.

Sonraki derse köprü

Bu atölyede makaleye doğrudan bakabildik; çoğu zaman ise elimize ilk gelen bir başlıktır. Sıradaki modülde sağlık haberlerine ve yanlış bilgiye geçiyoruz; ilk dersinde manşetten çalışmaya giden yolu adım adım izleyip haberin iddiasını kaynağıyla karşılaştıracağız.