Makale okuma laboratuvarı

Açılış sahnesi

Bir haber başlığı: "Sekiz haftalık meditasyon programı kaygıyı yarı yarıya azaltıyor."

Haberin kaynağı, bir üniversitenin basın bülteni.

Bültenin kaynağı, bir makale.

Makalenin özetinde şu yazıyor: "Program grubunda kaygı belirtilerinde anlamlı azalma gözlendi."

Ve makalenin sonuç tablosunda şu var: kaygı ölçeğinde ortalama fark 2,1 puan; güven aralığı sıfır ile 4,2 arasında; birincil sonuç ölçütü ise kaygı değil, algılanan gerginlikti ve orada fark bulunmadı.

Dört basamak. Her basamakta cümle biraz daha güçlendi ve her basamakta bir bilgi düştü.

Kimse yalan söylemedi. Her basamak, bir öncekinden biraz daha kısa ve biraz daha çekici bir cümle üretti.

Bu ders, o zinciri geriye doğru yürümeyi öğretiyor.

Bu derste ne olacak

Önce özeti parçalayacağız ve bir özetin hangi bilgileri taşıyıp hangilerini taşımadığını göreceğiz. Sonra yöntem bölümü için bir kontrol listesi kuracağız. Ardından sonuç tablosunu okuyacağız — makalenin en az okunan ve en çok bilgi veren yeri. Sonra tartışma bölümüne geçeceğiz ve yazarın yorumunu veriden ayıracağız. En sonda da zinciri tersine yürüyeceğiz: haberden bültene, bültenden makaleye.

Ders bittiğinde bir makaleyi sırayla ve doğru yerlerden okuyabiliyor, sonuç tablosundaki temel sayıları bulabiliyor ve bir haberin nerede fazladan bir adım attığını gösterebiliyor olacaksınız.

Sıfır noktası

Bir binayı satın alırken yapılan şeyi düşünün.

İlan metnini okumakla yetinmezsiniz. Tapuya bakarsınız, ruhsata bakarsınız, temelin durumuna bakarsınız.

İlan metni yanlış olmayabilir. Ama seçilmiş doğruları içerir ve seçimi satıcı yapmıştır.

Bir makalenin özeti, o ilan metnidir.

Bina benzetmesinin zayıf tarafı şu: orada satıcının bir çıkarı olduğunu bilirsiniz ve temkinli okursunuz. Makalede ise yazarın "satıcı" olduğu düşünülmez — oysa bir makalenin yayımlanması, atıf alması ve fon getirmesi de bir çıkardır. Bu, sahtekârlık değil; bir teşvik yapısıdır ve S7-M04'te gördüğümüz yanlılıkların kaynağı da budur.

Mekanizma

Özeti parçalamak

Bir özet okunurken beş bilgi aranır ve çoğu özette bunların bir kısmı yoktur.

Bir: kaç kişi ve kimler? Örneklem büyüklüğü ve katılımcı tanımı.

İki: karşılaştırma neydi? "Kontrol grubuyla karşılaştırıldığında" ifadesi yeterli değil; kontrol grubu ne yaptı?

Üç: birincil sonuç ölçütü neydi? Özette birden fazla sonuç sayılıyorsa hangisi birincildi?

Dört: etki büyüklüğü ve aralık. Yalnızca "anlamlı" yazıyorsa, sayı yok demektir.

Beş: ne zaman ölçüldü? Program bitiminde mi, takipte mi?

Bu beş bilgiyi taşımayan bir özet, sonucu değerlendirmek için yeterli değildir — ve çoğu özet taşımaz.

Bir de özetlerde sık görülen bir kalıp var: sonuç cümlesi, bulgular cümlesinden daha güçlü.

Bulgular: "program grubunda azalma gözlendi." Sonuç: "bu bulgular, programın kaygıyı azaltmada etkili olduğunu göstermektedir."

İkinci cümle birinciden daha fazlasını söylüyor ve aradaki fark, verinin değil yazarın.

Yöntem kontrol listesi

Yöntem bölümü, bir makalenin en sıkıcı ve en belirleyici kısmı. Buradaki on maddeyi taramak birkaç dakika sürer.

Bu listedeki en sık atlanan maddeler altıncı, dokuzuncu ve onuncu.

Altıncı madde — güç analizi — özellikle önemli. Bir çalışma, aradığı büyüklükteki bir etkiyi yakalayacak kadar büyük değilse, sonuç bulmaması bir bilgi vermez. Ve sonuç bulması da şüphelidir: küçük çalışmalarda çıkan etkiler abartılı olma eğilimindedir.

Sonuç tablosunu okumak

Makalenin en az okunan ve en çok bilgi veren yeri burası.

Metin bölümü yazarın seçtiği bulguları anlatır. Tablo hepsini gösterir.

Tabloda aranacak dört şey var.

Birinci: birincil sonuç satırı. Diğer satırlardan önce ona bakın. Yöntemde birincil olarak belirtilen ölçüt hangisiydi ve tabloda ne yazıyor?

İkinci: güven aralıkları. S7-M03'te kurduğumuz okuma: aralık "fark yok" değerini içeriyor mu, ne kadar geniş?

Üçüncü: katılımcı sayıları. Her hücrede kaç kişi var? Başlangıçtaki sayıyla analizdeki sayı aynı mı?

Dördüncü: raporlanmayanlar. Yöntemde sayılan ölçütlerin hepsi tabloda var mı? Bir ölçüt yöntemde geçip sonuçlarda görünmüyorsa, bu bir soru işaretidir.

Bu dördüncü madde, seçici raporlamayı yakalamanın en pratik yolu.

Yazarın yorumunu ayırmak

Tartışma bölümü, verinin bittiği ve yorumun başladığı yerdir. İkisi aynı üslupla yazıldığı için ayırmak dikkat ister.

Bu alanda bunun bir adı var.

Yorum kaymasının üç tipik işareti var.

Birincisi: birincil ölçütte sonuç yokken tartışmanın ikincil bulgular üzerine kurulması.

İkincisi: nedensellik dili. Tasarım ilişki gösterirken tartışmada "azaltıyor", "geliştiriyor", "sağlıyor" gibi fiiller kullanılması.

Üçüncüsü: sınırlılıklar bölümünün kısalığı. İyi bir makale kendi sınırlarını ayrıntılı yazar; iki cümlelik bir sınırlılıklar bölümü, yazarın kendi çalışmasını yeterince incelemediğini gösterir.

Zinciri tersine yürümek

Şimdi açılıştaki dört basamağa dönelim ve tersten çıkalım.

Haber. Başlık ve ilk paragraf. Genellikle en abartılı hâl burada.

Basın bülteni. Haberlerin çoğu, kurumun yayımladığı bülteni kaynak alır. Ve alanda yapılan çözümlemeler ilginç bir şey gösteriyor: abartının önemli kısmı gazetecide değil, bültende başlıyor.

Makale özeti. Bültenin dayandığı metin.

Sonuç tablosu. Asıl veri.

Bu zinciri yürümek göründüğünden kolay. Haberde çalışmanın yazarı ya da dergisi geçiyorsa arama yapmak yeterli; çoğu makalenin en azından özeti açık erişimde.

Erişim sorunu

Bir engel var ve çözümü genellikle bilinmiyor: makalelerin bir kısmı ücretli.

Beş yol var.

Birincisi: özetler neredeyse her zaman açık. Tıp ve psikoloji veri tabanlarında ücretsiz taranabiliyor.

İkincisi: birçok makalenin hakem sürecinden önceki hâli açık arşivlerde bulunuyor.

Üçüncüsü: son yıllarda açık erişim yaygınlaştı; bir makalenin açık bir sürümü olup olmadığını arayan araçlar var.

Dördüncüsü: yazarlar makalelerini isteyene gönderir. Bu, akademide olağan ve kabul gören bir uygulamadır.

Beşincisi: üniversite kütüphaneleri ve bazı kamu kütüphaneleri erişim sağlar.

Yani "makaleye ulaşamıyorum" cümlesi çoğu zaman "aramadım" anlamına geliyor.

Örneklerden okuma

Dört basamağın izi

Kaybolan ölçüt

Sınırlılıklar bölümünün uzunluğu

İstemek yeterliydi

Usta katmanı

Üç ileri not.

Birincisi: bir makaleyi okuma sırası, yazılış sırası değil. Verimli sıra şu: önce yöntemdeki birincil sonuç ölçütü, sonra sonuç tablosu, sonra yöntem kontrol listesi, sonra sınırlılıklar bölümü. Özet ve tartışma en sona bırakılır — çünkü ikisi de yorum içerir ve önce okunduğunda tabloyu nasıl göreceğinizi belirler.

İkincisi: bu alanda çalışmaların bir kısmı raporlama standartlarına uymuyor. Klinik denemelerin nasıl raporlanacağını belirleyen yerleşik kılavuzlar var ve bir makalenin bu kılavuza uyduğunu belirtmesi, kalite işaretlerinden biri.

Üçüncüsü: bir makaleyi eleştirmek onu geçersiz kılmaz. Bu dersteki araçların amacı, bir bulguya ne kadar ağırlık vereceğinizi belirlemek. Kusursuz makale yoktur ve bir kusur bulmak, bulguyu çöpe atmak için yeterli değildir.

Yaygın hatalar ve yanlış bilinenler

Sınırlar

Bu ders bir hakem değerlendirmesi eğitimi değildir; bir makalenin yöntemsel kalitesini uzman düzeyinde değerlendirmek ayrı bir eğitim gerektirir.

Buradaki kontrol listeleri bir puanlama sistemi değildir. "On maddeden altısı eksik" cümlesi bir hüküm değil, bir ağırlıklandırma bilgisidir.

Bir makaleyi okuyup kendi tedavinize dair sonuç çıkarmayın. Tek bir çalışma, bir alanın bütününü temsil etmez ve klinik kararlar tek çalışmayla verilmez; S0-M02'deki sınırlar geçerli.

Ve bir okuma sınırı: bu araçlarla donanmış biri, katılmadığı her bulguyu kolayca eleştirebilir. Aynı listeyi katıldığınız bulgulara uygulamıyorsanız, elinizdeki şey eleştirel okuma değil, seçici bir savunma aracı.

Uygulamalı çalışma

Bu, Seviye 7'nin ana laboratuvarı. Bir makale seçin ve altı adımı sırayla uygulayın. İlk seferinde bir saat sürer; üçüncüsünde yirmi dakikaya iner.

Birinci adım — birincil ölçütü bulun. Yöntem bölümüne gidin ve birincil sonuç ölçütünü yazın. Belirtilmemişse bunu not edin.

İkinci adım — sonuç tablosuna gidin. O ölçütteki farkı, güven aralığını ve katılımcı sayısını yazın.

Üçüncü adım — kontrol listesini uygulayın. On maddeyi tarayın ve eksikleri sayın.

Dördüncü adım — özeti okuyun ve karşılaştırın. Özetteki sonuç cümlesi, tablodaki birincil bulguyla uyuşuyor mu?

Beşinci adım — sınırlılıklar bölümünü okuyun. Yazarlar hangi sınırları yazmış ve sizin bulduğunuz eksiklerden kaçı orada geçiyor?

Altıncı adım — bir haber bulun. Bu çalışma hakkında yazılmış bir haber varsa açın ve haberdeki en güçlü cümleyi tablodaki sayıyla karşılaştırın.

Altı adımın sonunda tek bir paragraf yazın: bu çalışma kime, hangi koşulda, ne gösterdi ve hangi cümle veriden fazlasını söylüyor?

O paragraf, bu seviyenin çıktısı.

Kendin dene

Kilit özet

Birincisi: özet, makalenin en çok okunan ve en az bilgi taşıyan kısmıdır; değerlendirme için sonuç tablosu gerekir.

İkincisi: yöntem bölümü on maddelik bir listeyle birkaç dakikada taranabilir ve en sık atlanan maddeler güç analizi, olumsuz olay izlemi ve ön kayıttır.

Üçüncüsü: sonuç tablosunda birincil ölçüt satırına, güven aralıklarına, katılımcı sayılarına ve yöntemde sayılıp tabloda görünmeyen ölçütlere bakılır.

Dördüncüsü: tartışma bölümü yorumdur ve veriden daha güçlü bir iddia içerebilir; bu eğilim belgelenmiştir ve üç işareti vardır — ikincil bulguların öne çıkarılması, nedensellik dili ve kısa bir sınırlılıklar bölümü.

Beşincisi: haberlerdeki abartının önemli kısmı kurumların basın bültenlerinde başlar ve zinciri geriye yürümek çoğu zaman birkaç dakika sürer.

Sonraki derse köprü

Bu derste tek bir makaleyi okuduk. Ama bir soruyu askıda bıraktık: o makaledeki bulgu tekrarlanabilir mi?

Son on beş yılda psikoloji ve tıp alanlarında büyük bir sarsıntı yaşandı. Yerleşik sayılan birçok bulgu, bağımsız ekipler tarafından tekrarlanmaya çalışıldığında çıkmadı.

Bu sarsıntı bir kriz olarak adlandırıldı ve ardından bir dizi çözüm geldi: ön kayıt, veri paylaşımı, kayıtlı rapor formatı, tekrarlama çalışmalarının değer kazanması.

Meditasyon alanı bu değişimin neresinde duruyor? Ve bir okuyucu olarak, bir bulgunun ne kadar sağlam olduğunu anlamak için nereye bakmalı?

Bir sonraki ders olan S7-M06 açık bilim ve tekrar üretilebilirliği ele alıyor: veri ve analiz paylaşımını, ön kaydı, çoklu analiz yollarını, tekrarlama çalışmalarını ve olumsuz ya da sıfır sonuçların değerini.