Arama ve çalışma seçimi · Fonksiyonel Tıp Akademisi

Açılış sahnesi

Salı sabahı bir tıp fakültesi kütüphanesinin arka odasında bilgi uzmanı Melike Hanım, fiziksel tıp asistanı Onur Bey'in getirdiği tek sayfalık protokolü okuyor. Soru yazılmış ve dört bileşeni yerinde: menopoz sonrası kadınlarda, düzenli direnç egzersizi, egzersiz yapmayan kontrollerle kıyaslandığında, bir yıl sonunda omurga kemik mineral yoğunluğunu artırır mı? Onur Bey tek bir veri tabanında arama yapmış, 1.480 kayıt bulmuş ve elemenin sonunda on dört çalışmayla kalmış. Birleştirmeye başlamak istiyor.

Melike Hanım önce bir sınama yapıyor. Konudaki önceki derlemelerden, soruya uyduğu kesin on beş çalışmalık bir liste çıkarıyor ve Onur Bey'in aramasının bunlardan kaçını yakaladığına bakıyor: on bir. Sonra aramayı iki veri tabanı daha, iki klinik çalışma kayıt sistemi ve dâhil edilen makalelerin kaynakçalarıyla genişletiyor. Kayıt sayısı 4.260'a çıkıyor, bilinen on beş çalışmanın hepsi yakalanıyor ve eleme bittiğinde çalışma sayısı on dörtten yirmi ikiye yükseliyor. Yeni gelen sekiz çalışmanın beşi egzersizin kemik yoğunluğunda belirgin bir fark yaratmadığını bildiriyor.

Bu derste ne olacak

Soru kurulduktan sonra sıra, ona uyan çalışmaların hepsini bulmaya geliyor. Önce bir aramanın ilgili çalışmaları yakalama gücünü ölçecek ve Onur Bey'in aramasının neyi kaçırdığını hesaplayacağız. Sonra bu gücün bedelini, yani bulunan kayıtların ne kadarının gerçekten ilgili olduğunu ve sentezde neden yakalama gücünün tercih edildiğini göreceğiz. Ardından kaynak çeşitliliğine, dil ve tarih sınırlarına, iki aşamalı elemeye ve aynı çalışmanın iki kez sayılması tuzağına geçeceğiz.

Sıfır noktası

Tarama ve tanı programında duyarlılığı paydası hastalar olan bir oran olarak tanımlamıştın (L01-P05-M02-D02). Aramada hastaların yerini ilgili çalışmalar alır ve Melike Hanım'ın bilinen on beş çalışmalık listesi tam bu paydayı sağlar. Onur Bey'in aramasının duyarlılığı 11 ÷ 15 ≈ 0,73; ilgili her dört çalışmadan birini kaçırıyor. Genişletilmiş arama on beşin on beşini yakalıyor ve duyarlılığı 15 ÷ 15 = 1,00. Bilinen bir listeyle sınamak, aramanın gücünü tahmin etmenin en somut yoludur ve iyi derlemeler bu sınamayı bildirir.

Mekanizma

Yakalama gücünün bedeli

Kesinliğin hesabı da aynı sayılardan çıkar. Dar arama 1.480 kayıttan on dört çalışmaya ulaştı, yani kayıtların 14 ÷ 1.480 ≈ 0,009'u, binde dokuzu işe yaradı. Geniş arama 4.260 kayıttan yirmi iki çalışmaya ulaştı ve kesinliği 22 ÷ 4.260 ≈ 0,005'e, binde beşe düştü. Duyarlılık yükselirken kesinlik neredeyse yarıya indi; bu, tanı testlerinde tanıdığın ödünleşimin literatürdeki biçimi.

Bedelin ne olduğunu da sayıyla görmek mümkün. Geniş arama 4.260 − 1.480 = 2.780 fazladan kayıt getirdi ve bunların her biri iki kişi tarafından başlık ve özetinden taranacak. Kayıt başına yarım dakika varsayarsan iş 2.780 × 2 × 0,5 = 2.780 dakika, yaklaşık kırk altı saat eder. Bu, gerçek bir emek; ama sonu olan ve geri alınabilen bir emek.

Sentezde tercih bu yüzden nettir ve tanı testinden farklıdır: duyarlılık kesinliğe tercih edilir. Kaçırılan bir çalışma sonucu kalıcı olarak bozar; fazla gelen bir kayıt yalnızca eleme işi yaratır. Onur Bey'in kaçırdığı sekiz çalışma da rastgele bir sekizli değil. Beşi etkisiz sonuç bildiriyor, çoğu kayıt sistemlerinden ya da kaynakçalardan geldi, ve bunlar olmadan yapılan bir sentez egzersizin etkisini olduğundan büyük gösterirdi.

Kaynak çeşitliliği

Tek bir veri tabanı yetmez ve nedeni yapısaldır: her veri tabanı farklı dergileri, farklı dilleri ve farklı yılları indeksler. Birden çok bibliyografik veri tabanının kapsamları örtüşür ama birbirinin yerine geçmez. Araştırma kayıt defterleri yürütülmüş ama yayımlanmamış çalışmaları gösterir; protokol ve kayıt dersinde bu kayıtların çalışma başlamadan nasıl açıldığını görmüştün (L01-P02-M03-D09). Kaynakça taraması dâhil edilen makalelerin kaynakçalarından geriye doğru ilerler ve indekslenmemiş çalışmaları yakalar; ileriye dönük atıf taraması ise anahtar bir makaleye sonradan atıf verenlere bakar.

Bunlara iki kaynak daha eklenir. Tezler, kurum raporları ve kongre bildirileri gri literatürü oluşturur; konferans özeti dersinde tanıdığın kısa bildiriler burada bir kaynak hâline gelir. Son olarak yazarlara doğrudan yazılır, eksik veri ya da yayımlanmamış bir sonuç için. Melike Hanım'ın aramasında kayıt sistemlerinden gelen iki çalışmanın sonucu hiç dergide yayımlanmamış, yalnız kayıt sayfasına yüklenmiş.

Dil ve tarih sınırları

İki sınır sık konur ve ikisinin de bedeli vardır. Aramayı tek bir dilde yayımlanmış çalışmalarla sınırlamak, belirli bölgelerden gelen kanıtı sistematik olarak dışarıda bırakır. Onur Bey'in yirmi iki çalışmasının üçü İngilizce dışındaki dillerde yayımlanmış ve dil sınırı konsaydı üçü de sessizce elenecekti.

Tarih sınırı, örneğin "son on yıl", pratiktir ama gerekçelendirilmelidir. Bir ölçüm yöntemi ya da tanım değiştiyse gerekçe vardır; kemik yoğunluğu ölçüm cihazlarının standartlaştığı bir dönemden önceki çalışmaları dışlamak savunulabilir. Böyle bir gerekçe yoksa sınır keyfi bir eleme olur.

Yaygın yanlış"Sadece en güncel çalışmalara bakmak daha doğrudur."

Doğrusu

Güncellik bir kalite ölçütü değil. Eski bir randomize çalışma, yeni bir gözlemsel çalışmadan daha bilgilendirici olabilir. Tarih sınırı ancak konuya özgü bir gerekçeyle (tanım değişikliği, yöntem değişikliği, uygulamanın değişmesi) konulabilir.

Seçim süreci

Arama sonuçları geldikten sonra eleme iki aşamada yapılır ve her aşamanın sayısı bir akış şemasına yazılır. Melike Hanım'ın 4.260 kaydından 1.130'u birden çok veri tabanında tekrar eden kayıtlar; bunlar çıkınca 4.260 − 1.130 = 3.130 kayıt kalıyor. Başlık ve özet taramasında açıkça ilgisiz olan 3.046 kayıt elenince tam metni okunacak 3.130 − 3.046 = 84 rapor kalıyor. Bu ilk aşama hızlı ve geniş tutulur; kararsız kalınan kayıt bir sonraki aşamaya geçer.

Tam metin aşamasında kalanlar dâhil etme ölçütlerine göre okunur ve dışlanan her çalışma, gerekçesiyle birlikte listelenir. Onur Bey'in listesinde otuz bir raporda kontrol grubu yok, on sekizinde sonlanım farklı, on birinde katılımcılar menopoz öncesi; 31 + 18 + 11 = 60 dışlama, 84 − 60 = 24 rapor. Anlatı derlemesi dersindeki denetlenemez seçim sorunu tam bu satırda kapanıyor, çünkü artık her dışlamanın nedeni okunabilir.

Melike Hanım ile Onur Bey tam metin aşamasında 84 raporun yedisinde ayrışıyor, anlaşmazlık oranı 7 ÷ 84 ≈ 0,08. Bu oranın bildirilmesi ayrıca bilgi taşır: çok yüksekse dâhil etme ölçütleri yeterince açık yazılmamıştır. Yedi anlaşmazlığın beşi "düzenli egzersiz" tanımından çıkıyor ve protokole haftada en az iki seans şartı ekleniyor.

Yinelenen yayınlar

Sık atlanan bir adım daha var: aynı çalışma birden çok kez yayımlanmış olabilir. Farklı sonlanımlar farklı makalelerde bildirilmiş ya da aynı veri farklı bir izlem süresiyle yeniden yayımlanmış olabilir. Onur Bey'in yirmi dört raporundan ikisi, başka iki çalışmanın ikinci yıl sonuçlarını bildiren makaleler; aynı katılımcılar, aynı merkezler, farklı tarih.

Bu iki rapor ayrı çalışma sayılsaydı yirmi iki yerine yirmi dört çalışma ve 1.640 yerine 1.640 + 90 + 60 = 1.790 katılımcı görünürdü; örneklem 150 ÷ 1.640 ≈ 0,09, yani yaklaşık %9 şişerdi ve aynı kadınların sonuçları iki kez sayılırdı. Tespit için yazar listeleri, merkez adları, katılımcı sayıları ve izlem dönemleri karşılaştırılır. İyi derlemeler bu adımı akış şemasında ayrıca gösterir: "24 rapor, 22 çalışma".

Yaygın yanlış"Sentezde ne kadar çok çalışma varsa o kadar iyidir."

Doğrusu

Çalışma sayısı, birbirinden bağımsız katılımcı gruplarının sayısıyla aynı şey değil. Yinelenen yayınlar ayıklanmamışsa sayı şişer. Ve kalitesiz çalışmaların eklenmesi kesinliği artırırken doğruluğu azaltabilir — bu, sıradaki dersin konusu.

Klinik gerçeklik

Bir sentezin arama ve seçim adımını denetlerken önce arama stratejisinin tekrar çalıştırılabilecek ayrıntıda yayımlanıp yayımlanmadığına bak. Sonra kaç kaynağın tarandığını sor: yalnız bibliyografik veri tabanları mı, yoksa kayıt defterleri, kaynakçalar ve gri literatür de mi? Ardından dil ya da tarih sınırı konmuşsa gerekçesinin yazılıp yazılmadığını kontrol et. Aramanın bilinen bir çalışma listesiyle sınanıp sınanmadığı da bakılmaya değer; sınanmışsa duyarlılık tahmin edilebilir.

Seçim adımında önce iki bağımsız değerlendiricinin kullanılıp kullanılmadığına, sonra tam metinde dışlananların gerekçeleriyle listelenip listelenmediğine bak. Gerekçeli dışlama listesi en hızlı kalite göstergesidir, çünkü seçimini denetime açan bir derlemeyi ötekilerden ayırır. Son olarak akış şemasında rapor sayısı ile çalışma sayısının ayrı verilip verilmediğini ara; ikisi aynıysa yinelenen yayınlar ya hiç yoktur ya da hiç aranmamıştır.

Kendini sına

Sentez aramasında duyarlılık mı kesinlik mi tercih edilir? Neden?
Onur Bey'in aramasının duyarlılığını bilinen on beş çalışmayla hesapla. Dar ve geniş aramanın kesinliği nedir?
Geniş aramanın bedeli nasıl ölçülür? Kaçırılan sekiz çalışma neden rastgele değil?
Aramada taranan kaynak türlerini say. Gri literatür neden aranır?
Dil yanlılığı nedir? Tarih sınırı hangi koşulda meşru?
4.260 kayıttan yirmi iki çalışmaya giden akış şemasını adım adım yeniden kur.
Çift bağımsız seçim hangi ilkeye dayanıyor? Anlaşmazlık oranı ne bilgisi taşır?
Yinelenen yayın ayıklanmazsa ne olur? Akış şemasında onu hangi iki sayı ele verir?

Bir sonraki derse köprü

Onur Bey'in elinde artık yirmi iki çalışma var, ama hepsi aynı güveni hak etmiyor. Bazılarında kimin hangi gruba gireceği önceden gizlenmemiş, bazılarında kemik ölçümünü yapan kişi grupları biliyor, birkaçında katılımcıların önemli bir kısmı bir yıl dolmadan izlemden çıkmış. Sıradaki derste bu kusurların eski usul tek bir kalite puanında toplanmak yerine neden alan alan ayrı değerlendirildiğini göreceksin. Değerlendirmenin sentezde nasıl kullanıldığını, özellikle yalnız güvenilir çalışmalarla hesabın yeniden yapıldığında sonucun ayakta kalıp kalmadığını da orada öğreneceksin.