Protokol ve kayıt

Açılış sahnesi

Bir eğitim hastanesinin fizik tedavi kliniğinde perşembe sabahı makale saati yapılıyor. Bir asistan hekim, bel ağrısında sekiz haftalık bir egzersiz programını sınayan randomize bir çalışmayı sunuyor. Sonuç olumlu, yöntem bölümü düzgün, tartışma bölümünün dili ihtiyatlı. Özetin ilk cümlesi şöyle: "Birincil sonlanım olan sekizinci haftadaki ağrı puanında egzersiz grubu lehine anlamlı fark bulundu."

Arka sıradaki bir uzman dizüstü bilgisayarını açıyor, makalenin yöntem bölümünün sonundaki kayıt numarasını herkese açık bir kayıt defterinde aratıyor ve ekranı projektöre yansıtıyor. Kayıtta birincil sonlanım olarak başka bir şey yazıyor: on ikinci haftada ağrı nedeniyle kaybedilen iş günü sayısı. Makalede bu ölçüt ikincil sonlanımlar arasında, tabloların sonunda duruyor ve iki grup arasında fark yok. Makalede yanlış bir cümle yok, hiçbir sayı uydurulmamış; ama salondaki herkes artık farklı bir çalışmayı okuyor.

Bu derste ne olacak

Önce üç belgeyi ayıracağız: protokol, kayıt ve istatistiksel analiz planı. Sonra kaydın neyi görünür kıldığını açılıştaki çalışmanın kayıt satırı ile yayınını yan yana koyarak göreceğiz. Ardından bu karşılaştırmayı senin nasıl yapabileceğine, yani bir okurun birkaç dakikada uygulayabileceği kontrole geleceğiz. Son bölümde kaydın sınırlarını ve sonlanım değişikliğinin ne zaman meşru olduğunu tartışacağız.

Sıfır noktası

Üç belgenin ortak işi tek bir cümleye sığıyor: niyeti, sonuç görülmeden sabitlemek. Protokol bu niyetin tamamını, kayıt kamuya açık özetini, analiz planı ise hesabın ayrıntısını taşır. Kayıt defterleri uluslararası düzeyde yaygın ve kamuya açıktır; ClinicalTrials.gov ya da Dünya Sağlık Örgütü'nün kayıt defterlerini bir araya getiren arama platformu bunların en bilinenleri. Belgelerin hepsinde belirleyici olan şey, ne yazdığı kadar ne zaman yazıldığıdır.

Zamanlamanın neden bu kadar önemli olduğunu öngörünün riskini işleyen L01-P01-M01-D03'ten biliyorsun: sonucu görmeden yapılan belirli bir öngörü tuttuğunda güçlü kanıt üretir, sonuç görüldükten sonra kurulan öngörü ise neredeyse hiçbir şey sınamaz. Hipotez üretme ile hipotez sınamayı ayıran L01-P02-M01-D06 aynı ayrımı araştırma türü olarak kurmuştu. Kayıt, bu iki fikrin kurumsal karşılığıdır; bir çalışmanın hangi soruyla başladığını, cevap ortaya çıkmadan önce kamuya açık bir yere yazar.

Mekanizma

Kayıt satırı ile yayın yan yana

Açılıştaki çalışmanın kayıt satırını ve yayınını madde madde karşılaştıralım. Kayıtta çalışma, ilk katılımcı alınmadan dört ay önce tescil edilmiş; bu iyi bir işaret, çünkü veri toplanmadan önce yapılmış. Kayıtta birincil sonlanım on ikinci haftadaki iş günü kaybı, ikincil sonlanımlar ise sekizinci haftadaki ağrı puanı, bir işlevsellik ölçeği ve yaşam kalitesi. Planlanan katılımcı sayısı iki yüz kırk.

Yayında birincil sonlanım olarak sekizinci haftadaki ağrı puanı sunuluyor. İş günü kaybı ikincil sonlanımların arasına inmiş ve fark bulunmamış. Yaşam kalitesi makalede hiç geçmiyor. Çalışmayı tamamlayan katılımcı sayısı yüz elli ve makale, çalışmanın bir ara analizden sonra durdurulduğunu tek bir cümleyle belirtiyor. Sonlanımların yer değiştirdiğine dair hiçbir açıklama yok.

Bu karşılaştırma dört ayrı şeyi görünür kıldı. Birincisi sonlanım değişikliği: kayıtta ikincil olan bir ölçüt yayında birincil olmuş ve gerekçe verilmemiş. İkincisi bildirilmeyen sonlanım: yaşam kalitesi planlanmış ama anlatılmamış, yani ya ölçülmemiş ya da sonucu paylaşılmamış. Üçüncüsü çoklu karşılaştırma: kayıtta dört sonlanım var ve yalnız birinde fark bulunduysa o farkın şansla çıkma olasılığı, tek sonlanımlı bir çalışmadakinden yüksektir. Dördüncüsü örneklem: planlanan iki yüz kırk kişiye ulaşılmamış ve bu, çalışmanın erken durdurulduğunu gösteriyor.

Erken durdurma

Dördüncü bulgu ayrı bir dikkati hak ediyor. Bir çalışma ara analizlerde sonuçlara bakabilir ve belirgin bir yarar görünürse durdurulabilir. Bazen bu etik olarak gereklidir; bir kolun açıkça üstün olduğu biliniyorsa öteki koldaki katılımcıları beklemek doğru olmaz. Ama durdurma kararının kendisi, sonucun okunma biçimini değiştirir.

Mekanizmayı yazı tura atışlarıyla düşünebilirsin. Hilesiz bir parayla yapılan atışlarda tura oranı ilk başta yukarı aşağı dalgalanır ve uzun vadede yarıya yerleşir. Oran yüksek göründüğü ilk anda saymayı bırakırsan, elindeki sayı paranın gerçek eğilimini değil, dalgalanmanın tepesini gösterir. Açılıştaki çalışmada ara analizin ne zaman ve hangi kurala göre yapılacağı kayıtta ya da protokolde önceden tanımlanmışsa bu risk sınırlanır; tanımlanmamışsa durdurma anı, sonucun en parlak göründüğü an olabilir.

Kartın son cümlesi senin tutumunu belirliyor. Erken durdurulmuş bir çalışmayı reddetmen gerekmiyor; bulduğu etkiyi, aynı soruyu tamamlanana kadar sürdüren çalışmaların muhtemelen daha küçük bulacağını bilerek okuman gerekiyor.

Sonradan sonlanım değiştirmek neden önemli

Açılıştaki makalede her sayı doğru olabilir ve yine de okura yanlış bir izlenim verilmiş olabilir. Araştırmacılar veriyi gördükten sonra dört sonlanımdan fark çıkanı birincil ilan ettiyse, "birincil sonlanımda fark bulundu" cümlesi artık riskli bir öngörünün tutması değil, sonuçlar arasından yapılmış bir seçimdir. Aynı veriyle, kayıttaki plana sadık kalan bir makale "birincil sonlanımda fark bulunmadı; ikincil sonlanımlardan birinde fark görüldü" diye yazmak zorunda kalırdı. İki cümle aynı sayıları anlatıyor, ama okura çok farklı güçte bir kanıt vaat ediyor.

Kartın en önemli bilgisi yöndür. Değişiklikler rastgele olsaydı yalnız gürültü eklerdi; olumlu sonuç lehine toplanmaları, sonlanım seçiminin veriye bakılarak yapıldığını düşündürür. Notun son cümlesi ise okurun işini tanımlıyor: çoğu değişiklik makalede açıklanmadığına göre, onu bulmak kayda bakan kişiye kalıyor.

Okurun yapabileceği kontrol

Bu kontrol uzman bilgisi gerektirmiyor ve çoğu zaman birkaç dakika sürüyor. Makalede kayıt numarasını bulursun; genellikle özetin sonunda ya da yöntem bölümünde yer alır. Numarayı kayıt defterinde aratır, kaydın tescil tarihini ilk katılımcının alındığı tarihle karşılaştırırsın, çünkü veri toplandıktan sonra yapılmış bir kayıt niyeti sabitleyemez. Ardından kayıttaki birincil sonlanımı, ölçüm zamanıyla birlikte, makalede birincil diye sunulanla yan yana koyarsın. Fark varsa makalenin bunu açıklayıp açıklamadığına bakarsın.

İyi kayıt defterleri değişiklik geçmişini de saklar ve bu geçmiş kontrolün son halkasıdır. Bir kayıttaki birincil sonlanım, çalışma bittikten ve veriler görüldükten sonra güncellenmişse, bugünkü kayıt ile yayın uyumlu görünse bile asıl uyumsuzluk geçmişte saklıdır. Kaydın bugünkü hâline değil, veri toplanmadan önceki hâline bakmak gerekir.

Kaydın sınırları

Kayıt sistemi güçlü bir araç, ama eksiksiz değil. Kayıtlardaki ayrıntı düzeyi çok değişken; "ağrıda iyileşme" gibi ölçüm aracı ve zamanı belirtilmemiş bir sonlanım tanımı, sonradan birçok farklı biçimde yorumlanmaya açıktır ve kontrolün gücünü kırar. Kayıtlar güncellenebilir ve değişiklik geçmişine bakılmadıkça bu güncellemeler görünmez. Gözlemsel çalışmalarda kayıt çok daha az yaygındır, oysa bu tasarımlarda analiz seçenekleri randomize çalışmalardakinden de fazladır.

En sessiz sınır, sonuçların kayda bildirilmemesidir. Tamamlanan çalışmaların sonuçlarını kayıt defterine işlemesi beklenir; bu beklenti her zaman karşılanmaz.

Bu kart kaydın ikinci büyük işini de gösteriyor. Kayıt olmasaydı yayımlanmayan bir çalışmanın var olduğunu bile bilemezdin; kayıt sayesinde en azından yürütüldüğü görülür ve sonucunun neden paylaşılmadığı sorulabilir. Bu sorunun sentez düzeyindeki bedelini yayın yanlılığını işleyen L01-P02-M04-D07 ayrıntılı ele alıyor.

Protokolün kayıttan fazlası

Kayıt kamuya açık bir özettir; protokol asıl belgedir ve kaydın taşımadığı iki önemli bilgi içerir. Birincisi örneklem büyüklüğü hesabıdır: çalışmanın hangi büyüklükteki farkı görmek için tasarlandığını söyler. Bir çalışma "fark gösterilemedi" dediğinde bu cümlenin ne kadar ağırlık taşıdığı, o hesabın hangi farkı hedeflediğine ve planlanan sayıya ulaşılıp ulaşılmadığına bağlıdır. İkincisi analiz planıdır; alt gruplar, eksik veri yöntemi ve istatistiksel model önceden yazılmışsa, aynı veriden birçok savunulabilir analiz çıkarıp beğenileni raporlama esnekliği kapanır.

Giderek yaygınlaşan bir uygulama, protokolün ve analiz planının makaleyle birlikte ek dosya olarak yayımlanmasıdır. Bir çalışma bunu yapıyorsa kontrolü senin yerine kolaylaştırmış olur ve bu tek başına güçlü bir şeffaflık işaretidir.

Klinik gerçeklik

Bir randomize çalışma klinik bir kararını etkileyecekse, onu okurken kayıt kontrolünü bir alışkanlık hâline getir. Önce kayıt numarasının olup olmadığına bak; yoksa bu kontrolün yapılamadığını ve sonucu daha temkinli okuman gerektiğini not et. Varsa tescil tarihini ilk katılımcının alındığı tarihle karşılaştır, ardından kayıttaki birincil sonlanımı ve ölçüm zamanını yayındakiyle yan yana koy. Fark bulursan makalenin bunu açıklayıp açıklamadığını ve gerekçenin veriye bakmadan verilmiş olup olmadığını sor.

Sonra planlanan ve ulaşılan katılımcı sayısını karşılaştır; aradaki fark erken durdurmaya ya da kayba işaret edebilir. Son olarak protokolün ve analiz planının yayımlanıp yayımlanmadığına bak. Bu adımların içinde en yüksek getirili olanı sonlanım karşılaştırmasıdır, çünkü bulduğu şeyi makalenin kendisi hiçbir zaman göstermez. Açılıştaki makale saatinde salonun fikrini değiştiren de bir istatistik bilgisi değil, bir kayıt sayfasını açmak oldu.

Kendini sına

1. Protokol, kayıt ve istatistiksel analiz planını ayır. Üçünün ortak işlevi ne?
2. Kaydın tescil tarihi neden ilk katılımcının alındığı tarihle karşılaştırılır?
3. Açılıştaki çalışmanın kayıt satırı ile yayını arasında hangi dört uyumsuzluk var?
4. Erken durdurma etki tahminini hangi yöne kaydırır ve neden?
5. Sonlanım değişikliklerinin olumlu sonuç lehine toplanması neden rastgele değişiklikten daha endişe vericidir?
6. "Kayıt numarası var" ile "kayıtla uyumlu" neden ayrı şeyler? Değişiklik geçmişi bu ayrıma ne ekliyor?
7. Kaydın sınırlarından üçünü yaz. Sonuçların kayda bildirilmemesi hangi yanlılığı sürdürür?
8. Birincil sonlanım değişikliği ne zaman kabul edilebilir?

Bir sonraki derse köprü

Bu modülün derslerinde randomize bir çalışmanın parçalarını tek tek kurdun: atamayı, kontrol grubunu, körlemeyi ve bu derste kaydı. Sıradaki ders bir kanıt laboratuvarı ve bu parçaların hepsini kurgu bir randomize çalışma metninin üzerinde sırayla sınayacaksın. O metnin yöntem bölümünde bir kayıt numarası arayacaksın; bulamadığında bu dersteki kontrolün neden yapılamadığını ve öznel bir birincil sonlanımın körleme olmadan ne anlama geldiğini kendin söylemen gerekecek.