Protokol ve ön-kayıt

Açılış sahnesi

Bir yoga programının etkisini sınayan küçük bir araştırma ekibine bir öğretmen de katılmış. Program sekiz hafta sürmüş; ekip katılımcılardan on iki farklı ölçüm toplamış: ağrı, uyku, kaygı, esneklik, denge, yorgunluk ve birkaç tane daha. Veriler geldiğinde ekip toplantıya oturuyor.

On iki ölçümün on birinde iki grup neredeyse aynı yerde duruyor. Yalnızca birinde, yorgunlukta, yoga grubu daha iyi. Ekipten biri bir öneri getiriyor: makalenin başlığını yorgunluk üzerine kuralım, öteki ölçümleri ekte kısaca anarız. Bir başkası daha da ileri gidiyor: katılımcıları yaşa göre ayıralım, belki genç olanlarda uyku da düzelmiştir.

Toplantı dağılırken öğretmenin aklında tek bir soru kalıyor: bu çalışma başladığında asıl sorumuz neydi? Yorgunluk muydu, yoksa sonuçlar geldikten sonra mı yorgunluğu sorduğumuzu hatırladık?

Bu derste ne olacak

Bu derste bir çalışmanın planının, veriler toplanmadan önce yazılıp kamuya açık bir yere konmasını ele alıyoruz. Önce bu uygulamanın, ön kaydın, ne olduğunu ve bir çalışmanın hangi kararlarını sabitlediğini göreceğiz. Sonra planın önceden yazılmadığı durumlarda veriler geldikten sonra yapılabilecek seçimlere, veri taramasına ve sonuçlar bilindikten sonra hipotez kurmaya bakacağız. Ardından klinik çalışmaların kayıt sistemlerini ve kayıtlı rapor denen yayın biçimini konuşacağız. En sonda plansız alt grup aramanın neden kırılgan sonuçlar ürettiğine geçeceğiz; burada ten tonu, bir grup hakkındaki iddianın önceden planlanıp planlanmadığının neden önemli olduğunu gösterecek.

Sıfır noktası

Y5.71'de sistematik derlemenin uygunluk ölçütlerini, sonuçlar görülmeden önce yazmasının neden önemli olduğunu gördük; Y5.72'de ise meta-analizin, birleştirdiği çalışmaların nitelik ve seçimlerini devraldığını. Her iki derste de aynı ilke vardı: bir karar, sonuçları görmeden önce verildiğinde daha güvenilirdir.

Bu ders aynı ilkeyi tek bir çalışmanın içine taşıyor. Bir araştırmacı veriler geldikten sonra hangi ölçüme bakacağına, hangi katılımcıları ayıracağına ve hangi çözümlemeyi kullanacağına karar verirse, pek çok olası seçim arasından en iyi sonucu vereni, bilerek ya da bilmeyerek, seçebilir. Açılış sahnesindeki toplantı, tam böyle bir seçimin başladığı andı.

Mekanizma

Planı önceden yazmak

Ön kayıt maddesi, bu uygulamayı bir bilimsel çalışmanın hipotezlerinin, yöntemlerinin ya da çözümlemelerinin çalışma yapılmadan önce kaydedilmesi olarak tanımlıyor. Madde, standart bir ön kayıtta araştırmacıların araştırmayı yapmadan önce bir protokol belgesi hazırladığını ve bu belgenin ideal olarak hipotezleri, örnekleme yöntemini, örneklem büyüklüğünü, araştırma tasarımını, ölçümleri, veri dışlama ölçütlerini ve istatistiksel çözümlemeleri içerdiğini yazıyor. Belge kamuya açık bir internet sitesine konur; çalışma yapılır ve sonuçlar, ön kayıt belgesiyle birlikte yayına gönderilir.

Madde, bu uygulamanın bir amacını açıkça yazıyor: hakemlerin ve okurların ön kayıt belgesini yayımlanan makaleyle karşılaştırarak, testlerin gücünü azaltan fırsatçı sapmaları görebilmesi. Madde önemli bir ayrıntı da ekliyor: plandan sapmalar mümkündür ve uygulamada yaygındır, ama saydam biçimde bildirilmeli ve sapmanın sonuçlar üzerindeki etkisi değerlendirilmelidir.

Veriler geldikten sonra

Planın önceden yazılmadığı durumda neler olabileceğini üç madde anlatıyor. Veri taraması maddesi, bu uygulamayı, veri çözümlemesinin, istatistiksel olarak anlamlı gibi sunulabilecek örüntüler bulmak için kötüye kullanılması olarak tanımlıyor: veriler üzerinde pek çok istatistiksel test yapılır ve yalnızca anlamlı çıkanlar raporlanır; bu da yanlış pozitif sonuç riskini büyük ölçüde artırır ve olduğundan küçük gösterir.

HARKing maddesi, ikinci bir uygulamayı tanımlıyor. Terim, sosyal psikolog Norbert Kerr tarafından konmuş ve sonuçlar bilindikten sonra kurulan bir hipotezin, bir araştırma raporunun girişinde sanki önceden kurulmuş bir hipotezmiş gibi sunulmasını anlatıyor. Madde, bunun bir araştırmacının önceden kurduğu hipotezi sınadıktan sonra, sonuçları görünce o hipotezi raporundan çıkarmasıyla da ortaya çıkabildiğini yazıyor.

Çatallanan yollar sorunu maddesi ise üçüncü ve daha sinsi bir durumu anlatıyor: araştırmacı yalnızca tek bir deney yapsa ve tek bir sonucu raporlasa bile, yöntemleri ve çözümlemeleri uygularken verileri gördükçe yaptığı bir dizi seçim, çok fazla serbestlik bırakarak istemeden yanlış pozitif sonuçlara yol açabilir.

Kayıt sistemleri ve kayıtlı raporlar

Ön kayıt maddesi, klinik çalışmaların kaydını ayrıca anlatıyor: klinik çalışmaların, yapılmadan önce bir klinik çalışma kayıt sistemine kaydedilmesi; amaç, yayın yanlılığı ve seçici raporlamayla mücadele etmek. Madde, Uluslararası Tıp Dergisi Editörleri Komitesi'nin iki bin beş temmuzundan itibaren bir kayıt sistemine kaydedilmemiş çalışmaları yayına kabul etmeyeceğini açıkladığını ve bu kararın muhtemelen çalışma kaydının en önemli itici gücü olduğunu yazıyor. Madde, Dünya Sağlık Örgütü'nün uluslararası bir klinik çalışma kayıt platformu başlattığını da ekliyor.

ClinicalTrials.gov maddesi, bu kayıt sistemlerinin en büyüklerinden birini anlatıyor ve iki yüzü aşkın ülkeden dört yüz binden fazla çalışmanın kaydını tuttuğunu yazıyor. Kayıtlı rapor maddesi ise bir adım daha ileri giden bir yayın biçimini tanımlıyor: araştırma sorusunun, tasarımın ve çözümleme planının, veriler toplanmadan ya da çözümlenmeden önce hakem değerlendirmesinden geçmesi. Madde, bu modelin bilimsel makalelerin değerlendirilmesini sonuçların araştırma sorusunu destekleyip desteklemediğine bakmadan, soru, yöntem ve çözümleme planıyla sınırlamayı amaçladığını yazıyor.

Plansız alt gruplar

Veri taraması maddesi, bu uygulamanın bir biçimini açıkça sayıyor: verilerde ortalamalarında ya da başka bir değişkene göre dağılımlarında farklar gösteren vaka ya da gözlem gruplarını aramak. Bir çalışmanın sonuçları geldikten sonra katılımcıları yaşa, cinsiyete, köken ya da ten gibi özelliklere göre tek tek ayırıp bir fark aramak, tam da bu tür bir aramadır.

Ten tonu burada, bir grup hakkındaki iddianın önceden planlanıp planlanmadığının neden önemli olduğunu gösterir. Kohorttan meta-analize kadar her derste aynı eksik karşımıza çıktı: köken ve ten bilgisi çoğu zaman hiç toplanmamıştı, dolayısıyla etkinin gruptan gruba değişip değişmediği sorusu ortada kalıyordu. Bu soruyu sormanın güvenilir yolu, onu protokole yazmaktır: katılımcıların kökeni ve teni kaydedilecek, etki bu gruplara göre ayrıca incelenecek. Sonuçlar geldikten sonra ortaya atılan koyu tenli katılımcılarda etkinin başka çıktığını söyleyen plansız bir bulgu ise, veri taramasının ya da çatallanan yolların bir ürünü olabilir; ve bir grup hakkında, zayıf bir kanıta dayanan bir yargının yayılmasına yol açabilir.

Örneklerden okuma

Usta katmanı

Bir çalışmanın güvenilirliği yalnızca tasarımına değil, kararlarının ne zaman verildiğine de bağlıdır. Hangi ölçümün asıl ölçüm olduğu, hangi katılımcıların dışlanacağı ve hangi çözümlemenin yapılacağı veriler görüldükten sonra seçilirse, pek çok olası yol arasından en iyi sonucu veren, bilerek ya da bilmeyerek, seçilebilir. Ön kayıt bu kararları önceden sabitler ve okura, yayımlanan çalışmayı planla karşılaştırma imkânı verir.

Bu yüzden usta öğretmenin ilk hareketi kayıt numarasını aramaktır: ön kayıt belgesini bulur ve asıl sorunun, ölçümlerin ve çözümlemelerin planla aynı olup olmadığına bakar. Plandan sapmaları bir kusur saymaz, ama saydam biçimde bildirilip bildirilmediğine bakar. Sonuçlar bilindikten sonra kurulmuş hipotezleri ve plansız alt grup bulgularını, kesin sonuçlar değil, sınanması gereken ipuçları olarak okur.

Gruplar hakkındaki iddialar ayrıca ağırdır ve usta öğretmen bunu hesaba katar. Ten, köken ya da başka bir özelliğe göre bir etkinin farklı olduğunu söyleyen bir bulgunun önceden planlanıp planlanmadığına bakar; bu soruyu güvenilir biçimde sormanın yolunun, onu protokole yazmak ve katılımcıların bu özelliklerini baştan kaydetmek olduğunu bilir.

Yaygın hatalar ve yanlış bilinenler

Uygulama

Aklında kalsın

Ön kayıt, bir çalışmanın hipotezlerini, ölçümlerini ve çözümlemelerini ilk katılımcı gelmeden, herkesin görebileceği bir yere yazar.

Kararlar veriler görüldükten sonra verilirse, en iyi sonucu veren yol, kasıt olmadan da, seçilebilir.

Plandan sapmalar olabilir; önemli olan, saydam biçimde bildirilmeleridir.

Kayıt numarası, okura yayımlanan çalışmayı planla karşılaştırma imkânı verir.

Bir grup hakkındaki güvenilir iddia önceden planlanır; ten ve köken baştan kaydedilir.

Sonraki derse köprü

Bu derste bir çalışmanın kararlarının ne zaman verildiğini ve sonradan yapılan aramaların neden kırılgan olduğunu gördük. Önceki derslerde de bir soruyu tekrar tekrar ileriye bıraktık: iki şeyin birlikte görülmesi, birinin ötekine yol açtığını ne zaman gösterir?

Sıradaki ders bu soruyu doğrudan ele alıyor: ilişki ve nedensellik.

Soru şu: bir öğretmen, yoga ile bir sağlık sonucu arasındaki bir ilişkinin bir neden ilişkisi olup olmadığını değerlendirirken hangi işaretlere bakar ve gündelik dildeki "yoga iyi geliyor" cümlesi bu işaretlerin kaçını taşır?