Önce özete göz atDersin sonundaki özet, okumaya başlamadan önce yol haritası olarak.
Birincisi: ortalama bir dağılımın sıkıştırılmış hâlidir; iyileşen ve kötüleşen katılımcılar aynı ortalamada birbirini götürebilir.
İkincisi: bir sonuç tablosunda bakılacak ilk sayı güven aralığıdır — genişliği kesinliği, "fark yok" değerini içerip içermemesi ise sonucun nasıl okunacağını belirler.
Üçüncüsü: p değeri farkın büyüklüğünü, önemini ya da hipotezin doğruluğunu göstermez ve yaygın eşik bir gelenektir.
Dördüncüsü: göreli yüzdeler mutlak fark küçükken bile büyük görünür; her göreli sayı mutlağa ve "kaç kişide bir" biçimine çevrilerek okunmalıdır.
Beşincisi: etki büyüklüğü bir grup istatistiğidir ve bireysel faydayı göstermez; sonradan yapılan alt grup analizleri sonuç değil, hipotez önerisidir.
Açılış sahnesi
İki cümle. Aynı veriyi anlatıyorlar.
Birinci cümle: "Program, nüks riskini dörtte bir oranında azalttı."
İkinci cümle: "Yirmi kişiden birinde nüksü önledi; diğer on dokuzda tabloyu değiştirmedi."
İkisi de aynı sayıdan çıkabilir. Diyelim ki karşılaştırma grubunda yüz kişiden yirmisi, program grubunda yüz kişiden on beşi nüks yaşadı.
Göreli hesap: yirmiden on beşe düşüş, dörtte bir azalma.
Mutlak hesap: yüz kişide beş kişilik fark. Yani yirmi kişiye program uygulandığında birinde sonuç değişiyor.
Birinci cümle bir tanıtım metnine, ikincisi bir karar toplantısına ait.
Ve fark, verinin kendisinde değil — sunulduğu biçimde.
Bu ders, o biçimlerin ardındaki sayıları okumayı öğretiyor.
Bu derste ne olacak
Önce ortalamanın neyi gizlediğini ve dağılıma bakmanın neden gerektiğini ele alacağız. Sonra güven aralığını kuracağız — bir makalede en çok bilgi veren sayı odur. Ardından p değerine geçeceğiz ve ne söyleyip ne söylemediğini netleştireceğiz. Sonra istatistiksel anlamlılık ile kişi için fark edilir olmayı ayıracağız. Ardından etki büyüklüğünü ele alacağız ve yaygın eşiklerin neden keyfi olduğunu göreceğiz. Sonra mutlak ve göreli değişimi hesaplayacağız. En sonda da heterojenlik ve alt grup analizlerini konuşacağız.
Ders bittiğinde bir sonuç tablosunda hangi sayıya bakacağınızı biliyor, göreli sunumu mutlağa çevirebiliyor ve "anlamlı" kelimesini doğru okuyabiliyor olacaksınız.
Sıfır noktası
Bir sınıfın matematik ortalamasının yetmiş olduğunu düşünün.
Bu sayı üç farklı sınıfı tarif edebilir.
Birincisinde herkes altmış beş ile yetmiş beş arasında. İkincisinde yarısı doksan, yarısı elli. Üçüncüsünde herkes seksen ama bir kişi sıfır almış.
Üç sınıfın da ortalaması aynı ve üçü de tamamen farklı.
Ortalama, bir dağılımın tek bir sayıya sıkıştırılmış hâlidir ve sıkıştırma sırasında bilgi kaybolur.
Sınıf benzetmesinin zayıf tarafı şu: orada bireysel notları görebilirsiniz. Makalelerde çoğu zaman göremezsiniz — yalnızca ortalama ve sapma verilir. Bireysel yanıtları gösteren grafikler yayımlamak son yılların iyi uygulamalarından biri ve hâlâ yaygın değil.
Mekanizma
Güven aralığı: bakılacak ilk sayı
Bir makalede tek bir sayıya bakacaksanız bu olsun.
Nedenini görelim. İki çalışma aynı ortalama farkı bildiriyor: üç puan.
Birincisinin aralığı: iki ile dört arasında. Bu çalışma "fark üç civarında" diyor ve emin.
İkincisinin aralığı: eksi bir ile yedi arasında. Bu çalışma "fark eksi bir de olabilir yedi de" diyor. Yani veri, hiç fark olmamasıyla da uyumlu.
İki çalışmanın ortalaması aynı. Söyledikleri tamamen farklı.
Ve bir uyarı: aralığın yaygın kullanımı "gerçek değerin bu aralıkta olma ihtimali" biçiminde. Teknik olarak aralık, veriyle uyumlu değerleri tarif eder; günlük okumada bu ayrım genellikle sonucu değiştirmiyor ama kesinlik iddiası kurarken önemli.
p değeri ne söyler, ne söylemez
Bu tanım kulağa teknik geliyor ama pratik sonucu çok basit.
p değeri küçük olduğunda söylenebilecek tek şey şudur: bu veri, "hiç fark yok" varsayımıyla kolayca açıklanamıyor.
Söylenemeyecek şeyler: fark büyük, sonuç kesin, hipotez doğrulandı, etki önemli.
Bir de eşik meselesi var. Yaygın kullanılan sınır bir gelenektir, doğa yasası değil. Bu sınırın hemen altındaki ve hemen üstündeki iki sonuç birbirinden neredeyse farksızdır — biri "anlamlı", diğeri "anlamsız" diye raporlanmasına rağmen.
İstatistiksel anlamlılık ile fark edilir olmak
Bu, bu dersin en pratik ayrımı.
Büyük bir çalışmada çok küçük bir fark bile istatistiksel olarak anlamlı çıkar. Bu, farkın kişi için hissedilir olduğu anlamına gelmez.
Bazı ölçekler için bu sorun çözülmüş durumda.
Bir örnekle: bir kaygı ölçeğinde iki puanlık düşüş istatistiksel olarak anlamlı çıkabilir. Ama o ölçek için belirlenmiş fark edilebilir eşik altı puansa, iki puan kişinin hayatında hissedilmiyor demektir.
Bir makalede bu bilgi varsa, sonuç tablosundaki sayıyı doğrudan yorumlayabilirsiniz. Yoksa — ki çoğu zaman yok — en azından sorunun sorulması gerekir.
Etki büyüklüğü ve keyfi eşikler
S6-M05'te etki büyüklüğünü tanımlamıştık. Şimdi yorumuna bakalım.
Yaygın olarak kullanılan eşikler var: küçük, orta, büyük diye adlandırılan üç aralık. Bu eşikler bu alanda sürekli kullanılıyor.
Bilinmesi gereken şey şu: bu eşikler keyfi. Onları öneren kişi de bunu açıkça yazmıştı — bir başlangıç noktası olarak sunulmuşlardı, sınıflandırma kuralı olarak değil.
İki pratik sonuç var.
Birincisi: bağlam belirleyici. Nüfusun tamamına uygulanabilen ucuz bir müdahalede küçük bir etki değerli olabilir; pahalı ve zahmetli bir müdahalede aynı etki yetersiz sayılabilir.
İkincisi ve daha önemlisi: etki büyüklüğü bir grup istatistiğidir. "Orta düzeyde etki" cümlesi, herkesin orta düzeyde fayda gördüğü anlamına gelmez. Grubun bir kısmı belirgin fayda görmüş, bir kısmı hiç değişmemiş, bir kısmı kötüleşmiş olabilir.
Mutlak ve göreli
Şimdi açılıştaki hesaba dönelim ve genelleyelim.
Somut bir hesap yapalım. Sayılar örnek olsun diye seçilmiş, gerçek bir çalışmadan alınmadı.
Diyelim ki bir yıl içinde nüks oranı karşılaştırma grubunda yüzde yirmi, program grubunda yüzde on beş.
Göreli azalma: beş bölü yirmi, yani dörtte bir — yüzde yirmi beş.
Mutlak azalma: beş yüzde puanı.
Ve üçüncü bir sayı daha var, en anlaşılır olanı.
Bizim örneğimizde mutlak fark yüzde beş, yani yirmide bir. Tersi yirmi.
Yani yirmi kişiye program uygulandığında birinde nüks önleniyor.
Bu sayı düşük değil — sağlık alanında birçok kabul görmüş müdahalenin sayısı bundan yüksektir. Ama "dörtte bir azalma" cümlesinden çok farklı bir izlenim veriyor.
Bir haberde göreli bir yüzde gördüğünüzde sorulacak soru şu: neyin yüzdesi ve mutlak fark kaç?
Heterojenlik ve alt gruplar
Son bölüm.
S7-M02'de heterojenliği tanımlamıştık: bir meta-analize giren çalışmaların birbirinden ne kadar farklı olduğu.
Yüksek heterojenlik varsa ortalama bir sayı üretmek yanıltıcı olabilir. Farklı programlar, farklı gruplar ve farklı ölçütler tek sayıya toplandığında o sayı hiçbir gerçek durumu tarif etmiyor olabilir.
Alt grup analizleri bu sorunun bir cevabı gibi görünür ama kendi tuzağını taşır.
Bir veri setinde yeterince çok alt grup incelerseniz, bazılarında tesadüfen anlamlı sonuç çıkar. S6-M03'te bu sorunu beyin görüntülemede görmüştük; burada da aynı mekanizma çalışıyor.
Ayrım şu: önceden planlanmış alt grup analizi bir testtir; sonradan yapılan alt grup analizi bir hipotez önerisidir.
İkincisi değersiz değil — ama bir sonuç olarak sunulamaz, yalnızca ileri çalışma önerisi olarak.
Örneklerden okuma
İki aralık
Eşiğin iki yanı
Yüzdenin çevrilmesi
Ortalamanın altındaki iki grup
Usta katmanı
Üç ileri not.
Birincisi: bu alanda en çok ihmal edilen sayı, kötüleşen katılımcı oranı. Grup ortalaması iyileşme gösterse bile, kaç kişinin kötüleştiği ayrıca raporlanabilir ve bu, S6-M08'de tarif ettiğimiz güvenlik boşluğunu doğrudan kapatır. Bu sayı neredeyse hiç verilmiyor.
İkincisi: güven aralığının genişliği örneklem büyüklüğüne bağlı ve bu, küçük çalışmaların neden yanıltıcı olabileceğini açıklıyor. Küçük bir çalışmada bulunan büyük bir etki, çoğu zaman geniş bir aralıkla gelir — yani "büyük etki" bulgusu aslında "ne kadar olduğunu bilmiyoruz" demektir.
Üçüncüsü: sayıları okumak, alanı reddetmek için değil ağırlıklandırmak için. Bu seviyenin sonunda hedef, her bulguyu çürütmek değil, hangi bulguya ne kadar güveneceğinizi bilmek. Bu ayrım, eleştirel okuma ile inkârcılık arasındaki farkı belirliyor.
Yaygın hatalar ve yanlış bilinenler
Yaygın yanlış"p değeri küçük çıktı, sonuç kesin."
· p değeri, verinin "hiç fark yok" varsayımıyla ne kadar uyumlu olduğunu söyler; kesinliği, büyüklüğü ya da hipotezin doğruluğunu göstermez. Yaygın eşik bir gelenektir ve eşiğin iki yanındaki sonuçlar birbirine çok yakındır.
Yaygın yanlış"Yüzde otuz azalma büyük bir etkidir."
· Göreli yüzdeler, mutlak fark küçük olduğunda bile büyük görünür. Sorulacak soru şudur: neyin yüzdesi, mutlak fark kaç ve bir kişide sonucun değişmesi için kaç kişiye uygulanması gerekiyor?
Yaygın yanlış"Etki büyüklüğü orta çıktı, demek ki herkes orta düzeyde fayda gördü."
· Etki büyüklüğü bir grup istatistiğidir. Grubun bir kısmı belirgin fayda görmüş, bir kısmı hiç değişmemiş, bir kısmı kötüleşmiş olabilir ve ortalama bunların hepsini tek sayıya sıkıştırır.
Yaygın yanlış"Güven aralığı sıfırı içeriyor ama ortalama olumlu yönde, demek ki işe yarıyor."
· Aralık "fark yok" değerini içeriyorsa, veri hiç fark olmamasıyla da uyumludur. Ortalamanın yönü bir eğilim gösterir ama tek başına sonuç oluşturmaz; gereken şey daha büyük ve daha kesin bir çalışmadır.
Sınırlar
Bu ders bir istatistik eğitimi değildir ve buradaki kavramlar, gerçek bir analiz yapmak için yeterli değildir.
Bu araçlar bir çalışmayı çürütmek için de kullanılmaz. Geniş bir güven aralığı, sonucun yanlış olduğunu değil, belirsiz olduğunu gösterir.
Kendi ölçümlerinize bu kavramları uygularken dikkatli olun: birkaç haftalık kişisel veri, istatistiksel çıkarım için uygun değildir. Kendi verinizden okuyabileceğiniz şey bir örüntüdür, bir sonuç değil.
Ve tıbbi sınır: hiçbir sayı, tedavi kararının gerekçesi değildir. Bir müdahalenin sizin için uygun olup olmadığı, sizi tanıyan bir sağlık çalışanıyla belirlenir; S0-M02'deki sınırlar geçerli.
Uygulamalı çalışma
Bir sonuç tablosu ya da özet bulun ve altı adımı sırayla uygulayın.
Birinci adım. Ortalama farkı bulun ve yanındaki güven aralığını yazın.
İkinci adım. Aralık "fark yok" değerini içeriyor mu? İçeriyorsa sonucu buna göre okuyun.
Üçüncü adım. Etki büyüklüğü verilmiş mi? Verilmişse, hangi ölçekte ve hangi karşılaştırmaya göre?
Dördüncü adım. Yüzde ifadesi varsa mutlağa çevirin: kaç kişide kaç kişilik fark?
Beşinci adım. Ölçekte fark edilebilir eşik bilgisi verilmiş mi? Verilmemişse, bulunan farkın kişi düzeyinde ne anlama geldiği bilinmiyor demektir.
Altıncı adım. Bireysel yanıt dağılımı gösterilmiş mi, yoksa yalnızca ortalama mı verilmiş? Kötüleşen katılımcı sayısı raporlanmış mı?
Altıncı adımın cevabı çoğu makalede "hayır" olacak. Bu, makalenin kötü olduğunu göstermez — alanın standardının henüz orada olmadığını gösterir.
Kendin dene
Kilit özet
Birincisi: ortalama bir dağılımın sıkıştırılmış hâlidir; iyileşen ve kötüleşen katılımcılar aynı ortalamada birbirini götürebilir.
İkincisi: bir sonuç tablosunda bakılacak ilk sayı güven aralığıdır — genişliği kesinliği, "fark yok" değerini içerip içermemesi ise sonucun nasıl okunacağını belirler.
Üçüncüsü: p değeri farkın büyüklüğünü, önemini ya da hipotezin doğruluğunu göstermez ve yaygın eşik bir gelenektir.
Dördüncüsü: göreli yüzdeler mutlak fark küçükken bile büyük görünür; her göreli sayı mutlağa ve "kaç kişide bir" biçimine çevrilerek okunmalıdır.
Beşincisi: etki büyüklüğü bir grup istatistiğidir ve bireysel faydayı göstermez; sonradan yapılan alt grup analizleri sonuç değil, hipotez önerisidir.
Sonraki derse köprü
Bu derste sayıları okuduk. Ama bir şeyi henüz konuşmadık: bu sayılar nasıl bu hâle geldi?
Bir çalışmanın sonucu yalnızca gerçekliği yansıtmaz. Kimin katıldığı, hangi çalışmaların yayımlandığı, hangi sonuçların raporlandığı ve karşılaştırma grubunun nasıl seçildiği — bunların hepsi sayıyı şekillendirir.
Bunlara topluca yanlılık deniyor ve bir kötü niyet göstergesi değiller. Yanlılık, iyi niyetli araştırmada da çalışır ve tam da bu yüzden yapısal önlemler gerekir.
Bir sonraki ders olan S7-M04 yanlılık ve karşılaştırmaları ele alıyor: seçim, yayın ve raporlama yanlılığını, bekleme listesi ile aktif kontrol farkını, körleme güçlüğünü, eğitmen bağlılığı ile tedavi sadakatini, ve araştırmacının yönteme bağlılığını.
Animasyon ve seslendirme notları
Animasyon ve seslendirme notları
Görsel an — açılışta: aynı veriden çıkan iki cümle yan yana. Altlarında aynı iki çubuk grafik; biri oranla, diğeri kişi sayısıyla etiketlenmiş.
Görsel an — üç sınıf: aynı ortalama, üç farklı dağılım. Üç histogram sırayla beliriyor; ortalama çizgisi üçünde de aynı yerde duruyor.
Görsel an — iki aralık: aynı ortalama nokta, iki farklı genişlikte çubuk. Sıfır çizgisi ekranda sabit; ikinci çubuk çizgiyi kesiyor.
Görsel an — eşiğin iki yanı: iki sonuç noktası eşik çizgisinin hemen altında ve üstünde. İkisine iki farklı etiket düşüyor; noktalar arasındaki mesafe neredeyse yok.
Görsel an — mutlağa çevirme: yüz kişilik bir ızgara. Karşılaştırma grubunda yirmi figür işaretli, program grubunda on beş. Fark beş figür olarak vurgulanıyor ve yirmi kişilik bir kutu çiziliyor.
Görsel an — bireysel yanıtlar: önce tek bir ortalama çubuk; sonra çubuk dağılıyor ve tek tek katılımcı noktaları görünüyor — bir kısmı yukarı, bir kısmı sabit, birkaçı aşağı.
Motif — ders boyunca köşede bir kontrol listesi: ortalama, aralık, etki büyüklüğü, mutlak fark, eşik, dağılım. Anlatılan madde işaretleniyor.
Ritim — açılıştaki iki cümle arasında iki saniye. Hesap yapılırken sayılar yavaş ve net okunmalı. p değeri tanımı acele edilmeden verilmeli. Kilit özette beş cümle arasında birer saniye.