Hipotez üretme ile hipotez sınama

Açılış sahnesi

Aralık başı, ilçe sağlık müdürlüğünün küçük istatistik odası. Nuray Hanım veli anketinin tablosunu istatistikçi Sinan Bey'e getirmiş: bitli bulunan çocuklar ile bulunmayanlar on beş ayrı alışkanlık ve özellik bakımından karşılaştırılmış. Saç uzunluğu, tarak ve şapka paylaşımı, yüzme kursu, servisle okula gitme, yatak odası paylaşımı ve daha fazlası; on dört satırda iki grup birbirine çok benziyor. Tek bir satır öne çıkıyor: kardeşi üç ve daha fazla olan çocuklarda bit daha sık bildirilmiş ve fark istatistiksel olarak anlamlı. Okul-aile birliği şimdiden bir broşür taslağı hazırlamış: "Kalabalık ailelerde bit riski yüksek."

Sinan Bey broşüre bakmadan önce tek bir soru soruyor: "Anketi hazırlarken kardeş sayısının bitle ilişkili çıkacağını kim, nereye yazmıştı?" Kimse yazmamıştı. On beş satırın hepsi birlikte sorulmuş, sonuçlar geldikten sonra içlerinden biri dikkat çekmişti. Bu bir hile değil; bu, keşif denen meşru ve gerekli bir araştırma faaliyeti. Sorun keşfin kendisinde değil, broşürün onu sınanmış bir bulgu gibi sunmasında.

Bu derste ne olacak

Önce iki araştırma modunu, keşfi ve sınamayı tanımlayacağız ve aralarındaki farkın adını koyacağız. Sonra ikisini karıştırmanın neden bu kadar çok yanlış bulgu ürettiğini, Sinan Bey'in tablosu üzerinden basit bir olasılık hesabıyla göreceğiz. Ardından ayrımı koruyan önlemlere ve bir okur olarak onu nasıl fark edeceğine geçeceğiz. Son bölümde modülün dört tasarımını keşif ile sınama ekseninde yerleştireceğiz.

Sıfır noktası

Aradaki farkı, bilimsel açıklamanın özelliklerini işlediğin derste (L01-P01-M01-D03) tanıdığın bir kavram söylüyor: öngörünün riski. Sınamada öngörü risklidir; gerçekleşmeme ihtimali vardır ve gerçekleşirse bu yüzden bilgi taşır. Keşifte risk yoktur, çünkü veriye bakıp sonra "beklediğim buydu" demek her zaman mümkündür. Anket başında "kardeş sayısı bitle ilişkili çıkacak" diye yazılmış olsaydı, o cümle yanlış çıkma tehlikesini göze almış olurdu; sonuç geldikten sonra yazıldığında hiçbir şeyi göze almıyor.

Bu modülün derslerinde sık sık "tanımlayıcı tasarım hipotez üretir, sınamaz" dedik ve cümle şimdi yerine oturuyor. Tanımlayıcı tasarımlar çoğu zaman keşif modunda çalışır. Bu onların kusuru değil, işlevidir: sınanacak soruların büyük kısmı bir vaka raporundan, bir seriden ya da bir anketin beklenmedik satırından doğar.

Mekanizma

Neden karıştırmak bu kadar zararlı

İlk mekanizma çoklu karşılaştırmadır. Anlamlılık için yüzde beşlik bir eşik kullanıldığında, gerçekte hiçbir ilişki olmasa bile her tek karşılaştırmanın şansla "anlamlı" çıkma olasılığı 0,05'tir. Karşılaştırmalar birbirinden bağımsızsa, on beşinin hiçbirinin şansla anlamlı çıkmama olasılığı 0,95 üzeri 15, yani yaklaşık 0,46'dır. Buradan en az birinin şansla anlamlı çıkma olasılığı 1 − 0,95¹⁵ = 1 − 0,46 = 0,54 olur. Sinan Bey'in tablosunda, bitle hiçbir alışkanlık gerçekten ilişkili olmasa bile en az bir satırın parlama ihtimali yarıdan fazla ve beklenen parlayan satır sayısı 15 × 0,05 = 0,75, yani neredeyse bir.

Bu hesabı çoklu test sorununu işleyen derste (L01-P05-M03-D05) bir laboratuvar paneli için kurmuştun; burada aynı mantık bir araştırma analizinde çalışıyor. Önceden ilan edilmiş tek bir hipotezin şansla tutma olasılığı 0,05 iken, sonradan seçilen bir satırın arkasında 0,54'lük bir şans duruyor: 0,54 ÷ 0,05 ≈ 11, yani aşağı yukarı on bir kat. Öngörünün riski bu sayıda somutlaşıyor. Önceden yazılmış öngörü yirmide bir ihtimalle boşa tutar, sonradan seçilmiş olan ise yazı tura kadar kolay.

İkinci mekanizma analitik esnekliktir. Aynı veriden çok sayıda savunulabilir analiz çıkar: kardeş sayısı "üç ve üstü" diye mi kesilir, "dört ve üstü" diye mi, yaşa göre düzeltilir mi, düzeltilmez mi? Hangisinin raporlanacağı sonuç görüldükten sonra seçilirse, anlamlı bulma olasılığı yapay olarak yükselir. Tekrarlanabilirlik dersinde, aynı veriyi alan bağımsız ekiplerin farklı ama savunulabilir yollardan farklı sonuçlara vardığını görmüştün.

Üçüncü mekanizma seçici bildirimdir. Broşür on beş satırdan yalnız birini anlatıyor ve okur paydayı hiç görmüyor. Vaka raporu dersinde karşılaştığın payda sorunu burada analiz düzeyinde geri geliyor: kaç şeye bakıldığını bilmeyen okur, bulunan tek şeyin ne kadar şaşırtıcı olduğunu da bilemez. Üç mekanizma birleştiğinde, sınanmış gibi sunulan keşifsel bir bulgu olduğundan çok daha güçlü görünür.

Ayrım nasıl korunuyor

Ayrımı koruyan önlemlerin hepsi aynı mantığı taşır: niyeti, sonuç görülmeden sabitlemek. En güçlüsü önceden kayıttır; hipotez, birincil sonlanım ve analiz planı veri toplanmadan ilan edilir. Buna birincil ile ikincil sonlanımın ayrımı eşlik eder: bir çalışmanın tek bir birincil sonlanımı olur, kalanlar ikincil ve keşifsel sayılır ve bir haberin "ikincil sonlanımda fark bulundu" demesi, "birincil sonlanımda fark bulundu" demesiyle aynı ağırlığı taşımaz. Hangi alt gruplara bakılacağının baştan tanımlanması ve keşifsel bulguların metinde açıkça öyle etiketlenmesi de aynı işi görür; iyi makaleler bunu yapar ve bu bir zayıflık değil, dürüstlük işaretidir.

Sinan Bey'in önerdiği de tam bu. Anket 2.400 çocuğu kapsıyordu; ilk 1.200 çocukla on beş satır tarandı ve kardeş sayısı öne çıktı: o yarıda kardeşi üç ve daha fazla olan 300 çocuğun 60'ında bit bildirilmişti, 60 ÷ 300 = 0,20, ötekilerde ise 84 ÷ 900 ≈ 0,09. Şimdi hipotez yazılı olarak ilan ediliyor ve kalan 1.200 çocukta yalnız o tek karşılaştırma yapılıyor. Bu yarıda kardeşi üç ve daha fazla olan 300 çocuğun 45'inde bit var, yani 45 ÷ 300 = 0,15; öteki 900 çocuğun 99'unda, yani 99 ÷ 900 = 0,11. Fark keşif yarısındaki 0,20 ile 0,09 arasındaki farktan küçük ve bu da beklenen bir şey, çünkü keşifte seçilen satır şansın da yardımıyla seçilmişti. Artık elde tek bir riskli öngörü ve onu sınayan bağımsız bir veri var; yine de bu sınama yalnız ilişkiyi sınar, kalabalık ailenin bite yol açtığını değil.

Bir okuyucu nasıl fark eder

Metin bunu doğrudan yazmıyorsa, önce kaç şeye bakıldığını ara: ölçülen bütün sonlanımlar sayılmışsa keşif tarafı görünür, yalnız bir bulgu anlatılıyorsa payda kaybolmuştur. Sonra birincil sonlanımın açıkça belirtilip belirtilmediğine bak; metinde birden çok "ana bulgu" varsa bir seçim yapılmış olabilir. Kayıt numarası varsa kayıttaki birincil sonlanımı makaledekiyle karşılaştır; bu, okurun doğrudan yapabileceği bir denetimdir. En sonda dili dinle: keşifsel bir bulgunun doğru fiilleri "gözlendi", "düşündürmektedir", "sınanmalıdır" fiilleridir, "gösterilmiştir" değil.

Bu modüldeki yeri

Modülün tasarımlarını artık tek bir eksende toplayabilirsin. Vaka raporu saf keşiftir ve bir sinyal üretir. Vaka serisi de keşiftir, yalnız daha çok tanımlayıcı ayrıntı taşır. Ekolojik çalışma grup düzeyinde keşif yapar ve kendi düzeyinde, gruplar hakkında, sınırlı bir sınama da yapabilir. Kesitsel çalışma ise sıklık sorusunda sınama, ilişki sorusunda keşif modunda çalışır.

Son cümle modülün en ince noktası: aynı tasarım, sorulan soruya göre mod değiştiriyor. Nuray Hanım'ın anketi ilçedeki bit sıklığı sorusunda önceden tanımlanmış bir ölçümü yapıyordu ve o soruda sınamadır; kardeş sayısı satırında ise keşiftir. Kaynak türleri modülünde kurduğun kaynak–soru eşleşmesi, yani "iyi kaynak diye mutlak bir şey yok" kuralı, tasarımlar için de geçerli: iyi tasarım diye mutlak bir şey yok, bu soru için uygun tasarım var.

Klinik gerçeklik

Bir bulgu duyduğunda önce onun önceden mi arandığını, yoksa sonradan mı bulunduğunu sor. Ardından çalışmanın birincil sonlanımının ne olduğunu ve bu bulgunun o olup olmadığını ara; kaç şeye bakıldığını da öğrenmeye çalış, çünkü on beş karşılaştırmada bir anlamlı satır, yarıdan fazla ihtimalle kendiliğinden çıkar. Bulgu bir alt gruba aitse, o alt grubun önceden tanımlanıp tanımlanmadığına bak.

Son soru keşif ile sınamayı birleştiriyor: bulgu bağımsız bir veride sınandı mı? Keşifsel bir bulgu, bağımsız veride tekrarlandığında sınanmış hâle gelir ve tekrarlanabilirlik dersinin bütün gerekçesi bu cümleye dayanıyordu. Okul-aile birliğinin broşürü için dürüst cümle de buradan çıkıyor: "Anketimizde kardeş sayısıyla bir ilişki gözlendi; bu keşifsel bir bulgu ve başka bir veride sınanması gerekiyor."

Kendini sına

1. Hipotez üretme ile hipotez sınamayı tanımla. Fark hangi kavramla söylenebilir?
2. Karşılaştırmalar bağımsızsa, yirmi karşılaştırmada en az birinin şansla anlamlı çıkma olasılığını hesapla. Beklenen anlamlı satır sayısı kaç?
3. Karıştırmanın zararını üreten üç mekanizmayı Sinan Bey'in tablosundan birer örnekle anlat.
4. "Sonucu gördükten sonra hipotez kurmak" metinde neden görünmez?
5. Ayrımı koruyan dört yapısal önlemi say. Bölünmüş örneklem nasıl çalışır?
6. Bir okurun keşif ile sınamayı ayırt etmesini sağlayan dört işareti say.
7. Modüldeki dört tasarımı keşif/sınama ekseninde yerleştir. Kesitsel çalışma neden iki yerde birden?

Bir sonraki derse köprü

Bu derste keşif ile sınamayı bir anketin satırlarında ayırdın. Sıradaki ders bir kanıt laboratuvarı: yayımlanmış bir kesitsel çalışmanın özetini baştan sona okuyacak ve bu modülün araçlarını sırayla uygulayacaksın. İlk adım bulguya değil tasarıma bakmak olacak ve örneklemden ölçüme, vaka tanımından tabloya kadar her adımda aynı soruyu soracaksın: burada ne öğrendik, neyi hâlâ bilmiyoruz? Özette bir maruziyet eşiğiyle karşılaşacaksın ve bu dersin sorusu orada da geçerli olacak: o eşik veri toplanmadan önce mi belirlendi, yoksa en çarpıcı farkı verdiği için mi seçildi?