Tek çalışmanın abartılması

Açılış sahnesi

Nisan sonunda bir aile sağlığı merkezinde Kemal Bey, lise coğrafya öğretmeni, her bahar olduğu gibi saman nezlesiyle geliyor: burnu akıyor, gözleri kaşınıyor, derslerde sesi burnundan çıkıyor. Muayenenin başında telefonunu aile hekimi Tülin Hanım'a uzatıyor ve iki ekran görüntüsü gösteriyor. Birincisi dört yıl önceki bir bahardan kalma bir haber: "Yeni araştırma: yatak odasındaki hava temizleyici saman nezlesi belirtilerini üçte bir azaltıyor." Kemal Bey o haberi okuyup cihazı almış ve ekran görüntüsünü de saklamış. İkincisi bu sabah okuduğu haber: "Yeni araştırma: hava temizleyicinin saman nezlesine etkisi yok."

Kemal Bey'in sorusu cihazla ilgili değil. "O zaman iyi dediler, şimdi yaramıyor diyorlar. Bunlar ne dediklerini bilmiyor, ben artık hiçbir habere inanmıyorum." Tülin Hanım iki haberi açıp okuyunca bir şey fark ediyor: ikisi de "yeni araştırma" diye başlıyor, ama birincisi altmış kişilik tek bir çalışmayı, ikincisi yedi çalışmayı birleştiren bir derlemeyi anlatıyor ve başlıklarda bu farkın izi bile yok. Bu ders, o iki başlığın neden çelişkili göründüğünü ve Kemal Bey'in vardığı sonucun, yani hiçbir habere inanmamanın, neden haberlerin kendisinden daha büyük bir zarar olduğunu anlatıyor.

Bu derste ne olacak

Önce bilginin oluştuğu ölçek ile haberin çalıştığı ölçeği ayıracağız ve aralarındaki gerilimin neden kimsenin kötü niyetinden gelmediğini göreceğiz. Sonra tek bir çalışmanın ne kadar oynak olduğunu hatırlayacak ve habere hangi çalışmaların seçildiğine bakacağız; seçimin oynaklığı bir kez daha büyüttüğünü göreceksin. Ardından hava temizleyici konusunun dört yıllık haber zincirini baştan sona yürüyeceğiz. Son bölümde bu haberciliğin okurda bıraktığı ikinci etkiye, güvensizliğe, ve onu gideren tek bir cümleye geleceğiz.

Sıfır noktası

Bilimin kendini düzeltmesi dersinde zincirin nerede bittiğini görmüştün: yayından başlayıp hakem değerlendirmesi, yayın sonrası eleştiri ve bağımsız tekrarlamadan geçen bir bulgu, beşinci basamakta sentezle ve altıncıda kılavuz ve uygulama değişikliğiyle yerine oturuyor. Haber ise çoğunlukla ilk basamakta, yayın gününde yazılıyor. Kemal Bey'in iki ekran görüntüsü zincirin iki farklı basamağından geliyor, biri birinci basamaktan, öbürü beşinciden, ama haber ikisini aynı kalıba döküyor. İki birimin uyuşmaması bir kusur değil, yapısal bir gerilim: haber yenilik ister, bilgi ise birikim.

Tekrarlanabilirlik dersinde (L01-P01-M01-D05) bu gerilimin okurdaki izini tek çalışma yanılsaması olarak adlandırmıştın, yani tek bir çalışmanın sonucunu yerleşik bilgi gibi almak. O ders yanılsamanın nasıl yayıldığını sağlık iletişimine bırakmıştı. Bu ders, o yayılmanın haber tarafındaki mekanizmasını kuruyor.

Mekanizma

Tek çalışma ne kadar oynak

Tekrarlanabilirlik dersinde kurulmuştu: tek bir çalışmanın sonucu üç şeyden gelebilir, gerçek etkiden, şanstan ya da yöntemsel bir sapmadan. Tek bir çalışma bu üçünü birbirinden ayıramaz; ayırmanın yolu, başka bir ekibin başka bir ortamda aynı soruyu yeniden sormasıdır. Tekrarlama çalışmaları da yayımlanmış bulguların önemli bir bölümünün bağımsız tekrarlamada doğrulanmadığını göstermişti. Haber tarafında bunun anlamı basit: bugün haber olan bulgunun bir bölümü yarın doğrulanmayacak ve bu bir kehanet değil, tek çalışmanın doğasından çıkan bir beklenti.

Buna bir seçim ekleniyor. Yayımlanan her çalışma haber olmuyor ve haber olanlar rastgele seçilmiyor. Bir haber masasına aynı hafta düşen on çalışmadan hangisinin başlık olacağını, çoğu zaman çalışmanın sağlamlığı değil bulgunun ne kadar şaşırtıcı olduğu belirliyor.

Bu seçim, meta-analiz dersinde (L01-P01-M02-D04) gördüğün bir örüntüyle birleşince ikinci kez çalışıyor. Derya'nın tablosunda küçük çalışmalar büyük olandan daha büyük farklar bulmuştu ve bunun rastlantı olmayabileceğini görmüştün: küçük bir çalışma ancak büyük bir fark bulduğunda anlamlı çıkıyor, anlamlı çıkan da daha kolay yayımlanıyor. Haber değeri seçimi aynı elemeyi bir kez daha uyguluyor, çünkü "üçte bir azaltıyor" gibi büyük bir etki, "biraz azaltıyor olabilir"den çok daha iyi bir başlık. Sonuçta habere ulaşan çalışmalar hem daha çarpıcı hem daha kırılgan oluyor; ilk eleme yayında, ikincisi haber masasında yapılıyor.

Kartın rozetine dikkat et. Haber seçiminin bulguları kırılganlaştırdığı fikri mantıkça sağlam, ama ne kadar kırılganlaştırdığı ölçülmüş değil; kart bu yüzden C taşıyor. Bu derste de "bir bölümü" demenin ötesine geçmiyoruz, çünkü bir oran yazmak kartın taşımadığı bir kesinliği taklit etmek olurdu.

Vakayı Kemal Bey'in gözünden oku. O, birinci haberi okuyup cihazı almış ve üçüncü haberi okuyup güvenini kaybetmiş biri; aradaki ikinci haber hiç önüne gelmemiş. Oysa birinci haber zincirin en kırılgan halkasıydı: küçük, erken ve büyük etkili, yani haber değeri seçiminin tam aradığı türden. İkinci haber de bir "ters dönüş" değildi; büyük çalışma küçük çalışmanın bulduğu etkiyi bulamadı, çünkü o etkinin önemli bir kısmı büyük olasılıkla şanstı ve şansı ayıklamak tam da tekrarlamanın işi. Üçüncü haber ise zincirin en sağlam halkasıydı ve Kemal Bey'e ilk haberle aynı ağırlıkta, aynı "yeni araştırma" etiketiyle ulaştı.

İkinci etki: güvensizlik

Tek çalışmaların art arda haber olması okurda yalnız yanlış bir bilgi bırakmıyor, bir izlenim de bırakıyor: bilim sürekli fikir değiştiriyor. Bilim sürekli değişiyor iddiasını çözümlediğin derste, o iddianın beş önermesinden ilk ikisinin doğru olduğunu görmüştün; öneriler değişiyor ve bazı yerleşik uygulamalar gerçekten terk ediliyor. Aynı derste bir önerinin üç farklı biçimde değişebildiğini de ayırmıştın ve gerçek tersine dönüşün üçünün en nadiri olduğunu. Tek çalışma haberciliği, en nadir türü en sık türmüş gibi gösteren makinelerden biri: Kemal Bey'in iki başlığı arasındaki fark bir tersine dönüş değil, bir kanıt birikiminin başı ve sonu.

Bedel de burada. Kemal Bey'in cümlesi, "hiçbir habere inanmıyorum", kanıta duyulan güvenin aşınmasıdır ve o aşınma boş kalmıyor. Hasta deneyimi dersindeki ironiyi hatırla: dinlenmeyen kişi, onu dinleyen ilk kaynağa gidiyordu. Burada da benzer bir yapı işliyor. Kararsız görünen bilime güvenmeyen kişi, kesin konuşan kaynağa gidiyor; hiçbir zaman fikir değiştirmeyen bir satıcının "kesin çözüm" vaadi, dört yıl içinde üç farklı başlık atan bir haber akışından daha güvenilir görünmeye başlıyor.

Kartın son cümlesi dersin geri kalanını taşıyor. Çelişkinin kendisi ortadan kaldırılamaz, çünkü kanıt birikirken çalışmalar birbirinden farklı sonuçlar verecek. Ama nasıl çerçevelendiği değiştirilebilir ve çerçeve tek bir cümleyle kurulabilir.

Çözüm: bulguyu zincire yerleştirmek

Tek çalışma haberi yapmamak gerçekçi bir öneri değil; haberciliğin birimi bu ve yeni bir bulgunun duyurulmasında yanlış bir şey yok. Değişmesi gereken, bulgunun kanıt gövdesindeki yerinin söylenmesi. Birinci haber şöyle bir cümle taşısaydı her şey farklı okunurdu: "Bu, konuyu inceleyen ilk ve küçük çalışmalardan biri; bulgunun daha büyük çalışmalarda doğrulanması gerekiyor."

O cümle üç şeyden birini ya da hepsini yapabilir. Bulgunun önceki çalışmalarla ilişkisini söyler, onlarla uyumlu mu yoksa onlarla çelişiyor mu. Kanıt gövdesinin durumunu söyler, konu henüz erken aşamada mı yoksa bu çalışma konunun en büyüğü mü. Beklenen sonraki adımı da söyleyebilir: bağımsız doğrulama, daha büyük bir çalışma ya da bekleyen bir derleme. Kanıt kesinliği dersinde kesinliği okura aktarmanın yollarını görmüştün; bu cümle onların haber diline çevrilmiş hâli.

Okur tarafındaki karşılığı tek bir sorudur: "Bu, konudaki tek çalışma mı?" Cevap evetse bulgu bir sinyaldir, bir sonuç değil; hayırsa sorulacak şey, bu çalışmanın gövdenin neresinde durduğudur. Bu soru tek çalışmayı küçümsemek için sorulmuyor. Uyarının hedefi tek çalışmanın değersizliği değil, tek çalışmanın gövdenin yerine konması.

Klinik gerçeklik

Tülin Hanım Kemal Bey'e cihazın işe yarayıp yaramadığını söylemiyor, çünkü bunu bilen bir haber yok. Onun yerine iki haberi birlikte okuyorlar. İlk soru, dört yıl önceki haberin konudaki tek çalışmayı anlatıp anlatmadığı; öyleymiş ve haber bunu söylemiyormuş. Sonra her iki haberin önceki bulgulardan söz edip etmediğine bakıyorlar ve ikisinin de etmediğini görüyorlar, ki bu her ikisinin de eksiği. Üçüncü olarak çalışma büyüklüklerini soruyorlar: altmış kişilik tek bir çalışmada büyük bir etki, temkinle okunması gereken bir sinyal.

Dördüncü soru en verimlisi: konuda bir sentez var mı? Bu sabahki haber, başlığı öyle söylemese de tam olarak buydu ve bir sentez varsa, dört yıl önceki tek çalışma zaten o gövdenin içinde yedi katkıdan birine dönüşüyor. Son olarak ilk haberin bulgunun doğrulanması gerektiğini söyleyip söylemediğine bakıyorlar; söylemiyor. Bu beş sorunun hiçbiri Kemal Bey'e "habere inanma" demiyor; ona her habere aynı güveni vermemeyi, her haberi kendi yerine koymayı öğretiyor. Saman nezlesi için ne yapacakları ise ayrı bir konuşma ve o konuşmanın dayanağı bir başlık değil, gövdenin kendisi.

Klinisyen için ikinci bir ders de var. Bir hasta "yeni araştırma" diye bir haber getirdiğinde, onu küçümsemek Kemal Bey'in güvensizliğini besliyor; hemen benimsemek ise tek çalışma yanılsamasını. Haberi zincire yerleştirerek konuşmak, hem hastanın sorusunu ciddiye alıyor hem de bir sonraki çelişkili haberin kararsızlık gibi okunmasını önlüyor.

Kendini sına

1. Araştırmanın birimi ile haberin birimini ayır. Aralarındaki gerilim neden yapısal, neden bir kötü niyet değil?
2. Tek bir çalışmanın sonucu hangi üç şeyden gelebilir ve hangisini ayırmanın yolu tekrarlamadır?
3. Haber değeri seçimi neden iki kez çalışıyor? İlk eleme nerede, ikincisi nerede yapılıyor?
4. Vakadaki üç haber neden "kararsızlık" gibi görünüyor? Gerçekte ne oluyor?
5. Bu dersin ürettiği ikinci etki ne ve bilim sürekli değişiyor iddiasının hangi önermelerine bağlanıyor?
6. Güvensizlik ile kesin konuşan kaynaklara yönelme arasındaki bağı kendi cümlenle yaz.
7. Kemal Bey'in birinci haberi için bir zincire yerleştirme cümlesi yaz. Cümlen hangi üç işi yapıyor?
8. Okurun tek sorusu ne ve bu soru neden tek çalışmayı değersizleştirmiyor?

Bir sonraki derse köprü

Bu derste haber bir çalışmanın bütününü taşıyordu ve sorun, o bütünün kanıt gövdesinden koparılmasıydı. Sıradaki derste haber bir çalışmanın yalnız bir dilimini taşıyacak: çalışmanın önceden ilan ettiği soru, yani birincil sonlanım, bir fark göstermemişken veri bölünerek bulunmuş bir alt grubu. Orada soracağın şey, kaç dilime bakıldığı olacak; çünkü yeterince bölünen bir veri, hiçbir gerçek etki yokken de bir yerde "anlamlı" bir fark gösterebiliyor.