Etki büyüklüğü ve pratik önem

Açılış sahnesi

Sınamanın sonucu öğrencinin defterinde bir kutu içinde duruyor: iki grup arasındaki fark şansla açıklanamıyor. Kutunun altına bir satır daha eklemesi gerekiyor ve o satırı yazamıyor. Danışmanın sorusu hâlâ yanıtsız: bu fark bir kadının hayatında neye denk geliyor?

Öğrenci sahadaki iki görüşmeyi düşünüyor. Birinde kızı hastanede vardiyalı çalışan bir kadın, haftanın yarısını torunlarıyla geçirdiğini, kendi doktor randevularını ertelediğini anlatmıştı. Ötekinde kızı evde olan bir kadın, torunu hafta sonları ara sıra getirildiğini söylemişti. Tablodaki fark bu iki hayat arasındaki mesafeyi mi gösteriyor, yoksa ikisinin arasında bir yerde, kimsenin fark etmeyeceği bir kaymayı mı? Sınama bu soruya cevap vermiyor. Yalnızca farkın sıfır olmadığını söylüyor.

Bu derste ne olacak

Defterdeki kutu, iki görüşme ve yazılamayan satır kurgu. Bir sonucun rastlantıdan sıyrılmasıyla bir anlam taşıması arasındaki mesafe ise sosyal araştırmanın en eski ve en çok ihmal edilen ayrımlarından biri.

Bu ders anlamlılık sorusunun yanına büyüklük sorusunu koyuyor. Bir farkın ya da ilişkinin ne kadar büyük olduğunu anlatan ölçüler, bu ölçülerin kendi biriminde ve standart bir birimde nasıl verildiği, büyük ya da küçük demenin neye göre yapıldığı ve bir bulgunun uygulamada ne zaman önem taşıdığına kimin, hangi ölçütle karar verdiği dersin konuları. Dersin sonunda bir bulgu raporunun hangi üç bilgiyi birlikte taşıması gerektiği netleşiyor.

Sıfır noktası — Var mı ile ne kadar

Anlamlılık testi evet ya da hayır cevabı veren bir soru sorar: fark şansla açıklanabilir mi? Ama araştırmacının ve okurun asıl merak ettiği çoğu zaman başka bir sorudur: fark ne kadar? Bu ikinci soru bir sayıyla, bir ölçüyle cevaplanır.

Önceki derste büyük örneklemlerde çok küçük farkların bile anlamlı çıktığı görülmüştü. Etki büyüklüğü, bu durumda okurun gözünden kaçabilecek bilgiyi, yani farkın küçüklüğünü görünür kılar.

Mekanizma — Farkı iki birimde anlatmak

Bir etki iki biçimde anlatılabilir. Birincisi, ölçümün kendi biriminde, yani saat, lira, gün ya da kişi cinsinden vermektir.

Ham farkın bir sınırı vardır: farklı birimlerle ölçülmüş bulguları karşılaştırmaya izin vermez. Bakım saatlerindeki bir farkla, bakımdan duyulan memnuniyetin bir ölçekteki farkı hangisi daha büyüktür? Saat ile ölçek puanı aynı dili konuşmaz.

Standartlaştırmanın mantığı sezgiseldir. Kadınların bakım saatleri birbirinden çok farklıysa, iki grup arasındaki birkaç saatlik fark bu büyük çeşitliliğin içinde küçük kalır. Kadınlar birbirine çok benziyorsa, aynı birkaç saat grupları belirgin biçimde ayırır. Standartlaştırılmış fark, bu iki durumu birbirinden ayırt eder.

Etki büyüklüğü yalnızca ortalama farkları için değil, paylar ve ilişkiler için de hesaplanır. İki grubun paylarını karşılaştırırken, istatistik I kursunda görülen göreli risk ile iki payın ham farkı birlikte düşünülmelidir. Göreli risk bir oran olduğu için çoğu zaman etkiyi büyük gösterir, ham fark ise onu gündelik ölçeğe indirir.

Etki büyüklüğünün de bir belirsizliği vardır. Örneklemden hesaplanan her ölçü gibi o da örneklemden örnekleme oynar ve bir güven aralığıyla birlikte verilmelidir. Aralığın alt ucu çok küçük, üst ucu çok büyük bir etkiyi gösteriyorsa, veri etkinin boyutu hakkında pek az şey söylüyordur.

Kuramsal mercekler

Bir etkinin büyük mü küçük mü olduğuna nasıl karar verilir? Bu soruya verilen iki ayrı cevap, iki ayrı düşünme biçimini yansıtır.

Birinci cevap genel eşiklere başvurur. Standartlaştırılmış farklar için küçük, orta ve büyük sayılacak aralıkları belirleyen eşikler yaygın biçimde kullanılır. Bu eşikler, alanı ne olursa olsun bir okura hızlı bir fikir verir.

İkinci cevap bağlama başvurur. Bir etkinin büyüklüğü, aynı alandaki başka bulgularla, müdahalenin maliyetiyle ve sonucun insanların hayatındaki karşılığıyla birlikte değerlendirilir. Bu bakışta, genel eşiklere göre küçük sayılan bir etki, çok sayıda insanı etkilediğinde ya da geri döndürülemez bir sonuçla ilgili olduğunda son derece önemli olabilir.

Ölçek

Etki büyüklüğü tek bir bireyin ölçeğinde ve bir nüfusun ölçeğinde farklı anlamlar taşır. Bir bireyin hayatında fark edilmeyecek bir etki, milyonlarca insana yayıldığında toplumun görünümünü değiştirebilir. Tersine, bir nüfusun ortalamasında küçük görünen bir etki, belirli bir alt grupta çok büyük olabilir ve ortalama o büyüklüğü gizleyebilir.

Etkinin hangi zaman ölçeğinde ölçüldüğü de önemlidir. Bir yılda küçük görünen bir fark, on yıla yayıldığında birikerek büyük bir farka dönüşebilir.

Türkiye bağlamı ve karşılaştırma

Türkiye'de sosyal politikayla ilgili kararlar, örneğin yaşlılara ya da bakım verenlere yönelik bir destek programının sürdürülüp sürdürülmeyeceği, bir araştırma bulgusuna dayandığında pratik önem sorusu kaçınılmaz olarak gündeme gelir. Bir programın etkisinin anlamlı olması yetmez. O etkinin programın maliyetine, alternatif programların etkisine ve ulaştığı insan sayısına göre değerlendirilmesi gerekir.

Uluslararası bilimsel yayıncılıkta, etki büyüklüklerinin raporlanması giderek bir zorunluluk hâline gelmiştir. Bu değişim, yalnız p değeri veren raporların okura bulgunun boyutu hakkında hiçbir şey söylemediği yönündeki eleştirilerin bir sonucudur.

Bu bilgiyi nasıl biliyoruz?

Anlamlılık ile önem arasındaki karışıklığın bilimsel literatürde ne kadar yaygın olduğu, yayımlanmış makalelerin sistematik biçimde incelenmesiyle ortaya konmuştur.

Etki büyüklüğünü raporlamak, bir bulguyu başka araştırmalarla karşılaştırmayı ve birden çok araştırmanın sonuçlarını bir araya getirmeyi de mümkün kılar. Yalnız anlamlılık bildiren araştırmalar birleştirilemez, çünkü anlamlılık örneklem büyüklüğüne bağlıdır. Etki büyüklüğü bildiren araştırmalar ise ortak bir ölçekte yan yana konabilir.

Yaygın hatalar

Aklında kalsın

1. Anlamlılık farkın var olup olmadığını, etki büyüklüğü farkın ne kadar olduğunu söyler.
2. Ham fark bulguyu ölçümün kendi biriminde, gündelik hayatın diliyle anlatır.
3. Standartlaştırılmış fark, farklı birimlerde ölçülmüş bulguları aynı ölçekte karşılaştırmayı sağlar.
4. Göreli ölçü ile ham fark birlikte verilmezse etki olduğundan büyük ya da küçük görünür.
5. Genel etki eşikleri kaba bir kılavuzdur, alanın bilgisinin yerini tutmaz.
6. Pratik önem bir hesap değil, maliyet ve etkilenenlerin bakışına dayanan bir yargıdır.
7. İyi bir bulgu raporu anlamlılığı, etki büyüklüğünü ve onun güven aralığını birlikte taşır.

Sonraki derse köprü

Öğrencinin şimdiye kadar karşılaştırdığı şey ortalamalardı: saatler, puanlar. Ama verisindeki en önemli değişkenlerin bir kısmı ortalaması alınamayan kategorilerden oluşuyor. Büyükannenin bakım sıklığı her gün, haftada birkaç kez ya da ara sıra diye kaydedilmiş. Kızın çalışma durumu tam zamanlı, yarı zamanlı ya da çalışmıyor biçiminde. Bu iki değişkeni bir çapraz tabloya döktüğünde hücreler arasında bir örüntü görüyor. Ama bu örüntü şansla oluşmuş olabilir mi? Değişkenler arasında hiçbir ilişki olmasaydı her hücreye kaç kadın düşerdi ve tablodaki gözlenen sayılar bu beklentiden ne kadar uzaklaşıyor? Kategorik ilişkileri sınamanın aracı ki-kare testidir.