Hipotez testi

Öğrenme çıktıları

• Hatırlama — Sıfır hipotezini, p değerini, anlamlılık düzeyini, birinci ve ikinci tür hatayı ve testin gücünü tanımlar.
• Anlama — Bir p değerinin neyi ölçtüğünü ve neyi ölçmediğini, istatistiksel anlamlılığın neden pratik önemle aynı şey olmadığını açıklar.
• Uygulama — Bir ortalama için test istatistiğini ve yaklaşık p değerini hesaplar; örneklem büyüklüğünün sonuca etkisini gösterir.
• Değerlendirme — «İstatistiksel olarak anlamlı» bulunan bir sonucun güvenilirliğini, testin gücü, yapılan test sayısı ve tekrarlanabilirlik açısından değerlendirir.

Sezgi

Açılış

Bir zincir market yeni bir sadakat programı başlatıyor ve birkaç hafta sonra programa katılan müşterilerin sepet tutarının ortalamanın üstünde olduğunu açıklıyor. Yöneticiler memnun, ama bir analist temkinli bir soru soruyor: bu fark programın etkisi mi, yoksa rastgele seçilmiş birkaç düzine müşterinin şans eseri biraz daha fazla harcaması mı?

Bu soru, iktisatta ve bilimde her gün sorulur. Bir asgari ücret artışının istihdamı azaltıp azaltmadığı, bir eğitim programının geliri artırıp artırmadığı, bir ilacın hastalığı iyileştirip iyileştirmediği: hepsinde veride bir fark görülür ve bu farkın şansla açıklanıp açıklanamayacağı sorulur.

Hipotez testi, bu soruya cevap vermek için geliştirilmiş bir karar yöntemidir. Güçlüdür, yaygındır ve aynı zamanda istatistiğin en çok yanlış anlaşılan aracıdır. Bu ders, testin nasıl işlediğini ve «istatistiksel olarak anlamlı» ifadesinin gerçekte ne söyleyip ne söylemediğini ele alıyor.

Hikâye — Bir fincan çay

1920'lerde İngiltere'de, bir tarım araştırma istasyonunda çalışan istatistikçi Ronald Fisher'ın çevresinde anlatılan bir hikâye, hipotez testinin en ünlü örneği oldu. Anlatılana göre bir meslektaşı, çayına sütün önce mi yoksa sonra mı konduğunu tadından ayırt edebileceğini söyledi. Çevredekilerin çoğu bunun imkânsız olduğunu düşündü. Fisher ise iddiayı sınamak için bir deney tasarlamaya koyuldu.

Fisher bu tasarımı 1935'te yayımladığı The Design of Experiments kitabının girişinde anlattı. Sekiz fincan çay hazırlanacaktı: dördünde önce süt, dördünde önce çay konacaktı. Fincanlar rastgele bir sırayla sunulacak ve tadımcıdan hangi dördünde sütün önce konduğunu bulması istenecekti. Tadımcıya fincanların dörder dörder bölündüğü söylenecekti.

Fisher'ın asıl sorusu şuydu: tadımcının hiçbir yeteneği yoksa ve yalnızca tahmin ediyorsa, dört fincanı da doğru bulma olasılığı nedir? Sekiz fincandan dördünü seçmenin yetmiş farklı yolu vardı ve bunlardan yalnızca biri tamamen doğruydu. Yani şans eseri dördünü de bilme olasılığı yetmişte birdi, yüzde 1,4'ün biraz üstünde. Tadımcı dördünü de doğru bilirse, «şansla» açıklaması çok zorlaşır ve iddia ciddiye alınmalıdır.

Fisher bir adım daha attı ve dört fincandan üçünü doğru bilmenin yeterli olup olmadığını sordu. Şans eseri en az üçünü doğru bilme olasılığı yetmişte on yediydi, yaklaşık yüzde 24. Bu, şansla kolayca açıklanabilecek bir sonuçtu. Deney bu yüzden ancak kusursuz bir performansı ikna edici sayacak biçimde tasarlanmıştı. Fisher'ın kitabı deneyin sonucunu değil, bu akıl yürütmeyi anlatır: bir iddiayı sınamanın yolu, iddia yanlışsa neler görebileceğimizi önceden hesaplamaktır.

Kavram

Hipotez testinin mantığı, bir iddiayı doğrudan kanıtlamak yerine, onun tersinin veriyle ne kadar uyumlu olduğunu sormaktır.

Her karar yöntemi gibi hipotez testi de iki farklı biçimde yanılabilir.

Veri ve kanıt

P değerleri, yüzyıla yakın bir süre boyunca bilimsel yayıncılığın ortak dili oldu. Ama yanlış kullanımları o kadar yaygınlaştı ki dünyanın en büyük istatistik kuruluşlarından biri, alışılmadık bir adım atarak bir ilke bildirisi yayımladı.

Bildirinin arka planında, pek çok alanda yayımlanmış bulguların tekrarlandığında aynı sonucu vermediği kaygısı vardı. İktisat da bu tartışmanın dışında kalmadı.

Bu sonuç iki biçimde okunabilir. İyimser okuma, iktisat deneylerinin çoğunun tekrarlandığını vurgular. Temkinli okuma ise yayımlanan bulguların üçte birinden fazlasının tekrarlanamadığına ve tekrarlananların bile özgün çalışmada olduğundan küçük çıktığına dikkat çeker. İkinci gözlem, anlamlı sonuçların yayımlanma olasılığının daha yüksek olmasıyla uyumludur.

Neden önemli?

İktisat politikası tartışmalarının önemli bir kısmı, istatistiksel testlerin sonuçlarına dayanır. Bir destek programının etkili olup olmadığı, bir vergi değişikliğinin yatırımı etkileyip etkilemediği, bir düzenlemenin fiyatları düşürüp düşürmediği sorularına verilen cevaplar, çoğu zaman «anlamlı bir etki bulundu» ya da «bulunamadı» cümleleriyle kamuoyuna ulaşır. Bu cümlelerin doğru okunması, kararların kalitesini doğrudan etkiler.

İşletmeler de hipotez testlerini gündelik olarak kullanır. Bir web sitesinin iki farklı tasarımı, bir reklamın iki farklı metni ya da bir ürünün iki farklı fiyatı rastgele müşteri gruplarında denenir ve sonuçlar karşılaştırılır. Bu deneylerin yanlış yorumlanması, gerçek olmayan bir etkiye yatırım yapmaya ya da gerçek bir fırsatı kaçırmaya yol açabilir.

Haber okurken de bu kavramlar işe yarar. «Araştırma, X'in Y'yi artırdığını gösterdi» cümlesinin arkasında çoğu zaman tek bir anlamlı sonuç vardır. Etkinin ne kadar büyük olduğunu, örneklemin ne kadar geniş olduğunu ve sonucun başka çalışmalarda tekrarlanıp tekrarlanmadığını sormak, abartılı başlıklara karşı en iyi savunmadır.

Model

Testin mantığı

Hipotez testi, bir tür dolaylı kanıttır. Doğrudan «etki var» demek yerine, önce etkinin olmadığını varsayarız ve bu varsayım altında verinin nasıl görünmesi gerektiğini hesaplarız. Sonra gözlenen veriyi bu beklentiyle karşılaştırırız. Gözlenen sonuç, etkisizlik varsayımı altında çok nadir görülecek bir sonuçsa, bu varsayımdan şüphe etmek için bir gerekçemiz olur. Mantık, bir mahkemedeki masumiyet karinesine benzer: sanık, aksi yeterince güçlü biçimde gösterilene kadar masum sayılır. Test de sıfır hipotezini, veri onunla yeterince uyumsuz olana kadar korur.

Adım adım bir test

Bir hipotez testi dört adımda yürür. İlk olarak sıfır hipotezi ve alternatif hipotez açıkça yazılır: programın etkisi sıfırdır; programın etkisi sıfır değildir. Ardından veriden bir test istatistiği hesaplanır: çoğu zaman gözlenen farkın standart hatasına oranı, yani bir standart puan. Sonra bu istatistiğin, sıfır hipotezi doğruysa hangi dağılıma uyacağı belirlenir ve p değeri bu dağılımdan bulunur. Son olarak p değeri, önceden seçilmiş anlamlılık düzeyiyle karşılaştırılır. Eşiğin önceden seçilmesi önemlidir: sonucu gördükten sonra eşiği ayarlamak testin anlamını ortadan kaldırır.

Test istatistiği

Bir ortalama için test istatistiği, gözlenen ortalama ile sıfır hipotezinin öngördüğü değer arasındaki farkın standart hataya bölünmesidir. Bu oran, farkın kaç standart hata büyüklüğünde olduğunu gösterir. Sıfır hipotezi doğruysa ve örneklem yeterince büyükse, merkezî limit teoremi sayesinde bu oran yaklaşık standart normal dağılıma uyar; küçük örneklemlerde ve standart sapma örneklemden tahmin edildiğinde t dağılımına uyar. Farkın standart hatanın iki katı civarında olması, sıfır hipotezi altında yaklaşık yüzde 5 olasılıkla görülecek bir sonuca karşılık gelir.

Tek yönlü ve iki yönlü testler

Alternatif hipotez iki biçimde kurulabilir. İki yönlü bir test, etkinin sıfırdan farklı olup olmadığını sorar; artış ya da azalış fark etmez. Tek yönlü bir test ise yalnızca bir yönü sorar: program sepet tutarını artırdı mı? Tek yönlü testte aynı veri daha küçük bir p değeri verir, çünkü olasılık yalnızca bir kuyruğa bakılarak hesaplanır. Bu yüzden tek yönlü test, ancak öbür yöndeki bir sonucun gerçekten anlamsız olacağı önceden biliniyorsa ve bu seçim veriyi görmeden yapılmışsa uygundur. Sonucu gördükten sonra tek yönlü teste geçmek, anlamlılığı yapay biçimde kolaylaştırır.

Güven aralığıyla ilişkisi

Hipotez testi ile güven aralığı aynı madalyonun iki yüzüdür. Etki için kurulan yüzde 95 düzeyindeki aralık sıfırı içermiyorsa, iki yönlü bir test yüzde 5 düzeyinde sıfır hipotezini reddeder; aralık sıfırı içeriyorsa reddetmez. Ama aralık, testten daha fazla bilgi verir. Test yalnızca «anlamlı» ya da «anlamlı değil» der; aralık ise etkinin ne kadar büyük olabileceğini de gösterir. Geniş bir aralık sıfırı içerse bile, büyük bir etkiyi dışlamıyorsa, «etki yok» sonucuna varmak yanlış olur. Bu yüzden pek çok istatistikçi, yalnızca p değeri yerine güven aralıklarının raporlanmasını önerir.

Çözümlü örnek — Sadakat programı

Programdan önce müşterilerin ortalama sepet tutarı uzun dönem verisinden 500 lira olarak biliniyor olsun. Programa katılan müşterilerden rastgele seçilen 64'ünün ortalama sepet tutarı 530 lira, standart sapması 120 lira çıksın.

Hipotezler. Sıfır hipotezi: programa katılanların ortalama sepet tutarı 500 liradır. Alternatif hipotez: 500 liradan farklıdır. Anlamlılık düzeyi yüzde 5 olarak önceden seçilir.

Test istatistiği. Standart hata 120 ÷ √64 = 15 liradır. Test istatistiği (530 − 500) ÷ 15 = 2,0.

P değeri. Normal yaklaşımla, iki yönlü p değeri yaklaşık 0,046'dır; 63 serbestlik derecesindeki t dağılımıyla yaklaşık 0,050'dir. Sonuç, yüzde 5 eşiğinin hemen sınırındadır.

Örneklem küçük olsaydı. Aynı ortalama ve standart sapma yalnızca 16 müşteriden gelseydi, standart hata 120 ÷ 4 = 30, test istatistiği 1,0 ve p değeri yaklaşık 0,32 olurdu. Aynı 30 liralık fark, anlamlı olmaktan çok uzak kalırdı.

Örneklem çok büyük olsaydı. 10.000 müşteride ortalama yalnızca 503 lira çıksaydı, standart hata 1,2 lira, test istatistiği 2,5 ve p değeri yaklaşık 0,012 olurdu. Sonuç anlamlıdır, ama 3 liralık bir artış programın maliyetini karşılamayabilir.

Yorum. Anlamlılık, farkın büyüklüğüne olduğu kadar örneklemin büyüklüğüne de bağlıdır. Küçük örneklemde büyük bir fark gözden kaçabilir; büyük örneklemde önemsiz bir fark anlamlı çıkabilir.

İki grubu karşılaştırmak

İktisattaki testlerin çoğu, bir grubu bilinen bir değerle değil, iki grubu birbiriyle karşılaştırır. Bir bankanın, kredi borçlularından rastgele seçilen 200'üne ödeme günü yaklaşınca kısa bir hatırlatma mesajı gönderdiğini, 200'üne göndermediğini düşünelim. Zamanında ödeme oranı gibi bir ölçüt yerine, basitlik için her borçlunun bir puanını ölçelim: mesaj alanlarda ortalama 61, almayanlarda 54, her iki grupta standart sapma 40 olsun. Farkın standart hatası √(40² ÷ 200 + 40² ÷ 200) = 4, test istatistiği 7 ÷ 4 = 1,75 ve iki yönlü p değeri yaklaşık 0,08'dir. Yüzde 5 düzeyinde anlamlı değildir. Ama fark için kurulan yüzde 95'lik aralık yaklaşık −0,8 ile 14,8 arasındadır: veri, sıfıra yakın bir etkiyle de oldukça büyük bir etkiyle de uyumludur. Doğru sonuç «etki yok» değil, «bu örneklem karar vermeye yetmiyor»dur.

Rastgele atamanın gücü

Hipotez testinin nedensel bir sonuca izin vermesi, grupların nasıl oluşturulduğuna bağlıdır. Fisher'ın çay deneyinde fincanların sırası rastgele belirleniyordu; bu sayede sonuç yalnızca tadımcının yeteneğine ya da şansa bağlı olabilirdi. Hatırlatma mesajı örneğinde de borçlular gruplara rastgele atanmıştır. Rastgele atama, iki grubun mesaj dışındaki her bakımdan ortalamada benzer olmasını sağlar; aradaki fark ya mesajın etkisidir ya da şanstır, ve şansın payını test ölçer. Gruplar kendiliğinden oluştuğunda, örneğin mesaj almayı kendileri seçenlerle seçmeyenler karşılaştırıldığında, anlamlı bir fark grupların baştan farklı olmasından da kaynaklanabilir.

İki okul, tek alışkanlık

Bugün öğretilen hipotez testi, aslında iki farklı geleneğin karışımıdır. Fisher, p değerini bir kanıt ölçüsü olarak gördü: ne kadar küçükse, veri sıfır hipotezine o kadar meydan okur. Jerzy Neyman ile Egon Pearson ise testi bir karar kuralı olarak kurdu: önceden bir anlamlılık düzeyi ve bir alternatif hipotez seçilir, iki tür hata dengelenir ve sonuç yalnızca «reddet» ya da «reddetme»dir. İki yaklaşımın savunucuları arasındaki tartışma yıllarca sert biçimde sürdü. Ders kitaplarının çoğu, iki yaklaşımı birleştiren melez bir yöntem öğretir; eleştirmenler, p değerine dair yanlış anlamaların bir kısmının bu melez yapıdan doğduğunu savunur.

İstatistiksel anlamlılık ve pratik önem

Çözümlü örneğin son adımı, hipotez testinin en sık gözden kaçan dersini gösterir. İstatistiksel anlamlılık, bir farkın şansla açıklanmasının zor olduğunu söyler; farkın önemli olduğunu söylemez. Çok büyük veri kümelerinde, ekonomik olarak hiçbir anlamı olmayan küçük farklar bile anlamlı çıkar. Tersine, küçük örneklemlerde ekonomik olarak çok önemli farklar anlamsız görünebilir. Bu yüzden iyi bir analiz, p değerinin yanında etkinin büyüklüğünü, güven aralığını ve bu büyüklüğün iktisadi anlamını birlikte raporlar: artış kaç lira, yüzde kaç, maliyeti karşılıyor mu?

İki tür hata arasındaki denge

Birinci ve ikinci tür hatalar arasında bir ödünleşim vardır. Anlamlılık düzeyini düşürmek, örneğin yüzde 5 yerine yüzde 1 kullanmak, olmayan etkileri görme riskini azaltır; ama var olan etkileri kaçırma riskini artırır. Hangi hatanın daha pahalı olduğu bağlama bağlıdır. Yeni bir ilacın onaylanmasında etkisiz bir ilacı onaylamak ciddi bir maliyettir; bir işletmenin küçük bir reklam denemesinde ise etkili bir reklamı kaçırmak daha pahalı olabilir. Yüzde 5 eşiği bir gelenektir, doğanın bir kuralı değildir; eşik, hataların bedeline göre seçilmelidir.

Testin gücü

Bir testin gücü, gerçek bir etkiyi yakalama olasılığıdır ve dört etkene bağlıdır: etkinin büyüklüğü, verideki gürültü, örneklemin büyüklüğü ve seçilen anlamlılık düzeyi. Küçük bir etkiyi gürültülü bir veride küçük bir örneklemle aramak, düşük güçlü bir testtir; sonuç büyük olasılıkla «anlamlı değil» çıkar, etki var olsa bile. Bu yüzden iyi tasarlanmış çalışmalar, veri toplamadan önce bir güç hesabı yapar: beklenen etkiyi yüzde 80 ya da 90 olasılıkla yakalamak için kaç gözlem gerektiğini hesaplar. Camerer ve arkadaşlarının tekrarlama çalışmasında her deneyin en az yüzde 90 güçle tasarlanması bu yüzdendir.

Düşük gücün gizli bedeli

Düşük güçlü testlerin bir bedeli daha vardır. Böyle bir test ancak şans eseri büyük çıkan etkileri anlamlı bulabilir. Anlamlı çıkan ve yayımlanan sonuçlar bu yüzden gerçek etkiden sistematik olarak büyük olur. Aynı çalışma daha büyük bir örneklemle tekrarlandığında, etki küçülür ya da kaybolur. Tekrarlama çalışmalarında gözlenen etkilerin özgün çalışmalardakinden küçük çıkması, bu mekanizmayla uyumludur. Küçük örneklemden gelen büyük ve heyecan verici bir sonuç, bu yüzden özellikle temkinle okunmalıdır.

Anlamlı sonuçların ne kadarı doğru?

Olasılık dersindeki Bayes mantığı hipotez testlerine de uygulanır. Bir alanda sınanan 1.000 hipotezden yalnızca 100'ünün gerçekten doğru olduğunu, testlerin gücünün yüzde 80 ve anlamlılık düzeyinin yüzde 5 olduğunu düşünelim. Doğru 100 hipotezin 80'i anlamlı çıkar. Yanlış 900 hipotezin yüzde 5'i, yani 45'i de şans eseri anlamlı çıkar. Toplam 125 anlamlı sonucun 45'i, yani yüzde 36'sı yanlış bir keşiftir. Taban oranı düştükçe ve güç azaldıkça bu oran yükselir. Epidemiyolog John Ioannidis, 2005'te yayımladığı bir makalede bu mantıkla, pek çok alanda yayımlanmış bulguların önemli bir kısmının yanlış olabileceğini savundu.

Çoklu test ve veriyle oynamak

Yüzde 5'lik bir anlamlılık düzeyi, yirmi bağımsız testten birinin şans eseri anlamlı çıkmasını bekler. Bir araştırmacı aynı veride pek çok farklı soruyu, alt grubu ya da değişkeni denerse, bunlardan bazılarının anlamlı çıkması neredeyse kaçınılmazdır. Yalnızca anlamlı çıkanlar raporlanırsa, okuyucu yanıltılmış olur. Bu uygulamaya veriyle oynamak (p-hacking) denir ve çoğu zaman kasıtlı değildir: analiz kararları, sonucu gördükçe farkında olmadan değiştirilir. Abel Brodeur ve arkadaşlarının 2016'da yayımladığı bir çalışma, önde gelen iktisat dergilerinde raporlanan on binlerce test sonucunu inceledi ve p değerlerinin yüzde 5 eşiğinin hemen altında olağandışı biçimde yığıldığını buldu.

Çözüm önerileri

Bu sorunlara karşı önerilen çözümler tartışmalıdır. Bir grup araştırmacı, analiz planının veri toplanmadan önce kamuya açık biçimde kaydedilmesini önerir; böylece sonradan yapılan değişiklikler görünür olur. Bazıları anlamlılık eşiğinin yüzde 5'ten yüzde 0,5'e düşürülmesini savunur. Başka bir grup ise «istatistiksel olarak anlamlı» ifadesinin tamamen terk edilmesini, bunun yerine etki büyüklüklerinin ve güven aralıklarının raporlanmasını önerir. Eleştirenler, eşiği düşürmenin gerekli örneklemi büyüteceğini, eşiği kaldırmanın ise karar vermeyi zorlaştıracağını hatırlatır. Tekrarlama çalışmalarının teşvik edilmesi, geniş destek gören bir ortak noktadır.

Modelin sınırları

Hipotez testi, belirli bir soruya cevap verir: veri, sıfır hipoteziyle ne kadar uyumlu? Bu cevap, testin varsayımlarına bağlıdır: örneklemin rastgele olması, gözlemlerin bağımsız olması ve doğru dağılımın kullanılması. Bir test, verinin nasıl toplandığındaki bir yanlılığı düzeltemez; seçilmiş bir örneklemde yapılan kusursuz bir test de yanlış sonuç verir. En önemlisi, bir test nedenselliği kanıtlamaz: iki grup arasındaki anlamlı bir fark, programın etkisinden değil, grupların baştan farklı olmasından kaynaklanabilir. Bu yüzden testin sonucu, tasarımın kalitesiyle birlikte okunmalıdır.

Uygulama

Özet kartı

1. Hipotez testi, bir etkinin olmadığını varsayan sıfır hipotezinin veriyle ne kadar uyumlu olduğunu sorar; test istatistiği gözlenen farkın standart hataya oranıdır.
2. P değeri, sıfır hipotezi doğruysa bu kadar uç bir sonucun görülme olasılığıdır; hipotezin doğru olma olasılığını, etkinin büyüklüğünü ya da önemini ölçmez.
3. Birinci tür hata olmayan bir etkiyi görmek, ikinci tür hata var olan bir etkiyi kaçırmaktır; testin gücü gerçek bir etkiyi yakalama olasılığıdır ve örneklem büyüklüğüne bağlıdır.
4. İstatistiksel anlamlılık pratik önemle aynı şey değildir; büyük örneklemde önemsiz farklar anlamlı, küçük örneklemde önemli farklar anlamsız çıkabilir.
5. Düşük güç, çoklu test ve yalnızca anlamlı sonuçların yayımlanması, yanlış keşiflerin payını artırır; etki büyüklüğü, güven aralığı, önceden kayıtlı analiz planı ve tekrarlama bu riski azaltır.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Sıfır hipotezini, p değerini ve anlamlılık düzeyini bir işletme deneyi örneğiyle tanımla.
2. (Çıktı 2) Bir araştırmacı «p değeri 0,04; demek ki programın etkisiz olma olasılığı yüzde 4» diyor. Bu cümlede ne yanlıştır?
3. (Çıktı 3) Bir ilçede hanelerin ortalama aylık elektrik tüketiminin 250 kilovatsaat olduğu biliniyor. Tasarruf kampanyasından sonra rastgele seçilen 100 hanenin ortalaması 238, standart sapması 60 kilovatsaat çıkmış olsun. Test istatistiğini hesapla ve yüzde 5 düzeyinde iki yönlü testin sonucunu yorumla.
4. (Çıktı 3) Aynı ortalama ve standart sapma yalnızca 25 haneden gelseydi test istatistiği ne olurdu? Sonuç nasıl değişir?
5. (Çıktı 2) Bir alanda sınanan hipotezlerin yalnızca yüzde 5'i gerçekten doğru, testlerin gücü yüzde 50 ve anlamlılık düzeyi yüzde 5 olsun. 1.000 hipotezde anlamlı çıkan sonuçların yaklaşık kaçta kaçı yanlış keşiftir?
6. (Çıktı 4) Bir şirket, web sitesinin 25 farklı tasarım öğesini ayrı ayrı test etmiş ve bunlardan ikisinin satışları «anlamlı biçimde» artırdığını bulmuştur. Yönetim bu iki öğeyi hemen bütün siteye uygulamak istiyor. Bu kararı değerlendir.

Cevaplar

1. Bir işletme iki farklı fiyat etiketini rastgele müşteri gruplarında deniyor olsun. Sıfır hipotezi, iki etiket arasında satış farkı olmadığıdır. P değeri, gerçekte fark yoksa gözlenen farka eşit ya da ondan büyük bir farkın görülme olasılığıdır. Anlamlılık düzeyi, sıfır hipotezini reddetmek için önceden seçilen eşiktir; örneğin yüzde 5.
2. P değeri, programın etkisiz olduğu varsayılırsa bu kadar uç bir sonucun görülme olasılığıdır; programın etkisiz olma olasılığı değildir. İkincisini bulmak için sınanan hipotezlerin önsel olasılığını ve testin gücünü de bilmek gerekir; bu, koşullu olasılığı ters çevirme hatasıdır.
3. Standart hata 60 ÷ √100 = 6 kilovatsaattir. Test istatistiği (238 − 250) ÷ 6 = −2,0. İki yönlü p değeri yaklaşık 0,046'dır; yüzde 5 düzeyinde sıfır hipotezi reddedilir, ama sonuç eşiğin hemen sınırındadır ve güçlü bir kanıt sayılmamalıdır.
4. Standart hata 60 ÷ √25 = 12, test istatistiği (238 − 250) ÷ 12 = −1,0 olur. P değeri yaklaşık 0,32'dir; sıfır hipotezi reddedilmez. Aynı 12 kilovatsaatlik fark, küçük örneklemde şansla kolayca açıklanabilir; bu, kampanyanın etkisiz olduğunu değil, testin gücünün düşük olduğunu gösterir.
5. 1.000 hipotezin 50'si doğrudur; bunların yüzde 50'si, yani 25'i anlamlı çıkar. 950 yanlış hipotezin yüzde 5'i, yani yaklaşık 47,5'i de anlamlı çıkar. Toplam yaklaşık 72,5 anlamlı sonucun yaklaşık 47,5'i yanlış keşiftir; bu da yaklaşık üçte ikidir.
6. Yüzde 5 düzeyinde 25 bağımsız testte, hiçbir öğe etkili olmasa bile ortalama 1,25 anlamlı sonuç beklenir; iki anlamlı sonuç şansla kolayca açıklanabilir. Şirket bu iki öğeyi yeni ve bağımsız bir müşteri grubunda, önceden belirlenmiş bir planla yeniden test etmeli, etkinin büyüklüğüne ve güven aralığına bakmalı ve çoklu testi hesaba katan daha sıkı bir eşik kullanmalıdır.

İleri okuma

• Ronald A. Fisher (1935). The Design of Experiments. Oliver and Boyd. Çay tadımı deneyinin ve rastgele deney tasarımının klasik anlatımı.
• Ronald L. Wasserstein, Nicole A. Lazar (2016). «The ASA's Statement on p-Values: Context, Process, and Purpose». The American Statistician 70(2). P değerlerinin doğru kullanımına dair altı ilke.
• Colin F. Camerer vd. (2016). «Evaluating Replicability of Laboratory Experiments in Economics». Science 351(6280). İktisat deneylerinin tekrarlanabilirliği.
• John P. A. Ioannidis (2005). «Why Most Published Research Findings Are False». PLoS Medicine 2(8). Düşük güç, taban oranı ve yanlış keşif mantığı.

Sonraki derse köprü

Bu derste iki grup arasındaki bir farkın ya da bir ortalamanın beklenen değerden sapmasının şansla açıklanıp açıklanamayacağını sınadık. Ama iktisattaki pek çok soru bir fark değil, bir ilişkidir: eğitim süresi arttıkça gelir artıyor mu, faiz yükseldikçe konut satışları düşüyor mu? İki değişkenin birlikte ne kadar güçlü hareket ettiğini tek bir sayıyla nasıl ölçeriz, bu sayı hangi ilişkileri görür ve hangilerini kaçırır? Korelasyonu sıradaki ders ele alıyor.