Örneklem

Açılış sahnesi

Kerem, raporun tarihlendirme bölümünü bir kez daha açıyor ve genellemenin dayandığı üç tanığın nereden geldiğini soruyor. Üçü de bugüne ulaşmış el yazmalarıydı: ikisi iki ayrı kütüphanede, biri bir müzede saklanıyordu. Rapor, bu üç tanıktan metnin bütün tanıkları hakkında bir sonuç çıkarıyordu. Ama "bütün tanıklar" ifadesi, yüzyıllar önce kopyalanmış, sonra yanmış, çürümüş, dağılmış ya da bir özel koleksiyonda kaybolmuş nüshaları da kapsıyordu. Kerem, üç tanığın bu kayıp nüshaları temsil edip etmediğini bilmenin bir yolu olup olmadığını soruyor.

Selin, bir kütüphanenin bütün raflarını taramadan, raflardan birkaçına bakarak, kütüphanede bu atölyeden kaç el yazması bulunduğunu tahmin etmenin mümkün olup olmadığını merak ediyor. Defne, hastanenin enfeksiyon denetiminde bütün hastaları değil, her servisten belirli sayıda hastayı inceleyen bir yöntem kullanıldığını anlatıyor. Barış, bir mali denetimde denetçinin binlerce faturadan yalnızca bazılarını seçtiğini ve seçimin nasıl yapıldığının sonucu nasıl değiştirdiğini soruyor. Tolga ise sezgilerine ters gelen bir şey fark ediyor: yüz sayfalık bir örneklem, bin sayfalık bir derlemi, yüz bin sayfalık bir derlemi temsil ettiğinden pek de daha iyi temsil etmiyordu. Bu ders, Mantık ve Akıl Yürütme programının Tümevarım, Abdüksiyon ve Olasılık kursunda, bir genellemenin dayandığı örneklerin bütün sınıfı ne zaman temsil ettiğini, örneklerin seçilme yolunun sonucu nasıl çarpıtabileceğini ve örneklemin büyüklüğü ile temsil ediciliği arasındaki ilişkinin nasıl kurulduğunu soruyor.

Bu derste ne olacak

Önce bu dersin yerini belirleyelim. Genelleme dersi, bir tümevarımsal genellemenin gücünün örneklerin sayısına, arka plan bilgisine ve sonucun kapsamına bağlı olduğunu gösterdi ve genellemenin öncüllerini, gözlenmiş örnekleri, verilmiş saydı. Programın eleştirel düşünme kurslarında örneklem yanlılığı, hayatta kalma yanlılığı, yanlı büyük örneklem ve rastgele seçim tanıtılmıştı. Bu ders, bu kavramları yeniden tanımlamadan, örneklemenin yapısını inceliyor: bir genellemenin hakkında konuştuğu kitle ile örneklerin gerçekten seçilebildiği çerçeve arasındaki farkı, rastgele seçim ile amaçlı seçimin ne zaman ayrıştığını, katmanlara ayırmanın ne kazandırdığını ve örneklem büyüklüğünün neyi düzeltip neyi düzeltmediğini soruyor.

Sonra üç kaynağa bakacağız. Pierre-Simon Laplace, on sekizinci yüzyılın sonunda önerdiği ve yüzyılın başında Fransa'da uygulanan bir yöntemle, bütün ülkeyi saymadan, seçilmiş bazı yerleşimlerin kayıtlarından ülkenin nüfusunu tahmin eder ve tahminin hata payını hesaplar. Anders Kiær, 1895'te Bern'de toplanan Uluslararası İstatistik Enstitüsü toplantısında, bütün kitleyi saymak yerine onun küçük bir kopyası olacak biçimde seçilmiş bir örneklemi incelemeyi önerir. Jerzy Neyman ise 1934'te Journal of the Royal Statistical Society'de yayımladığı Temsil Yönteminin İki Farklı Yüzü Üzerine makalesinde, amaçlı seçim ile katmanlı rastgele seçimi karşılaştırır.

Ardından üç itirazı tartacağız: küçük örneklemlerde rastgele seçimin amaçlı seçimden kötü sonuç verebileceği, tarihsel ve arşivsel çalışmalarda rastgele seçimin olanaksız olduğu ve kitlenin çok küçük bir bölümünü oluşturan bir örneklemin hiçbir şey söyleyemeyeceği itirazları.

Sonda, bir örneklemi değerlendirmenin dört adımını göstereceğiz: hedef kitleyi, örnekleme çerçevesini ve örneklemi ayrı ayrı yazmak, örneklerin nasıl seçildiğini belirlemek, kitleyi anlamlı katmanlara ayırıp her katmanın temsil edilip edilmediğine bakmak ve örnekleme hatası ile yanlılığı birbirinden ayırarak sonucun kapsamını buna göre belirlemek.

Merkez soru

Sorumuz şu: bir genellemenin dayandığı örnekler, genellemenin hakkında konuştuğu sınıfı ne zaman temsil eder ve bu temsili ne belirler?

Ölçülü iddiam şu: bir örneklem, bir genellemenin hakkında konuştuğu hedef kitleyi, ancak kitlenin örneklemin seçildiği çerçeveyle örtüştüğü ve örneklerin çerçeveden aranan özelliğe bakılmadan seçildiği ölçüde temsil eder; hedef kitle ile çerçeve arasındaki fark, örneklem ne kadar büyütülürse büyütülsün kapanmayan bir yanlılık kaynağıdır ve bu fark, ya ayrı bir öncül olarak yazılıp gerekçelendirilmeli ya da sonucun kapsamı çerçeveyle sınırlanmalıdır; çerçeve içinde rastgele seçim, Neyman'ın gösterdiği gibi, amaçlı seçimden üstündür, çünkü rastgele seçimin hatası hesaplanabilir, amaçlı seçimin hatası ise seçenin bilmediği bir etkenle sessizce büyüyebilir; kitleyi, aranan özellikle ilgili olabilecek katmanlara ayırıp her katmandan rastgele seçmek, rastgele seçimin hesaplanabilirliğini korurken küçük örneklemlerin şans eseri dengesiz çıkma tehlikesini azaltır; örneklemin büyüklüğü rastgele örnekleme hatasını küçültür ama yanlılığı küçültmez, ve bu hatanın büyüklüğü, büyük bir kitlede, örneklemin kitleye oranından değil, örneklemin kendi büyüklüğünden belirlenir.

Sıfır noktası

Bir öğrenci bir örneklemin güvenilir olup olmadığını sorduğunda, çoğu zaman iki şeye bakar: örneklemin büyüklüğüne ve örneklemin kitlenin ne kadarını oluşturduğuna. Bu iki ölçü, örneklemenin en önemli sorusunu, örneklerin nereden ve nasıl seçildiğini, gözden kaçırır. Programın eleştirel düşünme kurslarında görülen yanlı büyük örneklem, çok büyük bir örneklemin bile, yanlış bir yerden seçildiğinde, sınıfı temsil etmediğini göstermişti.

Örneklemenin yapısını görmek için üç şeyi ayırmak gerekir. Hedef kitle, genellemenin hakkında konuştuğu bütün sınıftır: raporun durumunda, metnin yazılmış bütün nüshaları, bugüne ulaşmış olsun ya da olmasın. Örnekleme çerçevesi, örneklerin gerçekten seçilebildiği listedir: bugüne ulaşmış ve kataloglanmış nüshalar. Örneklem, çerçeveden gerçekten seçilip incelenen örneklerdir: üç tanık. Bir genelleme, örneklemden kitleye geçer; ama bu geçiş iki adımda yapılır: örneklemden çerçeveye ve çerçeveden kitleye.

İki adımın farklı sorunları vardır. Örneklemden çerçeveye geçiş, örneklerin çerçeveden nasıl seçildiğine bağlıdır ve bu adım, rastgele seçimle, hesaplanabilir bir hata payıyla atılabilir. Çerçeveden kitleye geçiş ise hiçbir örnekleme yöntemiyle güvence altına alınamaz: çerçevenin dışında kalan kitle üyeleri, hiçbir zaman seçilemez. Hayatta kalma yanlılığı, bu ikinci adımın en bilinen sorunudur; ve bu sorun, örneklem ne kadar büyütülürse büyütülsün ortadan kalkmaz.

Görüşler ve pozisyonlar

Bir örneklemin nasıl seçilmesi gerektiği konusunda üç görüş var.

Birinci görüş, amaçlı temsil görüşüdür. Buna göre iyi bir örneklem, kitlenin küçük bir kopyasıdır: örneklemi seçen, kitlenin bilinen özelliklerine, yaş dağılımına, bölgelere, meslek gruplarına bakarak, örneklemi bu özelliklerde kitleye benzeyecek biçimde kendisi seçer. Örneklemin temsil gücü, seçenin kitleyi tanıma derecesine dayanır.

İkinci görüş, rastgele seçim görüşüdür. Buna göre iyi bir örneklem, çerçevenin her üyesinin seçilme şansının bilindiği bir yöntemle, örneğin kura ile, seçilir. Seçen, hangi örneğin seçileceğine karar vermez; bu yüzden kendi bilmediği etkenler de seçimi sistemli olarak çarpıtamaz ve örneklemin hata payı hesaplanabilir.

Üçüncü görüş, katmanlı rastgele seçim görüşüdür. Buna göre kitle, önce aranan özellikle ilgili olabilecek katmanlara ayrılır ve her katmandan ayrı ayrı rastgele örnek seçilir. Amaçlı temsilin bilgisi, katmanların belirlenmesinde kullanılır; rastgele seçimin güvencesi, her katmanın içinde korunur.

Bu ders üçüncü görüşü temel alır. Birinci görüş, kitle hakkındaki bilginin örneklemeyi iyileştirebileceğini doğru görür, ama seçenin bilmediği ya da fark etmediği bir etkenin seçimi sistemli olarak çarpıtmasını önleyemez ve hatasını hesaplamanın yolunu kapatır. İkinci görüş, bu çarpıtmayı önler, ama küçük bir örneklemin, yalnızca şans eseri, önemli bir alt grubu hiç içermemesine izin verir.

Argümanın yapısı

Bir örneklemi değerlendirmek için dört adım izlenebilir.

Birinci adım, hedef kitleyi, örnekleme çerçevesini ve örneklemi ayrı ayrı yazmaktır. Değerlendiren, genellemenin hangi sınıf hakkında konuştuğunu, örneklerin hangi listeden ya da kaynaktan seçilebildiğini ve hangi örneklerin gerçekten incelendiğini, Kerem'in yaptığı gibi, üç ayrı satıra yazar.

İkinci adım, örneklerin nasıl seçildiğini belirlemektir. Değerlendiren, örneklerin kura gibi bir yöntemle mi, seçenin kararıyla mı, yoksa kolayca erişilebilir oldukları için mi seçildiğini sorar. Son iki durumda, seçimi aranan özellikle ilişkilendirebilecek etkenleri arar.

Üçüncü adım, kitleyi anlamlı katmanlara ayırıp her katmanın temsil edilip edilmediğine bakmaktır. Değerlendiren, aranan özellikle ilgili olabilecek alt grupları, dönemleri, bölgeleri, servisleri, türleri, belirler ve örneklemin her birinden örnek içerip içermediğini denetler.

Dördüncü adım, örnekleme hatası ile yanlılığı birbirinden ayırarak sonucun kapsamını buna göre belirlemektir. Değerlendiren, sonucun şans eseri sapmasının, örneklem büyüdükçe küçülen örnekleme hatasının, ne kadar olabileceğini ve seçim yolundan ya da çerçeve ile kitle arasındaki farktan gelen yanlılığın ne yönde olabileceğini ayrı ayrı yazar. Yanlılık giderilemiyorsa, sonucun kapsamını çerçeveyle sınırlar.

En güçlü itiraz

Bu yaklaşıma üç yönden ciddi itiraz yapılabilir.

Örneklemi ciddiye alan düşünce şu cevabı verebilir. Bir örneklem, bir genellemenin hakkında konuştuğu hedef kitleyi, ancak kitle örnekleme çerçevesiyle örtüştüğü ve örnekler çerçeveden aranan özelliğe bakılmadan seçildiği ölçüde temsil eder. Kitle ile çerçeve arasındaki fark, örneklem ne kadar büyütülürse büyütülsün kapanmayan bir yanlılık kaynağıdır; bu fark ya ayrı bir öncül olarak yazılıp gerekçelendirilmeli ya da sonucun kapsamı çerçeveyle sınırlanmalıdır. Çerçeve içinde rastgele seçim, amaçlı seçimden üstündür, çünkü hatası hesaplanabilir; kitleyi ilgili katmanlara ayırıp her katmandan rastgele seçmek, bu hesaplanabilirliği korurken küçük örneklemlerin şans eseri dengesiz çıkmasını önler. Örneklemin büyüklüğü örnekleme hatasını küçültür ama yanlılığı küçültmez; ve bu hata, büyük bir kitlede, örneklemin kitleye oranından değil, kendi büyüklüğünden belirlenir.

Açık kalan sorular

Laplace'ın tahmini, seçilen yerleşimlerin ülkenin geri kalanını temsil ettiği varsayımına dayanıyordu ve bu varsayımın kendisi, bir örneklemden bir kitleye geçişti. Bir örneklemin temsil ediciliği, bir başka örneklemin temsil ediciliğine dayanmadan nasıl sınanabilir? Temsil ediciliğin kesin bir sınaması var mıdır, yoksa her sınama bir başka varsayıma mı dayanır?

Kerem'in üç katmanı, tarihsel çalışmalarda çerçeve ile kitle arasındaki farkın çoğu zaman kapatılamaz olduğunu gösterdi. Kaybolan nüshalar hakkında hiçbir şey bilinmiyorsa, onların bugüne ulaşanlardan farklı olup olmadığı nasıl tartışılabilir? Bir tarihçinin kaybolanlar hakkında söyleyebilecekleri, yalnızca kaybolmanın nedenlerine dair bilgiyle mi sınırlıdır?

Barış'ın faturaları, usulsüzlük bulmak ile usulsüzlük oranını tahmin etmenin farklı seçim yolları gerektirdiğini gösterdi. Bilimsel araştırmada da ilginç durumları bulmak ile bir özelliğin ne kadar yaygın olduğunu ölçmek farklı amaçlardır. Bir araştırmacı, bu iki amacı aynı çalışmada nasıl birleştirebilir?

Yaygın hatalar

Kendin dene

Aklında kalsın

Beş cümlede dersin iskeleti.

Bir örneklem, bir genellemenin hedef kitlesini ancak kitle örnekleme çerçevesiyle örtüştüğü ve örnekler çerçeveden aranan özelliğe bakılmadan seçildiği ölçüde temsil eder; kitle ile çerçeve arasındaki fark, örneklem büyüklüğüyle kapanmayan bir yanlılık kaynağıdır.

Laplace'ın oran tahmini bir kitlenin bütününü saymadan hata payı hesaplanabilir bir sonuç çıkarmanın erken bir örneğini, Kiær'in önerisi temsil fikrinin örneklemin kitlenin küçük bir kopyası olması biçiminde başladığını, Neyman'ın makalesi ise katmanlı rastgele seçimin amaçlı seçime üstünlüğünün hatasının hesaplanabilir olmasından geldiğini gösterdi.

Bir örneklem dört adımla değerlendirilir: hedef kitleyi, çerçeveyi ve örneklemi ayrı yazmak, örneklerin nasıl seçildiğini belirlemek, kitleyi ilgili katmanlara ayırıp her katmanın temsil edilip edilmediğine bakmak ve örnekleme hatası ile yanlılığı ayırarak sonucun kapsamını belirlemek.

Küçük örneklemde rastgele seçimin kötü olduğu, arşivde rastgele seçimin olanaksız olduğu ve kitlenin küçük bir bölümünün hiçbir şey söylemediği itirazları, katmanlı seçimin şans eseri dengesizliği önlediğini, arşivde yanlılığın yönünü yazmanın daha da önemli olduğunu ve hata payının örneklemin kitleye oranından değil kendi büyüklüğünden belirlendiğini gördüğümüzde cevaplanabilir.

Bu yüzden bir örneklemi değerlendirmek, önce onun kaç örnekten oluştuğunu değil, nereden ve nasıl seçildiğini sormak, çerçevenin dışında kalanları açıkça yazmak ve sonucu çerçevenin taşıyabileceği kadar geniş tutmaktır.

Sonraki derse köprü

Selin'in rafları, bir kütüphanedeki el yazmalarının bir oranını tahmin etmekle sonuçlanmıştı: seçilen raflardaki el yazmalarının belirli bir bölümü bu atölyedendi. Kerem, bu oranı tek bir el yazmasına uygulamak istiyor. Kütüphanede, atölyesi bilinmeyen bir el yazması vardı; Kerem, kütüphanedeki el yazmalarının büyük bölümü bu atölyeden çıktığına göre, bu el yazmasının da büyük olasılıkla bu atölyeden çıktığı sonucuna varmayı düşünüyor.

Defne, hekimliğin bu türden akıl yürütmelerle dolu olduğunu hatırlatıyor: bir hastalığın belirli bir yaş grubunda sık görüldüğü biliniyorsa, o yaş grubundaki bir hastanın bu hastalığı taşıma olasılığı yüksek sayılıyordu. Ama Defne, aynı hastanın başka gruplara da, bir cinsiyete, bir mesleğe, bir bölgeye, ait olduğunu ve her grubun farklı bir oran verebileceğini fark ediyor. Barış, bir kişinin hangi gruba göre değerlendirildiğinin, hukukta bir haksızlığa yol açabileceğini ekliyor.

Bir sonraki ders bu soruya dönüyor. İstatistiksel kıyas dersi, bir sınıfın bir oranından o sınıfın tek bir üyesi hakkında bir sonuca geçen akıl yürütmenin nasıl kurulduğunu, bu akıl yürütmenin gücünün neye bağlı olduğunu ve bir üyenin birden fazla sınıfa ait olduğunda hangi sınıfın oranının kullanılacağı sorusunun nasıl ele alınacağını soruyor.