Betimsel analiz

Öğrenme çıktıları

• Hatırlama — Böl-uygula-birleştir stratejisini, koşullu ortalamayı, ağırlıklı ortalamayı, örneklem ağırlığını, çapraz tabloyu ve en üst gelir payını tanımlar.
• Anlama — Bir veri setini gruplara bölüp her grup için özet çıkarmanın, tek bir genel ortalamanın gizlediği farkları nasıl görünür kıldığını ve anket verilerinde örneklem ağırlıklarının neden gerekli olduğunu açıklar.
• Uygulama — İki dilde de gruplara göre ortalama, medyan ve standart sapma hesaplar, ağırlıklı ortalama alır, bir çapraz tabloyu satır yüzdeleriyle kurar ve bir dağılımın en üst dilimlerinin toplamdaki payını hesaplar.
• Değerlendirme — Piketty ile Saez'in en üst gelir payları çalışmasını ve Solon, Haider ile Wooldridge'in ağırlıklandırma tartışmasını kullanarak bir betimsel bulgunun hangi veriye ve hangi ağırlıklara dayandığını değerlendirir.

Sezgi

Açılış

Bir ülkenin ortalama hane geliri geçen yıl yüzde 5 artmış olsun. Bu haber iyi mi, kötü mü? Cevap, artışın kime gittiğine bağlıdır. En yüksek gelirli hanelerin geliri yüzde 20 artmış, diğerlerininki yerinde saymış olabilir. Batı illerinde gelir artarken doğu illerinde düşmüş olabilir. Ya da artış, ankete katılan hanelerin bileşimindeki bir değişimden kaynaklanıyor olabilir. Tek bir ortalama, bu hikâyelerin hepsiyle uyumludur.

Betimsel analiz, verinin ne söylediğini, onu açıklamaya ya da nedenlerini aramaya geçmeden önce, dikkatle ortaya koymaktır. Bu, veriyi gruplara bölmeyi, her grup için uygun özetleri hesaplamayı, grupları karşılaştırmayı ve özetlerin hangi gözlemlere, hangi ağırlıklara dayandığını açıkça söylemeyi gerektirir. İktisadın en etkili bulgularından bazıları, hiçbir nedensel model kurmadan, yalnızca iyi yapılmış bir betimsel analizle ortaya çıkmıştır.

Bu ders, özet istatistiklerin kavramlarını önceki kursta gördüğümüz için tanımları tekrarlamıyor; onları Python ve R ile, gerçek bir analizde nasıl kullanacağımızı ele alıyor.

Hikâye — Vergi beyannamelerinden bir yüzyıl

Thomas Piketty ile Emmanuel Saez, 2003'te iktisadın önde gelen dergilerinden birinde «Income Inequality in the United States, 1913–1998», yani «ABD'de Gelir Eşitsizliği, 1913–1998» başlıklı bir makale yayımladı. Makalenin yaptığı iş, ilk bakışta sade bir betimlemeydi: bireysel vergi beyannamelerinin verilerini kullanarak, ABD'de en yüksek gelirlilerin toplam gelir ve ücretlerden aldığı payların, 1913'ten 1998'e uzanan, tutarlı biçimde hesaplanmış yeni serilerini sundu.

Bu serilerin gösterdiği tablo çarpıcıydı. En üst gelir ve ücret payları, yüzyıl boyunca U biçiminde bir seyir izliyordu: yüzyılın başında yüksekti, ortasında düştü, sonunda yeniden yükseldi. Yazarlara göre sermaye sahiplerinin Büyük Buhran'da ve İkinci Dünya Savaşı'nda yaşadığı büyük şoklar, en üst sermaye gelirleri üzerinde kalıcı bir etki bırakmıştı. Keskin biçimde artan oranlı gelir ve veraset vergilerinin, büyük servetlerin bu şoklardan tam olarak toparlanmasını önlemiş olabileceğini savundular.

Ücret payları ise farklı bir yol izliyordu. Yazarlara göre en üst ücret payları İkinci Dünya Savaşı'ndan önce düzdü, savaş sırasında keskin biçimde düştü, 1960'ların sonuna kadar toparlanmaya başlamadı, ama makalenin yazıldığı sırada savaş öncesindekinden daha yüksekti. Bunun sonucunda, gelir dağılımının en tepesinde, sermaye gelirinden yaşayan rantiyelerin yerini, yüksek ücret alan çalışan zenginler almıştı.

Makale, bir yüzyıllık eşitsizlik tartışmasını yeniden başlattı. Bunun nedeni karmaşık bir model değil, yeni bir veri kaynağı ile dikkatle kurulmuş özet istatistiklerdi: yıllara göre dilimlere bölünmüş gelirler, her dilimin toplamdaki payı ve bu payların yüzyıl boyunca çizilmiş grafiği. Betimsel analizin gücü buradadır. Ama aynı çalışma, betimsel bir bulgunun ne kadar veri tanımına bağlı olduğunu da gösterir: vergi beyannamelerinde görünen gelir, vergi kurallarının neyi gelir saydığına bağlıdır ve bu kurallar yüzyıl boyunca değişmiştir. Sonraki yıllarda başka araştırmacılar, farklı gelir tanımları ve farklı düzeltmelerle bu serilerin eğimini tartıştı.

Kavram

Betimsel analizin temel işlemi şudur.

Gruplara göre hesaplanan ortalamanın adı şudur.

Gözlemlerin eşit önemde olmadığı durumlarda şu ortalama kullanılır.

Anket verilerinde ağırlıkların özel bir anlamı vardır.

İki kategorik değişkenin birlikte dağılımını göstermenin yolu şudur.

Son olarak, eşitsizlik çalışmalarının merkezindeki ölçü şudur.

Veri ve kanıt

Wickham'ın gözlemi, betimsel analizin büyük kısmının aynı kalıba uyduğunu gösterir. İllere göre ortalama gelir, yıllara göre en üst gelir payı, sektörlere göre medyan ücret: hepsi veriyi bir değişkene göre bölmek, her parçaya aynı özet fonksiyonunu uygulamak ve sonuçları bir tabloda birleştirmektir. Bu kalıbı tanımak, her analiz için ayrı bir döngü yazmak yerine, tek bir satırla bütün grupların özetini çıkarmayı sağlar.

Solon ile arkadaşlarının ayrımı, bu dersin konusu açısından nettir. Nüfusu betimlemek, örneğin ortalama hane gelirini ya da yoksulluk oranını tahmin etmek istiyorsak ve örneklem nüfusu temsil etmiyorsa, ağırlık kullanmak gerekir. Ama nedensel bir etkiyi tahmin ederken ağırlıklar otomatik olarak doğru seçim değildir; neden ağırlıklandırdığımızı bilmemiz gerekir. Betimsel analizde soru basittir: bu örneklem, hakkında konuştuğum nüfusu temsil ediyor mu?

Neden önemli?

Politika tartışmalarının çoğu betimsel sorularla başlar: yoksulluk arttı mı, gelir eşitsizliği hangi yönde değişiyor, hangi bölgeler geride kalıyor, kadınlarla erkekler arasındaki ücret farkı ne kadar? Bu soruların cevapları, veri kaynağına, ağırlıklara, grup tanımlarına ve seçilen özet istatistiğe göre değişebilir. İyi bir betimsel analiz, bu seçimleri açıkça yapar ve okura gösterir.

Piketty ile Saez'in çalışması, betimsel analizin tek başına bir araştırma katkısı olabileceğini gösterdi. Yeni bir veri kaynağını dikkatle işleyip uzun ve tutarlı bir seri kurmak, bazen karmaşık bir modelden daha çok şey öğretir. Ama aynı çalışmanın tartışılması, betimsel bulguların veri tanımına ne kadar duyarlı olduğunu da gösterdi: gelirin nasıl tanımlandığı, kimin hane sayıldığı ve vergi kurallarındaki değişimler, sonucu etkiler.

Türkiye'de TÜİK'in hane halkı anketleri, gelir ve tüketim üzerine betimsel analizlerin temel kaynağıdır ve bu anketlerin veri setleri örneklem ağırlıkları içerir. Bu verilerle yoksulluk oranı, bölgesel gelir farkları ya da gelir dilimlerinin payları hesaplanırken ağırlıkları doğru kullanmak, sonucun nüfusu temsil etmesi için şarttır.

Model

Çözümlü örnek — Gruplara göre özet

Altı haneden oluşan küçük bir örneklemimiz olsun. Batı bölgesindeki üç hanenin aylık kazancı 40, 50 ve 120 bin lira; doğudaki üç hanenin kazancı ise 20, 25 ve 30 bin lira olsun. Her bölgenin ortalama ve medyan gelirini hesaplayalım.

• Python: df.groupby("bolge")["gelir"].agg(["mean", "median", "std", "count"])
• R: df |> dplyr::group_by(bolge) |> dplyr::summarise(ort = mean(gelir), med = median(gelir), ss = sd(gelir), n = dplyr::n())

Python'daki satır, her bölge için dört özeti bir tabloda verir: batıda ortalama 70, medyan 50, standart sapma yaklaşık 43,59; doğuda ortalama ve medyan 25, standart sapma 5. Üç hanelik gruplarda sayı az, ama tablo önemli bir şeyi gösteriyor: batıda ortalama ile medyan arasında büyük bir fark var, çünkü 120 bin liralık tek bir hane ortalamayı yukarı çekiyor. Doğuda ise gelirler birbirine yakın ve ortalama ile medyan aynı.

groupby, veriyi bölgeye göre böler; agg, her parçaya listelenen fonksiyonları uygular ve sonuçları birleştirir. Wickham'ın böl-uygula-birleştir stratejisinin tek satırlık karşılığıdır. R'daki |> işareti, bir işlemin sonucunu bir sonrakine aktarır ve satırın soldan sağa, adım adım okunmasını sağlar. Sağa çarpık değişkenlerde, gruplar arası karşılaştırmayı hem ortalama hem medyanla yapmak ve gözlem sayısını da göstermek iyi bir alışkanlıktır: az gözleme dayanan bir grup ortalaması, tek bir aykırı haneyle büyük ölçüde değişebilir.

Hızlı bir ilk bakış için pandas'ın describe yöntemi de kullanılabilir: df.groupby("bolge")["gelir"].describe() satırı, her bölge için gözlem sayısını, ortalamayı, standart sapmayı, alt ve üst uç değerleri ve üç çeyreklik noktasını tek tabloda verir. R'da summary fonksiyonu, tapply ya da by ile birlikte, benzer bir özeti her grup için üretir. Bu tablolar keşifsel analizin başlangıcıdır; raporda ise sorunun gerektirdiği birkaç özet seçilir ve gerisi, okuru yormamak için tablodan çıkarılır. Sayılar varsayımdır.

Çözümlü örnek — Genel ortalama ve bileşim etkisi

Bir ekonomide iki grup olsun: A grubunun ortalama geliri 100, B grubununki 50. Birinci yıl nüfusun yüzde 40'ı A, yüzde 60'ı B grubunda. Genel ortalama 0,4 × 100 + 0,6 × 50 = 70'tir.

İkinci yıl hiçbir grubun ortalaması değişmesin, ama nüfusun yüzde 60'ı A grubuna, yüzde 40'ı B grubuna geçsin; örneğin kırsaldan kente göç ya da eğitim düzeyinin yükselmesiyle. Genel ortalama 0,6 × 100 + 0,4 × 50 = 80'e çıkar. Genel ortalama yüzde 14,3 artmıştır, ama tek bir kişinin geliri bile değişmemiştir. Artışın tamamı bileşim etkisidir.

Daha çarpıcı bir durumda, iki grubun ortalaması da yüzde 5 düşsün: A 95'e, B 47,5'e insin; ama nüfus payları yine yüzde 60 ve yüzde 40 olsun. Genel ortalama 0,6 × 95 + 0,4 × 47,5 = 76'dır; birinci yılın 70'inden yüksektir. Her grup kaybederken genel ortalama artmıştır. Önceki kursta gördüğümüz Simpson paradoksunun ortalamalardaki biçimidir. Bu yüzden genel bir ortalamadaki değişimi yorumlamadan önce, grup ortalamalarını ve grupların paylarını birlikte gösteren bir tablo kurmak gerekir. Ücretler, verimlilik ve fiyat endeksleri gibi pek çok iktisadi seride, bileşim etkisi ile grupların içindeki değişim birbirinden ayrılmalıdır. Sayılar varsayımdır.

Çözümlü örnek — Ağırlıklı ortalama

Üç ilin işsizlik oranları yüzde 8, 12 ve 20; işgücü büyüklükleri ise 15, 2 ve 1 milyon olsun. Üç oranın basit ortalaması 13,33'tür. Ama ülkenin işsizlik oranını bulmak için her ilin oranını işgücüyle ağırlıklandırmak gerekir.

• Python: np.average(df["issizlik"], weights=df["isgucu"])
• R: weighted.mean(df$issizlik, df$isgucu)

Ağırlıklı ortalama yaklaşık 9,11'dir. Basit ortalama, 1 milyonluk işgücüne sahip ile 15 milyonluk işgücüne sahip ile aynı önemi verdiği için, küçük ve işsizliği yüksek illerin etkisini abartır. Ağırlık olarak neyin kullanılacağı, sorunun ne olduğuna bağlıdır: ülkenin işsizlik oranı için işgücü, kişi başına gelir için nüfus doğru ağırlıktır.

Ağırlıklı ortalamanın doğru olduğu durumlar kadar, basit ortalamanın doğru olduğu durumlar da vardır. «Tipik bir ilde işsizlik ne kadar?» sorusunun cevabı, illerin basit ortalaması ya da medyanıdır; «Tipik bir işsiz nerede yaşıyor?» sorusunun cevabı ise ağırlıklı dağılımdır. İki soru farklıdır ve iki ortalama da kendi sorusu için doğrudur. Raporda hangisinin kullanıldığını açıkça yazmak, okurun yanlış sonuç çıkarmasını önler. Sayılar varsayımdır.

Çözümlü örnek — Örneklem ağırlıkları

Önceki örnekteki altı hanelik ankette, doğu bölgesi bilerek fazla örneklenmiş olsun: doğudaki her hane nüfusta 3 haneyi, batıdaki her hane yalnızca 1 haneyi temsil ediyor. Bu bilgi, veri setindeki ağırlık sütunundadır: batı haneleri için 1, doğu haneleri için 3.

• Python: np.average(df["gelir"], weights=df["agirlik"])

Ağırlıksız ortalama gelir 47,5, ağırlıklı ortalama ise 36,25'tir. Ağırlıksız ortalama, örneklemde doğudan batıdan eşit sayıda hane olduğu için bölgelere eşit önem verir; ama nüfusta doğudaki hane sayısı batıdakinin üç katıdır. Ağırlıklı ortalama, nüfusun ortalama gelirine çok daha yakındır.

Solon ile arkadaşlarının vurguladığı gibi, betimsel bir nüfus istatistiği tahmin ederken bu ağırlıklar gereklidir. İstatistik kurumlarının anket veri setlerinde ağırlık sütununun adı ve anlamı, verinin belgesinde açıklanır; ağırlığın bir haneyi mi, bir kişiyi mi temsil ettiği, hesabın sonucunu değiştirir. Ağırlığı yok saymak, fazla örneklenen grubun özelliklerini nüfusa yaymak demektir. Gruplu özetlerde de ağırlık kullanılabilir: her bölgenin ağırlıklı ortalaması, groupby ile birlikte np.average uygulanarak hesaplanır. Sayılar varsayımdır.

Çözümlü örnek — Ağırlıklı medyan

Ağırlıklar yalnızca ortalamayı değil, medyanı ve yüzdelikleri de etkiler. Altı hanelik örneğimizde ağırlıksız medyan, sıralanmış gelirlerin ortasındaki iki değerin, 30 ile 40'ın, ortalaması olan 35'tir. Ama doğudaki her hane nüfusta üç haneyi temsil ettiğine göre, nüfusun ortasındaki hane başka bir yerdedir.

Ağırlıklı medyanı bulmak için haneleri gelire göre sıralar, ağırlıkların birikimli toplamını hesaplar ve bu toplamın, toplam ağırlığın yarısına ilk ulaştığı haneyi buluruz.

• Python: s = df.sort_values("gelir")
• Python: s["birikimli"] = s["agirlik"].cumsum()
• Python: s.loc[s["birikimli"] >= s["agirlik"].sum() / 2, "gelir"].iloc[0]

Toplam ağırlık 12'dir ve yarısı 6'dır. Sıralanmış gelirler 20, 25, 30, 40, 50 ve 120; birikimli ağırlıklar 3, 6, 9, 10, 11 ve 12'dir. Birikimli ağırlık ikinci hanede, 25 bin liralık gelirde 6'ya ulaşır; ağırlıklı medyan 25'tir. Ağırlıksız medyan 35 iken, nüfusun ortasındaki hane 25 bin lira kazanmaktadır.

Aynı yöntem, ağırlıklı yüzdelikleri ve dolayısıyla ağırlıklı en üst gelir paylarını da verir: yüzde 90'lık eşik için birikimli ağırlığın toplamın yüzde 90'ına ulaştığı haneye bakılır. R'da Hmisc gibi paketler ağırlıklı yüzdelik için hazır fonksiyonlar sunar; ama mantığı bilmek, bir paketin sonucunu denetlemeyi ve farklı paketlerin küçük tanım farklarını anlamayı sağlar. Yüzdeliklerin tanımında, iki gözlem arasına düşen bir eşiğin nasıl ele alınacağına dair birden çok yaygın kural vardır; küçük örneklemlerde bu kurallar farklı sonuçlar verebilir. Sayılar varsayımdır.

Çözümlü örnek — Çapraz tablo

Aynı altı hanenin hane reisinin eğitim düzeyini de bildiğimizi varsayalım: batıda bir lise ve iki üniversite, doğuda bir ilkokul ve iki lise mezunu. Bölge ile eğitimin ortak dağılımını, satırları bölgeler ve sütunları eğitim düzeyleri olan bir tabloya dökelim.

• Python: pd.crosstab(df["bolge"], df["egitim"])
• R: table(df$bolge, df$egitim)

Tablo, her bölge ve eğitim düzeyi çiftine düşen hane sayısını verir. Sayılar, grupların büyüklüğü farklıysa karşılaştırmayı zorlaştırır; bu yüzden çoğu zaman yüzdelere çevrilir.

• Python: pd.crosstab(df["bolge"], df["egitim"], normalize="index")
• R: prop.table(table(df$bolge, df$egitim), margin = 1)

normalize="index" ve margin = 1, her satırı kendi toplamına böler: batıda hanelerin yaklaşık üçte ikisi üniversite, üçte biri lise mezunudur; doğuda üçte ikisi lise, üçte biri ilkokul mezunudur. Satır yüzdeleri, «Bir bölgedeki haneler eğitim düzeyine göre nasıl dağılıyor?» sorusunu cevaplar. Sütun yüzdeleri, yani normalize="columns" ya da margin = 2, «Belirli bir eğitim düzeyindeki haneler bölgelere göre nasıl dağılıyor?» sorusunu cevaplar. İki tablo aynı veriden çıkar, ama farklı soruların cevabıdır; bir raporda hangisinin gösterildiği başlıkta belirtilmelidir. Sayılar varsayımdır.

Çözümlü örnek — En üst gelir payı

Piketty ile Saez'in hesapladığı türden bir ölçüyü küçük bir örnekle hesaplayalım. On hanenin gelirleri 9, 11, 13, 15, 17, 21, 29, 41, 64 ve 180 olsun; toplam 400'dür. En yüksek gelirli yüzde 10'un, yani bu örnekte tek bir hanenin payını bulalım.

• Python: esik = g.quantile(0.9) ve ardından g[g >= esik].sum() / g.sum()
• R: esik <- quantile(g, 0.9) ve ardından sum(g[g >= esik]) / sum(g)

Bu satırlar çalıştırıldığında Python, eşiği 75,6 değil 75.59999999999997 olarak gösterdi; kursun ilk dersinde gördüğümüz kayan nokta hesabının bir başka izidir ve sonucu değiştirmez. Eşiğin üstündeki tek hane 180 kazanır ve toplamın yüzde 45'ini alır. Yalnızca en yüksek gelirli haneye bakmak için g.nlargest(1).sum() / g.sum() da aynı sonucu verir.

Gerçek verilerde en üst gelir payı hesaplanırken ilk sorun ölçümdür: anketler en yüksek gelirleri iyi ölçmez, çünkü çok zengin haneler az sayıdadır ve daha az yanıt verir; Piketty ile Saez'in vergi kayıtlarını kullanmasının nedeni budur. Gelirin tanımı, yani vergi öncesi mi sonrası mı, transferler dahil mi, sonucu ayrıca değiştirir; anket verisinde de bu hesap, örneklem ağırlıklarıyla yapılmalıdır: ağırlıklı yüzdelik için gözlemler gelire göre sıralanır ve ağırlıkların birikimli toplamı üzerinden eşik bulunur. Sayılar varsayımdır.

Çözümlü örnek — Grup içindeki sapma

Bazen her gözlemi kendi grubunun ortalamasıyla karşılaştırmak isteriz: bir hanenin geliri, bölgesinin ortalamasından ne kadar yüksek ya da düşük? Böl-uygula-birleştir stratejisinin bir başka biçimi, grup özetini her satıra geri yaymaktır.

• Python: df["sapma"] = df["gelir"] - df.groupby("bolge")["gelir"].transform("mean")
• R: df |> dplyr::group_by(bolge) |> dplyr::mutate(sapma = gelir - mean(gelir))

agg her grup için tek bir satır üretirken, transform grubun özetini o grubun bütün satırlarına yazar ve tablonun satır sayısı değişmez. Batıdaki üç hane için sapmalar −30, −20 ve 50; doğudakiler için −5, 0 ve 5'tir. Her grubun sapmalarının toplamı, tanım gereği, her zaman sıfırdır.

Bu işlem, panel veri analizinde merkezî bir yer tutar: bir ülkenin ya da bir firmanın her yılki değerini kendi uzun dönem ortalamasından çıkarmak, gruplar arasındaki kalıcı farkları ayıklar ve yalnızca grubun kendi içindeki değişimi bırakır. Bu fikre, kursun panel veri dersinde yeniden döneceğiz. Sayılar varsayımdır.

Modelin sınırları

Betimsel analiz, verinin ne söylediğini gösterir, ama neden öyle olduğunu söylemez. Batıdaki hanelerin gelirinin doğudakilerden yüksek olması, bölgenin kendisinden mi, hanelerin eğitim düzeyinden mi, yoksa başka bir etkenden mi kaynaklanıyor? Betimsel bir tablo bu soruyu cevaplayamaz; ama hangi soruların sorulması gerektiğini gösterir.

Özet istatistikler aynı zamanda seçimlere dayanır: hangi grupların tanımlanacağı, hangi özetin kullanılacağı, hangi ağırlıkların uygulanacağı ve aykırı değerlerin nasıl ele alınacağı. Bu seçimler raporda açıkça yazılmalıdır. Python satırları pandas ve numpy ile çalıştırılarak denetlendi; R'daki dplyr karşılıkları ise yerelde sınanamadı; paketin başvuru sayfalarına göre yazıldılar.

Uygulama

Özet kartı

1. Betimsel analizin büyük kısmı böl-uygula-birleştir kalıbına uyar: veri bir değişkene göre gruplara bölünür, her gruba aynı özet uygulanır ve sonuçlar birleştirilir; pandas'ta groupby, R'da dplyr'ın group_by ve summarise fonksiyonları bu işi görür.
2. Genel ortalama, grup ortalamalarının grup paylarıyla ağırlıklandırılmış ortalamasıdır; bu yüzden grupların payı değiştiğinde, hiçbir grubun ortalaması değişmese bile genel ortalama değişebilir ve her grup kaybederken genel ortalama artabilir.
3. Ağırlıklı ortalama, gözlemlerin eşit önemde olmadığı durumlar için gereklidir; anket verilerinde örneklem ağırlıkları her gözlemin nüfusta kaç birimi temsil ettiğini gösterir ve Solon, Haider ile Wooldridge'e göre nüfusu betimlerken, örneklem nüfusu temsil etmiyorsa kullanılmalıdır.
4. Çapraz tablolar iki kategorik değişkenin birlikte dağılımını gösterir; satır yüzdeleri ile sütun yüzdeleri farklı soruların cevabıdır.
5. Piketty ile Saez, vergi beyannamelerinden kurdukları en üst gelir payları serileriyle, ABD'de eşitsizliğin 1913–1998 arasında U biçiminde bir seyir izlediğini gösterdi; betimsel bir bulgu, veri kaynağına ve gelir tanımına bağlıdır.

Kavram sözlüğü

Kendini sına

1. (Çıktı 1) Koşullu ortalama ile genel ortalama arasındaki ilişkiyi açıkla. İki grubun ortalamaları ve nüfustaki payları biliniyorsa genel ortalama nasıl bulunur?
2. (Çıktı 2) Bir anketin ağırlıksız ortalaması neden nüfusun ortalamasından farklı olabilir? Solon, Haider ile Wooldridge betimsel istatistikler için ağırlıklandırmanın ne zaman gerekli olduğunu söylüyor?
3. (Çıktı 3) Elinde sektor ve ucret sütunlarını taşıyan bir tablo var. Her sektör için ortalama ücret, medyan ücret ve çalışan sayısını tek satırla hesaplayan ifadeyi her iki dil için yaz.
4. (Çıktı 3) Dört ilin yoksulluk oranları yüzde 10, 15, 25 ve 30; nüfusları 8, 4, 2 ve 1 milyondur. Basit ortalama ve nüfusla ağırlıklandırılmış ortalama nedir? Hangisi ülkenin yoksulluk oranına karşılık gelir?
5. (Çıktı 4) A grubunun ortalama geliri 200, B grubununki 100'dür. Bir yıl nüfusun yüzde 30'u A grubundadır; ertesi yıl her iki grubun geliri yüzde 10 düşer, ama A grubunun payı yüzde 60'a çıkar. Genel ortalama nasıl değişir? Bu sonuç nasıl yorumlanmalıdır?
6. (Çıktı 4) Bir gazete haberi, «Anket verilerine göre en zengin yüzde 1'in payı son beş yılda değişmedi» diyor. Piketty ile Saez'in yaklaşımından yararlanarak bu bulguyu değerlendirmek için hangi soruları sorarsın?

Cevaplar

1. Koşullu ortalama, belirli bir grubun, örneğin bir bölgenin ya da bir eğitim düzeyinin ortalamasıdır. Genel ortalama, koşullu ortalamaların, her grubun nüfustaki payıyla ağırlıklandırılmış ortalamasıdır: iki grup için genel ortalama = A'nın payı × A'nın ortalaması + B'nin payı × B'nin ortalaması.
2. Anketler bazı grupları bilerek fazla ya da az örnekler; bazı gruplar da daha az yanıt verir. Bu durumda örneklemdeki grup payları nüfustakilerden farklıdır ve ağırlıksız ortalama, fazla örneklenen grubun özelliklerini nüfusa yayar. Solon, Haider ile Wooldridge'e göre nüfusa ait betimsel istatistikler tahmin edilirken, analiz örneklemini hedef nüfusu temsil eder hâle getirmek için gerekiyorsa ağırlıklandırma yapılmalıdır.
3. Python'da df.groupby("sektor")["ucret"].agg(["mean", "median", "count"]); R'da df |> dplyr::group_by(sektor) |> dplyr::summarise(ort = mean(ucret), med = median(ucret), n = dplyr::n()).
4. Basit ortalama (10 + 15 + 25 + 30) ÷ 4 = yüzde 20'dir. Ağırlıklı ortalama (8 × 10 + 4 × 15 + 2 × 25 + 1 × 30) ÷ 15 = (80 + 60 + 50 + 30) ÷ 15 = 220 ÷ 15 ≈ yüzde 14,7'dir. Ülkenin yoksulluk oranı, yani yoksul kişilerin toplam nüfustaki payı, nüfusla ağırlıklandırılmış ortalamadır.
5. İlk yıl genel ortalama 0,3 × 200 + 0,7 × 100 = 130'dur. Ertesi yıl A grubunun ortalaması 180, B grubununki 90'a iner ve genel ortalama 0,6 × 180 + 0,4 × 90 = 108 + 36 = 144 olur. Her iki grubun geliri yüzde 10 düştüğü hâlde genel ortalama yaklaşık yüzde 10,8 artmıştır; artış tümüyle yüksek gelirli grubun payının büyümesinden, yani bileşim etkisinden kaynaklanır. Bu sonuç, hanelerin refahının arttığı biçiminde yorumlanmamalıdır; grup ortalamaları ve paylar birlikte raporlanmalıdır.
6. Önce veri kaynağı sorulmalıdır: anketler en yüksek gelirleri iyi ölçmez, çünkü çok zengin haneler az sayıdadır ve daha az yanıt verir; Piketty ile Saez bu yüzden vergi kayıtlarını kullandı. Gelirin nasıl tanımlandığı, yani vergi öncesi mi sonrası mı, sermaye gelirlerinin dahil olup olmadığı sorulmalıdır. Örneklem ağırlıklarının kullanılıp kullanılmadığı ve en üst yüzde 1'in bir ankette kaç gözlemle temsil edildiği de önemlidir: çok az gözleme dayanan bir payın beş yıllık değişimi, istatistiksel olarak ayırt edilemeyebilir.

İleri okuma

• Thomas Piketty, Emmanuel Saez (2003). «Income Inequality in the United States, 1913–1998». Quarterly Journal of Economics 118(1). Vergi kayıtlarıyla kurulan en üst gelir payı serileri.
• Hadley Wickham (2011). «The Split-Apply-Combine Strategy for Data Analysis». Journal of Statistical Software 40(1). Gruplu analiz stratejisinin kaynağı.
• Gary Solon, Steven J. Haider, Jeffrey M. Wooldridge (2015). «What Are We Weighting For?». Journal of Human Resources 50(2). Betimsel ve nedensel analizde ağırlıklandırmanın gerekçeleri.
• Angus Deaton (1997). The Analysis of Household Surveys: A Microeconometric Approach to Development Policy. Johns Hopkins University Press. Hane anketleriyle betimsel analiz ve örneklem ağırlıkları.

Sonraki derse köprü

Bu derste koşullu ortalamaları gruplar için tek tek hesapladık: batıdaki hanelerin ortalaması, üniversite mezunlarının ortalaması. Ama bir değişkenin ortalamasının başka bir sürekli değişkenle, örneğin eğitim yılıyla ya da deneyimle birlikte nasıl değiştiğini görmek, ve bunu aynı anda birkaç değişkeni hesaba katarak yapmak için başka bir araç gerekir. Sıradaki ders regresyonu uygulamaya geçiriyor. Bir regresyon iki dilde nasıl tahmin edilir, çıktı tablosundaki katsayılar, standart hatalar ve güven aralıkları nasıl okunur ve bir regresyon sonucu bir rapora nasıl aktarılır?