Örneklem ve temsil

Açılış

Aralığın ikinci perşembesi Onur sınama tablosunu belediyenin bodrum katına, Hakan Bey'in masasına götürdü. Burcu'nun düzelttiği cümle en üstteydi: beş türden yüz başvuru, iki ayrı tarihte. Asistan su arızalarını, kırık kaldırımları, gürültü şikâyetlerini ve öteki iki türü büyük ölçüde doğru birime yönlendirmişti. Onur sonucu meclise gidecek rapora koymak istiyordu.

Hakan Bey tabloyu ilk satırından okudu, sonra başvuruların nereden geldiğini sordu. Onur'un cevabı hazırdı: belediyenin internet sitesindeki başvuru formundan, son üç ayın dışa aktarımından rastgele seçilmişlerdi.

Hakan Bey çekmecesinden bir çıktı aldı. Geçen ayın başvuruları geliş yoluna göre sayılmıştı. İnternet formundan iki bin yüz başvuru gelmişti. Çağrı hattından bin dört yüz başvuru gelmişti; onları hattaki operatör, arayanın anlattığını dinleyerek sisteme kendi cümleleriyle yazıyordu. Belediye binasının girişindeki vatandaş masasına gelip derdini anlatan beş yüz kişinin başvurusunu da masadaki memur yazıyordu. Asistan devreye girdiğinde üç yolun başvurusu da aynı sisteme düşecek ve aynı yönlendirmeden geçecekti.

"Çağrı hattını en çok yaşlılarımız arıyor," dedi Hakan Bey. "Masaya gelenlerin bir kısmı Türkçeyi sonradan öğrenmiş, memur onların derdini anladığı kadarıyla yazıyor. Senin tablonda bunlardan kaç tane var?"

Onur tabloyu geliş yoluna göre süzmeye çalıştı. Böyle bir sütun yoktu, çünkü dışa aktarım yalnız formdan alınmıştı. Yüz başvurunun yüzü de internetten gelmişti.

Hakan Bey çıktıyı masaya bıraktı. "Bu sınav kimin adına verildi?"

Tek fikir

Bir örneklemin söylediği, yalnız onu toplayan yolun ulaştığı kişiler için geçerlidir. Bir veri setinde kaç satır olduğundan önce, satırların hangi kapıdan girdiği ve o kapıya kimin hiç gelmediği sorulur.

Nasıl çalışır

Bir modeli eğitmek ya da sınamak için dünyadaki bütün örneklere ulaşamayız. Belediyenin bütün başvurularını, bir ülkenin bütün yüz fotoğraflarını, bir sigorta şirketinin gelecekte açılacak bütün dosyalarını elde tutamayız. Elimizde olan, bunların bir parçasıdır.

Kelime 3.2'deki örnekleme hızıyla akrabadır ama başka bir şeyi anlatır. Orada sürekli bir sinyalden saniyede kaç ölçüm alındığını konuşmuştuk; burada bir topluluktan hangi üyelerin veriye girdiğini konuşuyoruz.

Bir örneklemden evren hakkında konuşabilmek için örneklemin evreni temsil etmesi gerekir: evrende önemli olan farklılıklar örneklemde de görünmeli, ilgilendiğimiz her grup değerlendirme yapılabilecek kadar yer almalıdır. Bunu sağlamanın bilinen yolu seçimi evrenin tamamından yapmaktır; evrendeki her üyenin örnekleme girme şansı bilinir ve hiçbir üyeninki sıfır değildir. Onur seçimi rastgele yapmıştı, ama rastgeleliği yalnız formdan gelen başvuruların içinde kurmuştu. Çağrı hattının ve masanın başvurularının örnekleme girme şansı baştan sıfırdı.

Hakan Bey'in çıktısı bunun ne anlama geldiğini sayıyla gösterir. Geçen ay toplam dört bin başvuru gelmişti. İki bin yüzü, yani yüzde elli iki buçuğu formdandı; bin dört yüzü, yüzde otuz beşi çağrı hattından; beş yüzü, yüzde on iki buçuğu masadan. Onur'un sınaması başvuruların yarısından biraz fazlasını taşıyan kapıya bakıyordu.

Bir de şunu düşünelim. Diyelim ki asistan form başvurularının yüzde doksan ikisini, operatörün yazdığı başvuruların yüzde yetmişini, masada yazılanların yüzde altmışını doğru birime gönderiyor. Bu sayılar örnektir, kimse ölçmedi. Belediyenin bütününde doğru yönlendirme oranı, her yolun oranının o yolun payıyla çarpılıp toplanmasıdır: yüzde elli iki buçuğun doksan ikisi kırk sekiz virgül üç eder, yüzde otuz beşin yetmişi yirmi dört virgül beş, yüzde on iki buçuğun altmışı yedi virgül beş. Toplam yüzde seksen virgül üç. Onur'un tablosu ise yalnız ilk sayıyı, yüzde doksan ikiyi gösterirdi; rapora giren sayı ile belediyenin yaşayacağı sayı arasında yaklaşık on iki puanlık bir fark olurdu ve tabloda bunu gösteren hiçbir şey bulunmazdı.

Bu farkın adı vardır.

Tanımdaki kilit kelime "ilgili"dir. Formu dolduranlar ile operatöre anlatanlar arasındaki fark tam da asistanın işini etkileyen yerdedir: formda başvuruyu vatandaş kendi cümlesiyle ve formun kutularına göre yazar; çağrı hattında metin operatörün aceleyle tuttuğu nottur; masada ise ikinci dilde anlatılmış bir derdin memur tarafından yeniden kurulmuş hâlidir. Kapı, metnin kendisini değiştiriyor.

İstatistik derslerinde bu adla en sık anılan örnek bir seçim anketidir.

Hikâye çoğu zaman tek cümleyle anlatılır: yanlış kişilere sorulmuştu. Squire'ın bulgusu ikinci bir katman ekliyor: sorulanların içinden kimin cevap vermeye zahmet ettiği de bir kapıdır. Onur'un verisinde iki katman da var. Birincisi formu kimin kullandığı; ikincisi, formu açıp gönderemeden bırakanların hiç kayda geçmemesi.

Yapay zekâda aynı soru, modelin eğitildiği ve sınandığı veri setlerinin bileşiminde ortaya çıkar.

Bir sistem böyle bir setle sınandığında genel başarı sayısı en çok, üç sette de en kalabalık grup olan açık tenli erkeklerin sonucunu yansıtır. Yazarlar bu yüzden kendi setlerini kurdular.

Sayının dersi kalıcıdır, sistemlerin kendisi değişmiş olabilir: tek bir genel oran, içindeki grupların sonuçlarını kendi bileşimine göre karıştırır. Bileşim bilinmeden genel oran okunamaz.

Sahada

Nerede yanılır

Seçim yanlılığı veri setinin içinden bakılınca görünmez. Onur'un yüz satırına ne kadar dikkatle bakılırsa bakılsın, orada olmayan çağrı hattı başvurusu satırlardan okunamaz. Eksik olanı görmek için dışarıdan bir sayı gerekir: Hakan Bey'in geliş yoluna göre çıktısı, Murat Bey'in vardiya planı, Seda Hanım'ın kendi hasta kayıtları. Örneklem ancak evrenin bilinen bir sayımıyla karşılaştırıldığında eksiğini gösterir.

İlk akla gelen çare daha çok veri toplamaktır ve aynı kapıdan toplandığı sürece işe yaramaz. Onur yüz yerine bin form başvurusu alsaydı formun içindeki sonucu daha kesin ölçerdi; masadaki başvurular hakkında yine hiçbir şey bilmezdi. Örneklemin büyümesi rastgele dalgalanmayı küçültür, yanlılığı küçültmez. Squire'ın okuması da aynı yere varır: derginin anketini bozan şey cevap sayısının azlığı değil, kime anket gittiği ve kimin geri gönderdiğiydi.

İkinci çare ağırlıklandırmadır. Bir grup örneklemde payından az temsil ediliyorsa, onun sonuçları hesapta daha ağır sayılır; yukarıdaki yüzde seksen virgül üç hesabı bunun basit bir hâliydi. Ama ağırlık ancak elde bir sonuç varsa verilebilir. Onur'un tablosunda masa başvurusu sıfır. Sıfır satırın yüzde altmışı ya da yüzde doksanı yoktur; o sayıyı ancak masa başvurularıyla yeni bir sınama verir.

Üçüncü yanılgı, dengeyi kurmak için kurulmuş setin kendi kapısını unutmaktır. Buolamwini ve Gebru'nun seti cilt tipinde ve cinsiyette dengeliydi, ama makalenin kendisinin söylediği gibi parlamenterlerin resmî portrelerinden oluşuyordu: poz sabit, ışık düzgün, yüz ifadesi nötr ya da gülümser. Bir güvenlik kamerasının açısından, kötü ışıkta çekilmiş bir yüz o sette yoktu. Her örneklem bir yerde durur; iyi bir veri seti sayfası bu yeri yazar.

Uygulama

Bu derste bir örneklemin kapısını kâğıt üzerinde bulacak, sonra kendi gündelik hayatından bir örneklemi aynı sorularla okuyacaksın. İlk durum uydurmadır: kırk daireli bir apartmanın yönetimi asansörün yenilenmesine karar vermek istiyor ve apartmanın mesajlaşma grubuna bir anket atıyor. Grupta yirmi altı daire var. Anketi on dokuz daire cevaplıyor; on beşi "yenilensin", dördü "beklesin" diyor. Yönetici grupta "dairelerin yüzde yetmiş dokuzu yenilenmesini istiyor" yazıyor.

Apartman hesabını doğru yaptıysan evren kırk daire, örneklem on dokuz daire. İki kapı var: mesajlaşma grubu on dört daireyi, ankete cevap vermemek de gruptaki yedi daireyi dışarıda bırakıyor. Dışarıda kalan toplam yirmi bir daire. Yöneticinin oranı on beşin on dokuza bölümü, yaklaşık yüzde yetmiş sekiz virgül dokuz; paydası cevap verenler. Cevap vermeyen yirmi bir dairenin hepsi "beklesin" deseydi isteyenler on beş daire, kırkın yüzde otuz yedi buçuğu olurdu; hepsi "yenilensin" deseydi otuz altı daire, yüzde doksan. Anketin söyleyebildiği şey bu iki uç arasındadır. Gruba girmemiş daireler arasında telefonla mesajlaşmayan yaşlı sakinler ya da kiracılar olabilir; giriş katındakiler asansörü hiç kullanmıyor olabilir. Bunların hiçbiri anketten okunmaz, ancak kapıya kâğıt asılarak ya da kapı kapı sorularak öğrenilir.

Defter: 3.3'te başlattığın soru listesine şu üç soruyu ekle: bu veri hangi evrenden alındı, satırlar hangi kapılardan geçti, kim o kapılara hiç gelmedi? Altına apartman hesabının iki ucunu ve kendi seçtiğin örneklem için bulduğun kapıları yaz.

Hata köşesi

Sorumluluk

Asistanın hangi başvurularla sınanacağı Onur'un tek başına vereceği bir karar değildir; sistemi kullanacak olan belediyedir ve çağrı hattı ile vatandaş masası belediyenin kendi kapılarıdır. Onur'un sorumluluğu, rapora sınamanın hangi kapıdan alındığını açıkça yazmak ve öteki kapılardan örnek istemektir. Raporu okuyup asistanı bütün başvurulara açma kararını verecek olanlar, sayının kimin adına ölçüldüğünü doğrulamakla yükümlüdür. Bedeli ödeyecek olan, rapor tablosunda hiç satırı olmayan kişidir: su arızasını telefonla bildiren yaşlı bir vatandaşın başvurusu yanlış birime gider ve arıza bir gün daha akar.

Kapanış

1. Bir veri seti çoğu zaman bir örneklemdir; söylediği, onu toplayan yolun ulaştığı evren parçası için geçerlidir ve o yol önce adlandırılır.
2. Seçim yanlılığı, örneklemin evrenden ayrılma yolu ölçülen şeyle ilişkili olduğunda doğar; içeriden görünmez, ancak evrenin dışarıdan bilinen bir sayımıyla karşılaştırınca ortaya çıkar.
3. Daha çok veri aynı kapıdan geldikçe yanlılığı düzeltmez ve ağırlıklandırma örneklemde hiç bulunmayan bir grubu tamamlayamaz; genel başarı oranı da grupların sonuçları ayrı ayrı okunmadan güvenilmez.

Üç soru

1. Onur yüz başvuruyu rastgele seçmişti. Sınama yine de belediyenin bütün başvurularını neden temsil etmiyordu?
2. Apartman anketinde yöneticinin yüzde yetmiş dokuzu ile kırk dairenin gerçek eğilimi arasındaki belirsizlik neden bu kadar geniş, ve hangi iki kapıdan geliyor?
3. Elif'in eğitim tablosu yalnız kapanmış dosyalardan oluşuyor. Bu, modelin yeni açılan büyük bir yaralanmalı kaza dosyasındaki tahminini nasıl etkileyebilir?

Yanıtlar

1. Rastgelelik yalnız internet formundan gelen başvuruların içinde kurulmuştu. Çağrı hattından ve vatandaş masasından gelen başvuruların örnekleme girme şansı sıfırdı; bu başvurular başka biri tarafından, başka bir dille yazıldığı için asistanın işini doğrudan etkileyen bir farkla geliyordu. Sonuç yalnız başvuruların yarısından biraz fazlasını taşıyan kapı için geçerliydi.
2. Kırk dairenin yirmi biri cevap vermedi. Bunun on dördü mesajlaşma grubunda hiç yoktu, yedisi gruptaydı ama anketi cevaplamadı. Dışarıda kalanların ne düşündüğü bilinmediği için isteyenlerin payı yüzde otuz yedi buçuk ile yüzde doksan arasında herhangi bir yerde olabilir.
3. Kısa sürede kapanan dosyalar çoğunlukla küçük kaporta hasarlarıdır; aylarca açık kalan yaralanmalı ve mahkemelik dosyalar son dönemin eğitim tablosunda az yer alır. Model bu tür dosyalardan az örnek gördüğü için büyük bir yaralanmalı kazanın tutarını küçük dosyalara benzeterek düşük tahmin edebilir ve şirket kenara yetersiz para ayırır.

Sonraki derse köprü

Bu modül boyunca bir veri setine sorulacak soruları birer birer topladık: satır neyi temsil ediyor, hangi sütun ne zaman doluyor, değerler nasıl dağılıyor, birlikte değişen iki sütun neyi söylemiyor ve satırlar hangi kapıdan geçti. Ders 3.7, Kendi verini tanı, bu soruları ilk kez aynı küçük veri setine birlikte soracağın bir atölye: tabloyu sen seçeceksin, cevaplarını tek bir defter sayfasında özetleyeceksin.