Dağılım kayması

Açılış

Nisanın üçüncü pazartesisi Dr. Seda Hanım'ın odasındaki göz dibi kamerası değişmişti. İl sağlık müdürlüğü bütün merkezlerdeki cihazları tek tip yapmak için yenilerini göndermişti; eskisi ay sonunda toplanmak üzere dolabın üstünde, kablosu sarılı bekliyordu. Yeni kameranın görüş alanı daha genişti, flaşı daha parlaktı. Hemşire ilk gün "fotoğraflar daha net" dedi.

Program aynı fikirde değildi. İlk hafta kırk altı diyabetli hastanın fotoğrafı çekildi, dokuzunda ekrana "kalite uyarısı" düştü. Seda Hanım kayıtları açtı: eski kamerayla geçen on iki ayda dört yüz on iki fotoğraf çekilmiş, yalnız on üçünde bu uyarı çıkmıştı.

Uyarısız fotoğraflarda da bir tuhaflık vardı. Yüzdeler alışık olduğundan düşük geliyordu. Seda Hanım bir şey denemeye karar verdi: eski kamera henüz çalışıyordu. Salı ve çarşamba, randevusu olan yirmi hastanın gözünü aynı gün iki kamerayla da çektirdi. Dört hastanın yeni fotoğrafı kalite uyarısına takıldı. Kalan on altı hastanın on üçünde yeni kameranın fotoğrafı daha düşük bir yüzde aldı. Altmış bir yaşında bir adamın sol gözü eski fotoğrafta yüzde otuz bir, yeni fotoğrafta yüzde on bir çıktı.

Aynı göz, aynı gün, aynı hekim. Seda Hanım iki fotoğrafı ekranda alt alta açtı. Yenisinde damarlar daha koyu, kenarlar daha yeşilimsiydi, göz dibinin daha geniş bir parçası görünüyordu. Hastalık iki fotoğraf arasında değişmemişti; değişen yalnız fotoğrafın kendisiydi.

Dr. Necati Bey kapıdan iki ekrana baktı. "Bu program bugüne kadar gözü mü okuyordu," dedi, "yoksa kamerayı mı?"

Tek fikir

Bir modelin ölçülmüş başarısı, eğitim verisinin geldiği dünyaya aittir. Girdiler başka türlü görünmeye ya da aynı girdinin sonucu değişmeye başlayınca o ölçüm eskir; bunu görmek için kullanım verisi eğitim verisiyle düzenli karşılaştırılır.

Nasıl çalışır

Ders 6.2'de test kümesini kasada tuttuk ve son ölçümü ondan aldık. O ölçümün sessiz bir varsayımı vardı: test örnekleri, modelin yarın karşılaşacağı örneklerle aynı kaynaktan gelir. Bu varsayım çoğu zaman bozulur ve seri boyunca birkaç kez bozulduğunu gördük. Murat Bey'in kamerası dört milimetrelik buhar aralığı olan baklava kutusunu hiç görmemişti. Elif'in hasar modeli yedek parça zamlarından önceki dosyalarla eğitilmişti. Zeynep Hanım'ın bozkır çiçeği, uygulamanın veri setinde neredeyse yoktu. İkinci bant kamerası yalnız gündüz ışığında çekilmiş fotoğraf tanıyordu. Sevim Hanım'ın elektrik modeli kırk derecenin üstünü hiç görmemişti.

Kaymanın neresinden geldiğini anlamak için iki soru sorulur. Birincisi: girdiler değişti mi? İkincisi: aynı girdiye karşılık gelen sonuç değişti mi? Bu iki sorunun cevabı farklı sorunlara ve farklı çarelere götürür.

Seda Hanım'ın kamerası bunun tam örneği. Bir gözde sevk gerektiren retinopati varsa, hangi kamerayla çekilirse çekilsin vardır; göz ile hastalık arasındaki ilişki değişmedi. Değişen, programa gelen piksellerin rengi, parlaklığı ve kadrajıdır. Program eğitim boyunca eski tip kameraların fotoğraflarını görmüş ve hastalığı o fotoğraflardaki işaretlerden okumayı öğrenmişse, yeni renk tonunda aynı işaretleri tanımakta zorlanır. Sevim Hanım'ın kırk derecesi de böyleydi: sıcaklık ile tüketim arasındaki fizik değişmemişti, ama model o sıcaklık aralığına hiç bakmamıştı.

Elif'in hasar modeli kavram kaymasına uğramıştı. Aynı yaşta, aynı bölgede, aynı parça sayısıyla açılan bir dosya zamlardan sonra daha pahalıya kapanıyordu. Girdi tablosuna bakan biri hiçbir değişiklik görmezdi. Değişen, tablonun hiçbir sütununda yazmayan bir şeydi: parçaların fiyatı.

Bir de üçüncü bir biçim var: sonuçların kendi oranı kayabilir. Bir hastalığın sıklığı mevsimle, bir başvuru türünün payı ayla değişir. Her türde model eskisi kadar iyi olsa bile, toplam başarı karışım değiştiği için değişir.

Peki bir kayma ne kadar zarar verebilir? Göğüs röntgeni üzerinde yapılmış bir çalışma, hem büyüklüğünü hem de beklenmedik bir nedenini gösteriyor.

Çalışmanın ölçüsü, Ders 5.7'de andığımız ayırt etme puanıdır: rastgele sıralamada yarım, kusursuz sıralamada bir çıkar.

Nedenini anlamak için yazarlar ağa hastalığı değil hastaneyi sordu.

Necati Bey'in sorusu bu yüzden yersiz değil. Bir model, hastalığın yanında görüntünün nereden ve hangi cihazla geldiğini de öğrenebilir; o işaret eğitim verisinde hastalıkla birlikte geziyorsa, model onu da kullanır. Eğitimle aynı hastaneden gelen test kümesi bu kısayolu ödüllendirir, çünkü orada da işe yarar. Kısayol ancak cihaz ya da hastane değiştiğinde ortaya çıkar.

Kaymayı görmenin ilk yolu, etiket beklemeden girdileri ve çıktıları karşılaştırmaktır. Seda Hanım'ın elindeki sayılar bunun küçük bir örneği.

Merkezin diyabetli hastaları bir haftada değişmedi. Yüzde yirminin üstündeki hastaların payı yarıdan fazla düştüyse, ya hastalar çok şanslı bir hafta geçirdi ya da program gözleri eskisi gibi okumuyor. İki kameralı yirmi hasta bu iki ihtimali ayırıyor: aynı göz, aynı gün, farklı yüzde.

İkinci yol, etiketler geldikçe tahmini sonuçla karşılaştırmaktır. Kavram kayması yalnız bu yolla görünür, çünkü girdiler değişmemiştir. Kaymanın çaresi çoğu zaman yeniden eğitimdir: yeni koşullardan etiketli örnek toplamak, modeli onlarla güncellemek ve yeni modeli yine yeni koşullardan ayrılmış bir test kümesinde ölçmek. Seda Hanım'ın durumunda bu, yeni kameranın fotoğraflarını bir göz hekiminin derecelendirmesi demektir.

Sahada

Nerede yanılır

Girdileri karşılaştırmak, en çok güvenilen yerde kör kalır. Deniz'in tablosunda her sütun eğitim aralığındaydı; kavram kayması girdilerde iz bırakmaz. Girdi karşılaştırması temiz çıktıysa söylenebilecek tek şey, ortak değişken kaymasının görülmediğidir. Model hakkında hüküm için sonuçlarla karşılaştırma gerekir.

O sonuçlar da çoğu zaman geç gelir. Elif'in bir hasar dosyası aylar sonra kapanır; Seda Hanım'ın sevk ettiği hastanın göz hekimi raporu haftalar sonra döner. Kayma başladığı gün değil, etiketler biriktiği gün görünür. Arada geçen sürede alınan kararlar eski modelin kararlarıdır.

Küçük örnekler yanlış alarm da verir. Kırk altı fotoğraftaki dokuz uyarı gerçek bir kayma olabilir, ama hemşirenin yeni cihazı ilk hafta tanımamasından da gelebilir; ikinci hafta oran düşerse sorun kamerada değil, alışkanlıktaydı. Otuz sütunu tek tek karşılaştıran biri, hiçbir şey değişmemişken birkaçında şans eseri fark görür. Tersine, her sütun tek başına yerindeyken sütunların birlikteliği değişmiş olabilir.

Röntgen çalışmasının uyarısı daha derindir. Model eğitim verisindeki bir kısayolu, mesela cihazın ya da hastanenin izini öğrendiyse, aynı kaynaktan gelen test kümesi bunu ödüllendirir. Kısayolu ortaya çıkaran tek şey başka bir kaynaktan, başka bir cihazdan alınmış ölçümdür.

Yeniden eğitim de kendi tuzağını taşır. Seda Hanım yalnız sevk ettiği hastaların göz hekimi raporunu alıyorsa, yeni etiketler yalnız modelin şüphelendiği gözlerden gelir; Ders 3.6'daki seçim yanlılığı bu kez modelin kendi kararlarından doğar. Yalnız son aylarla eğitilen model de eski verideki seyrek ama önemli durumları unutabilir.

Uygulama

Bu çalışmada Seda Hanım'ın ve Onur'un sayılarıyla kaymayı kendin ölçecek, sonra üç kısa durumu türüne göre ayıracaksın. Hesap makinesi ve bir sayfa kâğıt yeter.

1. Eski kamerada on iki ayda dört yüz on iki fotoğraf, on üç uyarı var. Yeni kamerada ilk hafta kırk altı fotoğraf, dokuz uyarı. İki oranı yüzde olarak hesapla.
2. Uyarısız fotoğraflarda yüzdesi yirminin üstünde çıkanlar eskide üç yüz doksan dokuzda yetmiş bir, yenide otuz yedide üç. Bu iki oranı da hesapla.
3. Bu iki oranın düşmesinin hastalardaki bir değişiklikten gelmediğini hangi gözleme dayanarak söyleyebileceğini bir cümleyle yaz.
4. Belediye asistanı su ve çöp başvurularında yüzde doksan, park ve çevre başvurularında yüzde yetmiş doğru. Kışın başvuruların yüzde sekseni su ve çöp. Yazın bu pay yüzde altmışa inerse toplam doğruluk ne olur?
5. Şu üç durumu sınıflandır: bir dükkânın satış tahmini, yakına büyük bir market açıldıktan sonra aynı hafta günü ve aynı havada tutmuyor; bir el yazısı okuma programı, okul yeni bir defter tipine geçince silik çizgili sayfalarda yanılıyor; bir grip tahmin modeli kışın yazdan çok daha fazla pozitif sonuç görüyor.
6. Her durumun yanına kaymayı gösterecek veriyi yaz: yalnız girdiler mi yeter, yoksa gerçekleşen sonuçlar mı gerekir?

Hesap doğruysa ilk adımda yüzde üç virgül iki ve yüzde on dokuz virgül altı çıkar. İkinci adımda yüzde on yedi virgül sekiz ve yüzde sekiz virgül bir. Üçüncü adımın dayanağı, aynı gün iki kamerayla çekilen yirmi gözdür. Dördüncü adımda doksanın sıfır virgül altısı ile yetmişin sıfır virgül dördü toplanır: elli dört artı yirmi sekiz, yüzde seksen iki. Beşinci adımda market kavram kaymasıdır, defter tipi ortak değişken kaymasıdır, grip ise sonuçların oranının kaymasıdır; yalnız ikincisi girdilere bakarak görülebilir.

Defter: "Dünya değişti mi?" sayfasına kullandığın ya da izlediğin bir modelin eğitim verisinin hangi dönemden ve hangi cihazdan, hangi kaynaktan geldiğini, bugün aldığı verinin nereden geldiğini yaz; iki satır arasındaki ilk farkın yanına hangi kayma türüne kapı açtığını not et.

Hata köşesi

Sorumluluk

Kamerayı il sağlık müdürlüğü seçti, programı satıcı eğitti, ama yüzdeye bakıp sevk kararını veren Seda Hanım'dır; düşük okunan bir yüzde, sevk edilmemiş bir retinopati demektir ve zararı hasta görür. Seda Hanım'ın kararı şu: yeni kameranın yüzdeleri tek başına sevk dayanağı olmayacak, uyarı veren her fotoğraf yeniden çekilecek ve fotoğraflara kendisi bakacak. Müdürlüğe yazdığı yazıda, satıcının eğitim fotoğraflarının hangi kamera tiplerinden geldiğini belgelemesini ve programın yeni kameranın göz hekimince derecelendirilmiş fotoğraflarıyla doğrulanmasını istedi. Cihazı değiştiren kurum, değişikliğin modele ne yaptığını sormakla sorumludur.

Kapanış

1. Ölçülmüş başarı eğitim verisinin dünyasına aittir. Girdiler değişirse ortak değişken kayması, aynı girdinin sonucu değişirse kavram kayması, sonuçların oranı değişirse toplam başarı model değişmeden kayar.
2. Girdi ve çıktı dağılımları etiket beklemeden karşılaştırılabilir ve ortak değişken kaymasını erken gösterir; kavram kayması ise ancak tahmin gerçekleşen sonuçla karşılaştırılınca görünür ve sonuçlar geç gelir.
3. Model eğitim verisindeki cihaz ya da kurum izlerini de öğrenebilir; bu kısayolu yalnız başka bir kaynaktan alınmış ölçüm ortaya çıkarır. Yeniden eğitim yeni koşullardan etiket ve o koşullardan ayrılmış bir test ister.

Üç soru

1. Seda Hanım iki kamerayla aynı gün yirmi göz çektirdi. Bu deney, haftalık tablodaki düşüşten fazla olarak neyi gösterdi?
2. Deniz'in girdi karşılaştırması temiz çıktığı hâlde model neden yanıldı ve bu kaymayı hangi veri gösterdi?
3. Röntgen modelleri hastaneyi neredeyse kusursuz tanıyabiliyordu. Bu, eğitimle aynı hastaneden alınmış bir test kümesinin sonucunu neden iyimser yapabilir?

Yanıtlar

1. Haftalık tablo, hastaların değiştiği ihtimalini tam dışlamıyordu; şanslı bir hafta ya da farklı bir hasta grubu da oranları düşürebilirdi. Aynı gün aynı gözün iki fotoğrafı hastalığı sabit tutar. On altı gözün on üçünde yeni fotoğrafın daha düşük yüzde alması, değişikliğin gözde değil görüntüde olduğunu, yani bir ortak değişken kayması olduğunu gösterdi.
2. Sıcaklık, gün ve abone sayısı eğitim aralığındaydı, ama aynı koşullarda şebekeden çekilen elektrik çatı panelleri yüzünden azalmıştı. Girdi ile sonuç arasındaki ilişki değişmişti; bu kavram kaymasıdır. Onu gösteren, tahmin ile gerçekte ölçülen yükün karşılaştırmasıydı.
3. Zatürre sıklığı hastaneden hastaneye çok farklıydı; hastaneyi tanıyan bir model, hastalığı görmeden de tahminini iyileştirebilir. Aynı hastaneden gelen test kümesinde bu kısayol da işe yarar ve puanı yükseltir. Başka bir hastanede kısayol çalışmaz, başarı düşer.

Sonraki derse köprü

Seda Hanım'ın yeni kamerayla göz hekimince derecelendirilmiş fotoğrafı ilk aylarda ancak birkaç düzine olacak. O kadar az örneği eğitim, doğrulama ve test diye üçe bölmek, her parçayı güvenilmeyecek kadar küçültür. Ders 6.7, Çapraz doğrulama, küçük bir veriyle dürüst ölçümün nasıl kurulacağını bir atölyede elle işliyor.