Tablo verisinde klasik modeller

Açılış

Nisanın ilk perşembesi il sağlık müdürlüğünün toplantı salonunda perdeye bir firma sunumu yansıyordu. Birinci basamak şube müdürü, satın alma şartlarını yazmaktan tanıdığı Dr. Seda Hanım'ı ve Dr. Necati Bey'i de çağırmıştı. Firmanın yazılımı aile hekimlerinin listesindeki her hasta için önümüzdeki on iki ayda hastaneye yatma riskini hesaplayacak, en riskli yüzde onu ekranın başına dizecekti.

İkinci sayfada büyük harflerle "derin öğrenme" yazıyordu. Üçüncü sayfada katmanları birbirine bağlayan oklar vardı. Dördüncü sayfa girdileri sayıyordu: yaş, cinsiyet, son tahlillerden şeker ortalaması, kreatinin ve böbrek süzme hızı, kayıtlı tanılar, düzenli kullanılan ilaç sayısı, geçen yılki acil başvurusu. Firma modeli üç ilin kırk bin hastalık kaydıyla eğitmişti. Ayrılmış iki bin hastada ayırt etme puanı sıfır virgül yetmiş dokuzdu; puan, rastgele sıralamada yarım, kusursuz sıralamada bir çıkıyordu.

Seda Hanım dördüncü sayfada durdu. Bu girdileri tanıyordu. Her biri muayene ekranında bir kutuydu, her kutunun bir adı ve bir birimi vardı. Sabah baktığı göz dibi fotoğrafı ise böyle değildi; orada hiçbir pikselin adı yoktu.

"Bu tabloda basit bir lojistik model ne kadar yapıyor?" diye sordu.

Firmanın temsilcisi soruyu anlamadı, Seda Hanım yeniden sordu. Aynı iki bin hastada, aynı sütunlarla, Ders 5.2'deki gibi ağırlıklı bir toplam kurulsa puan ne olurdu? Temsilci bunu denemediklerini söyledi. Derin öğrenme en güçlü yöntemdi; daha zayıfıyla neden karşılaştırsınlardı?

Necati Bey defterine bir satır yazdı, sonra Seda Hanım'a uzattı: "Fark çıkmazsa neye para veriyoruz?"

Tek fikir

Sütunları anlamlı, türleri karışık ve satırları sınırlı bir tabloda ağaç tabanlı topluluklar ve çoğu zaman lojistik ya da doğrusal bir model işi görür; derin ağın üstünlüğü görüntü, ses ve metinde ölçülmüştür. Pahalı model, ucuzuyla aynı veride karşılaştırılmadan seçilmez.

Nasıl çalışır

Bu modülde altı model gördük ve hepsi aynı malzemeyle çalıştı: satırları birer kayıt, sütunları birer ölçüm olan bir tablo. Ders 2.5'te tanımladığımız derin öğrenmenin gücü ise ham pikselden, ses örneğinden ya da kelimeden işe yarayan ara özellikleri kendisinin bulmasıydı. Seda Hanım'ın perdede gördüğü tablo bu iki dünyadan hangisine aittir? Cevap, verinin türünü adlandırmakla başlar.

Ayrım dosya biçimine değil, sütunun ne taşıdığına bakar. Ders 3.2'deki EKG dosyası bir hesap tablosuna açılabilir; altmış bin sütunlu bir satır olur. Ama o sütunların her biri aynı sinyalin bir sonraki anıdır ve sırası karıştırılırsa kalp ritmi kaybolur; dosya tablo biçiminde olsa da veri yapısal değildir. Tersine, bir hastanın yaşı ile kreatinini arasında böyle bir sıra yoktur.

Tablonun bu niteliği modellerin farklı başarısını açıklar. Tipik bir iş tablosunun dört özelliği vardır. Sütunlar tek tek anlamlıdır ve çoğunun bir adı vardır. Türleri karışıktır: yaş bir sayı, cinsiyet bir kategori, tanı binlerce değeri olabilen bir kod. Hedefle ilişkileri düzensizdir; kreatinin belli bir eşiği geçince risk sıçrar, eşiğin altında pek değişmez. Satır sayısı da çoğu zaman sınırlıdır, görüntü veri setlerindeki milyonlarla değil binlerle ölçülür. Bu tablolarda sütunların bir kısmı hedef hakkında neredeyse hiçbir şey söylemez.

Karar ağacı bu dört özelliğe neredeyse kendiliğinden uyar. Her düğümde tek bir sütuna, kendi biriminde bir eşikle soru sorar; kreatinin eşiği bir basamak olarak ağaca girer. Bilgi taşımayan bir sütun seçilmez, ağaçta görünmez. Ders 5.4'teki ormanlar ve gradyan artırma bu soruları yüzlerce ağaçta birleştirir. Derin bir ağ ise girişte bütün sütunları ağırlıklı toplamlara karıştırır ve düzgün, yumuşak geçişli ilişkileri öğrenmeye yatkındır. Görüntüde bu tam istenen şeydir. Tabloda, kreatininin kendi adıyla bir anlam taşıdığı yerde, bir dezavantaj olabilir.

Döndürme deneyi dersin tanımına doğrudan dokunur. Sütunlar karıştırıldığında yaş ve kreatinin artık ayrı ayrı okunmaz, her yeni sütun ikisinin bir bileşimi olur. Ağaçların üstünlüğü tam o anda kaybolur, çünkü üstünlük sütunların kendi adıyla anlam taşımasından geliyordu.

Makalenin seçim ölçütlerinden biri Seda Hanım'ın sorusunu doğrudan ilgilendirir. Yazarlar fazla kolay setleri kıyastan çıkardı. Basit bir model, yani tek bir karar ağacı ya da lojistik veya doğrusal bir model, hem varsayılan ayarlı bir ağın hem de varsayılan ayarlı bir gradyan artırmanın skoruna yüzde beşten az uzaklıktaysa o set listeye alınmadı. Gerekçeleri, güçlü ve basit modellerin birbirine bu kadar yaklaştığı yerde ulaşılabilecek en iyi skorun zaten yakında olmasıydı. Yani ağaçların ağları geçtiği kırk beş tablo, basit modellerin yetmediği tablolardı. Basit modelin yettiği tablolar bilerek dışarıda bırakılmıştı.

Klinik kayıtlarda bu soru ayrıca sorulmuştur.

Bu derlemenin dersi iki yönlüdür. Lojistik model klinik tablolarda güçlü bir rakiptir. Daha önemlisi, karşılaştırma ne kadar özensizse yeni yöntem o kadar iyi görünür.

Modülün altı modeli şimdi tek bir tabloda toplanabilir.

Sahada

Nerede yanılır

"Tablo verisinde klasik model yeter" cümlesi bir ölçümün özetidir ve ölçümün koşulları dışında sessizce bozulur.

İlk koşul tablonun gerçekten tablo olmasıdır. Bir hesap tablosu dosyasında duran her şey tablo verisi değildir. EKG, ses kaydının örnekleri ya da bir fotoğrafın açılmış pikselleri sütunlara yazılabilir; ama o sütunların adı yoktur, anlamı dizilişindedir. Seda Hanım'ın firmasının tablosunda da böyle bir kutu saklıydı: hekimin serbest muayene notu. Not bir sütun gibi görünür ama içi metindir; ağaç onu okuyamaz, onu bir sayıya ya da kategoriye çevirmek ayrı bir iştir.

İkinci koşul ölçeğin aynı olmasıdır. Kıyas on bin satır mertebesinde kuruldu; yazarlar elli bin satırlık büyük setlere ayrıca baktı ve ölçütlere uyan böyle sette sayıları azdı. Milyonlarca satırlık bir tabloda, ya da metin ve görüntüyle birleşen bir kayıtta denge değişebilir. Kıyas eksik değerli satırları ve çok değerli kategorik sütunları da çıkarmıştı. Firmanın tablosundaki tanı kodu ise binlerce değer alabilir. Bulgu tam o sütun için konuşmaz.

Üçüncü koşul tarihtir. Ölçüm iki bin yirmi ikide denenen yöntemlerle yapıldı. Tablo verisine özel ağlar üzerine çalışma o günden beri sürüyor. Bir satıcı "bizim tablo modelimiz ağaçları geçiyor" dediğinde, bu derste anlatılan bulgu onu ne doğrular ne çürütür. Doğrulayacak olan, alıcının kendi kayıtlarında yapılmış bir karşılaştırmadır.

Son yanılgı karşılaştırmanın kendisindedir. Klinik derleme yanlılık riski yüksek çalışmalarda yeni yöntemin önde göründüğünü gösterdi. Bir model uzun bir ayar aramasıyla, rakibi varsayılan ayarlarla sınanırsa fark yöntemden değil emekten gelir.

Uygulama

Bu çalışma kâğıt kalemle ya da bir hesap tablosunda yapılır; sayılar dersteki üç durumdan gelir.

1. Göreli farkı şöyle hesapla: iki skor arasındaki farkı, daha iyi olan modelin skoruna böl. Skor büyüdükçe iyi oluyorsa daha iyi olan büyüktür; hata büyüdükçe kötü oluyorsa daha iyi olan küçüktür.
2. Seda Hanım iki hafta sonra firmadan aynı iki bin hastanın sonuçlarını istedi ve aldı: lojistik model sıfır virgül yetmiş sekiz, orman sıfır virgül seksen, derin ağ sıfır virgül yetmiş dokuz. Lojistik modelin ormana ve derin ağa göreli farkını ayrı ayrı hesapla.
3. Bu iki fark makaledeki "fazla kolay" ölçütünün altında mı? Altındaysa bu tablo kıyasın kırk beş setinden biri olabilir miydi?
4. Onur'un sonuçlarında lojistik yüzde yetmiş dört, gradyan artırma yüzde yetmiş altı. Göreli farkı hesapla.
5. Elif'in ayrılmış bin dosyasında ortalama sapma doğrusal modelde on beş, ormanda on iki bin liraydı. Bu bir hata ölçüsüdür; göreli farkı hesapla.
6. Her durum için tek cümle yaz: hangi model kurulur ve kararın gerekçesi yalnız skordan mı, yoksa okunabilirlikten, bakımdan ya da maliyetten de mi geliyor?
7. Seda Hanım'ın tablosunda hangi sütun ya da sütunlar, bu derste anlatılan bulgunun kapsamı dışında kalıyordu? Bir cümleyle yaz.

Varman gereken sayılar şunlar. Lojistik modelin ormana göreli farkı yüzde iki buçuk, derin ağa yüzde bir virgül iki yedi; ikisi de yüzde beşin altında, yani bu tablo makalenin ölçütüne göre kıyasa alınmazdı. Onur'un farkı yüzde iki virgül altı üç. Elif'in farkı üçü on ikiye bölmektir, yüzde yirmi beş; burada güçlü model açıkça önde ve Ders 5.4'te doğrusal modelin yine de kalmasının gerekçesi skor değil, müfettişin satır satır okuyabilmesiydi. Yedinci adımda serbest muayene notu metin olduğu için, tanı kodu ise binlerce değer aldığı için kapsam dışındadır.

Defter: Sayfanın üstüne "Ucuz model ne kadar yapıyor?" yaz; üç göreli farkı ve üç kararı alt alta not et, altına da bir yazılım ya da hizmet teklifinde daha basit bir seçeneğin sonucunu hiç görmeden "en gelişmiş" olanı seçtiğin bir anı ve şimdi soracağın soruyu ekle.

Hata köşesi

Sorumluluk

Firmanın yazılımını almak ya da almamak il sağlık müdürlüğünün kararıdır. Seda Hanım'ın sorumluluğu o kararın neye dayanacağını yazmaktı. Şube müdürüne gönderdiği notta iki şart vardı: firma aynı ayrılmış hastalarda lojistik model ve bir ağaç topluluğuyla karşılaştırma verecek, üç modelin ayar emeği de raporda yazacak; fark küçükse açıklaması kolay, bakımı ucuz model tercih edilecek. Pahalı bir yazılıma giden bütçe başka bir hizmetten eksilir. Yanlış sıralanan hasta da listenin başına çıkamaz. Liste ne gösterirse göstersin, hastayı çağırma kararı ve sorumluluğu aile hekiminde kalır. Hekim de listeyi, yazılımın hangi tabloyla doğrulandığını bilerek okur.

Kapanış

1. Tablo verisinde her sütun adı ve birimi olan ayrı bir ölçümdür; yapısal olmayan veride anlam değerlerin dizilişindedir. Derin ağların üstünlüğü ikincisinde ölçüldü.
2. On bin satır mertebesindeki tipik tablolarda ağaç toplulukları, iki bin yirmi ikide denenen derin ağları geçti; düzensiz ilişkiler, bilgi taşımayan sütunlar ve sütunların kendi adıyla anlam taşıması bunu açıkladı.
3. Basit model güçlüsüne yüzde birkaç kadar yaklaşıyorsa okunabilirlik, bakım ve maliyet kararı belirler; bunu bilmek için güçlü model, basit modelle aynı satırlarda ve aynı emekle karşılaştırılır.

Üç soru

1. Seda Hanım'ın perdede gördüğü girdiler neden tablo verisidir, sabah baktığı göz dibi fotoğrafı neden değildir?
2. Kıyasta fazla kolay setlerin dışarıda bırakılması, ağaçların ağları geçtiği bulgusunu okurken neden önemlidir?
3. Klinik derlemede yanlılık riski yüksek çalışmalarda makine öğrenmesi neden önde görünmüş olabilir ve bu, bir satıcının raporunu okurken neye bakmayı gerektirir?

Yanıtlar

1. Perdedeki her girdi muayene ekranında adı ve birimi olan bir kutudur: yaş, kreatinin, ilaç sayısı. Sütunların sırası değişse bilgi kaybolmaz. Fotoğrafta tek bir pikselin adı yoktur; retinopati izi komşu piksellerin birlikte oluşturduğu desendir ve dizilişi bozulursa iz de kaybolur.
2. Yalnız basit bir modelin güçlü modellere yüzde beşten fazla uzak kaldığı setler alındı. Bulgu, basit modellerin yetmediği tablolarda ağaçların ağlardan iyi olduğunu söyler. Basit modelin zaten yettiği tablolar hakkında bir şey söylemez; o tablolarda pahalı modele gerek olup olmadığını o tabloda yapılacak bir karşılaştırma gösterir.
3. Yanlılık riski yüksek çalışmalarda yeni yöntem daha çok emekle ayarlanmış, basit model hazırlıksız bırakılmış ya da sonuç eğitimde kullanılan hastalarda ölçülmüş olabilir. Satıcının raporunda üç modelin aynı ayrılmış hastalarda, benzer ayar emeğiyle sınanıp sınanmadığına ve sonucun hangi tabloda ölçüldüğüne bakılır.

Sonraki derse köprü

Bu derste her skoru, modelin eğitimde görmediği ayrılmış hastalarda, dosyalarda ya da başvurularda okuduk ve bunu hiç sorgulamadık. Ders 6.1, Ezber ve genelleme, o seçimin nedenini açıyor: eğitim kayıtlarında neredeyse kusursuz olan bir modelin yeni bir kayıtta neden çöktüğünü ve bir modelin öğrendiğini mi yoksa ezberlediğini mi nasıl ayırt edeceğimizi soruyor.