Topluluk yöntemleri

Açılış

Martın üçüncü perşembesi Melis, hasar tutarı için kurduğu karar ağacını ikinci kez eğitti. Tabloya yalnız geçen haftanın kapanan dosyalarını eklemişti: yüz kırk satır, otuz sekiz binlik bir tabloda bir avuç.

Ağacın ilk sorusu değişmişti. Pazartesiki sürüm dosyaları önce "yaralanma var mı?" diye ayırıyordu; perşembeki önce araç yaşına bakıyordu. Melis'in her sabah kontrol için açtığı bir dosya vardı: iki araçlı bir kaza, ön tampon, far ve kaput. Pazartesi ağaç bu dosyaya kırk sekiz bin lira demişti. Perşembe yetmiş bir bin diyordu.

"Hangisine inanacağım?" diye sordu Elif'e.

Elif bir deneme önerdi. Aynı tablodan rastgele çekilmiş üç yüz ayrı kopya, her kopyaya bir ağaç, sonunda üç yüz tahminin ortalaması. Akşama kadar bunu pazartesinin ve perşembenin tablosuyla birer kez kurdular. Kontrol dosyası birinde elli yedi bin, ötekinde elli sekiz bin aldı. Ayırdıkları bin kapanmış dosyada ortalama sapma da düşmüştü: tek ağaçta on dokuz bin lira, şirketin kullandığı doğrusal modelde on beş bin, üç yüz ağacın ortalamasında on iki bin.

Melis sonuç tablosunu müdüre göndermek üzereyken Elif onu durdurdu. Ayın başında araç yaşı katsayısını savunurken dayandığı şey, denetime gelen müfettişin her katsayıyı tek satırda okuyabilmesiydi. Tek ağacın dalları da okunuyordu, kararsız olsa bile. Üç yüz ağacın her biri ise başka sorular soruyordu.

"Müfettiş bu dosyaya neden elli yedi bin ayrıldığını sorarsa," dedi Elif, "ona hangi ağacı göstereceğiz?"

Tek fikir

Birbirinden farklı yerlerde yanılan çok sayıda zayıf modelin tahmini birleştirilince hatalar kısmen birbirini götürür; sonuç tek modelden daha kararlı ve çoğu zaman daha doğrudur. Bedeli, kararı artık okunabilen tek bir yapının vermemesidir.

Nasıl çalışır

Karar ağacı, veriyi soru soru bölen ve dalları izlenerek okunan bir modeldir. Melis'in pazartesiyle perşembe arasında gördüğü şey onun bilinen bir huyudur: tablodaki küçük bir değişiklik ilk soruyu değiştirebilir, ilk soru değişince altındaki bütün dallar da değişir. Bu ders, o oynaklığı bir kusur olmaktan çıkarıp malzemeye çeviren yöntemleri anlatıyor.

Fikir istatistikten eskidir: çok sayıda insana ayrı ayrı sorup cevapların ortasını almak, bazen tek bir uzmandan iyi sonuç verir.

Tek tek kartlar dağınıktı; ortaları isabetliydi. Bunun nedeni sayıyla görülebilir. Beş model düşünelim, her biri bir dosya hakkında evet ya da hayır diyor ve her biri yüzde altmış doğru. Beşi çoğunluk oyuyla karar verirse, çoğunluğun doğru olması için en az üçünün doğru olması yeter. Modeller birbirinden bağımsız yanılıyorsa tam üçünün doğru olma olasılığı yüzde otuz dört virgül elli altı, tam dördünün yüzde yirmi beş virgül doksan iki, beşinin birden yüzde yedi virgül yetmiş sekiz çıkar. Toplam yüzde altmış sekiz virgül yirmi altı. On bir modelde çoğunluk yüzde yetmiş beş virgül otuz beş, yüz bir modelde yüzde doksan yedi virgül doksan bir doğrudur.

Bu kazancın tek koşulu "bağımsız" kelimesidir ve gerçek modellerde o koşul hiçbir zaman tam tutmaz. Aynı tablodan öğrenen modeller aynı eksik satırları, aynı yanlış girilmiş tarihleri görür; aynı dosyalarda birlikte yanılırlar. Oy sayısı artar, bağımsız oy sayısı artmaz. Bu yüzden bu ailedeki her yöntemin asıl uğraşı, modelleri olabildiğince farklı yerlerde yanılacak biçimde kurmaktır.

Elif'in önerdiği deneme bu ailenin en yaygın üyesidir. Her ağaç iki ayrı rastlantıyla kurulur. Birincisi satırlardadır: ağaç, eğitim tablosunun kendisini değil, tablodan geri koyarak yapılmış rastgele bir çekilişi görür. Otuz sekiz bin satırdan otuz sekiz bin çekiliş yapılır; bazı dosyalar iki kez gelir, yaklaşık üçte biri hiç gelmez. İkincisi sütunlardadır: ağaç her düğümde kırk sütunun hepsine bakamaz, yalnız rastgele seçilmiş küçük bir gruptan soru seçebilir. Bu ilk bakışta israf gibi görünür. Ama "yaralanma var mı?" çok güçlü bir sütunsa bütün ağaçlar ilk soruyu ondan sorar ve birbirine benzer; o sütunun bazen elden alınması ağaçları başka yollara zorlar.

Ormanın ağaçları birbirinden habersiz büyür. İkinci yolda ise ağaçlar sırayla kurulur ve her yeni ağaç öncekilerin bıraktığı hataya bakar.

Bunu Ders 4.6'daki beş dosyayla görelim: bir parçalı dosyada otuz, iki parçalıda kırk yedi, üç parçalıda altmış sekiz, dört parçalıda seksen üç, beş parçalıda yüz iki bin lira ödenmişti. Başlangıç tahmini herkes için ortalamadır, altmış altı bin. Ders 4.7'de tanımladığımız artıklar eksi otuz altı, eksi on dokuz, artı iki, artı on yedi ve artı otuz altı çıkar; ortalama kare hata altı yüz kırk dokuz virgül iki. Şimdi tek soruluk küçük bir ağaç, ödemeyi değil artıkları tahmin etmeye çalışır. Bulduğu en iyi soru "parça sayısı ikiden fazla mı?" olur. Hayır diyen iki dosyanın artık ortalaması eksi yirmi yedi buçuk, evet diyen üç dosyanınki artı on sekiz virgül üç üç. Bu sayılar tahminlere eklenir ve yeni artıklar eksi sekiz buçuk, artı sekiz buçuk, eksi on altı virgül üç üç, eksi bir virgül üç üç ve artı on yedi virgül altı yedi olur. Kare hata yüz kırk beşe iner. İkinci küçük ağaç kalan artıklara bakar ve "beş parçalı mı?" diye sorar; kare hata altmış yediye düşer.

Adındaki gradyan Ders 4.6'daki gradyandır. Orada her adımda modelin ayarları, kaybın eğiminin ters yönüne kaydırılıyordu. Burada kaydırılan şey ayarlar değil, her dosyanın tahminidir; kare hatada eğimin tersi de artığın kendisidir. Her yeni ağaç, yokuş aşağı atılan bir adımdır.

Sahada

Nerede yanılır

Topluluğun gücü bağımsızlıktan gelir, zaafı da oradan. Bütün ağaçlar aynı tablodan beslenir; tabloda hiç olmayan bir durum hiçbir ağacın aklına gelmez. Melis'in tablosu yalnız kapanmış dosyalardan oluşuyordu. Mahkemeye giden ağır dosyalar tabloda azdı; orman bu dosyalarda tek ağaçla aynı yönde yanılır. Üç yüz oy, aynı kör noktayı üç yüz kez onaylar.

Sayı tahmin eden bir ormanın bir sınırı daha vardır. Her ağaç, bir dosyaya eğitim dosyalarından bazılarının ortalamasını verir; orman da bu ortalamaların ortalamasını. Bu yüzden orman, eğitim tablosunda görülen en yüksek ödemenin üstünde bir sayı söyleyemez. Yedek parça fiyatları bir yıl içinde belirgin biçimde artarsa, ormanın tahminleri tablonun eski tavanına yaslanır ve bu hiçbir uyarı vermeden olur.

Gradyan artırmanın hata biçimi başkadır. Her yeni ağaç kalan artıklara bakar ve artıklar bir noktadan sonra çoğunlukla gürültüdür: yanlış girilmiş bir tarih, bir kez görülmüş tuhaf bir dosya. Ağaç eklemeyi sürdüren model eğitim tablosundaki hatayı sıfıra yaklaştırırken yeni dosyalardaki hatası büyümeye başlar. Levent Bey'in dört yüzüncü ağacı buydu. Ağaç sayısı ve öğrenme oranı modelin kendi bulduğu sayılar değildir; onları, ayrı tutulmuş verideki hatayı izleyen biri seçer.

Son yanılgı okunuşta. Breiman'ın kendisi, ağaçlardan oluşan bir ormanın basit bir yorumla içine girilemeyecek kadar karmaşık olduğunu yazar. Elif'in sorusu tam budur. Hangi sütunların ormana ne kadar iş gördürdüğünü ölçen yollar ileride işlenecek; ama hiçbiri tek bir dosya için "şu soru, şu cevap, şu tutar" diye izlenen bir yol vermez.

Uygulama

Bu çalışma kâğıt kalemle ya da bir hesap tablosunda yapılır.

1. Her biri yüzde altmış doğru beş bağımsız model düşün. Tam üçünün doğru olma olasılığını hesapla: beş modelden üçünü seçmenin on yolu vardır, her yol sıfır virgül altının küpü çarpı sıfır virgül dördün karesi kadar olasıdır.
2. Aynı hesabı tam dört ve tam beş doğru için yap, üç sonucu topla. Bu toplam çoğunluğun doğru olma olasılığıdır.
3. Şimdi beş modelin üçünün aynı tablonun aynı kopyasıyla eğitildiğini ve her dosyada aynı cevabı verdiğini düşün. Çoğunluğu kim belirler? Doğruluk ne olur?
4. Bir de her modelin yüzde kırk doğru olduğunu düşün ve birinci adımla ikinci adımı tekrarla. Topluluk tek modelden iyi mi çıktı, kötü mü?
5. Beş dosyayı yaz: parça sayısı birden beşe, ödeme otuz, kırk yedi, altmış sekiz, seksen üç ve yüz iki bin. Başlangıç tahmini olarak ortalamayı yaz ve beş artığı hesapla.
6. "Parça sayısı ikiden fazla mı?" sorusuyla dosyaları ikiye ayır, her grubun artık ortalamasını bul ve tahminlere ekle. Yeni artıkları ve ortalama kare hatayı hesapla.
7. En büyük artık hangi dosyada kaldı? Üçüncü bir ağaç kursaydın hangi soruyu sorardı, tahmin et ve gerekçesini bir cümleyle yaz.

İlk iki adımın toplamı yüzde altmış sekiz virgül yirmi altıdır. Üçüncü adımda çoğunluğu hep üçlü belirler ve doğruluk yüzde altmışta kalır. Dördüncü adımda topluluk yüzde otuz bir virgül yetmiş dörde düşer: tek tek kötü olan modellerin oylaması kötülüğü büyütür. Beşinci ve altıncı adımın sayıları dersteki hesapla aynıdır; yeni ortalama kare hata yüz kırk beş virgül sıfır üç. En büyük artık beş parçalı dosyada, on yedi virgül altı yedi; bu dersin ikinci ağacı da tam o dosyayı ayıran soruyu sordu.

Defter: "Oyların bağımsızlığı" adını verdiğin sayfaya beş oylu topluluğun üç doğruluğunu, yüzde altmış sekiz, yüzde altmış ve yüzde otuz bir virgül yetmiş dördü alt alta yaz; yanına, kararını birden çok kaynağa danışarak verdiğin bir durumu ve o kaynakların birbirinden gerçekten bağımsız olup olmadığını not et.

Hata köşesi

Sorumluluk

Elif ve müdürü ormanı hemen devreye almadı. Karşılık hesabında doğrulanmış doğrusal model kalacak; orman üç ay boyunca yanında paralel çalışacak ve iki modelin tahmini yüzde otuzdan fazla ayrılan dosyalar bir eksperin önüne gidecek. Karar müdürün imzasıyla model belgesine yazıldı: hangi model hangi iş için kullanılıyor, ağaç sayısı ve öğrenme oranı nasıl seçildi, ayrı tutulan dosyalar hangi aylardan geldi. Müfettişin "bu tutar neden" sorusuna cevap vermek modeli kuranın sorumluluğudur; model okunamıyorsa cevap okunabilen bir yoldan, eksperin notundan ya da doğrusal modelin satırından verilir. Hangi açıklamanın yeterli sayılacağına da modeli kuran değil, denetimin karşısında imza atan karar verir.

Kapanış

1. Topluluk yöntemleri çok sayıda modelin tahminini oylama ya da ortalamayla birleştirir; kazanç, modellerin birbirinden farklı yerlerde yanılmasından gelir, aynı yerde yanılan modelleri çoğaltmak bir şey kazandırmaz.
2. Rastgele orman, satırların rastgele çekilişiyle ve her düğümde sınırlı bir sütun seçimiyle büyütülen ağaçları ortalar; gradyan artırma küçük ağaçları sırayla ekler ve her birini öncekilerin artıklarını düzeltmeye adar.
3. Topluluk tek modelden daha kararlı ve çoğu zaman daha doğrudur ama tek bir okunur yol bırakmaz; tablonun kör noktalarını paylaşır ve ağaç sayısı gibi ayarları ayrı tutulmuş veriye bakan bir insan seçer.

Üç soru

1. Her biri yüzde altmış doğru beş modelin çoğunluk oyu neden yüzde altmıştan daha doğru olabilir, hangi koşulda olamaz?
2. Rastgele ormanda her düğümde yalnız birkaç sütuna bakılmasının amacı nedir?
3. Gradyan artırmada ikinci ağaç neden ödemeleri değil artıkları tahmin eder ve bunun Ders 4.6 ile bağı nedir?

Yanıtlar

1. Modeller bağımsız yanılıyorsa çoğunluğun yanılması için en az üçünün birden yanılması gerekir ve bu daha az olasıdır; hesap yüzde altmış sekiz virgül yirmi altı verir. Modeller birlikte yanılıyorsa, örneğin üçü hep aynı cevabı veriyorsa, çoğunluğu o üçlü belirler ve doğruluk yüzde altmışta kalır. Tek tek modeller yüzde ellinin altındaysa oylama sonucu kötüleştirir.
2. Güçlü bir sütun her düğümde serbestçe seçilebilseydi bütün ağaçlar onu sorar ve birbirine benzerdi. Benzer ağaçlar aynı yerde yanılır ve ortalamaları tek ağaçtan pek iyi olmaz. Sütun seçimini sınırlamak ağaçları farklı yollara iter, aralarındaki korelasyonu düşürür.
3. İlk tahminin ödemeleri ne kadar kaçırdığı artıklarda yazılıdır; ikinci ağaç bu kaçırılan kısmı tahmin edip toplama ekler. Kare hatada artık, kaybın tahmine göre eğiminin tersidir; yani her yeni ağaç, Ders 4.6'daki gibi yokuş aşağı bir adımdır, yalnız kaydırılan şey katsayılar değil, her dosyanın tahminidir.

Sonraki derse köprü

Ağaçlar ve ormanlar yeni bir dosyaya, eğitim dosyalarını soru soru ayırarak bir tahmin verir. Tümüyle başka bir yol da var: yeni dosyaya en çok benzeyen geçmiş dosyaları bulup onların sonucuna bakmak. Ders 5.5, En yakın komşu, benzerlikle karar vermeyi konu ediyor; benzerlik demek ise iki dosya arasındaki uzaklığı ölçmek demek, ve araç yaşı ile hasar tutarının aynı cetvelle ölçülüp ölçülemeyeceği o dersin sorusu.