Kümeleme

Açılış

Martın son haftası satış müdürü Nurten Hanım, Murat Bey'in odasına bir hesap tablosuyla geldi. Fabrikanın yüz kırk müşterisi vardı ve bahar fiyat listesi nisanda çıkacaktı. Nurten Hanım müşterileri dört gruba ayırmak, her gruba bir ad ve bir indirim oranı vermek istiyordu. Tabloda her müşteri için iki sayı duruyordu: geçen yıl kaç sipariş verdiği ve bir siparişin ortalama kaç bin kutu olduğu.

Murat Bey kamera projesinden beri fabrikada veriyle uğraşan kişi olmuştu. Tabloyu bir gruplama aracına verdi, dört grup istedi. Sonuç birkaç saniyede geldi. Nurten Hanım grupları tek tek okudu ve adları hemen koydu: sık ve büyük sipariş verenler "sadık büyükler", seyrek ama büyük verenler "mevsimlikler", sık ama küçük verenler "mahalle müşterileri", geri kalanlar "ara sıra gelenler". Sadık büyüklere yüzde beş indirim, mevsimliklere erken sipariş indirimi düşünüyordu.

Murat Bey merak edip aynı tabloyu bir kez de beş grupla çalıştırdı. Gruplar yerinden oynadı. Mahalle müşterilerinin bir kısmı ara sıra gelenlere kaymıştı. Beşinci grupta ise tek bir müşteri vardı: yılda yirmi küsur kez, her seferinde öteki herkesten kat kat büyük sipariş veren bisküvi üreticisi. Dört gruplu sonuçta bu firma sadık büyüklerin içindeydi ve o grubun ortasını kendi tarafına çekiyordu.

Tuncay Bey kapıdan iki çıktıya baktı. "Hangisi doğru?" dedi. "Dört mü, beş mi?"

Nurten Hanım indirim tablosunu çoktan yazmaya başlamıştı. Murat Bey bir şey daha fark etti: dört gruplu çalıştırmayı tekrarladığında sınırdaki iki müşteri bu kez başka gruba düşmüştü.

Tek fikir

K-ortalamalar, noktaları seçilen sayıda merkeze atayıp merkezleri tekrar tekrar ortalamaya taşıyarak gruplar. Bulduğu kümeler k'ya ve başlangıca bağlıdır ve verinin içinde hazır bir anlam taşımak zorunda değildir.

Nasıl çalışır

Ders 4.3'te etiketi olmayan veride yapı aramayı gördük; Onur'un arşivindeki sekiz grup orada bir sonuç olarak gelmişti. Bu derste o grupları üreten en yaygın yöntemin içine bakıyoruz.

En yaygın kümeleme yöntemi, ortalama fikrini birden çok gruba yayar.

Yöntemin ölçtüğü şey de basittir. Her noktanın kendi merkezine olan uzaklığının karesi alınır ve bütün noktalar için toplanır. Buna küme içi kare toplamı denir. Atama adımı her noktayı en yakın merkeze göndererek bu toplamı küçültür; güncelleme adımı merkezi ortalamaya taşıyarak bir kez daha küçültür, çünkü bir grup sayıya en yakın tek nokta, karelerle ölçüldüğünde, onların ortalamasıdır. Toplam hiçbir adımda büyümez ve sonlu sayıda atama olduğu için yöntem bir yerde durur.

Kâğıt üzerinde görelim. Nurten Hanım'ın tablosundan sekiz müşteri, harflerle:

İki küme isteyelim, k ikidir. Birinci denemede başlangıç merkezleri olarak A ile E'yi seçelim. Atama adımında A, B, C, D, A'ya; E, F, G, H, E'ye daha yakındır. Güncelleme adımında soldaki dördün ortalaması dört buçuk sipariş ve altı bin kutuya, sağdaki dördünki yirmi buçuk sipariş ve altı bin kutuya düşer. Yeni merkezlerle yeniden atadığımızda hiçbir müşteri yer değiştirmez; yöntem durur. Küme içi kare toplamı yüz ikidir. Bulunan iki küme "seyrek sipariş verenler" ile "sık sipariş verenler"dir.

İkinci denemede başlangıç merkezleri A ile C olsun. Bu kez A, B, E, F, A'ya; C, D, G, H, C'ye daha yakındır, çünkü E'nin A'ya uzaklığı on altı, C'ye uzaklığı on yediden biraz fazladır. Merkezler on iki buçuk sipariş ve iki buçuk bin kutuya, on iki buçuk sipariş ve dokuz buçuk bin kutuya taşınır. Yeniden atamada yine kimse yer değiştirmez; yöntem burada da durur. Küme içi kare toplamı beş yüz on altıdır. Bulunan iki küme bu kez "küçük sipariş verenler" ile "büyük sipariş verenler"dir.

Aynı veri, aynı k, aynı yöntem iki ayrı cevap verdi ve ikisi de durdu. İkisine de makul bir ad konabilir; Nurten Hanım ikisinden de bir indirim politikası çıkarırdı. Ölçüye bakınca biri açıkça daha iyidir: yüz iki, beş yüz on altının beşte birinden azdır. Ama yöntemin kendisi ikinci denemede bunu bilmez; durduğu yerden bakınca her nokta zaten en yakın merkezindedir ve her merkez zaten kendi kümesinin ortalamasındadır.

Yöntemin bugünkü adı başka bir metinden gelir.

Kalan soru k'dır. Nurten Hanım dört istedi, çünkü aklında dört indirim vardı. Peki veri kaç dedi? İlk akla gelen, küme içi kare toplamına bakıp en küçük olanı seçmektir.

Kart şunu söylüyor: toplamı en küçük yapan k her zaman en büyük k'dır ve o da her müşteriyi kendi kümesine koyar. Kare toplamı k'yı seçemez. Tabloda başka bir şey görünüyor ama: dörde kadar toplam hızla düşüyor, sonra neredeyse kımıldamıyor. Bu sekiz müşteri gerçekten dört ikili halinde duruyor. Beşinci kümeyi istemek bir ikiliyi ikiye bölüyor ve beş kümeden birinde tek bir müşteri kalıyor; açılıştaki bisküvi üreticisinin beşinci gruba tek başına düşmesi aynı hesaptan doğar. Düşüşün kırıldığı yer bir ipucudur, bir kanıt değil. Gerçek tablolarda böyle keskin bir kırılma çoğu zaman yoktur ve k'yı sonunda kümelerle ne yapılacağını bilen kişi seçer.

Sahada

Nerede yanılır

K-ortalamalar, istendiği kadar küme verir. Veride hiç ayrım olmasa da, tek düze bir bulut olsa da, k dört denince dört küme çıkar ve dördünün de merkezi, sınırı, üyeleri vardır. Çıktı, verinin dört parçalı olduğunu göstermez; dört parçaya bölündüğünü gösterir.

Başlangıç da sonucu değiştirir. Sekiz müşterilik örnekte kötü bir başlangıç, beş kat daha dağınık bir bölüşümde durdu ve yöntem bunu bir hata olarak bildirmedi. Gerçek tablolarda yöntemi birçok farklı başlangıçla çalıştırıp en düşük toplamı vereni seçmek olağan bir uygulamadır; bu en iyi cevabı garanti etmez, yalnız kötü bir yerel durağa takılma olasılığını azaltır. Kullanılan yazılım çoğu zaman başlangıçları rastgele seçer ve aynı tablo iki gün arayla iki farklı sonuç verebilir. Açılışta sınırdaki iki müşterinin yer değiştirmesi buradan gelir.

Her noktayı en yakın merkeze gönderdiği için yöntem kümeleri merkezlerinin çevresinde yuvarlak varsayar; uzun ya da kıvrık öbekleri böler. Uzaklık da sütunların birimine bağlıdır: ortalama sipariş bin kutu yerine kutu cinsinden yazılsaydı o sütun binlerle oynayacak, sipariş sayısı neredeyse hiç sayılmayacaktı.

Tek kişilik küme ayrı bir uyarıdır. Bisküvi üreticisi gibi bir aykırı değer ya kendi kümesini kurar ya da içine düştüğü kümenin merkezini kendine çeker. Merkez bir ortalama olduğu için, 3.4'te ortalamanın aykırı değere duyarlılığını gördüğümüz gibi, tek dev müşteri bir grubun "tipik" siparişini olduğundan büyük gösterir ve o gruba konacak indirim bu şişkin merkeze göre hesaplanır.

Uygulama

Bu çalışmada sekiz müşterilik tabloda k-ortalamaları iki farklı başlangıçla elle çalıştıracak, sonuçları ölçecek ve kümelere ad koymanın bir karar olduğunu kendi yazdığın adlarla göreceksin.

1. Dersteki tabloyu kâğıda geçir ve sekiz müşteriyi bir saçılım olarak çiz: yatay eksende yıllık sipariş sayısı, dikey eksende ortalama sipariş.
2. Birinci başlangıç olarak B ile D'yi merkez seç. Her müşterinin iki merkeze uzaklığının karesini hesapla: iki sütundaki farkların karelerini topla. Her müşteriyi küçük çıkan merkeze ata.
3. Her kümenin iki sütundaki ortalamasını alarak yeni merkezleri bul. Müşterileri yeni merkezlere göre yeniden ata. Kimse yer değiştirmeyene kadar sürdür ve kaç turda durduğunu yaz.
4. Durduğun yerde her müşterinin kendi merkezine uzaklığının karesini topla. Bu sayı küme içi kare toplamıdır.
5. İkinci başlangıç olarak C ile G'yi merkez seç ve ikinci, üçüncü, dördüncü adımları tekrarla.
6. İki sonucun kümelerini ve toplamlarını alt alta yaz. Hangisi daha sıkı? Başlangıç seçimin neden bu sonuçlara götürdü?
7. Her kümeye, yalnız iki sütundan söylenebilecek bir ad ver. Sonra bu adlardan birine bir indirim politikası bağlasaydın, o kümenin sınırında duran bir müşteri için bu politikanın ne demek olacağını bir cümleyle yaz.

Varman gereken sonuçlar şunlar. B ile D'den başlayınca kümeler A, B, E, F ile C, D, G, H olur; merkezler on iki buçuk sipariş ve iki buçuk bin kutu ile on iki buçuk sipariş ve dokuz buçuk bin kutudur, ikinci turda durulur ve toplam beş yüz on altıdır. C ile G'den başlayınca kümeler A, B, C, D ile E, F, G, H olur; merkezler dört buçuk sipariş ve altı bin kutu ile yirmi buçuk sipariş ve altı bin kutudur, yine ikinci turda durulur ve toplam yüz ikidir. Yedinci adımın tek bir doğru cevabı yoktur; doğru olan, adı kimin, hangi sütunlara bakarak koyduğunun yazılı olmasıdır.

Defter: "Kümeye ad koymak" başlığını at; iki başlangıcın kümelerini, toplamlarını ve verdiğin adları yaz, altına da evde ya da işte gruplara ayırdığın bir listeyi an ve o grupların sayısını senin mi yoksa listenin mi belirlediğini tek cümleyle not et.

Hata köşesi

Sorumluluk

Kümelere ad koymak ve kümelere fiyat bağlamak iki ayrı karardır ve ikisi de yöntemin değil, onu kullananındır. Açılıştaki indirim tablosunda kararı veren Nurten Hanım'dır; k'yı da adları da o seçer. Bu yüzden indirim politikası, kümelerin kaç farklı başlangıçla, hangi sütunlarla ve hangi k ile bulunduğunu söyleyen bir notla birlikte yazılır. Sınırdaki müşteriler ayrıca listelenir, çünkü rastgele başlangıç onları bir gün bir gruba, ertesi gün ötekine atabilir. Murat Bey'in sorumluluğu, sonucu doğrulamaktır: birden çok başlangıçla tekrarlamak, tek kişilik kümeleri ve aykırı değerleri ayrıca göstermek, kümeleri birer gerçek müşteri tipi gibi değil, bir bölüşümün sonucu olarak sunmak.

Kapanış

1. K-ortalamalar, k merkezle başlar, her noktayı en yakın merkeze atar, merkezi kümesinin ortalamasına taşır ve atamalar değişmeyene kadar sürer; küme içi kare toplamı hiçbir adımda büyümez.
2. Sonuç başlangıca bağlıdır ve yöntem en iyi bölüşümü garanti etmez; birçok başlangıçla çalıştırmak ve sınırdaki noktaları ayrıca göstermek gerekir.
3. Küme içi kare toplamı k arttıkça hep düştüğü için k'yı seçemez; k'yı ve kümelerin adını, kümelerle ne yapılacağını bilen kişi seçer ve gerekçesini yazar.

Üç soru

1. Sekiz müşterilik örnekte A ile C'den başlayan çalıştırma neden daha kötü bir bölüşümde durdu ve yöntem neden oradan çıkamadı?
2. Nurten Hanım "veri kaç küme diyorsa o kadar olsun" dese, küme içi kare toplamına bakarak k'yı seçmek neden işe yaramaz?
3. Beş kümeli sonuçta bisküvi üreticisi tek başına bir küme oldu. Bu, dört kümeli sonuçta indirim hesabını nasıl etkiliyordu?

Yanıtlar

1. A ile C aynı sütunda, biri altta biri üstte duruyordu; ilk atama müşterileri sipariş büyüklüğüne göre böldü. Merkezler ortalamaya taşındığında her müşteri yine kendi merkezine en yakındı ve her merkez kendi kümesinin ortalamasındaydı. İki adımdan hiçbiri durumu değiştiremediği için yöntem durdu; yüz ikilik daha iyi bölüşüme ancak başka bir başlangıçla varılabilirdi.
2. Ulaşılabilecek en küçük toplam k arttıkça hiç artmaz ve k müşteri sayısına eşitlenince sıfır olur. Ölçüye göre en iyi sonuç her müşteriyi ayrı kümeye koymaktır. Toplamın düşüşünün nerede yavaşladığı bir ipucu verir ama k'yı, kümelerle yapılacak işi bilen kişi seçer.
3. Firma sadık büyükler kümesindeydi ve merkez bir ortalama olduğu için kümenin tipik siparişini kendi tarafına, yukarı çekiyordu. Gruba verilecek indirim bu şişkin merkeze göre hesaplanırsa, grubun öteki müşterileri için gerçekte olduklarından büyük bir alıcı varsayılmış olur.

Sonraki derse köprü

Bu modülde bir sayı tahmin eden, olasılık veren, soru soru bölen ve gruplayan modelleri tek tek gördük; hepsi satırları ve sütunları olan bir tablo üzerinde çalıştı. Ders 5.7, Tablo verisinde klasik modeller, bu modelleri birlikte ele alıyor ve sipariş, hasar ya da ölçüm tablosu gibi birçok iş probleminde derin bir ağa neden gerek kalmadığını soruyor.