Veri nereden geliyor

Açılış sahnesi

İstanbul, iş zekâsı biriminin toplantı odası. Gizem personel kararı için seçtiği üç ölçüden birini, kasada ortalama bekleme süresini, ekrana getiriyor ve bir sorunla karşılaşıyor: grubun elinde bu rakamın üç farklı hâli var. Kasa sistemi her şube için bir süre veriyor. Şube müdürlerinin her hafta doldurduğu formda da bir «ortalama bekleme» satırı var. Bir de mobil uygulamadan gelen müşteri anketinde «kasada ne kadar beklediniz?» sorusu.

Üç rakam birbirini tutmuyor. Kasa sistemine göre en hızlı şube, müdür formuna göre ortalarda, anket sonucuna göre en yavaşlardan biri. Gizem Seda Hanım'a soruyor: «Hangisi doğru?» Seda Hanım cevap vermeden önce başka bir soru soruyor: «Üçü de aynı şeyi mi ölçüyor? Ve kimi ölçüyor?»

Bu derste ne olacak

Önce bir rakamın üç farklı kaynaktan gelebileceğini göreceğiz: bir sistemin ya da cihazın yaptığı ölçüm, bir işin yan ürünü olarak tutulan kayıt ve bir kişinin kendi beyanı. Sonra çoğu zaman bütünü değil bir kısmını gördüğümüzü, yani örneklemle çalıştığımızı ve örneklemin kimlerden oluştuğunun neden önemli olduğunu konuşacağız. Bu iki konuyu iki kaynaktan okuyacağız: biri beyan ile doğrudan ölçüm arasındaki uyumu yüzlerce çalışmada inceleyen bir derleme, öteki ankete katılmayanların sonucu nasıl etkileyebileceğini tartışan bir yöntem makalesi. Ardından Kestane Grup'ta üç bekleme süresinin neden tutmadığını birlikte bulacağız.

Kanıt ne diyor

Her rakamın arkasında bir üretim süreci vardır: kim ya da ne ölçtü, neyi ölçtü, ne zaman ve kimin üzerinde. Bu süreç bilinmeden rakamın neyi söylediği de bilinemez. İki tür sorun özellikle sık görülür: ölçüm yöntemi değiştikçe rakamın değişmesi ve ölçülenlerin bütünü temsil etmemesi.

Sahada

Ölçüm, kayıt, beyan

Kaydın kendi davranışı

Gizem'in yeni satırı

Gizem rapor şablonuna her ölçünün altına bir «köken» satırı ekliyor: ölçüm mü, kayıt mı, beyan mı; kim ya da ne üretiyor; hangi kural; kimin üzerinde ve hangi dönemde. Kasa sistemindeki süre artık «kasiyer geçiş süresi» adıyla duruyor, «bekleme süresi» adı doğrudan gözleme bırakılıyor. Seda Hanım şablonu grubun bütün raporlarına yayıyor. Tahsin Bey bir toplantıda bu satırı ilk kez okuyunca soruyor: «Bunu neden şimdiye kadar yazmıyorduk?»

Gri alan

Bir rakamın kökenini bilmek önemlidir, ama her zaman mümkün değildir. Birçok iş verisi, kimsenin tam olarak belgelemediği eski sistemlerden ve süreçlerden gelir; bir ölçünün kuralını öğrenmek bazen bir teknik ekibi, bazen o süreci yıllar önce kuran ve artık şirkette olmayan birini gerektirir. Beyanın da her zaman kötü bir kaynak olduğu söylenemez: bazı şeyler, örneğin bir müşterinin memnuniyeti ya da bir çalışanın iş yükü algısı, ancak beyanla ölçülebilir ve önemli olan beyanın neyi temsil ettiğini doğru adlandırmaktır. Örneklemle çalışırken de bir ödünleşim vardır: daha dikkatli seçilmiş bir örneklem daha pahalıdır ve daha yavaş sonuç verir; kararın aciliyeti ve önemi, ne kadar emek harcanacağını belirlemelidir. Dayandığımız kaynaklar da kendi alanlarıyla sınırlı: beyan ile ölçümü karşılaştıran derleme bir sağlık ölçüsüyle ilgili ve iş verisine ne ölçüde taşındığı belirsiz; katılmama yanlılığını tartışan makale ise hane anketleri üzerine yazılmış. Bu yüzden her yeni veri kaynağında aynı sorular yeniden sorulmalıdır.

Senin işinde

Bir rakamı kullanmadan ya da sunmadan önce kökenini sor: bu rakam bir ölçümden mi, bir işlem kaydından mı, yoksa birinin beyanından mı geliyor? Bir sistem ölçüyorsa, sistemin tam olarak neyi, hangi kurala göre ölçtüğünü öğren; adı yanıltıcı olabilir. Bir işlem kaydı kullanıyorsan, kaydın olayın kendisini mi yoksa birinin bir tuşa bastığı anı mı gösterdiğini düşün. Bir beyan kullanıyorsan, beyanı verenin bilgisinin, belleğinin ve çıkarının rakamı nasıl etkileyebileceğini sor ve beyanı bir ölçüm gibi sunma. Bir anket ya da bir örneklemle çalışıyorsan, kimlerin cevap verdiğini ve kimlerin vermediğini düşün; mümkünse cevap verenleri, kayıtlardan bildiğin bütünle bir iki özellik üzerinden karşılaştır. Örneklemin büyüklüğüne değil, nasıl seçildiğine bak. Aynı şeyin iki farklı rakamı varsa, hangisinin doğru olduğunu sormadan önce ikisinin aynı şeyi ölçüp ölçmediğini sor; çoğu zaman farklı şeyleri ölçüyorlardır ve adları ayrılmalıdır. Raporunda her ölçünün kökenini tek bir satırla yaz.

Kendin dene

Aklında kalsın

Her rakamın bir kökeni vardır: bir sistemin ya da gözlemcinin ölçümü, bir işin yan ürünü olarak oluşan bir kayıt ya da birinin beyanı. Bir sistem ancak kendi kuralını ölçer ve adı yanıltıcı olabilir; bir kayıt olayı değil, kaydedildiği anı gösterir; beyan edilen değerler doğrudan ölçülenlerden bazen yüksek, bazen düşük çıkar. Çoğu zaman bütünü değil bir örneklemi görürüz ve örneklemin değeri büyüklüğünden çok nasıl seçildiğine bağlıdır. Ankete katılmayanların oranı yüksek olabilir; yanlılık, katılanların sorulan şey bakımından katılmayanlardan farklı olmasından doğar. Aynı şeyin iki farklı rakamı varsa önce ikisinin aynı şeyi ölçüp ölçmediği sorulur.

Sonraki derse köprü

Seda Hanım'ın gözlemcileri iki hafta sonunda on şubenin bekleme sürelerini getiriyor. Bir şubenin ortalaması ötekilerden belirgin biçimde yüksek, ama bu şubede gün boyunca bekleme kısa; yalnız cuma akşamüstü bir saat boyunca kuyruk çok uzuyor. M01-D03 ortalamanın, medyanın ve dağılımın farkını ve uç değerlerin ortalamayı nasıl çektiğini anlatıyor.

Kendini sına

Soru 1 · Kavram

Bir teslimat şirketinde «teslim edildi» saati, kuryenin bir tuşa bastığı andan alınıyor. Bu veri hangi türdendir ve neyi gösterir?

• A) Bir işlem kaydıdır; teslimatın kendisini değil, kaydedildiği anı gösterir.
• B) Doğrudan bir ölçümdür; teslimatın gerçek saatini gösterir.
• C) Bir beyandır; müşterinin memnuniyetini gösterir.
• D) Bir örneklemdir; bütün teslimatları temsil eder.

Cevap: A. İşlem kaydı bir işin yan ürünüdür ve olayın kaydedildiği anı gösterir. Kuryeler tuşa geç basıyorsa saat, teslimat saatinden farklı olur.

Soru 2 · Senaryo

Bir mobil uygulama anketini her yüz müşteriden dördü cevaplıyor. Anket sonuçlarını bütün müşterilerin deneyimi olarak sunmadan önce en yerinde adım hangisidir?

• A) Sonuçları olduğu gibi sunmak; dört yüz cevap yeterlidir.
• B) Anketi kaldırmak; yanıt oranı çok düşüktür.
• C) Cevap verenleri, kayıtlardan bilinen bütün müşterilerle alışveriş sıklığı ve sepet tutarı gibi özellikler üzerinden karşılaştırmak.
• D) Sonuçları ikiyle çarpmak.

Cevap: C. Düşük yanıt oranı yanlılığa yol açabilir ama açması gerekmez. Cevap verenlerin bütünden farklı olup olmadığı, bilinen başka bilgilerle sınanabilir.

Soru 3 · Tuzak

Bir yönetici «müdürlerin formdaki bekleme tahminleri hep biraz yüksektir; yüzde yirmi indirirsek doğru rakamı buluruz» diyor. Bu yaklaşımın sorunu nedir?

• A) Müdürler her zaman doğru tahmin eder.
• B) Beyan edilen değerler doğrudan ölçülenlerden bazen yüksek, bazen düşük olabilir; sapma tek bir oranla düzeltilemeyebilir.
• C) Beyan hiçbir zaman kullanılamaz.
• D) Yüzde yirmi yerine yüzde on indirmek gerekir.

Cevap: B. Beyan ile ölçüm arasındaki fark tek bir yönde ve sabit değildir. Doğru bir rakam için ölçümün kendisi gerekir.

Soru 4 · Uygulama

Bir fabrikada kalite kontrol her partiden yirmi ürünü yığının en üstünden alıp inceliyor. En yerinde değişiklik hangisidir?

• A) İncelenen ürün sayısını iki yüze çıkarmak.
• B) İncelemeyi tamamen bırakmak.
• C) Yalnız gece vardiyasının ürünlerini incelemek.
• D) Örneklemi partinin farklı üretim saatlerinden rastgele seçmek.

Cevap: D. Sorun örneklemin büyüklüğünde değil, seçilişinde. Yığının üstündeki ürünler aynı saatin ürünüdür; rastgele seçim bütün partiyi temsil eder.