Veriyi doğru okumak

Kanca

Microsoft'ta iki ekip, Office'in iki farklı gelişmiş özelliğini inceledi. İkisi de aynı sonuca vardı: bu özelliği kullananlar programı daha az bırakıyordu. Özellik kullanıcıyı tutuyordu.

Ama aynı veri başka bir şey de söylüyordu: hata mesajı alan kullanıcılar da programı daha az bırakıyordu.

Hata mesajları kimseyi tutmaz. Gelişmiş özellikleri deneyen de, hata mesajıyla karşılaşan da programı yoğun kullananlardı; ve yoğun kullananlar zaten bırakmıyordu. Veri yanlış değildi. Yanlış olan, ondan çıkarılan cümleydi.

Büyük fikir

Veri kendiliğinden konuşmaz; onu okuyan kişi konuşturur. İki şeyin birlikte değişmesi birinin öbürüne yol açtığını göstermez, bir grafiğin çizilişi de aynı sayıyı büyütüp küçültebilir. Nedeni görmenin en sağlam yolu, değişikliği bilerek yapıp karşılaştırmaktır.

Anlatım

Birlikte değişmek, neden olmak değildir

İki şey birlikte artıp azalıyorsa aralarında bir ilişki, yani korelasyon vardır. Ama bu, biri öbürünü doğurur demek değildir. Yazın dondurma satışları da artar, plajlardaki kazalar da; dondurma kazaya yol açmaz, ikisinin arkasında sıcak hava vardır.

Kancadaki Office örneğinde karıştırıcı değişken kullanım yoğunluğuydu. Bir markanın verisinde de benzer tuzaklar her yerdedir. Sadakat programına katılanlar daha çok alışveriş yapar; ama program mı onları sadık yaptı, yoksa zaten sadık olanlar mı programa katıldı? Kampanya döneminde satışlar arttı; ama kampanya mı, maaş günü mü, mevsim mi? Bir ilişki gördüğünde üç soru sormak gerekir. Ters yönde olabilir mi? İkisini birden etkileyen üçüncü bir şey var mı? Bu ilişki şans eseri ortaya çıkmış olabilir mi?

Grafik de konuşur

Aynı sayılar farklı çizildiğinde farklı şeyler söyler. En yaygın hile, çubuk grafiğin dikey eksenini sıfırdan değil, daha yüksek bir değerden başlatmaktır. Yüzde 50 ile yüzde 55 arasındaki fark, eksen 48'den başlatıldığında iki çubuktan birini öbürünün üç katından uzun gösterebilir.

Kesik eksen her zaman bir hile değildir; küçük ama önemli bir değişimi göstermek için bazen gerekir. Önemli olan okurken fark etmektir: eksen nereden başlıyor, ölçek ne, karşılaştırılan gruplar kaç kişi? Bir grafiği yorumlamadan önce bu üç şeye bakmak, sunumlarda en sık yapılan okuma hatasını önler.

Küçük sayıların büyük yüzdeleri

Yüzdeler güven verir, ama arkasındaki sayıyı gizleyebilir. "Müşterilerin yüzde 60'ı yeni ambalajı beğendi" cümlesi, beş kişiden üçünü de, beş yüz kişiden üç yüzünü de anlatabilir. İlkinde bir kişinin fikir değiştirmesi oranı yüzde 40'a ya da yüzde 80'e taşır; ikincisinde neredeyse hiçbir şey değiştirmez. Bu yüzden bir oranı okurken önce paydaya bakmak gerekir: kaç kişiden?

Küçük sayılarda bir başka tuzak da uç değerlerin kendiliğinden ortalamaya dönmesidir. Bir ay olağanüstü iyi geçen bir şube, ertesi ay hiçbir şey değişmese de büyük olasılıkla daha sıradan bir sonuç verir; olağanüstü kötü bir ayın ardından da genellikle bir toparlanma gelir. Bu iniş çıkışı yapılan bir değişikliğe bağlamak kolaydır. Kötü bir ayın ardından değiştirilen vitrin, ertesi ayki toparlanmanın nedeni gibi görünebilir; oysa vitrin değişmeseydi de satışlar büyük olasılıkla toparlanacaktı. Bir değişikliğin etkisini görmek için onu, değişiklik yapılmayan bir karşılaştırma grubuyla birlikte okumak gerekir. Bu da bizi deneye getiriyor.

Nedeni görmenin yolu: deney

Korelasyondan nedene geçmenin en sağlam yolu, değişikliği bilerek yapmak ve yapılmayan bir grupla karşılaştırmaktır.

Rastgele ayırmanın gücü, karıştırıcı değişkenleri iki gruba eşit dağıtmasıdır. Yoğun kullanıcılar da, maaş günü alışveriş yapanlar da, yazı sevenler de iki grupta yaklaşık aynı oranda bulunur; geriye kalan tek fark, bilerek yapılan değişikliktir. Fark çıkarsa nedeni o değişikliktir. Deney her zaman mümkün değildir, ama küçük ölçekte bile yapılabilir: aynı hafta iki farklı paket etiketi, iki farklı ilan metni ya da iki farklı fiyat gösterimi.

Vakalar

Örnek markada

Paketlerin içine ve kafe tezgâhlarına bırakılan kartlardan 58'i geri döndü: 34'ü marketten, 24'ü kafelerden. Ilgaz ile Mert akşam masaya oturup sayıları kâğıda döktüler.

Bir deney tasarladılar. Bir ay boyunca marketlere giden paketlerin yarısında tarih, ön yüzde büyük bir etiketle yazılacak, öbür yarısında eskisi gibi arkada küçük damgayla kalacaktı. Hangi pakete hangisinin gideceğine her kavurma partisinde yazı tura atarak karar vereceklerdi. Ay sonunda iki gruptan dönen kartları ve marketlerin yeniden sipariş sayılarını karşılaştıracaklardı. Ilgaz'ın damgayı büyütme önerisi ilk kez bir varsayım olmaktan çıkıp sınanabilir bir soru oldu.

Hata köşesi

Kendi markanda

Özet

1. Korelasyon iki şeyin birlikte değiştiğini gösterir; neden-sonuç ilişkisini göstermez.
2. Karıştırıcı değişken, iki şeyi birden etkileyerek aralarında olmayan bir ilişki varmış gibi gösterir.
3. Grafiğin ekseni ve ölçeği aynı veriyi büyütüp küçültebilir; kesik eksenin abartma etkisi uyarılara rağmen sürebilir.
4. Kontrollü deney, insanları rastgele gruplara ayırıp yalnız bir şeyi değiştirerek nedeni görmenin en sağlam yoludur.
5. Deneyin sonucu da dikkatle okunmalıdır; yetersiz veri ve eşzamanlı değişiklikler anlamlı görünen sonuçları yanıltıcı kılabilir.

Kendini sına

1. Bir kafe, sadakat kartı kullananların kullanmayanlardan iki kat fazla harcadığını görüyor ve kartın harcamayı artırdığı sonucuna varıyor. En büyük okuma hatası nedir: (a) kart yeterince çekici değildir, (b) zaten çok harcayan müdavimlerin karta katılma olasılığının daha yüksek olması gözden kaçırılmıştır, (c) harcamalar yanlış hesaplanmıştır?
2. Office örneğinde hata mesajı alan kullanıcıların daha az ayrılması neyi gösterir: (a) hata mesajları kullanıcıyı tutar, (b) kullanım yoğunluğunun hem özellik kullanımını hem de ayrılmamayı etkileyen karıştırıcı değişken olduğunu, (c) verinin yanlış toplandığını?
3. Pandey ve arkadaşlarının çalışmasında kesik eksenli grafiği görenler aynı veriyi nasıl algıladı: (a) farkı olduğundan küçük, (b) farkı olduğundan büyük, (c) farkı doğru?
4. Bing'deki başlık fikrinin değerini ne ortaya çıkardı: (a) program yöneticilerinin önceliklendirmesi, (b) basit bir A/B testi, (c) kullanıcı anketi?
5. Ilgaz ile Mert damga deneyinde hangi pakete hangi etiketin gideceğine neden yazı tura atarak karar verdi: (a) eğlenceli olduğu için, (b) iki grubu karıştırıcı etkenler açısından denk tutmak ve farkı yalnız etikete bağlayabilmek için, (c) etiket sayısı yetersiz olduğu için?

Yanıtlar

Sadakat kartı sorusunda (b). Kart harcamayı artırıyor olabilir, ama veri bunu göstermiyor; çok harcayanlar zaten karta katılmaya daha istekli. Bunu ayırt etmek için kartı rastgele bir gruba önermek gerekir.

Office sorusunda (b). Hata mesajlarının kullanıcıyı tuttuğunu düşünmek saçma görünür ve tam da bu yüzden öğreticidir: aynı mantık, gelişmiş özellik için de çekici görünüyordu. İkisini birden açıklayan şey kullanım yoğunluğuydu.

Grafik sorusunda (b). Kesik eksenli grubun ortalaması 2,77, düzgün grafikteki grubunki 1,45 oldu; aynı veri, eksen kesildiğinde neredeyse iki kat daha büyük bir fark olarak algılandı.

Bing sorusunda (b). Fikir aylarca düşük öncelikte bekledi; değerini ortaya çıkaran şey, birkaç saat içinde sonuç veren bir testti.

Son soruda (b). Paketleri kendileri seçselerdi, farkında olmadan en çok satan marketlere büyük etiketli paketleri gönderebilirlerdi. Yazı tura, iki grubun yalnız etiket açısından farklı olmasını sağlıyor.

Sonraki derse köprü

Rakamları okumayı öğrendik, ama bir sorunun cevabı hâlâ eksik: insanlar bir kahve paketini aslında ne için alıyor? Sabah uyanmak, bir misafiri ağırlamak, kendine küçük bir mola vermek için mi? M04-D07, insanların bir ürünü hangi iş için işe aldığını soran yaklaşımı ve bu sorunun kategoriye bakışı nasıl değiştirdiğini konuşuyor.