Nicel Teşhis

Açılış sahnesi

Denizli'de ev tekstili üreten bir markanın dönüşüm ekibi, analitik panosunda ödeme sayfasındaki terkin geçen aya göre belirgin biçimde arttığını görüyor. Ekip hemen bir çözüm düşünmeye başlıyor: belki kargo ücreti fazla görünüyor, belki güven rozetleri yetersiz, belki ödeme seçenekleri azdır. Bir hafta içinde üç ayrı değişiklik için tasarım hazırlanıyor.

Yeni gelen bir analist tasarımlara geçmeden önce birkaç soru soruyor. Artış bütün cihazlarda mı, yoksa bir cihazda mı? Belirli bir tarayıcıda bir hata kaydı var mı? Ödeme sayfasındaki ölçüm kodu geçen ay değişti mi? Cevapları bulmak iki gün sürüyor. Artışın tamamı belirli bir telefon tarayıcısında toplanmış; o tarayıcıda, bir güncellemeden sonra kart numarası alanı rakam kabul etmiyormuş. Hata günlüğünde yüzlerce kayıt var, ama kimse bakmamış.

Üç tasarımın hiçbiri bu sorunu çözmeyecekti. Sorun ikna, güven ya da fiyat değil, bir alanın çalışmamasıydı ve bunu sayıların kendisi söylüyordu; yeter ki doğru sayılara, doğru sırayla bakılsın.

Bu derste ne olacak

Ev tekstili ekibi bir düşüşü gördüğü anda çözüme koştu. Oysa önce ölçümün doğru olup olmadığını kontrol etmek, sonra kaybın hangi cihazda, hangi grupta, hangi adımda toplandığını ayırmak ve hata kayıtlarına bakmak gerekiyordu. Markanın kendisi ve dersteki vakalar gerçek değil. Hangi hata sayısının alarm sayılacağı için bir eşik vermiyorum; hata kaydı her zaman vardır, önemli olan bir hatanın birdenbire artması ya da dönüşüm kaybıyla aynı yerde toplanmasıdır.

Önceki derste dönüşüm optimizasyonunun sınırlarını çizdik. Bu ders iyileştirilecek noktayı sitenin kendi verisinden bulmayı ele alıyor: önce ölçümün kendisini denetlemeyi, sonra hata kayıtlarını dönüşüm kaybıyla eşleştirmeyi, sayfada insanların neye tıkladığını ve nereye kadar kaydırdığını görmeyi ve kullanıcının zorlandığını gösteren davranış izlerini okumayı.

Sıfır noktası

Reklam biriminde terk noktasını ve dönüşüm olayını, müşteri ilişkileri biriminde olay sözlüğünü, arama motoru biriminde engelleyici hatayı, e-ticaret biriminde hata kurtarmayı, büyüme temellerinde kohort tablosunu ve kırılım analizini, deney kursunda da örnek oran uyumsuzluğunu kurduk.

Nicel teşhis, sayıların bir sorunun nerede olduğunu söylediği aşamadır. Nedenini çoğu zaman söylemez; o, bir sonraki dersin konusu olan nitel teşhisin işidir. Ama nerede sorusunun doğru cevaplanması, bütün sonraki işin temelidir. Reklam biriminde terk noktasını, bir dönüşüm yolunda ziyaretçilerin en çok hangi geçişte ayrıldığını gösteren nokta olarak tanımlamıştık; büyüme temellerinde de kohort tablosu ve kırılım analiziyle kaybın hangi grupta toplandığını bulmuştuk. Bu ders o araçlara dört yeni katman ekliyor: ölçümün doğruluğu, hata verisi, sayfa içi davranış ve kullanıcının zorlandığını gösteren işaretler.

Mekanizma — önce ölçümün kendisini denetlemek

Bir sayı değiştiğinde, ilk soru müşterinin davranışının mı yoksa ölçümün mü değiştiğidir. Bir etiket kodunun iki kez tetiklenmesi, bir sayfanın yeni sürümünde ölçüm kodunun unutulması ya da bir olayın adının değişmesi, gerçek bir değişiklik gibi görünen sahte bir sıçrama ya da düşüş yaratır.

Ani sıçrama, çoğu zaman ölçüm.

Olay adının değişmesi, bir düşüş gibi görünüyor.

Mekanizma — hataları kayıpla eşleştirmek

Bir dönüşüm adımındaki kaybın bir kısmı, müşterinin karar vermemesinden değil, sitenin çalışmamasından kaynaklanır: bir düğme tıklanmıyor, bir alan belirli bir biçimi kabul etmiyor, bir ödeme yöntemi belirli bir tarayıcıda açılmıyor. Bu hatalar sitenin kayıtlarında durur, ama çoğu zaman dönüşüm ekibinin gördüğü panolarda görünmez.

Hata, belirli bir ödeme yönteminde saklanabiliyor.

Reddedilen form girişleri de hata.

Hatanın büyüklüğü, kayıpla birlikte ölçülmeli.

Mekanizma — sayfa içinde ne oluyor

Terk noktası hangi adımda kayıp olduğunu gösterir; ama o adımın sayfasında insanların ne yaptığını göstermez. Ziyaretçiler sayfanın neresine kadar kaydırıyor, neye tıklıyor, neyi görmüyor? Bu sorular için sayfa içi davranış verisi gerekir.

Tıklanan ama düğme olmayan yerler.

Oturum kaydı, sayının arkasındaki hikâyeyi gösteriyor.

Usta katmanı — kullanıcının zorlandığını gösteren işaretler

Bazı sorunlar bir hata kaydı bırakmaz ve terk noktasında da açıkça görünmez. Kullanıcı sonunda satın alır, ama yol boyunca zorlanır; bazıları da zorlandıkları için yarı yolda kalır. Bu zorlanmanın davranışta bıraktığı izler, sayılabilir.

Gidip gelme, bilgi eksikliğini gösteriyor.

Sinyal, nitel araştırmanın hedefini seçiyor.

Sinyaller birlikte okunmalı.

Yaygın hatalar

Aklında kalsın

Nicel teşhis, sorunun nerede olduğunu sayılarla bulur; nedenini çoğu zaman nitel teşhis açıklar. Doğru sırayla bakmak, yanlış soruna çözüm tasarlamayı önler.

Ölçüm denetimi, teşhisten önce olayların doğru, bir kez ve her cihazda kaydedildiğini ve analitik sayılarının iş kayıtlarıyla tuttuğunu kontrol etmektir. Ani sıçrama ve düşüşlerde önce ölçüme bakılır.

Hata günlüğü, kullanıcının cihazında oluşan hataları, reddedilen girişleri ve başarısız ödemeleri kaydeder. Dönüşüm kaybıyla aynı adımda, cihazda ve dönemde eşleştirildiğinde çoğu zaman en hızlı teşhisi verir.

Isı haritası ve oturum kayıtları, terk noktasının bulunduğu sayfada kaybın hangi bölümde yaşandığını gösterir. Oturum kayıtlarında kişisel veriler gizlenir ve kayıtlar sınırlı süre saklanır.

Hüsran sinyali, art arda tıklama, sonuçsuz tıklama, silip yeniden yazma ve gidip gelme gibi zorlanma izleridir. Nicel ile nitel teşhis arasında köprü kurar ve hangi kullanıcılarla konuşulacağını seçer.

Sonraki derse köprü

Bu derste kaybın nerede olduğunu sayılarla bulduk: ölçüm denetimi, hata günlüğü, ısı haritası ve hüsran sinyali. Kök Kahve abonelik sayfasında telefonlardaki kaybın bir kısmını bir tarayıcı hatasına, bir kısmını da ekranın altında kalan teslim seçeneklerine bağladı.

Ama sayılar her şeyi açıklamıyor. Hatası olmayan telefonlarda da terk yüksek; ziyaretçiler çekirdek tercihi alanında uzun süre duraksıyor ve bir kısmı sayfadan çıkıyor. Neden? Çekirdek adlarını mı anlamıyorlar, hangi çekirdeğin kendilerine uyduğunu mu bilmiyorlar, yoksa abone olmanın kendisinden mi çekiniyorlar? Bu soruların cevabı panoda değil, ziyaretçilerin kendisinde.

Sıradaki ders nitel teşhisi ele alıyor: görüşme, kullanılabilirlik testi, anket ve müşteri hizmeti verisinden kaybın nedenlerini nasıl anlayacağımızı orada göreceğiz.