Test, Onay ve İzleme

Açılış sahnesi

Bolu'da manda yoğurdu ve köy peyniri üreten bir mandıra, uzun süredir sipariş vermeyen müşterilerini geri kazanmak için yeni bir akış hazırlıyor. Akışı kuran pazarlama sorumlusu, cuma öğleden sonra kendi hazırladığı üç deneme kaydıyla akışı sınıyor: altı ay önce son siparişini vermiş bir müşteri, iki ay önce vermiş bir müşteri ve hiç sipariş vermemiş bir müşteri. Üçü de beklenen mektubu alıyor ya da almıyor. Sorumlu akışı açıp hafta sonuna çıkıyor.

Pazartesi sabahı destek hattı şaşkın müşterilerle dolu. Mandıranın eski kayıtlarında son sipariş tarihi gün, ay, yıl sırasıyla değil, ay, gün, yıl sırasıyla tutuluyormuş. Akış bu kayıtların bir kısmını geçersiz tarih diye okuyup uzun süredir sipariş vermemiş saymış. Geçen hafta sipariş vermiş yüzlerce müşteri, sizi özledik diyen bir mektupla birlikte bir geri dönüş indirimi almış.

Sorun ilk saatlerde fark edilebilirdi. Akışın gönderim sayısı cumartesi sabahı olağanın birkaç katına çıkmış, araç da bir uyarı üretmiş. Ama uyarı, izindeki bir çalışanın gelen kutusuna gitmiş. O kutuya zaten her gün onlarca otomatik bildirim düşüyormuş ve kimse artık onları açmıyormuş.

Bu derste ne olacak

Bolulu mandıra hayali bir işletme, vakalardaki dükkânlar da öyle. Birkaç yerde basit yüzdeler ve gün sayıları kullanıyorum; bunlar bir düzenin nasıl kurulacağını göstermek için seçilmiş örnek değerlerdir. Mandıranın akışı sınanmıştı, ama sınama akışı kuran kişinin aklına gelen üç durumla sınırlıydı. Akışı kimse ikinci bir gözle onaylamamıştı. Yayına çıktıktan sonraki ilk günlerde de ona özellikle bakan biri yoktu.

Bir önceki ders akışların ters giden anlarda nasıl davranacağını ele aldı. Bu ders, bir akışın yayına çıkmadan önce ve çıktıktan hemen sonra nasıl sınanacağını ve izleneceğini çalışıyor. Önce gerçek verilerle ama gerçek gönderim yapmadan kuru çalıştırmayı göreceğiz. Ardından bir akışın canlıya geçmeden karşılaması gereken koşulları, yayın sonrasındaki yakın gözlem dönemini ve kimsenin okumadığı uyarıların neden hiç uyarı olmamasından daha tehlikeli olabileceğini ele alacağız.

Sıfır noktası

Akışların sınanmasını bu akademi e-posta ve müşteri ilişkileri biriminde ele almıştı. Orada deneme müşterisi, bir akışı yayından önce farklı durumları temsil eden iç kayıtlarla baştan sona geçirmekti. Sessiz arıza ise hata vermeden durmuş bir akıştı. Aynı birimde gönderim öncesi denetim, her e-postanın hazırlayandan başka biri tarafından kontrol edilmesiydi. Büyüme biriminde onay kademesini, ölçüm biriminde de yayın öncesi sınamayı ve hacim alarmını tanımlamıştık. Bir önceki ders hacim frenini ve güvenli hata modunu ekledi.

Bu kavramların çoğu tek bir e-postanın, tek bir deneyin ya da tek bir ölçüm değişikliğinin sınırında kalıyordu. Bu ders onları bir otomasyonun yayın sürecine diziyor: sınama, onay, yayın ve yayından sonraki ilk günler.

Mekanizma — gerçek veriyle, gönderimsiz

Deneme müşterileri bir akışın mantığını sınar: bu koşuldaki kişi bu dala mı gidiyor, bu olaydan sonra akıştan çıkıyor mu? Ama deneme kayıtlarını akışı kuran kişi hazırlar ve bu kayıtlar onun bildiği durumları taşır. Gerçek müşteri verisi ise hiç kimsenin aklına gelmeyen biçimlerle doludur: eski bir sistemden taşınmış tarihler, iki kez girilmiş adresler, boşluk karakteriyle başlayan adlar. Bir akışın bu verilerle nasıl davranacağını görmenin tek yolu, onu bu verilerle çalıştırmaktır.

Sayı, beklentiyle karşılaştırılıyor.

Eski ve yeni sürüm, aynı kayıtlarda.

Mekanizma — canlıya geçmeden önce

Mandıranın akışını kuran kişi, onu sınayan ve yayına alan kişiyle aynıydı. Bir otomasyonu yayına almak, genellikle bir düğmeye basmak kadar kolaydır. Bu kolaylık, yayın kararının bir karar gibi değil, bir teknik adım gibi görülmesine yol açar. Oysa bir akış açıldığında bir kampanyadan farklı olarak her gün, haftalarca ve kimse bakmadan çalışacaktır.

İkinci göz, akışı kurmamış olmalı.

Tek kişilik işletmede ikinci göz, ertesi sabah.

Geri dönüş yolu, yayından önce.

Mekanizma — yayından sonraki ilk günler

Bir akışın en çok sorun çıkardığı dönem, yayına alındığı ilk günlerdir: kuru çalıştırmanın görmediği bir durum, beklenmedik bir yoğunluk ya da bir müşteri tepkisi ilk kez o günlerde ortaya çıkar. Ama bu dönem, çoğu zaman akışı kuran kişinin başka bir işe geçtiği dönemdir.

Gözlemcinin bir adı var.

Teknik gösterge yetmez.

Dönem, bir devirle kapanır.

Usta katmanı — kimsenin okumadığı uyarı

Mandıranın aracı cumartesi sabahı doğru bir uyarı üretmişti. Uyarı yoktu diye değil, okunmadığı için işe yaramadı. Bir ekip akışlarını izlemek için uyarı kurdukça uyarıların sayısı artar. Uyarıların çoğu yanlış alarmsa ya da hiçbir eylem gerektirmiyorsa, ekip uyarıları okumayı bırakır. Kimsenin okumadığı bir uyarı düzeni, hiç uyarı olmamasından da tehlikelidir, çünkü ekibe izlendiği duygusunu verir.

Her uyarının bir eylemi var.

Aynı sorun, tek uyarı.

Düzen de gözden geçirilir.

Yaygın hatalar

Aklında kalsın

Deneme müşterisi bilinen durumları sınar. Kuru çalıştırma, gerçek veriyi gönderimsiz çalıştırarak bilinmeyen durumları ortaya çıkarır.

Canlıya geçiş listesi, bir akışın yayından önce karşılaması gereken koşulları yazar. Akışı onaylayan kişi, onu kurmamış ve tasarlamamış biridir.

Yakın gözlem dönemi, bir akışı yayından sonraki ilk günlerde adı konmuş bir kişiye izletir. Akış önce kitlenin küçük bir bölümüne açılır, hem teknik hem müşteri göstergeleri izlenir.

Uyarı yorgunluğu, okunmayan uyarıların gerçek bir sorunu da gizlemesidir. Her uyarının bir sahibi ve bir eylemi olur; eylem doğurmayan uyarı kaldırılır.

Sonraki derse köprü

Bu derste bir akışın yayına güvenle çıkmasını ve ilk günlerde izlenmesini ele aldık: kuru çalıştırma, canlıya geçiş listesi, yakın gözlem dönemi ve uyarı yorgunluğu. Bolulu mandıranın geri kazanım akışı artık bir hafta kuru çalışıyor, ikinci bir çalışanın onayıyla açılıyor ve uyarıları okunuyor.

Ama bu soruların hepsi, akışın doğru çalışıp çalışmadığıyla ilgili. Doğru çalışan bir akışın işe yarayıp yaramadığı başka bir soru. Geri kazanım mektubunu alıp sipariş veren müşterilerin kaçı, mektup gelmeseydi de sipariş verecekti? Akış ekibin haftada kaç saatini kurtardı? Müşteriler bu mektuplardan memnun mu, yoksa sessizce yoruluyorlar mı?

Sıradaki ders otomasyonun iş etkisini ele alıyor: kazanılan zamanı, müşteri üzerindeki sonucu, taşıdığı riski ve akış olmasaydı ne olacağıyla karşılaştırılan artımsal etkiyi birlikte değerlendirmeyi orada çalışacağız.