Dönüşüm Test Planı

Açılış sahnesi

Bir çevrim içi ev dekorasyonu mağazasının ekibi, bir çalıştaydan heyecanla dönüyor. Deftere yirmi iki test fikri yazmışlar: sepete ekle düğmesinin rengini değiştirmek, ürün fotoğraflarını büyütmek, bir geri sayım sayacı eklemek, ödeme adımını tek sayfaya indirmek, yorumları öne çekmek. Ertesi gün hepsini aynı anda başlatmak istiyorlar.

Analist, ekibi durdurmaya çalışıyor. Sitenin günlük siparişi az; yirmi iki testi aynı anda koşturmak için trafiği yirmi iki parçaya bölmek gerekecek ve hiçbir test anlamlı bir sonuç verecek kadar ziyaretçi toplamayacak. Üstelik testlerin bazıları aynı sayfadaki aynı alanı değiştiriyor; hangisinin etkili olduğu hiç anlaşılmayacak.

Bir ekip üyesi soruyor: o zaman hangisiyle başlayacağız? Analist cevap vermek yerine başka bir soru soruyor: bu fikirlerin hangisi, sitede gerçekten var olduğunu kanıtlayabildiğimiz bir sorunu çözüyor? Oda sessizleşiyor. Yirmi iki fikrin çoğu, bir çalıştayda hoşa giden fikirlerdi; hiçbiri bir sorunun kanıtından doğmamıştı.

Bu derste ne olacak

Dekorasyon mağazasının ekibi test yapmaya istekliydi ama testleri fikirlerden başlatıyordu, kanıtlanmış sorunlardan değil; üstelik hepsini aynı anda, aynı trafiği bölerek koşturmak istiyordu. Mağaza da, vakalarda adı geçen markalar da uydurmadır. Bir testin kaç ziyaretçiyle ya da kaç günde sonuçlanacağı için bir sayı vermiyorum; bu, sitenin trafiğine, mevcut dönüşüm oranına ve beklenen etkinin büyüklüğüne bağlı.

Bu kursun son dersi, ürün sayfasından teslimata kadar açılan iyileştirme fikirlerini bir test planına dönüştürüyor. Bir sorunun gerçekten var olduğunu göstermeyi, her test için tek bir karar ölçütü seçmeyi, testleri bir sıraya koymayı ve aynı trafiği paylaşan testlerin birbirini bozmasını önlemeyi ele alacağız.

Sıfır noktası

Deney dilinin parçaları bu akademinin farklı yerlerinde kuruldu. Ürün yönetimi karşılaştırma grubunu, erken bakmayı ve yenilik etkisini; metin yazarlığı mesaj hipotezini, değişken yalıtımını ve koruyucu ölçütü; ücretli medya kitle bölme deneyini ve saptanabilir etkiyi getirdi. Bu birimin ilk kursunda fırsat büyüklüğünü ve büyüme sırasını ekledik.

Bir e-ticaret sitesinde test yapmak, bir reklam ya da bir metin sınamaktan birkaç açıdan farklıdır. Trafik çoğu zaman sınırlıdır ve aynı ziyaretçiler birden çok sayfadan geçer; ürün sayfasındaki bir değişiklik sepeti, sepetteki bir değişiklik ödemeyi etkiler. Satış sayısı dalgalıdır, kampanya dönemleri sonuçları bozar. Bu yüzden test planı yalnız bir fikir listesi değil, hangi sorunun gerçek olduğunu, hangi testin hangi sırayla ve hangi ölçütle koşulacağını ve testlerin birbirine nasıl dokunduğunu gösteren bir takvimdir.

Mekanizma — önce sorunun kanıtı

Bir test fikri, sitede var olduğu kanıtlanmış bir soruna dokunduğunda değerlidir. Kanıtı olmayan bir fikir, doğru bile olsa, çoğu zaman küçük bir etki yaratır ve test edilmesi pahalıdır.

Tek kaynak, yanıltabilir.

Kanıt, hipotezi keskinleştiriyor.

Kanıtı güçlü olan, test edilmeden de yapılabiliyor.

Mekanizma — tek bir karar ölçütü

Bir test birçok sayıyı değiştirir: tıklama, sepete ekleme, sipariş, sipariş tutarı, iade. Test başlamadan hangi sayıya göre karar verileceği seçilmezse, test bittiğinde her zaman iyi görünen bir sayı bulunur.

Koruyucu ölçüt, gizli bir zararı yakalıyor.

Ölçüt, değişikliğin dokunduğu adıma uygun olmalı.

Katkı, bazen siparişten daha doğru bir ölçüt.

Mekanizma — testleri bir sıraya koymak

Sınırlı trafik, aynı anda koşturulabilecek test sayısını sınırlar. Testlerin sırası, hangi sorunun ne zaman çözüleceğini ve bir yıl içinde ne kadar şey öğrenileceğini belirler.

Küçük değişiklik, küçük trafikte görünmüyor.

Bağımlılık, sırayı belirliyor.

Kampanya dönemi, kuyruğun dışında tutuluyor.

Usta katmanı — testlerin birbirine dokunması

Bir sitede aynı anda birden çok test koşturulabilir; ama testler aynı ziyaretçileri, aynı sayfaları ya da aynı yolculuğun birbirine bağlı adımlarını paylaştığında, birinin sonucu öbürünü bozabilir.

Aynı alan, aynı anda iki teste açılmamalı.

Çakışma kaydı, sonuçları yorumlanabilir kılıyor.

Yaygın hatalar

Aklında kalsın

Test planı bir fikir listesi değil, hangi sorunun gerçek olduğunu, hangi testin hangi sırayla ve hangi ölçütle koşulacağını ve testlerin birbirine nasıl dokunduğunu gösteren bir takvimdir.

Sorun kanıtı, test başlamadan önce bir adımdaki sorunu en az iki farklı kaynaktan gösteren bulgulardır. Kanıt hipotezi keskinleştirir; kanıtı açık arızalar test edilmeden düzeltilir.

Birincil ölçüt, test başlamadan seçilen ve kazananı belirleyen tek ölçüdür. Değişikliğe yeterince yakın ama işletmenin sonucuna bağlıdır; koruyucu ölçütlerle birlikte okunur.

Test kuyruğu, testlerin kanıta, fırsata, gereken trafiğe, maliyete ve bağımlılığa göre sıralandığı listedir. Küçük trafikte küçük değişiklik sınanmaz; kampanya dönemleri kuyruğun dışında tutulur.

Test çakışması, aynı anda koşan testlerin sonuçlarının birbirine karışmasıdır. Aynı alan sırayla sınanır; farklı adımlar aynı anda sınanıyorsa ziyaretçinin gördüğü sürümler birlikte kaydedilir.

Sonraki derse köprü

Bu kursla ürün sayfasından teslimata kadar dönüşümün önündeki engelleri ele aldık: ürün sayfasının iskeletini ve içeriğini, yorumları, sepet ve ödemeyi, teslimat ve iadeyi ve bütün bunları sınayacak bir test planını. Kök Kahve'nin test kuyruğu artık kanıtlanmış bir sorunla başlıyor.

Ama bu kursun bütün emeği, müşterinin ilk siparişini vermesine yöneldi. Oysa bir e-ticaret işinin kârı çoğu zaman ikinci, üçüncü ve sonraki siparişlerden gelir. Sipariş onayından paketin açılışına, ürünün kurulmasından ilk kullanıma ve bir sorun çıktığında desteğe ulaşmaya kadar geçen süre, müşterinin geri gelip gelmeyeceğini belirliyor.

Sıradaki kurs e-ticarette elde tutmayı ve pazaryeri yönetimini konuşuyor; ilk ders satın alma sonrası deneyimle, yani onay, teslimat, kurulum, kullanım ve destek iletişiminin nasıl tasarlanacağıyla başlıyor.