Metin Deneyi Tasarlama

Açılış sahnesi

Ev tekstili satan bir çevrimiçi mağazanın ekibi, nevresim takımlarının açılış sayfası için iki sürüm hazırlıyor. İkinci sürümde başlık değişmiş, ana fotoğraf yatak odasından bir sabah kahvaltısına geçmiş, fiyat taksitli gösterilmiş ve düğmenin rengi turuncuya dönmüş. Ziyaretçiler iki sürüm arasında bölünüyor ve iki hafta sonra ikinci sürüm açık ara önde çıkıyor. Ekip sevinçle ikinci sürümü herkese açıyor.

Birkaç ay sonra yeni bir ürün serisi için açılış sayfası hazırlanırken ekipte bir tartışma çıkıyor. Biri kazananın başlık olduğunu söylüyor, biri fotoğraf, biri taksitli fiyat. Başlığı yeni sayfaya taşıyorlar ve yeni sayfa beklenen sonucu vermiyor. Kimse neden vermediğini bilmiyor.

Ekip bir deney yapmıştı ve deney bir kazanan göstermişti. Ama deney, ekibin bir sonraki kararında kullanabileceği hiçbir şey öğretmemişti.

Bu derste ne olacak

Nevresimciden okul servisine kadar dersteki işletmeler kurmaca; deneylerin sonuçları da bu ders için uydurulmuş örnekler, gerçek bir ölçümden alınmadı.

Açılıştaki ekibin sorunu bir ölçüm hatası değildi; deneyin kendisi, bir şey öğretecek biçimde kurulmamıştı. Bu ders bir metin deneyinin nasıl kurulacağına bakıyor. Önce bir deneyin neyi sınadığını söyleyen hipoteze bakacağım; bir sürümün kazanacağı tahmini ile okur hakkında sınanabilir bir fikir arasındaki farkı ayıracağım. Sonra iki sürüm arasında neyin değiştirileceğine ve başarının neyle ölçüleceğine geçeceğim. Ardından deneyin kimin üzerinde ve ne kadar süre yürütüleceğini konuşacağım. Son olarak trafiğin az olduğu, bir deneyin etik sınıra dayandığı ve ölçümün kendisinin yanıltıcı olduğu durumlara bakacağız.

Sıfır noktası

Araştırma akademisinde hipotezi, iki değişken arasında sınanabilir ve yanlış çıkması mümkün biçimde yazılmış bir ilişki beklentisi olarak tanımlamış, değişikliği yapılan değişkeni bağımsız, sonucu izlenen değişkeni bağımlı değişken diye ayırmıştık. Ürün akademisinin fiyat deneyleri dersinde ise değişikliğe maruz kalmayan karşılaştırma grubunu, küçük bir örneklemde görülemeyen görünmez farkı, sonuca süresi dolmadan bakıp denemeyi durdurmayı ve yeni bir şeyin yalnızca yeni olduğu için kısa süre dikkat çekmesini konuşmuştuk.

Bu ders o araçları bir metne uyguluyor: bir başlığa, bir e-posta konu satırına, bir düğme etiketine, bir ürün açıklamasına. Metin deneyleri kolay kuruluyor; bir cümleyi değiştirmek bir fiyatı değiştirmekten çok daha az risk taşıyor. Bu kolaylık, pek çok ekibin deneyi düşünmeden kurmasına yol açıyor. İyi kurulmamış bir metin deneyi bir kazanan gösterebilir, ama o kazananın neden kazandığını söyleyemez; ve bir sonraki metni yazan kişi, bu deneyden hiçbir şey öğrenmemiş olur.

Mekanizma — tahmin değil, okur hakkında bir fikir

Pek çok metin deneyinin hipotezi aslında bir tahmin: yeni başlık daha iyi çalışır. Bu cümle sınanabilir, ama sonucu ne olursa olsun okur hakkında hiçbir şey söylemez. Bir metin deneyinin hipotezi, okurun neden öyle davrandığına dair bir fikir taşıdığında, deney bir sonraki metin için de bir şey öğretiyor.

Hipotez çürüdüğünde de bir şey öğreniliyor; yeter ki okur hakkındaki fikir açıkça yazılmış olsun.

Mekanizma — neyin değiştiği

İki sürüm arasında birden çok şey değiştiğinde, deney hangisinin sonuca yol açtığını söyleyemiyor. Açılıştaki ekip başlığı, fotoğrafı, fiyat gösterimini ve düğmeyi aynı anda değiştirmişti.

Bir yaklaşımın bütününü sınamak, doğru kurulduğunda meşru bir deney.

Mekanizma — başarıyı neyle ölçeceğiz

Bir metin deneyinde ölçülen şey çoğu kez metnin hemen ardından gelen davranış: bir tıklama, bir açılma, bir sayfada kalma süresi. Ama bu ölçüler, işletmenin asıl istediği sonucun yalnızca bir ara adımı olabiliyor ve bir metin, ara adımı artırıp asıl sonucu düşürebiliyor.

Başarı ölçütü doğru seçilse bile, bir metin başka bir şeyi bozarak başarılı olabiliyor. Bu yüzden deneyin yanında, bozulmaması gereken bir ölçünün de izlenmesi gerekiyor.

Mekanizma — kimin üzerinde, ne kadar süre

Bir metin deneyinin kimin üzerinde yürütüleceği, hipotezin kim hakkında olduğuna bağlı. Hipotez ilk kez gelen ziyaretçiler hakkındaysa, deneye zaten müşteri olan ziyaretçileri katmak farkı sulandırıyor.

Süre de bir deneyin sonucunu değiştiriyor. Birkaç günde bitirilen bir deney, haftanın farklı günlerindeki davranışı kaçırıyor ve rastlantısal bir farkı gerçek bir sonuç sanıyor.

Bir deneyin yürütüldüğü dönem de sonucu etkiliyor. Olağan dışı bir dönemde kazanan bir metin, olağan bir dönemde kaybedebiliyor.

Usta katmanı — az trafik, etik sınır ve güvenilmez ölçüm

Her işletmenin bir deneyi anlamlı sonuca ulaştıracak kadar ziyaretçisi yok. Küçük bir işletme için iki sürümlü bir deney aylar sürebiliyor ya da hiç sonuç vermiyor. Bu durumda deneyin yerini başka sınama biçimleri alabiliyor.

Bazı metin deneyleri etik bir sınıra dayanıyor. Bir deney bir sürümü denemek demek, o sürümü gerçek insanlara göstermek demek.

Bazı ölçümler, metinle hiçbir ilgisi olmayan sebeplerle güvenilirliğini yitiriyor. Bir deneyin ölçüsü yanıltıcıysa, deneyin sonucu da yanıltıcı oluyor.

Deney planını deney başlamadan yazmak, sonucun sonradan istenen yöne yorumlanmasını önlüyor.

Bir cihazın ürün sayfasında okurun kaygısı çoğu kez teknik değil, gündelik.

Yaygın hatalar

Aklında kalsın

İyi bir metin deneyi bir kazanan değil, okur hakkında bir öğrenim üretir. Mesaj hipotezi okur hakkında bir fikirle başlar, bu fikirden türeyen metin değişikliğini ve beklenen davranışı söyler; hipotez çürüdüğünde de okur hakkında bir şey öğrenilir.

İki sürüm arasında yalnızca hipotezin sınadığı öğe değişir. Bir yaklaşımın bütünü sınanıyorsa değişen bütün öğeler aynı fikre hizmet eder ve sonuç o fikir hakkında okunur.

Başarı ölçütü işletmenin asıl istediği sonuca olabildiğince yakın seçilir ve yanında bozulmaması gereken bir koruyucu ölçüt izlenir. Koruyucu ölçütü kötüleştiren bir kazanan, bir kazanan değil bir uyarıdır.

Deney, hipotezin hakkında olduğu okurlarla, önceden hesaplanmış bir süre boyunca ve olağan bir dönemde yürütülür. Plan deney başlamadan yazılır, trafik yetmediğinde okuma sınamalarına başvurulur ve yayına alınmayacak bir sürüm deneye de alınmaz.

Sonraki derse köprü

Bu ders bir metin deneyinin nasıl kurulacağına baktı: hipotezi, değişkeni, ölçütü ve kitlesiyle. Deney bittiğinde ise yeni bir soru başlıyor: sonuçtan ne çıkaracağız? Pek çok ekip bu noktada kazanan sürümü yayına alıp bir sonraki deneye geçiyor ve her deney bir öncekinden bağımsız kalıyor.

Sıradaki ders, kursu kapatan sonuçtan öğrenmeyi ele alıyor. Kazanan bir sürüm aramak yerine, bir deneyden müşteri ve mesaj hakkında başka metinlere de taşınabilecek bir öğrenimi nasıl çıkaracağımızı orada göreceğiz.