Test tasarımı

Açılış sahnesi

Bir bölüm tutmadı. Komedyen eve gidiyor ve yeniden yazıyor.

Kurulumu değiştiriyor. Vuruş sözcüğünü değiştiriyor. Bir ek vuruş ekliyor. Sırayı da biraz oynatıyor.

Ertesi gece bölüm çalışıyor.

Şimdi soru: ne işe yaradı?

Cevap bilinmiyor. Dört şey değişti ve bölüm düzeldi — ama hangisi düzeltti, hangisi zarar verdi, hangisi hiçbir şey yapmadı, belli değil.

Ve bir sonraki bölümde aynı sorun çıktığında komedyen yine dördünü birden değiştirecek.

Yani üç yıl sonra da aynı yerde olacak: bir şeyler yapıyor, bazıları işe yarıyor ve nedenini bilmiyor.

Test tasarımı bunun panzehiri.

Tek değişiklik. Kayıtlı koşullar. Birkaç tekrar.

Bu derste ne olacak

Önce A ve B sürümlerini kuracağız — ve "tek belirgin değişiklik" ifadesinin ne kadar katı olduğunu göreceğiz. Sonra tekrar meselesine geleceğiz: neden farklı gecelerde birkaç kez. Ardından koşulların not edilmesini açacağız; kayıt olmadan karşılaştırma yapılamıyor. Sonra üç ölçütü ele alacağız — tepki tek başına yeterli değil. Ardından yirmi bir özgün örnekle testi inceleyeceğiz. Ders bittiğinde kendi A/B testini kurabiliyor olacaksın.

Sıfır noktası

İki bitki düşün, iki saksıda.

Birine daha çok su veriyorsun. Diğerine normal.

İki hafta sonra biri daha iyi büyümüş.

Şimdi bir sorun: birini pencere kenarına, diğerini köşeye koymuştun.

Deney bitti mi? Bitmedi. Sonuç sudan mı ışıktan mı geldiğini bilmiyorsun.

İki değişken vardı ve ikisi de değişti.

Testin bütün zorluğu bu: bir şeyi değiştirirken kalan her şeyi sabit tutmak.

Şimdi benzetmeyi kırayım. Saksıları aynı pencereye koyabiliyorsun.

Sahnede odayı sabit tutamıyorsun. Aynı bölümü iki gece aynı odaya anlatamıyorsun — oda her gece başka.

Yani sahnedeki test hiçbir zaman temiz olmuyor. Ve kaynağın söylediği şey tam bu: canlı gösteri laboratuvar kadar kontrollü değildir. Ama tek değişken ilkesi, rastgele revizyondan daha iyi bilgi üretir.

Mükemmel ölçüm hedef değil. Daha iyi bilgi hedef.

Mekanizma

Yapı basit.

A sürümü: mevcut metin.

B sürümü: tek belirgin değişiklik.

Her sürümü farklı gecelerde birkaç kez dene.

Koşulları not et.

Tepki kadar anlaşılabilirliği ve persona uyumunu da değerlendir.

Şimdi her maddeyi açalım.

Birincisi — A sürümü mevcut metin.

Yani karşılaştırma noktası zaten var olan şey. Sıfırdan iki yeni sürüm yazmıyorsun.

Nedeni şu: A hakkında zaten bilgin var. Kaç kez anlatıldığını, nasıl tepki aldığını biliyorsun. B'yi ona göre okuyorsun.

İkisi de yeniyse hiçbir zemin yok.

İkincisi — B sürümü tek belirgin değişiklik.

İki kelime de önemli.

"Tek": bir şey değişiyor. Kurulum ya da vuruş sözcüğü ya da sıra. İkisi birden değil.

"Belirgin": değişiklik ölçülebilecek kadar büyük olmalı.

Bu ikincisi atlanıyor. Bir kelimeyi eşanlamlısıyla değiştirmek bir test değil — fark, oda gürültüsünün altında kalıyor.

Kurulumu on sekiz saniyeden on yediye indirmek belirgin değil. On bire indirmek belirgin.

Yani değişiklik hem tek hem yeterince büyük olacak. İki koşul aynı anda.

Üçüncüsü — farklı gecelerde birkaç kez.

"Farklı gecelerde" ve "birkaç kez" ayrı iki şart.

Farklı gecelerde: aynı gece iki sürüm denenmiyor. Çünkü seyirci ikinci sürümü ilkini duymuş olarak dinliyor — sürpriz kalmıyor.

Birkaç kez: tek gece cevap vermiyor. Bir önceki derste konuşmuştuk; oda değişkeni çok güçlü.

Pratik ölçü: her sürüm en az üç kez. Toplam altı gece.

Uzun görünüyor ve öyle. Ama üç ayda rastgele altmış revizyon yapmaktan hızlı — çünkü altmışının hiçbiri bilgi vermiyor.

Dördüncüsü — koşulları not et.

Ve bu, testin en çok atlanan parçası.

Hangi koşullar? Salonun büyüklüğü, seyirci sayısı, senden önce kimin çıktığı, sahnedeki sıran, gecenin genel enerjisi.

Nedeni şu: B sürümü A'dan iyi çıktı ve B'yi kalabalık bir cumartesi gecesinde denemiştin. A ise sekiz kişilik bir salı gecesindeydi.

Sonuç sürümden değil, geceden geliyor.

Koşullar yazılıysa bunu görüyorsun. Yazılı değilse yanlış bir sonuca varıp aylarca onunla çalışıyorsun.

Beşinci derste performans günlüğünü kuracağız. O günlük tam olarak bu maddenin sistemi.

Beşincisi — üç ölçüt.

Tepki kadar anlaşılabilirliği ve persona uyumunu da değerlendir.

Yani karşılaştırma tek boyutlu değil.

Tepki: hangi sürüm daha çok güldürdü?

Anlaşılabilirlik: hangi sürümde seyirci daha hızlı anladı? Açıklama gecikmesi kısaldı mı?

Persona uyumu: hangi sürüm senin ağzından daha doğal çıktı?

Ve üçü çelişebiliyor.

B sürümü daha çok güldürüyor ama personana uymuyor. Ne yapacaksın?

Cevap bağlama bağlı ve karar senin. Ama üç ölçütü ayrı ayrı ölçmezsen o kararı bilinçli veremiyorsun — yalnız gülmeye bakıp personanı aşındırıyorsun.

Üçüncü modülde personayı kurmuştuk. Bir set, tek tek güçlü ama personayla çelişen şakalarla dolduğunda kimliğini kaybediyor.

Örneklerden okuma

Usta katmanı

Birinci katman, testin ne zaman yapılmayacağı.

Her bölüm test edilmiyor.

Yeni yazılmış bir bölümün A sürümü yok — henüz zemin oluşmamış. Önce üç dört gece denenip bir taban kuruluyor, sonra test başlıyor.

Ve "güvenilir" duruma gelmiş bir bölüm de test edilmiyor. Çalışan bir şeyi kurcalamak, kazanç ihtimali düşük ve kayıp ihtimali yüksek bir bahis.

Test alanı ortada: çalışan ama daha iyi olabileceğini düşündüğün bölümler.

İkinci katman, negatif sonucun değeri.

B sürümü A'dan kötü çıktı.

Bu bir başarısızlık değil, bir cevap. Ve çoğu zaman daha değerli bir cevap.

Nedeni şu: A'nın neden çalıştığını öğrenmiş oldun. Kurulumu kısaltınca bölüm zayıfladıysa, o uzunluk bir işe yarıyordu — belki bir beklenti kuruyordu.

Yani negatif sonuç, çalışan şeyin mekanizmasını gösteriyor. Ve o bilgi bir sonraki bölüme taşınıyor.

Üçüncü katman, testin kayıtsız yapılamaması.

Bu ders boyunca "ölç" dedik ve ölçmenin bir aleti var: kayıt.

Hafızadan yapılan karşılaştırma güvenilmez. Sahnedeki his ile kayıttaki ses farklı şeyler söylüyor — dokuzuncu modülde kurmuştuk.

Ve bir sorun daha var: B sürümünü daha yakın zamanda anlattın ve hafıza yeniyi büyütüyor.

Yani A/B testi kayıt olmadan yapılamıyor. Bir sonraki derste kayıt almayı çalışacağız.

Dördüncü katman, sürümlerin karışması.

Altı gece boyunca iki sürüm dönüşümlü anlatılıyor ve bir noktada karışıyorlar.

Komedyen B'yi anlattığını sanıyor ve aslında A'nın kurulumuyla B'nin vuruşunu birleştirmiş oluyor.

Çözüm iki metni ayrı ayrı yazmak ve o gece hangisini anlatacağını set listesine işaretlemek.

Dokuzuncu modülde ezberi çalışmıştık: çapa cümleleri kelimesi kelimesine sabit. Test sırasında bu daha da katı — sürümler ancak sabitse karşılaştırılabiliyor.

Beşinci katman, test sonucunun uygulanması.

Test bitti, B kazandı. Şimdi ne oluyor?

B, yeni A oluyor.

Yani bir sonraki test B'nin üstüne kuruluyor. Bölüm sürüm sürüm ilerliyor ve her sürüm bir öncekinden ölçülerek iyi.

Bu, üç yılda büyük bir fark üretiyor. Rastgele revizyon yapan komedyen aynı yerde salınıyor; test eden komedyen her adımda biraz yükseliyor.

Altıncı katman, testin sınırı.

Her şey test edilemiyor.

Bir bölümün duygusal ağırlığı, bir hikâyenin kişisel değeri, bir görüşün senin için ne ifade ettiği — bunlar ölçülmüyor.

Ve ölçülemeyen şeyler önemsiz demek değil. Kaynağın uyarısı burada da geçerli: ölçüler sanat kararını vermiyor, soruyu keskinleştiriyor.

Bir bölüm ölçümde zayıf çıkıp senin için önemliyse, onu silmek zorunda değilsin. Ama neden zayıf çıktığını bilerek tutuyorsun — ve bu, bilmeden tutmaktan farklı.

Yedinci katman, testin dürüstlüğü.

Bir tuzak var: sonucu önceden istediğin sürüme göre okumak.

B sürümünü sen yazdın ve iyi olmasını istiyorsun. Kayıt dinlerken B'nin gülmelerini biraz daha uzun duyuyorsun.

Çözüm sayı. Gülme süresini saniyeyle ölç, altıncı derste kuracağımız ölçekle puanla, kâğıda yaz.

Sayı, tercihini görünür kılıyor. Ve kendi tercihini görmek, ondan kurtulmanın tek yolu.

Sekizinci katman, testin bölüm ötesine taşınması.

Şimdiye kadar bir bölümün içindeki değişiklikleri konuştuk.

Set ölçeğinde de test edilebiliyor ve orada değişkenler farklı: bölüm sırası, açılış seçimi, crowdwork'ün yeri, süre dağılımı.

Fark şu: set ölçeğindeki testler daha yavaş sonuç veriyor, çünkü etki daha dolaylı.

Bir vuruş sözcüğünün etkisi tek bir anda görünüyor. Bir sıra değişikliğinin etkisi setin tamamına yayılıyor ve ölçmek için bütün kaydı dinlemek gerekiyor.

Pratik sonuç: bölüm testleri sık, set testleri seyrek. Bir set kararını üç geceyle değil, altı sekiz geceyle veriyorsun.

Dokuzuncu katman, testin yazıya geri dönmesi.

Test bir revizyon aracı ve revizyonun kendisi bir yazım işi.

Ölçüm sana "B daha iyi" diyor. Neden daha iyi olduğunu söylemiyor.

O soruyu sen cevaplıyorsun: kurulum kısalınca ne oldu? Belki dikkat vuruşa kadar dağılmadı. Belki gereksiz bir bilgi seyirciyi yanlış yöne hazırlıyordu.

Ve o cevap bir kural üretiyor — yalnız bu bölüm için değil, bütün yazımın için.

Yani testin asıl çıktısı düzeltilmiş bir bölüm değil; öğrenilmiş bir ilke. Bölüm bir kez düzeliyor, ilke her bölümde çalışıyor.

Yaygın hatalar ve yanlış bilinenler

Uygulama — kendin dene

Kilit özet

Canlı gösteri laboratuvar kadar kontrollü değil — ama tek değişken ilkesi rastgele revizyondan daha iyi bilgi üretiyor.

A mevcut metin, B tek belirgin değişikliği taşıyan sürüm. "Tek" ve "belirgin" iki ayrı koşul: değişiklik hem yalnız hem ölçülebilecek kadar büyük olacak.

Sürümler farklı gecelere dağıtılır ve her biri en az üç kez denenir. Aynı gece iki sürüm karşılaştırılamaz.

Koşullar yazılır — salon, seyirci sayısı, sıra, önceki komedyen. Yazılmazsa sonucun geceden mi sürümden mi geldiği bilinmiyor.

Karşılaştırma üç ölçütlü: tepki, anlaşılabilirlik, persona uyumu. Üçü çelişebiliyor ve karar ancak üçü ayrı ölçüldüğünde bilinçli veriliyor.

Ve negatif sonuç değerli: A'nın neden çalıştığını gösteriyor.

Sonraki derse köprü

Test kayıt olmadan yapılamıyor. Hafızadan yapılan karşılaştırma güvenilmez ve hafıza yeni sürümü büyütüyor.

Bir sonraki derste kayıt almayı çalışacağız: kaydın neleri yakalaması gerektiğini ve kayıt almadan önce hangi izinlerin değerlendirildiğini.