Bir koçluk araştırmasını okumak

Görüşmeden bir an

Pazartesi sabahı, Serap Hanım'ın odası. Firmanın ekip liderleri için konuştuğu koçluk programı yeniden gündemde; programı satan danışmanlık şirketi bir araştırma özeti göndermiş.

Serap Hanım: Bak, randomize kontrollü bir çalışma diyorlar. Koçluk hedefe ulaşmayı artırmış, stresi azaltmış. Bu yeterli bir kanıt mı?

Nehir: Okuyayım. Kaç kişiyle yapılmış?

Serap Hanım: Bilmiyorum, ben sadece sonuç kısmına baktım.

Nehir: Sonuç kısmı genelde en iyi görünen kısımdır.

Serap Hanım: O zaman neye bakmam lazım? Bütçe toplantısı perşembe.

Nehir: Bana bir gün verin. Size dört soruyla döneyim.

Nehir masasına dönünce özeti açıyor. Kısa bir paragraf; içinde "randomize kontrollü", "anlamlı artış", "etkili" gibi kelimeler var. Kelimeler güven veriyor; ama Nehir bir özeti okumanın, onun sonuç cümlesine inanmak olmadığını biliyor. Bugün bir koçluk araştırmasının özetini okumanın küçük bir yöntemini kuruyoruz.

Kavram

5.1'de kanıta dayalı uygulamanın önündeki engellerden birinin araştırmayı anlamakta zorlanmak olduğunu gördük. Bu ders o zorluğun en küçük, ama en sık karşılaşılan hâline bakıyor: bir özet. Koçların, yöneticilerin ve danışanların karşısına çıkan araştırmaların çoğu bir özet olarak gelir; çoğu zaman da kimse makalenin tamamını okumaz.

Akademinin önerdiği kontrol listesi dört soru ve bir ek sorudan oluşuyor.

İlk soru budur: bir kontrol grubu var mı ve katılımcılar gruplara rastgele mi atanmış? 2.6'da okuduğumuz bir doktora tezi, 20 yetişkinin bir yaşam koçluğu programından sonra daha iyi olduğunu bildiriyordu; ama özetinde bir kontrol grubundan söz edilmiyordu. O değişim belki koçluktan, belki de zamanın kendisinden geliyordu. Rastgele atama ise iki grubun başlangıçta benzer olmasını sağlamaya çalışır; ama kontrol grubunun ne aldığı da önemlidir: hiçbir şey mi, bir bekleme listesi mi, başka bir program mı?

İkinci soru örneklemdir: kaç kişi, kimler, nereden? Küçük bir örneklem rastlantıya daha açıktır. Belirli bir kurumdan, belirli bir meslekten ya da belirli bir ülkeden gelen katılımcılar, bulgunun başka yerlere ne kadar taşınabileceğini sınırlar.

Üçüncü soru ölçümdür: sonuç neyle ölçülmüş? Katılımcıların kendi doldurduğu bir anketle mi, bir gözlemcinin değerlendirmesiyle mi, bir performans verisiyle mi? Ölçümün türü, bulgunun neyi gösterdiğini değiştirir; bunun ayrıntısı bir sonraki dersin konusu.

Dördüncü soru izlem süresidir: sonuçlar koçluğun bitiminde mi ölçülmüş, yoksa haftalar ya da aylar sonra da mı? Görüşmelerin hemen ardından ölçülen bir iyilik hâli, üç ay sonra kaybolmuş olabilir.

Bir de ek soru: özette ne yazmıyor? Bir özet bir seçimdir; yazarlar en önemli gördüklerini koyar. Örneklemin kim olduğu, kontrol grubunun ne aldığı ya da izlem süresi özette yoksa, bu bir eksik değil, bir sorudur ve makalenin tamamına bakmayı gerektirir.

Perde arkası

Kontrol listesini bir gerçek özet üzerinde denemek, onu anlamanın en iyi yolu. Serap Hanım'ın masasındaki özet, kendini kurum dışından profesyonel koçlarla yapılmış ilk yayımlanmış randomize kontrollü çalışma olarak tanıtan bir araştırmaya ait.

Nehir'in dört soruyla okuması şöyle. Kontrol grubu: var ve atama rastgele; bu iyi. Ama kontrol grubunun ne aldığı özette yok. Örneklem: 41 yönetici, tek bir kamu sağlığı kurumundan; küçük ve belirli bir grup. Ölçüm: "nicel ve nitel ölçümler" deniyor; ama hedefe ulaşmanın ya da stresin neyle ölçüldüğü, kimin doldurduğu özette yazmıyor. İzlem süresi: özette hiç geçmiyor. Bir şey daha var: katılımcılar yalnızca koçluk değil, 360 derece geri bildirim ve bir atölye de aldı. Hangi sonucun hangi bileşenden geldiği özetten anlaşılmıyor.

Yaygın yanılgılar

İki sürüm

Ertesi gün Nehir, Serap Hanım'ın odasına dönüyor. İki farklı rapor.

Zayıf sürüm

Nehir: Okudum. Randomize kontrollü bir çalışma, yani en güçlü tasarım. Koçluk hedefe ulaşmayı artırmış, stresi azaltmış.

Serap Hanım: Harika. O zaman programı alıyoruz.

Nehir: Bence kesinlikle. Bilimsel olarak kanıtlanmış.

Serap Hanım: Bütçe toplantısında bu çalışmayı göstereyim mi?

Nehir: Evet, bu yeter.

Güçlü sürüm

Nehir: Okudum, dört soruyla. Kontrol grubu var ve atama rastgele; bu iyi. Ama 41 kişi, tek bir kamu kurumundan.

Serap Hanım: Az mı?

Nehir: Az ve bizden farklı bir kurum. Bir de özette sonuçların neyle ölçüldüğü ve programdan sonra ne kadar izlendiği yazmıyor. Katılımcılar koçluğun yanında bir atölye ve 360 derece geri bildirim de almış.

Serap Hanım: O zaman bu çalışma işe yaramıyor mu?

Nehir: İşe yarıyor, ama kesin bir cevap değil. Satıcı şirkete üç soru sorabiliriz: ölçümler neydi, izlem ne kadardı, kontrol grubu ne aldı? Bir de programı bizde küçük bir grupla, ölçerek başlatmayı önerebilirim.

Serap Hanım: Perşembe bunu söyleyeyim. Soruları yazıp bana gönderir misin?

"Bu yeter" cümlesi, ilk raporun nerede durduğunu gösteriyor: tasarımın adında. Nehir "randomize kontrollü" kelimesini bir güvence gibi kullanıyor ve "bilimsel olarak kanıtlanmış" diyerek 5.1'de Kenan'da gördüğü dile kayıyor. Serap Hanım'ın kararı, okunmamış bir özete dayanıyor. Öbür raporda Nehir dört soruyu sırayla soruyor ve özetin yazmadığı şeyleri de söylüyor: ölçüm, izlem, kontrol grubunun ne aldığı ve koçluğun yanında verilen öbür bileşenler. Sonucu küçümsemiyor; çalışmanın gerçek bir bulgu olduğunu, ama kesin bir cevap olmadığını söylüyor. Ve okumayı bir eyleme çeviriyor: satıcıya sorulacak üç soru ve kurumun kendi verisini toplayacak bir başlangıç. Bu son öneri, 5.1'deki bağlam kanıtının, yani kurumun kendi verisinin, pratikteki hâli.

Sınır notu

Kimin gündemi? Bir araştırma özeti çoğu zaman bir satışın parçası olarak gelir: bir programı, bir yöntemi ya da bir koçu tanıtmak için. Bu, araştırmayı geçersiz kılmaz; ama onu kimin, ne amaçla gösterdiğini sormayı gerektirir. Koçun kendisi de bir araştırmayı bir danışana ya da bir kuruma gösterirken aynı soruyu kendine sormalı: bu çalışmayı anlamak için mi, yoksa ikna etmek için mi gösteriyorum? Bu ders bir istatistik dersi değil; etki büyüklükleri, güven aralıkları ve anlamlılık testleri M65'in konusu. Dört soru, istatistik bilmeden bir özeti doğru yere koymaya yeter; ama bir araştırmanın ayrıntılı değerlendirmesinin yerini tutmaz.

Pratik

Günlük sorusu

Son okuduğun bir araştırma haberinde ya da özetinde, sonuç cümlesinden önce hangi bilgiye baktın? Ya da baktın mı?

Kapanış

1. Bir koçluk araştırmasının özeti dört soruyla okunabilir: kontrol grubu var mı ve ne aldı, örneklem kaç kişi ve kimler, sonuç neyle ölçüldü, izlem süresi ne kadar? Ek soru: özette ne yazmıyor?
2. Rastgele atamalı bir çalışma güçlü bir tasarımdır ama kesin bir cevap değildir; örneklemin büyüklüğü, ölçümün türü ve izlemin varlığı kanıtın gücünü değiştirir.
3. Okuma sonuçtan değil yöntemden başlar; araştırmayı kimin, ne amaçla gösterdiği de sorulmalıdır ve iyi bir okuma çoğu zaman yeni sorulara ve kurumun kendi verisine götürür.

Beş soru

1. Nehir'in "sonuç kısmı genelde en iyi görünen kısımdır" cümlesi ne anlama geliyor?
2. Kontrol grubunun varlığı neden önemlidir ve yalnızca var olması neden yetmez?
3. Grant, Curtayne ve Burton'un özetini dört soruyla okuduğunda hangi sorular cevapsız kalıyor?
4. Zayıf sürümde Nehir hangi dile kaydı ve bu neden 5.1'deki bir sahneyi hatırlatıyor?
5. Güçlü sürümde Nehir okumayı hangi eylemlere çevirdi?

Yanıtlar

1. Bir özetin sonuç cümlesinin, yazarların bulgularını en olumlu biçimde yorumlayışı olduğunu. Bulgunun gerçek gücü sonuç cümlesinden değil, yöntemden, yani kontrol grubundan, örneklemden, ölçümden ve izlemden okunur. Okumayı sonuçtan başlatmak, en iyi görünen kısma inanmak demektir.
2. Çünkü kontrol grubu olmadan değişimin koçluktan mı, zamandan mı, başka bir şeyden mi geldiği bilinemez. Ama yalnızca var olması yetmez: kontrol grubunun ne aldığı, hiçbir şey mi, bir bekleme listesi mi, başka bir program mı, karşılaştırmanın ne anlama geldiğini belirler.
3. Kontrol grubunun ne aldığı, sonuçların neyle ve kim tarafından ölçüldüğü ve izlem süresi. Özette ayrıca katılımcıların koçluğun yanında bir atölye ve 360 derece geri bildirim de aldığı görülüyor; hangi sonucun hangi bileşenden geldiği belli değil.
4. "Bilimsel olarak kanıtlanmış" diline. Bu, 5.1'de Kenan'ın kendi yöntemi için kullandığı dildi. Nehir, tasarımın adını bir güvence gibi kullandı ve tek bir çalışmayı kesin bir cevap gibi sundu; Kenan'ı eleştirdiği hataya bu kez kendisi düştü.
5. Satıcı şirkete sorulacak üç soruya: ölçümler neydi, izlem ne kadardı, kontrol grubu ne aldı? Bir de programı kurumda küçük bir grupla ve ölçerek başlatma önerisine. Bu ikincisi, kurumun kendi verisini toplamak, yani bağlam kanıtını oluşturmak demek.

Sonraki derse köprü

Nehir'in sorularından biri cevapsız kaldı: sonuçlar neyle ölçüldü? Koçluk araştırmalarında bu sorunun cevabı çoğu zaman aynıdır: katılımcıların kendi doldurduğu anketler. 5.3 kendi bildirimini ve plaseboyu ele alıyor: koçluk sonuçlarının çoğunun kendi bildirimine dayanmasının ne anlama geldiğini.