Gözetim, ölçüm ve performans rejimleri

Açılış sahnesi

Bir sürücü kursunun öğretmenler odasında duvara asılı bir tablo var. Tabloda her eğitmenin adı ve öğrencilerinin ilk denemede sınavı geçme oranı yazıyor. Tablo kimseyi cezalandırmak için asılmamış; kurs sahibi bunu şeffaflık olarak düşünüyor ve eğitmenler de itiraz etmiyor.

Tablonun en altında hep aynı ad duruyor. O eğitmen, başka kurslarda kayıt yaptıramamış ya da bir kez başarısız olmuş öğrencileri kabul ediyor; direksiyonda paniğe kapılan, çok geç yaşta başlamış, kalabalık trafikte donan kişiler ona yönlendiriliyor. Öğrencileri sonunda ehliyet alıyor, ama çoğu ikinci ya da üçüncü denemede alıyor. Tabloda görünen tek şey ilk deneme.

İki yıl içinde kimse bir kural çiğnemeden tablo düzeliyor. Eğitmenler zor öğrenciyi kabul etmemeye başlıyor; kayıt sırasında birkaç soru sorup uygun olmayanı nazikçe başka bir kursa yönlendiriyorlar. Kursun genel oranı yükseliyor, tanıtımda kullanılıyor, kayıtlar artıyor. En alttaki ad da yukarı çıkıyor, çünkü o eğitmen de aynı şeyi yapmaya başlıyor. Yıl sonunda tablonun en üstündeki eğitmen, ötekilere kendi yöntemini anlatmakla görevlendiriliyor. Anlattığı şey direksiyon öğretmek değil, öğrenci seçmek.

Bu derste ne olacak

Bu kurs kurgu. Gerçek bir vaka olsaydı burada bir tablo, bir dönem aralığı ve bir veri kaynağı bulunması gerekirdi; bu derste hiçbiri yok ve olmaması bilinçli. Dersin iddiası tek bir kursa ait değil, bir sayıya bir karşılık bağlandığında ortaya çıkan düzeneğe ait. Kutulardaki vakalar da aynı amaçla tasarlandı.

Bir önceki ders, örgütlerin kabul görmek için dayandıkları şeyin geçmişten ölçüme kaydığını söyleyerek bitmişti. Bu ders o kaymanın içine giriyor. Önce ölçmenin ölçülen şeyi nasıl değiştirdiğini kuracağız; bunun bir kötülük değil, herkes kurallara uyarken ortaya çıkan bir düzenek olduğunu göstereceğiz. Sonra sorunun daha iyi bir gösterge seçerek çözülemeyeceğini, sayının nasıl gerekçenin yerine geçtiğini, ölçüme girmeyen işin kimde biriktiğini ve bütün bunlara karşı ne yapılabileceğini ele alacağız.

Sıfır noktası — ayna mı, aktör mü

Bir ölçümün ne işe yaradığına dair yaygın bir varsayım var: ölçüm olan biteni yansıtır. Bu varsayım altında ölçümle ilgili sorunlar teknik sayılır — gösterge kötü seçilmiştir, veri eksiktir, hesap yanlıştır. Çözüm de teknik olur: daha iyi gösterge, daha temiz veri.

Örgütlerde bu varsayım bir yerde çöküyor. Bir ölçüm, ölçtüğü kişilere duyurulduğu ve sonucuna bir karşılık bağlandığı anda o kişilerin davranışını değiştirmeye başlıyor. Değişen davranış da ölçümün üzerine geri düşüyor.

Açılış sahnesindeki tabloda hiçbir ceza yazmıyor. Yine de tablo bir rejim kuruyor, çünkü adların yan yana durması bir karşılaştırma yaratıyor ve karşılaştırma tek başına bir karşılık gibi çalışıyor. Rejimi başlatmak için bir yaptırım gerekmiyor; görünür kılmak yetiyor.

Bu düzeneğin en önemli özelliği kötü niyet gerektirmemesi. Sürücü kursundaki eğitmenler yalan söylemiyor, kayıt uydurmuyor, kimseyi kandırmıyor. Kendilerine söylenen ölçüte göre akla uygun davranıyorlar ve tam bu yüzden ölçüt bozuluyor. Bir ölçümün geçerliliğini en hızlı aşındıran şey hile değil, uyum.

Mekanizma — daha iyi gösterge neden kurtarmıyor

İlk akla gelen çözüm göstergeyi düzeltmek oluyor. Sürücü kursu örneğinde bu çok makul görünüyor: ilk denemede geçme oranı haksız bir ölçüt, çünkü öğrencinin başlangıç durumunu hesaba katmıyor. Öyleyse öğrencinin başladığı yere göre ne kadar ilerlediği ölçülsün.

Bu ikinci tur önemli, çünkü göstergenin içeriğiyle ilgili olmadığını gösteriyor. Geri tepmeyi üreten şey göstergenin neyi saydığı değil, sayının bir karşılığa bağlanmış olması. Karşılık bağlandığı sürece, ölçüt ne kadar iyi tasarlanırsa tasarlansın, ölçülen kişinin elinde her zaman ölçütü iyileştirmenin işi iyileştirmekten daha kolay bir yolu bulunuyor.

Görünmezleşen işin eşitsizlikle bağlantısı doğrudan. Bu iş ortadan kalkmıyor, birilerinin üzerinde kalıyor ve kimin üzerinde kaldığı rastgele dağılmıyor. Ölçülen işe yönelebilenler yönelir; yönelemeyenler, yani ekibin akışını taşımayı üstlenmiş olanlar, hem işi yapar hem sayıda görünmez.

Şimdi ölçümün ikinci işine geçiyoruz. Ölçüm yalnız davranışı değiştirmiyor, aynı zamanda bir kabul kaynağı hâline geliyor. Bir önceki derste bir örgütün kabulünün neye dayandığını sormuştuk; bugün o dayanak giderek sayı oluyor.

Sayıya sığınmanın etkisi, bir önceki derste konuşulan sessizlikle aynı yere çıkıyor. Bir konu sayıyla kapatıldığında, o konuda başka türlü davranma ihtimali gündeme hiç gelmiyor. Alternatifin dile getirilememesi burada bir alışkanlıktan değil, itiraz edenin elinde karşı koyacak bir sayı bulunmamasından doğuyor.

Bu üç durum aynı örüntüyü taşıyor: yükselen sayı ile bozulan iş aynı anda var oluyor ve ikisini yan yana koyacak bir yer bulunmuyor. Sorunun teknik kısmı iki kaydın ayrı durması; sosyolojik kısmı, panodaki sayının bir dayanak hâline gelmiş olması ve öteki kaydı sormayı kimsenin akıl etmemesi.

Bu ayrım dersin sonunda kalan tek pratik yol değil, ama düzeneğe en doğrudan dokunanı. Yanında iki şey daha işliyor: birbirini çeken göstergeler kullanmak, yani hız ölçülüyorsa hızın bedelini taşıyan bir ölçümü de aynı panoya koymak; ve ölçülen kişileri ölçümün tasarımına katmak, çünkü göstergenin nereden delineceğini en iyi onlar bilir.

Kuramsal mercekler

Ölçümün örgütte ne işe yaradığı sorusunda üç ayrı cevap var ve üçü de sayının ne olduğu konusunda farklı bir şey söylüyor.

Birinci cevap sayıyı bir ayna sayar. Ölçümün işi olan biteni bildirmektir ve geri tepme bir tasarım hatasıdır. Bu cevabın beklentisi açık: daha iyi gösterge ve daha temiz veri sorunu küçültmelidir.

İkinci cevap sayıyı bir yönetme aracı sayar. Buradaki iddiaya göre ölçüm, uzaktaki bir davranışı yönlendirmek için kurulur ve davranışı değiştirmesi bir yan etki değil, aracın kendi işidir. Bu cevap geri tepmeyi bir arıza olarak değil, aracın çalışmasının bedeli olarak okur ve beklentisi birinciyle çelişir: gösterge iyileştirildikçe de sapma sürmelidir, çünkü sorun göstergede değil bağlantıdadır.

Üçüncü cevap sayıyı bir gösteri sayar. Bu okumaya göre bir ölçümün asıl işi dışarıya hesap verebilir görünmek, yani örgütün kabulünü sürdürmek olabilir; sayının içeride bir karara dönüşüp dönüşmediği ikincildir. Beklentisi ötekilerden ayrılır: bol bol sayı üretilen ve yayımlanan, ama iç kararlarda bu sayılara pek başvurulmayan örgütler bulunmalıdır.

Sürücü kursunda üçünün de izi var. Kurs sahibinin tabloyu şeffaflık diye asması gösteri cevabına, eğitmenlerin davranışının tablonun ardından değişmesi yönetme aracı cevabına uyuyor. Ayna cevabı ise ikinci turda zora giriyor; gösterge daha adil hâle getirildiği hâlde sapma yeniden ortaya çıkıyor. Bu zorlanma ötekileri kanıtlamıyor ama açık kalan soruların alanını daraltıyor.

Ölçek

Kişi düzeyinde ölçüm bir süre sonra dışarıdan gelmeyi bırakır. Kendi adımını, uykusunu, okuduğu sayfayı ya da bitirdiği görevi sayan kişi, kimse istemeden kendi kendisinin denetçisi olur ve gün sonunda kendini sayıya bakarak değerlendirir.

Örgütler arası düzeyde sayı bir karşılaştırma zemini kurar. Sıralamalar yayımlandığında örgütler birbirine göre değil, sıralamanın ölçütüne göre konumlanmaya başlar; ölçütü paylaşan bütün örgütler aynı yöne doğru değişir ve aralarındaki gerçek farklar aynı ölçüte sığmadığı için görünmez olur.

Toplum düzeyinde ise hesap verebilirliğin dili sayıya bağlanır. Bir kurumdan hesap sormanın meşru yolu onun rakamlarını istemek hâline geldiğinde, ölçülmesi zor olan alanlar kamusal tartışmadan yavaşça düşer; bakım, güven ve uzun vadeli etki gibi konular gündeme girmekte zorlanır çünkü ellerinde gösterecek bir sayı yoktur.

Üç düzey birbirini besliyor. Kişinin kendi sayısına bakması örgütün panosunu olağanlaştırıyor, panolar sektörün sıralamasını mümkün kılıyor, sıralamalar da hesap vermenin sayıyla olacağı beklentisini pekiştiriyor.

Türkiye'de sınav sayısı ve karşılaştırma

Türkiye'de bu düzeneğin en tanıdık örneği eğitimde bulunuyor. Okullar sınav sonuçlarıyla anılıyor, bu sonuçlar tanıtımda kullanılıyor ve veliler okul seçerken aynı sayıya bakıyor. Sonuç, sınavda çıkması beklenen içeriğin okul saatlerinin merkezine geçmesi ve sınavda karşılığı olmayan derslerin kenara çekilmesi. Kimse müfredatı çiğnemiyor; ölçülen şeye yöneliyor.

Aynı düzenek başka eğitim sistemlerinde de tarif edilmiştir ve ilginç olan, ölçütün farklı olduğu yerlerde de aynı yöne kaymanın görülmesi. Bir yerde ölçüt merkezî bir sınav sonucu, bir başka yerde denetim raporundan alınan derece, bir üçüncüsünde mezuniyet oranı olabiliyor. Ölçüt değiştiğinde okulların neye yöneldiği değişiyor, ama yönelmenin kendisi değişmiyor.

Karşılaştırmanın gösterdiği şey tam da bu ders için önemli. Ülkeler arasındaki fark hangi göstergenin seçildiğinde; ortak olan şey ise göstergeye bir karşılık bağlanmış olması. Bu, dersin ortasındaki iddiayı dışarıdan destekliyor: sapmanın kaynağı göstergenin içeriği değil, sayının bir karşılığa bağlanmasıdır ve göstergeyi değiştirmek yalnız kaymanın yönünü değiştirir.

Bu bilgiyi nasıl biliyoruz?

Bir ölçümün geri tepip tepmediğini göstermek, sayının kendisine bakarak yapılamaz. Geri tepen bir ölçümün sayısı zaten düzgün görünür; aranan iz sayıda değil, sayının dışında.

Üç yöntem de ölçümün dışına çıkıyor. Bir performans rejimini kendi ürettiği sayılarla değerlendirmek, rejimin kendi hakkındaki ifadesini delil saymak olur.

Yaygın hatalar

Aklında kalsın

1. Bir sayıyı performans rejimine çeviren şey sayının içeriği değil, sonucuna bir karşılık bağlanmış olmasıdır; karşılaştırmayı görünür kılmak bile karşılık yerine geçer.
2. Ölçüm, ölçtüğü kişilere duyurulduğunda davranışlarını değiştirir ve bu değişim ölçümün geçerliliğini aşındırır; geri tepen ölçüm bir ayna değil aktördür.
3. Geri tepmeyi üreten şey hile değil uyumdur: kimse kural çiğnemeden de sayı düzelip iş bozulabilir.
4. Daha iyi bir gösterge seçmek düzeneği durdurmaz; karşılık bağlı kaldığı sürece ölçütü iyileştirmek işi iyileştirmekten kolay kalır.
5. Ölçüme girmeyen iş ortadan kalkmaz, birilerinin üzerinde kalır ve o kişiler hem işi yapar hem sayıda görünmez.
6. Sayı bir kabul dayanağına dönüştüğünde gerekçenin yerine geçer ve itiraz edenin elinde karşı koyacak bir sayı bulunmaz.
7. Düzeneğe en doğrudan dokunan karşı adım ölçümü bırakmak değil, ölçüm ile karşılığı birbirinden ayırmak; yanında birbirini çeken göstergeler kullanmak ve ölçüleni tasarıma katmaktır.

Sonraki derse köprü

Bu derste bir kişi göstergeyi seçiyordu, bir kişi sayıya bakıyordu ve tabloyu duvara bir kurs sahibi asmıştı. Ölçütün ne olduğu biliniyordu; en azından itiraz edilecek bir cümle vardı ortada. Şimdi bunların hepsini elimizden alalım. Ölçen, değerlendiren ve işi dağıtan şey bir kişi değil bir sistem olsun; ölçütün nasıl hesaplandığı yayımlanmasın; sonucu düşük çıkan kişiye daha az iş düşsün ve nedenini soracağı bir merci bulunmasın.

Bu tarif kurgu değil; bugün bu koşullarda çalışan insanlar var ve tarif üç soruyu birden açıyor. Ölçütü göremeyen biri ona nasıl uyar? Kimse karar vermemişse bir karara nasıl itiraz edilir? Bir işveren gibi yönlendiren ama işveren sayılmayan bir sistemle çalışan kişinin konumu nedir? Bu üç soru modülün son dersinin konusu: TEM-107-07 «Platformlar ve algoritmik yönetim».