Kodlayıcı uyumu, bağlam ve yorum sınırları

Açılış sahnesi

Öğrenci kodlama kılavuzunu, çapa örnekleri ve otuz kadar metni bir klasöre koyup başka bir kentten gelen sınıf arkadaşına veriyor. Arkadaşı da sosyoloji okuyor, ama mahalleyi hiç görmemiş, büyükannelerle hiç konuşmamış. İki hafta sonra kodlanmış tabloyla geri geliyor. İki tabloyu yan yana koyduklarında bazı sütunlar neredeyse birebir örtüşüyor. Bazı sütunlarda ise sanki farklı metinler okumuşlar.

En büyük fark "doğallaştırma" sütununda çıkıyor. Öğrenci bülten yazılarının çoğunu bu kategoriye koymuş. Arkadaşı yalnız birkaçını. "Bunlar bana sadece bir övgü gibi geldi," diyor arkadaşı. "Doğallaştırma dediğin şeyi ben göremedim." Bir köşe yazısında da ters yönde bir ayrılık var. Öğrenci yazıyı alaycı bulmuş, arkadaşı ise onu içtenlikli bir övgü olarak okumuş. Bir görüşme alıntısında geçen "el vermek" sözünü arkadaşı hiç kodlamamış, çünkü sözün mahalledeki anlamını bilmiyor.

Öğrenci eve dönünce kendi ilk haftadaki kodlamasına bakıyor. Aynı bülten yazısını ilk hafta başka bir kategoriye koymuş olduğunu görüyor. Arkadaşıyla arasındaki fark bir yana, kendisiyle de uyuşmuyor.

Bu derste ne olacak

Klasör, arkadaş ve iki tablo bu dersin kurgusal sahnesine ait. İki okurun aynı metinde farklı şeyler görmesi ise metinle çalışan herkesin er geç karşılaştığı bir an. Önceki ders metinleri kurumlar ve eşitsizliklerle birlikte okumayı anlattı. Kapanışında danışman, çözümlemenin metinden mi yoksa çözümleyenden mi beslendiğini sormuştu.

Bu ders o soruyu yöntemin içine taşıyor. İki kodlayıcının ne kadar anlaştığını ölçmenin mantığı, anlaşmanın bir kısmının neden tesadüf olabileceği, anlaşmazlıkların nasıl bir veri kaynağına dönüştürüleceği ve yorumla metin arasındaki bağın ne zaman gevşediği dersin başlıca soruları. Bağlam bilgisinin yorumu hem zenginleştiren hem sınırlayan iki yüzü de bu soruların içinde duruyor.

Sıfır noktası — Tek okurun sınırı

Bir metni tek başına kodlayan araştırmacı, kategorilerinin ne kadar açık tanımlandığını sınayamaz. Tanımı yazan da uygulayan da aynı kişidir. Kafasında taşıdığı ama kılavuza yazmadığı bir ölçüt, tanımın yerini sessizce alabilir. İkinci bir okur bu gizli ölçütleri görünür kılar.

Mekanizma — Ölçmek, düzeltmek, tartışmak

Uyumu ölçmenin en basit yolu, iki kodlayıcının aynı kararı verdiği metinleri saymak ve bunu bütün metinlerle karşılaştırmaktır. Bu ham uyum ölçüsü sezgiseldir ama bir tuzak taşır. Bazı kararlar yalnız tesadüf eseri de örtüşebilir.

Şansa göre düzeltilmiş uyum ölçüleri, istatistik derslerinde ayrıntılı biçimde ele alınan katsayılarla hesaplanır. Burada önemli olan mantıktır: bir uyumun değerli sayılması için, tesadüften beklenecek uyumun belirgin biçimde üstünde olması gerekir.

Ölçüm yapıldıktan sonra asıl iş başlar. Ayrılan kararlar tek tek ele alınır.

Uzun kodlama süreçlerinde başka bir sorun belirir. Kodlayıcı ilk haftalarda kılavuzu dikkatle izler. Haftalar geçtikçe kararlar hızlanır ve kılavuza bakmadan verilmeye başlar.

Kuramsal mercekler

Kodlayıcı uyumunun ne kadar önemli olduğu, araştırmacının metinle nasıl bir ilişki kurduğuna göre değişir. Nicel içerik analizinde uyum, yöntemin temel dayanaklarından biridir. Kodlama bir ölçüm sayılır ve ölçümün kişiden bağımsız olması beklenir. Düşük uyumlu bir cetvelden üretilen sayılar güvenilir kabul edilmez.

Yorumu merkeze alan nitel geleneklerde ise uyumun sayısal ölçümüne kuşkuyla bakılabilir. Bu geleneklere göre iki okurun aynı metinde farklı şeyler görmesi her zaman bir hata değildir. Farklı konumlardan yapılan okumalar metnin çok katmanlılığını gösterebilir. Bu geleneklerde güvenilirlik, sayısal bir katsayıyla değil, araştırmacının kararlarını ve konumunu açıkça yazmasıyla, denetim izi ve düşünümsellikle aranır.

İki yaklaşım arasında orta bir yol da vardır. Bazı araştırmacılar ikinci kodlayıcıyı bir ölçüm aracı olarak değil, bir tartışma ortağı olarak kullanır. Uyum hesaplanmaz, ama her anlaşmazlık tartışılır ve kılavuzun keskinleşmesine katkıda bulunur.

Ölçek

Kodlayıcılar arasındaki uyum, hangi düzeyde arandığına göre değişebilir. En dar düzeyde tek bir metin parçasına verilen tek bir kod vardır. Bir üst düzeyde, bir metnin hangi kategoriye düştüğü sorulur. Daha yukarıda, verinin tamamından hangi temaların çıktığı sorulur. En geniş düzeyde ise bütün çözümlemenin genel yorumu, yani bulguların neyi gösterdiği durur.

Bu düzeylerin her biri farklı bir güvenceye karşılık gelir. Nicel bir çalışma için kod ve kategori düzeyindeki uyum belirleyicidir. Tematik bir çalışma için ise tema ve genel yorum düzeyindeki tutarlılık daha anlamlı olabilir. Araştırmacı hangi düzeyde uyum aradığını açıkça yazmalıdır.

Türkiye bağlamı ve karşılaştırma

Metnin anlaşılması için gereken bağlam bilgisi kodlayıcılar arasında eşit dağılmayabilir. Türkiye'de yerel ağızlar, mahalleye özgü deyimler, bölgesel göndermeler ve yerel siyasi imalar, o bağlamı bilmeyen bir kodlayıcı için görünmez kalabilir. Bağlamı bilen kodlayıcı ise bu bilgiyi metnin kendisinde olmayan anlamları okumak için kullanma riskini taşır.

Türkiye'deki lisansüstü çalışmalarda içerik analizi çoğu zaman tek bir araştırmacı tarafından yapılabilir. İkinci bir kodlayıcı bulmak zaman ve kaynak gerektirir. Danışman bu durumda kılavuzun tek dış okuru olabilir. Bu koşulda araştırmacının kendi zaman içindeki tutarlılığını sınaması ve kararlarını ayrıntılı biçimde belgelemesi daha da önem kazanır.

Farklı dillerde çalışan ekiplerde çeviri de bir uyum sorunu yaratabilir. Türkçe metinleri İngilizce bir kılavuzla kodlayan bir ekip, kategorilerin iki dilde aynı şeyi anlatıp anlatmadığını ayrıca sınamak zorunda kalır. Akrabalık terimlerinde ya da deyimlerde bu sınama özellikle önem kazanır.

Bu bilgiyi nasıl biliyoruz?

Bir yorumun sağlamlığı yalnız uyum ölçüsüyle değil, iddiayı taşıyan metin parçasının gösterilip gösterilemediğiyle de değerlendirilir. Yorum ile aşırı yorum arasındaki sınır, metin çalışmalarının en eski tartışmalarından biridir.

Yaygın hatalar

Aklında kalsın

1. Kodlayıcı uyumu, aynı kılavuzla bağımsız kodlayan kişilerin kararlarının ne ölçüde örtüştüğünü gösterir.
2. Uyumun bir kısmı tesadüften gelebilir, bu yüzden şansa göre düzeltilmiş ölçüler kullanılır.
3. Uzlaşma toplantısı anlaşmazlıkların nedenini bulmak ve kılavuzu keskinleştirmek için yapılır.
4. Kodlayıcı kayması, uzun süreçlerde tanımların fark edilmeden farklı uygulanmasıdır ve ara denetimlerle sınanır.
5. Uyum kod, kategori, tema ve genel yorum düzeylerinde farklı çıkabilir ve hangi düzeyde arandığı yazılmalıdır.
6. Bağlam bilgisi yorumu zenginleştirir, ama kılavuza yazılmadıkça denetlenemez.
7. Aşırı yorum, metnin ya da bilinen bağlamının desteklemediği anlamların metne yüklenmesidir.

Sonraki derse köprü

Uzlaşma toplantılarından sonra öğrencinin kılavuzu keskinleşiyor, ama önünde yeni bir yığın duruyor: yerel bir haber sitesinin bakım üzerine yıllar içinde biriken binlerce okur yorumu. Bu kadar metni iki kişiyle kodlamak aylar sürecek. Bir arkadaşı yorumları bir yapay zekâ aracına yükleyip kılavuza göre kodlatmayı öneriyor. Araç birkaç dakikada bütün yorumları kategorilere ayırıyor. Ama öğrencinin aklında sorular birikiyor. Araç kılavuzu gerçekten izledi mi, yoksa kendi varsayımlarını mı kullandı? Uydurduğu bir alıntı var mı? Okurların yorumlarını böyle bir araca yüklemek onların verisini nereye taşıyor? AI destekli metin analizinde doğrulama, bu aracı bir kodlayıcı gibi sınamanın ve sonuçlarını denetlemenin yollarını ele alıyor.