AI destekli metin analizinde doğrulama

Açılış sahnesi

Kentin haber sitesinde bakımla ilgili yazıların altında yıllar içinde binlerce okur yorumu birikmiş. Öğrenci bunları bir tabloya aktarıyor ve kodlama kılavuzunu yanına koyuyor. İki kişiyle bu yığını kodlamak aylar alacak. Bir arkadaşı bir yapay zekâ aracı öneriyor. Öğrenci kılavuzdaki kategori tanımlarını araca veriyor, yorumları yüklüyor ve kategorilere ayırmasını istiyor. Birkaç dakika sonra düzenli bir tablo ekranda beliriyor. Her yorumun yanında bir kategori ve kısa bir gerekçe var.

Tablo ilk bakışta çok ikna edici. Arkadaşı omzunun üstünden bakıp "Gayet mantıklı görünüyor, bitti işte," diyor. Öğrenci yine de rastgele elli kadar yorumu açıp kendisi okuyor. Alaycı bir yorum, "Tabii tabii, nineler olmasa bu ülke batar," araç tarafından içtenlikli bir övgü olarak kodlanmış. Başka bir satırda aracın gerekçe olarak alıntıladığı cümle, yorumun hiçbir yerinde geçmiyor. Araç o cümleyi kendisi üretmiş.

Bir hafta sonra öğrenci aynı yorumları aynı kılavuzla yeniden araca veriyor. Kategorilerin dağılımı ilk seferden belirgin biçimde farklı çıkıyor. Arada aracın bir güncelleme aldığını öğreniyor. Bir de başka bir şey aklına takılıyor. Yorumların yanında kullanıcı adları da vardı ve hepsini bir şirketin sunucusuna göndermişti.

Bu derste ne olacak

Haber sitesi, yorumlar, araç ve arkadaş, kursun başından beri süren kurgunun son halkası. Hızlı ve ikna edici bir tablonun ardından gelen o kuşku ise yapay zekâ araçlarıyla metin analizi yapan araştırmacıların giderek daha sık yaşadığı bir an. Önceki ders iki insan kodlayıcının uyumunu ölçmeyi, anlaşmazlığı tartışmayı ve aşırı yorumu fark etmeyi anlattı. Kapanışında bir soru bırakıldı: bir yapay zekâ aracı bir kodlayıcı gibi nasıl sınanır?

Bu ders o soruya yanıt arıyor. Model destekli kodlamanın ne olduğu, çıktısının insan kodlamasıyla nasıl karşılaştırılacağı, istemlerin ve model sürümlerinin neden kaydedilmesi gerektiği, araştırmacının araca fazla güvenme eğilimi ve kişisel verilerin korunması dersin başlıca konuları. Bu ders aynı zamanda kursun son dersi ve belge, içerik, tema, söylem ile uyum üzerine öğrenilenleri yeni bir aracın karşısında sınıyor.

Sıfır noktası — Hızlı olan doğru olmayabilir

Hazırlık kursunda yapay zekâ ile çalışırken doğrulamanın temel ilkeleri görülmüştü. Bu araçların örüntü üretimiyle çalıştığı, yani doğru olduğu bilinen bilgiyi değil, bağlama uygun görünen devamı ürettiği söylenmişti. Bir çalışmanın sahipliğini oluşturan kararların, yani sorunun, kaynağın ve yorumun devredilemez olduğu da vurgulanmıştı. Bu ilkeler metin analizine taşındığında daha somut bir biçim alır.

Mekanizma — Aracı bir kodlayıcı gibi sınamak

Model destekli kodlamayı güvenilir kılmanın temel yolu, önceki derste iki insan kodlayıcı için kullanılan mantığı araca uygulamaktır. Aracın kararları, dikkatle kodlanmış bir insan kodlamasıyla karşılaştırılır.

Karşılaştırma yapılırken önceki derste görülen şans uyumu ilkesi burada da geçerlidir. Yaygın bir kategoride araç, metni gerçekten anlamadan da çoğu zaman isabet ediyormuş gibi görünebilir. Aracın başarısı da şansa göre düzeltilmiş ölçülerle değerlendirilmelidir.

Araca verilen talimat, aracın kararlarını doğrudan etkiler. Bir kategori tanımındaki küçük bir sözcük değişikliği bile sonuçları değiştirebilir. Bu yüzden talimatın kendisi de bir yöntem kararıdır ve kayıt altına alınmalıdır.

Araçların kendisi de zaman içinde değişir. Aynı adı taşıyan bir araç, güncellendiğinde aynı istemle farklı sonuçlar verebilir.

Kuramsal mercekler

Model destekli kodlamaya bakışlar, önceki derslerde görülen nicel ve nitel gelenekler arasındaki ayrımı yeniden üretir. Nicel içerik analizine yakın duranlar, araçları büyük metin yığınlarını tutarlı biçimde kodlamanın verimli bir yolu olarak görebilir. Onlar için asıl soru, aracın insan kodlamasına ne kadar yaklaştığı ve bu yakınlığın nasıl belgeleneceğidir.

Yorumu merkeze alan gelenekler ise daha temkinlidir. Onlara göre bir metnin anlamı bağlamdan, konumdan ve okurun deneyiminden ayrılamaz. Bir aracın ürettiği kategori, bu bağlamı taşımayabilir. Ayrıca aracın hangi verilerle eğitildiği ve hangi varsayımları taşıdığı çoğu zaman görünmez. Bu geleneklerde araç, en fazla bir ilk okuma yardımcısı olarak kabul edilebilir.

Bu iki bakışın arasında, aracın gücünü kabul eden ama denetimi insanda tutan bir yaklaşım belirginleşiyor. Araç çok sayıda metni hızla ön kodlar, insan araştırmacı belirsiz vakaları, yorum gerektiren kategorileri ve bir örneklemi denetler.

Ölçek

Model destekli kodlamada insan denetiminin yoğunluğu farklı düzeylerde kurulabilir. En yoğun düzeyde araştırmacı aracın her kararını tek tek okur ve onaylar ya da düzeltir. Bir alt düzeyde araştırmacı rastgele seçilmiş bir örneklemi denetler ve aracın genel başarısını bu örneklemden çıkarır. Daha hafif bir düzeyde yalnız aracın kararsız kaldığı ya da belirsiz işaretlediği vakalar denetlenir. En hafif düzeyde ise hiç denetim yapılmaz ve aracın çıktısı olduğu gibi kullanılır.

Denetimin yoğunluğu arttıkça zaman kazancı azalır, ama sonuçlara duyulan güven artar. Hangi düzeyin seçileceği, kategorilerin ne kadar yoruma dayandığına ve sonuçların ne tür bir iddiayı desteklemek için kullanılacağına bağlıdır. Hiç denetim yapılmayan bir kodlama, bir bulgu olarak değil, en fazla bir keşif taslağı olarak sunulabilir.

Türkiye bağlamı ve karşılaştırma

Türkçe metinlerle çalışan araştırmacılar, yapay zekâ araçlarının Türkçedeki başarısının İngilizce gibi daha geniş eğitim verisine sahip dillerdekinden farklı olabileceğini hesaba katmalıdır. Türkçenin eklemeli yapısı, yerel ağızlar, argo, kısaltmalar ve internet yorumlarına özgü yazım biçimleri araçların yanılma olasılığını artırabilir. Türkiye'de sosyal medya ve haber yorumlarında sık görülen ironi ve dolaylı eleştiri, bu riski daha da büyütebilir.

Kişisel verilerin korunması da bu ortamda ayrı bir dikkat gerektirir. Etik kursunda üçüncü taraf işleme ve yerel işleme kavramları tanımlanmıştı. Kullanıcı adları, konum bilgileri ya da tanınabilir ayrıntılar içeren yorumları bir şirketin sunucusuna göndermeden önce ayıklamak ya da yerel bir araç kullanmak, katılımcıları korumanın temel yollarıdır. Türkiye'deki kişisel veri mevzuatı ve kurumların etik kurulları, bu tür işlemleri ayrıca değerlendirebilir.

Bu bilgiyi nasıl biliyoruz?

Model destekli kodlamanın güvenilirliği, aracın kendisinin iddialarına değil, dışarıdan yapılan sınamalara dayanır. Aracın bir metni "doğru" kodladığını söylemesi, onun doğru kodladığının kanıtı değildir. Kanıt, aracın kararlarının bağımsız bir insan kodlamasıyla karşılaştırılmasından ve bu karşılaştırmanın açıkça raporlanmasından gelir.

Aracın ürettiği gerekçeler de ayrıca sınanmalıdır. Bir aracın bir kararın gerekçesini açıklaması, kararı gerçekten o gerekçeyle verdiği anlamına gelmeyebilir. Gerekçe, karardan sonra üretilmiş bir örüntü olabilir.

Araştırmacının kendi eğilimi de denetlenmesi gereken bir değişkendir.

Yaygın hatalar

Aklında kalsın

1. Model destekli kodlama bir yardımcıdır ve aracın kararları bir kodlayıcının kararları gibi sınanmalıdır.
2. Altın standart örneklem, aracın bütün yığına uygulanmadan önce insan kodlamasıyla karşılaştırıldığı zemindir.
3. Araç açık ifadelere dayanan kategorilerde başarılı, yoruma ve ironiye dayanan kategorilerde zayıf olabilir.
4. İstem kaydı, talimatların, tanımların, aracın sürümünün ve tarihin eksiksiz belgelenmesidir.
5. Model kayması, aynı aracın zaman içinde farklı sonuçlar vermesidir ve tekrarlanabilirliği tehdit eder.
6. Otomasyon yanlılığı, düzenli görünen bir çıktının yeterince sorgulanmadan kabul edilmesine yol açar.
7. Kişisel veri içeren metinler bir üçüncü tarafa gönderilmeden önce ayıklanmalı ya da yerel araçlar tercih edilmelidir.

Sonraki derse köprü

Bu kurs öğrenciyi araştırmacının orada bulunmadığı metinlere götürdü. Önce bir belediye bodrumunda belgelerin kim tarafından ve kimin için yazıldığını sordu. Sonra gazete yığınını kategorilere ayırdı, anlamı sayıya çevirdi ve farklı veri türlerinde tekrar eden temaları aradı. Aynı olayın iki hikâyeye nasıl dönüştüğünü, bir anlatının hangi kurumlarla güçlendiğini gördü. Son iki derste kendi okumasını bir arkadaşının gözüyle ve bir aracın çıktısıyla sınadı.

Yorumları kodlarken öğrencinin aklına bir soru takılıyor. Bu yorumları yazanlar kim? Mahalledeki büyükanneler mi, yoksa haber sitesinde vakit geçiren başka bir kesim mi? Kentte torununa bakan büyükannelerin ne kadar yaygın olduğunu, hangi koşullarda bu işi üstlendiklerini öğrenmek için yorumlar yetmiyor. Kente yayılmış bir grup insana aynı soruları sormak gerekiyor. Ama önce kime sorulacağını belirlemek lazım: bu soruların muhatabı tam olarak kim ve o kişilerin listesi nerede? Anket, ölçek ve örnekleme üzerine açılan yeni kurs, "Hedef evren ve örnekleme çerçevesi" dersiyle bu sorudan başlıyor.