Gözlemciler arası güvenilirlik

Açılış sahnesi

Bir kişi iki farklı uygulayıcıya gidiyor. Aynı gün, aynı şikâyet, aynı bilgiler.

Birinci uygulayıcı bir örüntü söylüyor. İkinci uygulayıcı başka bir örüntü söylüyor.

Şimdi kritik soru: hangisi hata yaptı?

Cevap muhtemelen hiçbiri. Çünkü sorun bireysel bir hatadan çok, sistemin ÖLÇÜM ÖZELLİĞİyle ilgili olabilir.

Bu ders o özelliği ölçmenin nasıl yapıldığını ve sonucun ne olduğunu öğretir. Seviye 3'ün en zor dersi bu ve en gerekli olanı.

Bu derste ne olacak

Önce güvenilirlik ile geçerlilik arasındaki farkı kuracağız — bu ayrım dersin omurgası. Sonra bu alanda ölçülmüş uyum sonuçlarını göreceğiz: dil, nabız ve genel örüntü tanısı. Ardından uyumun neden düşük çıktığına bakacağız ve neyin iyileştirdiğini göreceğiz. Sonra yapay zekâ ve dijital ölçüm iddialarına geleceğiz, çünkü orada aynı ayrım yeniden kuruluyor. Ders bittiğinde bir tanı yönteminin güvenilirliği hakkındaki bir iddiayı okuyabiliyor olacaksın — ve Seviye 3'ün çıkış görevini yapabileceksin.

Sıfır noktası

Bir terazi düşün.

Terazi her seferinde aynı kişiyi tarttığında hep 70 kilo gösteriyor. Tutarlı. Yani GÜVENİLİR.

Ama terazi beş kilo fazla ölçüyor. Kişi gerçekte 65 kilo. Yani GEÇERSİZ.

Şimdi tersini düşün. Bir terazi bazen 64, bazen 66 gösteriyor — ortalaması doğru ama tutarsız. Geçerli ama güvenilmez.

Güvenilirlik ile geçerlilik ayrı kavramlardır. Bir yöntem tutarlı olup yanlış, ya da doğruya yakın olup tutarsız olabilir.

Bu benzetme bir yere kadar doğru. Nerede kırıldığını söyleyeyim: terazide "gerçek ağırlık" diye bağımsız bir referans var ve geçerliliği ona bakarak ölçebilirsin. Örüntü tanısında böyle bir altın standart YOKTUR. Bir örüntünün "doğru" olup olmadığını karşılaştıracağın bağımsız bir ölçüt yok. Bu yüzden bu alanda büyük ölçüde güvenilirlik ölçülür — geçerlilik değil.

Bu, dersin en önemli tek cümlesi olabilir: elimizdeki araştırmaların çoğu güvenilirliği ölçüyor ve güvenilirlik zaten sorunluysa, geçerlilik sorusuna sıra gelmiyor.

Mekanizma

Ölçülmüş olan

Şimdi somut sonuçlara bakalım.

Üç kartı yan yana koyduğunda ortak bir bulgu ve ortak bir umut görürsün.

Ortak bulgu: uyum düşük ya da değişken.

Ortak umut: koşullar standartlaştırıldığında iyileşiyor.

Uyum neden düşük

Sebepleri bu seviyenin önceki dört dersinde zaten gördük. Şimdi bir araya getirelim.

Birincisi, tanımların operasyonel olmaması. "Kaygan nabız" ya da "kırmızı dil" ifadelerinin sınırları paylaşılmıyor. İki uygulayıcı aynı şeyi hissedip farklı adlandırabilir.

İkincisi, koşulların kontrol edilmemesi. Dil için ışık, beyaz dengesi, yiyecek boyası, sigara, ağız hijyeni, susuzluk ve dilin dışarıda kalma süresi — yedi etken ve genellikle hiçbiri kayıt altında değil.

Üçüncüsü, sistem çokluğu. Beş ayrı örüntü dili var ve iki uygulayıcı farklı sistemi merkeze alabilir. Aynı tabloyu organ diliyle tarif eden biriyle ilerleme modeliyle tarif eden biri "anlaşmamış" görünür — oysa farklı soru cevaplamışlardır.

Dördüncüsü, gözlem bağımsızlığının olmaması. Dört muayene aynı kişi tarafından yapılır ve ilk izlenim sonrakileri etkiler.

Beşincisi, okul farkları. Nabız pozisyon-organ eşleşmeleri okuldan okula değişir; iki uygulayıcı farklı eşleşme tablosuyla çalışıyorsa uyumsuzluk kaçınılmazdır.

Neyin iyileştirdiği

Araştırmaların gösterdiği bir şey daha var ve o daha az konuşuluyor: uyum iyileştirilebilir.

Operasyonel tanımlar netleştirildiğinde artıyor. Benzer eğitim almış uygulayıcılar arasında artıyor. Kör değerlendirme uygulandığında — yani gözlemci diğerinin kararını bilmediğinde — ölçüm daha dürüst oluyor. Standart fotoğraf koşulları kullanıldığında dil için artıyor.

Bu, sorunun yöntemin doğasında değil, standartlaşmanın eksikliğinde olduğunu düşündürüyor. En azından kısmen.

Dijital ölçüm ve yapay zekâ

Şimdi güncel bir başlık. Dil fotoğraflarını sınıflandıran algoritmalar ve nabız dalga sensörleri geliştiriliyor.

Buradaki cazibe açık: makine tutarlıdır, yorulmaz, ön yargısı öncekinden farklıdır. Yani güvenilirlik sorununun bir kısmını çözebilir.

Ama şimdi bu dersin ana ayrımını buraya uygulayalım.

Bir algoritmanın dil fotoğrafını tutarlı biçimde sınıflandırması, o sınıflandırmanın hastalığı doğru teşhis ettiğini GÖSTERMEZ. Güvenilirlik ile geçerlilik ayrı kavramlardır.

Bu alandaki iki teknik tuzak da bilinmeli: veri sızıntısı ve aşırı uyum. Eğitim verisinden test verisine bilgi sızarsa model olduğundan iyi görünür; veri az ve model karmaşıksa gürültüyü ezberler. İkisi de "başarılı sonuç" gibi raporlanabilir.

Usta katmanı

Üç inceltme.

Birincisi, düşük uyum yalnız bu alana özgü değildir. Biyomedikalde de bazı değerlendirmelerde gözlemciler arası uyum düşüktür — röntgen okuması, cilt lezyonu değerlendirmesi, bazı psikiyatrik ölçekler. Fark şurada: o alanlarda sorun ÖLÇÜLMÜŞ, tartışılmış ve iyileştirme yöntemleri geliştirilmiştir. Bu alanda ölçüm daha yeni ve daha az.

Yani buradaki eleştiri "geleneksel tanı güvenilmez, biyomedikal tanı kusursuz" değil. Eleştiri şu: bir yöntemin güvenilirliği ölçülmeden kullanılması, o yöntemi savunulamaz kılar.

İkincisi, güvenilirlik düşükken tedavi sonuçlarının iyi bildirilmesi bir çelişki gibi görünür ama değildir. İki uygulayıcı farklı örüntü söyleyip benzer sonuç alabilir — bu, örüntü kararının sonucu belirlemediğini düşündürür. Bu ihtimal ciddiye alınmalı, çünkü sistemin kendi iddiası tam tersidir: doğru örüntü doğru yaklaşımı belirler.

Üçüncüsü ve bu seviyenin çıkış görevine bağlanan nokta: bütün bu belirsizlik, geleneksel değerlendirmenin biyomedikal değerlendirmeyi bekleyemeyeceğinin en güçlü gerekçesi. Uyum düşükse, bir örüntü kararının bir tanıyı dışlaması zaten mümkün değildir.

Kendi kendine kontrol

Kapanış

Bu dersin tek bir cümlesi var.

Bir kategori sistemi, kategorilere tutarlı biçimde yerleştirilemiyorsa henüz bir ölçüm aracı değildir.

Bu cümle geleneksel tanıyı reddetmiyor. Nerede durduğunu söylüyor: elimizde tutarlılığı sınırlı, geçerliliği büyük ölçüde ölçülmemiş bir sınıflandırma dili var. Bu dili öğrenmek meşru; onu bir tanı aracı gibi kullanmak değil.

Seviye 3 burada bitiyor. Seviye 4'te müdahalelere geçilecek: akupunktur kuramı, materia medica ve formül mimarisi, moksa, kupa, gua sha, tuina, qigong, tai chi ve ürün kalitesi.