Tanı geçerliliği

Açılış sahnesi

Seviye 3'te bir cümle kurmuştuk ve şimdi onun üstüne bina yapacağız.

Bir algoritmanın dil fotoğrafını tutarlı biçimde sınıflandırması, o sınıflandırmanın hastalığı doğru teşhis ettiğini göstermez.

Cümlenin ikinci yarısına dikkat: "doğru teşhis". Bu, geçerlilik sorusudur ve güvenilirlikten farklıdır.

Şimdi asıl zorluğu söyleyelim.

Geçerliliği ölçmek için bir referansa ihtiyacın var — "doğru cevap" nedir? Örüntü tanısında böyle bir referans yok.

Bu ders, referansı olmayan bir sınıflandırmanın nasıl sınanabileceğini öğretir.

Bu derste ne olacak

Önce geçerlilik türlerini ayıracağız. Sonra altın standart sorununu açacağız. Ardından örüntü tanısının nasıl sınanabileceğine bakacağız — birkaç yol var. Sonra makine öğrenmesi çalışmalarına geçeceğiz ve iki teknik tuzağı kuracağız. Ders bittiğinde "tanı doğrulandı" iddiasını sınayabiliyor olacaksın.

Sıfır noktası

Bir sınav düşün. Öğrencileri ölçüyor.

Sınav güvenilir olabilir: aynı öğrenci iki kez girse benzer puan alır, iki farklı okuyucu aynı puanı verir.

Ama geçerli mi? Yani ölçmek istediği şeyi mi ölçüyor?

Bu ayrı bir soru ve cevaplanması için sınav dışında bir ölçüte ihtiyaç var: mezuniyet sonrası başarı, iş performansı, başka bir sınav.

Ölçüt yoksa "bu sınav gerçekten bilgiyi mi ölçüyor" sorusu cevapsız kalır.

Güvenilirlik tutarlılıktır; geçerlilik doğruluktur. Bir sınıflandırma mükemmel tutarlı olup hiçbir şeyin göstergesi olmayabilir.

Bu benzetme bir yere kadar doğru. Nerede kırıldığını söyleyeyim: sınavda en azından tartışılabilir bir dış ölçüt var. Örüntü tanısında dış ölçüt olarak ne kullanılacağı sorusu, sistemin kendi iddiasıyla çelişebiliyor — çünkü sistem zaten biyomedikal tanıyla eşleşmediğini söylüyor. Bu, çözülmesi zor bir döngü.

Mekanizma

Altın standart yokluğu

Geçerliliği ölçmek için "doğru cevabı" bilmen gerekir.

Biyomedikalde çoğu tanıda bir referans vardır: biyopsi, görüntüleme, kültür, bir kılavuzun tanımlı ölçütleri. Yeni bir test o referansa karşı sınanır.

Örüntü tanısında referans ne olabilir?

Birinci seçenek: deneyimli bir uygulayıcının kararı. Ama Seviye 3'te gördük — gözlemciler arası uyum düşük ile orta düzeyde. Yani referansın kendisi tutarsız.

İkinci seçenek: biyomedikal tanı. Ama sistem zaten örüntünün biyomedikal hastalıkla eşleşmediğini söylüyor. Eşleşme beklemek, sistemin kendi iddiasını yanlışlamak olur.

Üçüncü seçenek: tedavi yanıtı. Yani "doğru örüntü doğru yaklaşımı belirler" iddiasını sınamak. Bu en umut verici yol ve birazdan döneceğiz.

Ölçülmüş olan: yine güvenilirlik

Elimizdeki araştırmaların çoğu geçerliliği değil güvenilirliği ölçüyor ve sebebi tam olarak yukarıdaki döngü.

Son cümledeki mantık ilişkisi önemli: güvenilirlik gerekli ama yeterli değil. Bir sınıflandırma tutarsızsa geçerlilik sorusuna sıra gelmez. Tutarlıysa soru yeni başlar.

Örüntü tanısı nasıl sınanabilir

Kaynak paket bu alan için somut araştırma yönleri sayıyor.

Örüntüler için operasyonel ölçütler geliştirmek. Gözlemciler arası ve gözlemci içi güvenilirliği ölçmek. Dijital dil görüntüleme standardı ve nabız dalga sensörleri kurmak. Ve TCM örüntüsü ile biyobelirteç arasında keşif ve doğrulama kohortları çalıştırmak.

Son madde en ilginci ve en zoru.

Bu ayrım olmadan yapılan çalışmalar sistematik olarak olduğundan iyi görünür — çünkü aynı veride hem hipotez üretip hem sınamak, gürültüyü bulgu sanmaya götürür.

Makine öğrenmesi ve iki tuzak

Dil fotoğraflarını sınıflandıran modeller ve nabız sensörleri bu alanda hızla artıyor. İki teknik tuzak bilinmeli.

Ve üçüncü, daha derin bir sorun var — Seviye 3'te kurmuştuk.

Modelin öğrendiği "doğru cevap", bir ya da birkaç uygulayıcının verdiği örüntü kararıdır. Uygulayıcılar arası uyum düşükse, model tutarsız etiketleri öğreniyor demektir. En iyi ihtimalle o uygulayıcıların ortak eğilimini, en kötü ihtimalle gürültüyü öğrenir.

Usta katmanı

Üç inceltme.

Birincisi, bu belirsizlik bir çıkmaz değil bir program. Kaynak paketin saydığı yönler — operasyonel ölçütler, güvenilirlik ölçümü, dijital standartlar, keşif ve doğrulama kohortları — yapılabilir işler. Alanın sorunu ölçülemezlik değil, ölçümün yeni ve seyrek olması.

İkincisi, tedavi yanıtı üzerinden sınama fikri sistemin kendi iddiasını doğrudan test eder ve bu yüzden en anlamlı yol. Sistem "doğru örüntü doğru yaklaşımı belirler" diyorsa, örüntüye göre uyarlanmış yaklaşımın standart yaklaşımdan iyi sonuç vermesi beklenir. Bu, tasarlanabilir bir çalışmadır.

Ve Seviye 3'te değindiğimiz rahatsız edici olasılık burada tekrar karşımıza çıkıyor: eğer örüntüye göre uyarlama sonucu değiştirmiyorsa, örüntü kararının klinik değeri sorgulanır.

Üçüncüsü ve en pratiği: bu dersin öğrettiği şey bir reddetme değil bir soru sırası. Bir tanı yöntemi iddiası duyduğunda sırayla sor — tutarlı mı, neye göre doğru, referans nereden geldi, bağımsız veride tekrar etti mi. Dördüne de cevap veremeyen bir iddia bir bulgu değil bir umuttur.

Kendi kendine kontrol

Kapanış

Bu dersin tek bir cümlesi var.

Referansı olmayan bir sınıflandırmanın geçerliliği doğrudan ölçülemez — ama dolaylı olarak sınanabilir ve henüz yeterince sınanmamıştır.

Bu, bir alanın en dürüst durumu: bilmediğimizi bilmek ve nasıl öğrenilebileceğini söylemek. Reddetmek de kabul etmek de bu noktada erken olur.

Seviye 5'in son dersinde bütün bu sorunların ortak kaynağına bakacağız: yanlılık ve tekrar edilebilirlik.