Bu çalışma, etiketli eğitim verilerine ihtiyaç duymadan ön taramaya yardımcı olma potansiyeline sahip, Kod Kitabı Aktivasyon Nadirliği'ni (Codebook Activation Rarity - CAR) analiz ederek kolorektal kanser histopatolojik görüntülerindeki anomalileri tespit eden denetimsiz bir derin öğrenme çerçevesi olan RareCode'u sunmaktadır.
Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.
Araştırma makalesi
RareCode: Kolorektal Kanser Histopatolojik Görüntülerinde Anomali Tespiti için Denetimsiz Bir Derin Öğrenme Çerçevesi
Bu makalede
Özet
Özet
Histopatolojik görüntülerde denetimsiz anomali tespiti, yeniden yapılandırma hatalarını ölçen yeniden yapılandırma tabanlı yaklaşımlar kullanılarak yaygın şekilde araştırılmıştır; ancak bu yöntemler, doku dokularının doğasında bulunan heterojenlik nedeniyle genellikle ince, semantik düzeydeki patolojik varyasyonları yakalamakta yetersiz kalmaktadır. Bu kısıtlamayı gidermek için bu çalışma, tespit paradigmasını piksel düzeyindeki yeniden yapılandırmanın ötesine taşıyarak semantik düzeyde kod defteri aktivasyon analizini dahil eden, vektör kuantizasyon tabanlı bir çerçeve olan RareCode'u sunmaktadır. Temel yenilik, yalnızca normal örnekler üzerinde yapılan eğitim sırasında her bir kod defteri girdisinin aktivasyon frekansını profilleleyen ve çıkarım aşamasında seyrek aktivasyonları anomali göstergeleri olarak işaretleyen, böylece yeniden yapılandırma hatalarını semantik düzeyde ayırt etme yeteneğiyle tamamlayan Kod Defteri Aktivasyon Nadirliği (CAR) skorlamasıdır. Bu tek ölçekli CAR mekanizmasından yola çıkarak, kaba doku düzeyi yapılardan ince hücresel düzeydeki detaylara kadar uzanan patolojik paternleri yakalamak için öğrenilebilir füzyon ağırlıklarına sahip farklı boyutlardaki kod defterlerini kullanan Çok Ölçekli Hiyerarşik Kod Defteri (MHC) modülü geliştirilmiştir. Çok ölçekli tasarım sayesinde, her kod defteri granülaritesinde hiyerarşik anomali ısı haritaları oluşturularak patologlara anomalilerin nerede ve hangi yapısal düzeyde meydana geldiğini gösteren yorumlanabilir, çok boyutlu görsel lokalizasyon ipuçları sağlanmaktadır. Shenzhen Halk Hastanesi'nden alınan klinik olarak etiketlenmiş bir kolorektal kanser histopatolojik görüntü veri seti üzerinde yapılan beş katlı çapraz doğrulama, RareCode'un %96,82'lik bir eğri altı alanı (AUC) elde ederek temel yöntemlerden daha iyi performans gösterdiğini kanıtlamaktadır. Sınıf bazlı analizler, kanser tespiti için (AUC = %9,4, özgüllük = %94,21), inflamasyon tespitine (AUC = %94,30, özgüllük = %60,4) kıyasla daha güçlü bir performans sergilediğini göstermiştir. Bu bulgular, CAR analizinin histopatolojik anomali tespiti için gelecek vaat eden denetimsiz bir yaklaşım sunabileceğini ve kolorektal kanser tanısında klinik ön taramaya potansiyel olarak yardımcı olabileceğini göstermektedir.
Giriş
Kolorektal kanser için güvenilir histopatolojik tarama, özellikle inflamatuar lezyonlar ve maligniteler örtüşen morfolojiler sergilediğinde, uzman anotasyonuna ve manuel incelemeye bağımlı kalması nedeniyle kısıtlıdır1,2. Bu kısıtlamalar, kapsamlı anormal anotasyonlara ihtiyaç duymadan normal dokudan öğrenen denetimsiz hesaplamalı yaklaşımları teşvik etmektedir3,4.
Otomatik histopatolojik taramanın klinik aciliyeti, tanı talebi ile mevcut patoloji uzmanlığı arasındaki artan dengesizlikle vurgulanmaktadır; patolog iş gücü azalmaya devam ederken, ABD'li patolog başına düşen tanı iş yükü tek bir on yılda %40'ın üzerinde artmıştır5. Kolorektal kanserde (CRC), organize tarama programlarının %29-68 oranında mortalite azalmasıyla ilişkili olduğu görülmüştür6, ancak manuel patolojik inceleme kapasitesi iş gücü mevcudiyeti nedeniyle sınırlı kalmaya devam etmektedir. Öncelikli inceleme için şüpheli vakaları güvenilir bir şekilde tanımlayan otomatik bir ön tarama sistemi, bu yükün hafifletilmesine ve tanı dönüş sürelerinin iyileştirilmesine yardımcı olabilir. Ancak, bu tür sistemlerin konuşlandırılması, hem gerçek pozitiflerin atlanmasını önlemek için yüksek hassasiyet hem de aşırı yanlış alarmları engellemek için yeterli özgüllük gerektirir7.
Denetimsiz anomali tespiti (UAD), anormal eğitim etiketlerine ihtiyaç duymadan normal doku dağılımlarını modelleyebildiği için tıbbi görüntü analizinde giderek daha önemli hale gelmiştir83,9,10. Otokodlayıcılar, varyasyonel otokodlayıcılar, üretken çekişmeli ağlar ve bellek artırımlı varyantlar dahil olmak üzere yeniden yapılandırma tabanlı modeller, anomalileri yeniden yapılandırma hataları aracılığıyla tanımlar; ancak yüksek kapasiteli dekoderler anormal bölgeleri hâlâ yüksek doğrulukla yeniden yapılandırabilmektedir1,12,13,14,15,16,17. PatchCore ve PaDiM gibi özellik tabanlı yöntemler önceden eğitilmiş temsiller kullanır, ancak doğal görüntülerden öğrenilen özellikler histopatolojideki mikroskobik atipiyi tam olarak yakalayamayabilir18,19,20,21. Patolojiye özgü temel modeller ve difüzyon tabanlı anomali dedektörleri güçlü alternatifler sunar, fakat veri gereksinimleri veya hesaplama maliyetleri, yüksek hacimli taramalarda doğrudan kullanımlarını kısıtlayabilir22,23. EvoAAE24 ve MoARNN-AM25 gibi güncel otomatik ve evrimsel yöntemler, uygulama bağlamları histopatolojik görüntü analizinden farklı olsa da, anomali tespiti için adaptif model optimizasyonunun değerini daha da açıkça göstermektedir. Buna karşılık, vektör kuantizasyon (VQ) tabanlı yöntemler, kimlik eşlemesini (identity mapping) azaltabilen ayrık kod defteri kısıtlamaları getirir; ancak mevcut VQ tabanlı yaklaşımlar hâlâ temel olarak mekânsal yeniden yapılandırma hatalarına dayanmakta ve kod defteri aktivasyon modellerinde yer alan semantik bilgileri yetersiz kullanmaktadır26,27.
Yukarıda bahsedilen yöntemler genel alanlarda gelecek vaat eden performanslar sergilese de, karmaşık histopatolojik senaryolara uygulanmaları belirli zorluklarla karşılaşmaktadır. Histopatolojik görüntüler, birden fazla yapısal düzeyde karmaşık doku heterojenliği ile karakterize edilir28. Uygulamada, görüntü analizi genellikle doku kesitlerinden çıkarılan yerel görüntü yamaları üzerinde yürütülür ve patolojik tanı doğası gereği ölçekler arasıdır: patologlar, düşük büyütmede bez ve doku morfolojisini değerlendirirken, yüksek büyütmede nükleer pleomorfizm ve mitotik figürleri incelerler29. Mevcut yaklaşımların üç temel sınırlamasını tespit ettik: Birincisi, patolojik anomaliler ve normal dokular, boyama stilleri ve yerel dokular gibi düşük düzeyli görsel özelliklerde yüksek benzerlik sergiler; hem normal hem de anomal örnekler semantik düzeyde benzer rekonstrüksiyon kalitesi üretebildiğinden, rekonstrüksiyon tabanlı yöntemler ince anomalileri tespit etmekte başarısız olur. İkincisi, mevcut yöntemlerin çoğu tek ölçekli özellik çıkarımı kullanmaktadır, bu da hem doku hem de hücresel düzeydeki anomal özellikleri aynı anda yakalamayı zorlaştırmaktadır30,31. Üçüncüsü, ana akım yöntemler piksel düzeyinde ısı haritaları oluşturabilse de, anomalilerin hiyerarşik özniteliklerini sezgisel olarak yakalamakta genellikle yetersiz kalmakta, bu da söz konusu modellerin klinik tanı yardımcıları olarak faydasını sınırlamaktadır.
Yukarıdaki zorlukların üstesinden gelmek için, kod defteri aktivasyon modellerini ve çoklu soyutlama düzeylerinde hiyerarşik özellik temsilini inceleyen bir UAD çerçevesi olan RareCode'u öneriyoruz. Bu çerçeve üç ana bileşen sunmaktadır: (1) Yalnızca normal örnekler üzerinde eğitilen giriş aktivasyon frekanslarına dayalı nadirlik skorları hesaplayan, böylece normal örnekleri anomali içeren örneklerden semantik düzeyde ayıran ve geleneksel uzamsal yeniden yapılandırma hatalarına tamamlayıcı ayırt edici sinyaller sağlayan Kod Defteri Aktivasyon Nadirliği (CAR) Puanlama Mekanizması. (2) Öğrenilebilir ağırlıklar aracılığıyla adaptif füzyon gerçekleştirerek, farklı kapasitelerdeki kod defterlerini kullanarak kaba yapısal modellerden ince taneli hücresel detaylara kadar çoklu granülarite seviyelerinde patolojik özellikleri yakalayan Çok Ölçekli Hiyerarşik Kod Defteri (MHC) Füzyon Mimarisi. (3) Patologlara çok ölçekli, semantik olarak yorumlanabilir tanısal referanslar sağlamak amacıyla, farklı granülaritelerde anomali ısı haritaları oluşturmak için çok ölçekli mimariden yararlanan Hiyerarşik Yorumlanabilir Lokalizasyon Modülü.
Bu çalışmanın temel hipotezi, yalnızca normal kolorektal histopatolojik görüntüler üzerinde eğitilmiş kod kitaplarından türetilen kod kitabı aktivasyon-frekans profillerinin, piksel düzeyindeki yeniden yapılandırma hatasının ötesinde anomaliyle ilgili semantik bilgileri kodlayacağı ve bu tamamlayıcı sinyallerin çok ölçekli entegrasyonunun, öncelikle AUC ile değerlendirildiğinde, kanserli veya inflamatuar doku içeren görüntülerin normal görüntülerden ayırt edilmesini temsili UAD yöntemlerine kıyasla iyileştireceği yönündeydi. Bu hipotezi test etmek için RareCode'u klinik olarak etiketlenmiş bir CRC veri kümesi üzerinde 5 katlı çapraz doğrulama ile değerlendirdik; temel bileşenlerinin katkılarını ve yorumlanabilirliğini incelemek için ablasyon ve lokalizasyon analizleri gerçekleştirdik.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Protokol
Bu çalışma, Şenjen Halk Halk Halk Halk Halk Halk Halk Halk Halk's Hastanesi'nden (Onay No. LL-KY-2025300-01) alınmıştır. Bu retrospektif çalışma doğrudan hasta teması veya müdahale gerektirmediği ve mevcut histopatolojik görüntüler ile klinik materyaller kullanıldığı için bilgilendirilmiş rıza gerekliliği etik komitesi tarafından kaldırılmıştır. Tüm klinik veriler ve histopatolojik görüntüler analiz öncesinde kişisel tanımlayıcı bilgileri kaldırılmış şekilde hazırlanmış olup, bu çalışmada hiçbir kişisel tanımlayıcı bilgi kullanılmamıştır. Bu araştırmada kullanılan tüm veriler kurumsal ve ulusal araştırma komitelerinin etik standartlarına uygun şekilde işlenmiştir.
Çerçeve genel bakışı
Önerilen UAD çerçevesi olan RareCode'un genel mimarisi şu şekilde gösterilmiştir: Şekil 1. Çerçeve, paralel çift kollu bir mimari kullanır. Her 512 x 512 giriş görüntüsü için, sırasıyla ince ve kaba ölçekli girişler olarak 32 x 32 ve 64 x 64 boyutlarında örtüşmeyen döşemeler çıkarılır. 64 x 64 döşemeler, hem iki kolun aynı kodlayıcı-kodçözücü giriş boyutunu paylaşmasını hem de farklı alıcı alanların korunmasını sağlamak için ağa iletilmeden önce 32 x 32 boyutuna yeniden boyutlandırılır. Her kolun kodlayıcıları, çıkarılan özellikleri gizli uzaya eşler ve MHC modülü burada ayrıklaştırma kısıtlamaları uygular. Daha sonra kodçözücüler, nicemlenmiş özelliklerden görüntüyü yeniden oluşturarak uzamsal alandaki yeniden oluşturma hatalarını hesaplar. CAR mekanizması, daha sonra kod kitabı aktivasyon sıklıklarını profilleyerek anlamsal düzeydeki anomalilerin derecesini ölçer. Son olarak, model, ağırlıklı bir birleştirme ile yeniden oluşturma skorları ve CAR skorlarını birleştirerek görüntü düzeyinde anomalilik skorlarını elde eder. RareCode çerçevesi yalnızca normal örnekler kullanılarak uçtan uca eğitilir ve herhangi bir anomal etiketine ihtiyaç duymaz. Çift kollu tasarım, hem lokal hücresel özellikleri hem de daha geniş bez yapılarını yakalamak için kullanılmıştır. Bu özelliklerin farklı kapasitelerdeki kod kitapları ile modellenmesi için MHC modülü kullanılmıştır.
Kodlayıcı-kodçözücü mimarisi
RareCode, ince ve kaba ölçekli dallar için yapısal olarak bağımsız kodlayıcılar ve kod çözücüler oluşturur. Her dal aynı kodlayıcı-kod çözücü tasarımını kullanır ancak parametreleri paylaşmaz. Kodlayıcı, 3 x 3 konvolüsyon, toplu normalleştirme, ReLU aktivasyonu ve dropout içeren dört konvolüsyon blokundan oluşur. Kanal genişliği 64'ten 128'e, ardından 256'ya çıkar ve son özellik haritası düzleştirilerek 64 boyutlu gizli bir katmana yansıtılır. Kod çözücü, tam bağlantılı bir izdüşüm katmanını takiben dört ters konvolüsyon katmanı ile kodlayıcıyı yansıtır ve her yamayı ağın orijinal giriş boyutuna yeniden oluşturur. Yeniden oluşturma hatası, giriş ile yeniden oluşturulan yamalar arasındaki ortalama karesel hata olarak hesaplanır. Bu kodlayıcı-kod çözücü yapısının ayrık kod kitabı kısıtlamalarıyla birleştirilmesiyle, RareCode normal doku için kompakt temsiller öğrenir ve çıkarım sırasında sapmaları ölçer.
Çok ölçekli hiyerarşik kod kitabı
Birden fazla soyutlama düzeyinde patolojik özellikleri yakalamak için—geniş doku desenlerinden lokalize hücresel varyasyonlara—MHC modülü, K ayrık kod kitabını kullanır 
farklı kapasitelerle n1, n2, ..., nKSon FourScales yapılandırmasında, her bir kol sırasıyla 64, 128, 256 ve 512 girdiye sahip dört kod kitabı içerir ve her kod kitabı girdisinin 64 boyutlu bir gömülü temsili vardır. Her kodlanmış döşeme (patch) özelliği için, Öklid mesafesine göre en yakın kod kitabı girdisi seçilir. Farklı kod kitaplarından elde edilen kuantize çıktılar, kod kitapları boyunca normalize edilmiş öğrenilebilir ağırlıklar kullanılarak birleştirilir. Daha küçük kod kitapları, daha güçlü sıkıştırma sınırlamalarına sahip olduklarından, yerel değişikliklerden soyutlanan kaba taneli prototipik desenleri kodlaması beklenir; buna karşılık daha büyük kod kitapları, daha spesifik yapısal özellikleri yansıtan ince taneli özellikleri korur. Her bir kod kitabı için 
, e'dek(i) 
Rd k numaralı kod kitabındaki i'inci yerleştirme vektörünü gösterir, sürekli özellikler en yakın komşu araması ile ayrık kod kitabı uzayına eşlenir (Denklem 1 ve 2):
Çok ölçekli özelliklerin uyarlanabilir bir şekilde birleştirilmesini sağlamak için öğrenebilir ağırlıklar sunuyoruz. Softmax normalizasyonunun ardından, her kod kitabından gelen kantize edilmiş çıktılar üzerinde ağırlıklı toplama gerçekleştirilir (Denklem 3):
nerede σ(·) softmax fonksiyonunu gösterir ve ağırlıkların koşulu sağlamasını sağlar Σk σ(wk) = 1. Bu tasarım, modelin girdi özelliklerinin anlamsal içeriğine dayalı olarak farklı ayrıntı düzeylerindeki kod kitaplarının katkı oranlarını otomatik olarak ayarlamasına olanak tanır.
Kod kitabı öğrenmesini iyileştirmek için standart VQ kayıp fonksiyonunu (Denklem 4) benimsiyoruz:
sg[·] durdurma gradyanı işlemini gösterir ve β = 0,25, taahhüt kaybı ağırlık katsayısıdır. İlk terim, kod kitabı vektörlerinin kodlayıcı çıktılarına doğru hareket etmesini teşvik ederken, ikinci terim kodlayıcı çıktılarının ilgili kod kitabı vektörleriyle tutarlı kalmasını teşvik eder. Çok ölçekli VQ'nun tam mekanizması, şekilde gösterilmiştir. Şekil 2.
Kod kitabı aktivasyon nadirliği puanlaması
CAR, normal eğitim örneklerinden tahmin edilen kod kitabı aktivasyon istatistiklerine dayanarak anlamsal düzeydeki anormallikleri ölçer. Model eğitimi sonrasında, tüm normal eğitim görüntüleri veri artırımı olmadan şifreleyici ve MHC modülünden geçirildi. Her dal ve her kod kitabı için, her yama özelliğinin atama indeksi kaydedildi ve her kod kitabı girişine yapılan atama sayıları sayıldı. Sayımlar daha sonra bu kod kitabı için aktivasyon-sıklık dağılımını elde etmek üzere normalize edildi (Denklem 5):
Çıkarım sırasında, her test görüntüsü aynı öbek çıkarma, kodlama ve en yakın komşu kod kitabı atama işleminden geçirildi. Atanan her kod kitabı girdisi için nadirlik skoru, normal eğitim kümesindeki aktivasyon sıklığının negatif logaritması olarak hesaplanır (Denklem 6):
nerede ε sayısal kararlılık için kullanılan küçük bir sabittir. Bu nedenle, düşük frekanslı bir kod kitabı girdisi, ilgili yama özelliğinin öğrenilen normal-doku dağılımıyla daha az tutarlı olduğunu gösteren daha yüksek bir nadirlik puanı alır. Yama düzeyindeki nadirlik puanları, her görüntü içinde ve ince ile kaba ölçekli dallar arasında ortalamalandırılarak bir görüntü düzeyinde nadirlik yanıtı elde edildi.
Aktivasyon sıklığı nadirliğiyle tamamlayıcı olarak, aynı zamanda bir yüzdelik tabanlı kuantalama mesafe skoru hesaplarız (Denklem 7):
Bu puan, her kodlanmış özellik vektörü ile en yakın kod kitabı girdisi arasındaki Öklid mesafesinden türetilir. Mesafe dağılımı, normal eğitim örneklerinden tahmin edilir ve test örneklerinin mesafeleri yüzdelik puanlara dönüştürülür. Daha yüksek yüzdelik puanları, kodlanmış özelliğin öğrenilen normal kod kitabı prototipleri kullanılarak temsil edilmesinin daha zor olduğunu gösterir.
Son CAR puanı, öğrenilebilir kod kitabı ağırlıklarını kullanarak (Denklem 8) tüm kod kitapları boyunca aktivasyon nadirliği ve kuantalama mesafesini birleştirir:
Çoklu ölçekli özellik birleşiminde kullanılan aynı normalleştirilmiş kod kitabı ağırlıkları, temsil öğrenimi ve anormallik puanlaması arasında tutarlılığı korumak amacıyla skor düzeyinde birleşime de uygulanır. Elde edilen CAR skoru görüntü düzeyinde hesaplanır ve ardından nihai anormallik skorunu elde etmek için yeniden yapılandırma skoruyla birleştirilir. Genel CAR skorlama mekanizması Şekil’de gösterilmiştir. Şekil 3.
Son anomal skoru hesaplaması
Uzamsal alan yeniden yapılandırma hatalarını anlamsal düzeydeki CAR skorlarıyla birleştiriyoruz. Birleştirme işleminden önce, her iki skor da aşırı aykırı değerlerin etkisini azaltmak için yüzdelik temelli min-maks normalizasyonu kullanılarak ayrı ayrı normalize edilir. Son görüntü düzeyindeki anomali skoru daha sonra şu şekilde tanımlanır (Denklem 9):
nerede Syeniden yapılandırma normalize edilmiş ortalama kare hata miktarını ifade eder ve piksel uzayında örnek yeniden inşa kalitesini yansıtır; SCAR yukarıda açıklanan CAR skorudur ve anlamsal düzeydeki anormallik derecelerini yakalar. Hiperparametre α [0,1] aralığı, iki bileşen arasındaki göreli ağırlığı kontrol eder ve optimal değerler doğrulama setlerinde belirlenir.
Eğitim hedefi
RareCode çerçevesi, yalnızca normal örnekler kullanılarak uçtan uca eğitilir. Toplam eğitim kaybı aşağıdaki bileşenlerden oluşur (Denklem 10):
Her bir terim şu şekilde tanımlanır: Yeniden Yapılandırma Kaybı: 
, giriş yamaları arasındaki ortalama karesel hatanın ölçülmesi p ve yeniden inşa edilmiş yamalar D(zq) nicemlemeden sonra. Bu kayıp, 32'ye ayrı ayrı uygulanır × 32 patch branch (
) ve 64 × 64 yama dalı (
) her iki uzamsal ölçekte de etkili özellik öğrenmesini sağlamak için.
Veri seti açıklaması
RareCode'u değerlendirmek amacıyla, hematoksilen ve eozin ile boyanmış kolorektal doku kesitlerinin histopatolojik görüntülerinden oluşan klinik olarak açıklamalı bir CRC veri seti üzerinde deneyler yapıldı.&E), Şenzhen Halkından elde edildi's Hastanesi'nden alınmıştır. Bu veri setindeki tüm görüntüler gerçek klinik vakalardan elde edilmiştir. Görüntüler, orijinal çözünürlüğü 1024 olan 40x büyütme ile dijitalleştirilmiştir. × 1024 piksel. Ek açıklama güvenilirliğini ve kalitesini sağlamak amacıyla tüm örnek kategori etiketleri, çift kör bir protokolün ardından iki veya daha fazla kıdemli uzman patolog tarafından ortaklaşa incelenmiş ve onaylanmıştır.
Histopatolojik özelliklere dayanarak, veri seti üç sınıfa ayrıldı: normal doku (1.226 görüntü), kanser (1.215 görüntü) ve inflamasyon (1.214 görüntü). İkili UAD ayarında kanser ve inflamasyon örnekleri anormal olarak değerlendirildi, normal örnekler ise referans dağılım olarak kullanıldı. Bu formülasyon, morfolojik olarak normal olan vakalardan, daha ileri patolojik inceleme gerektiren vakaların ayrıştırılmasına yönelik hedeflenen triyaj görevini yansıtmaktadır.
Tüm H&E-ile boyanmış görüntüler 512'ye yeniden boyutlandırıldı × 512 piksele yeniden boyutlandırıldıktan sonra ağ girdisi olarak kullanıldı. Değerlendirme için katmanlı 5 katlı çapraz doğrulama kullanıldı. Her katlamada, normal örnekler öncelikle eğitim, doğrulama ve ayrı tutulan test alt kümelerine bölündü. RareCode yalnızca eğitim normal örnekleri üzerinde eğitildi. Yalnızca normal örneklerden oluşan doğrulama alt kümesi, model seçimi, hiperparametre ayarı ve birleştirme ağırlığının belirlenmesi için kullanıldı. α. Sadece normal örneklerin yanı sıra kanser ve inflamasyon içeren anormal örneklerin de bulunduğu, daha önce görülmemiş örneklerden oluşan ayrılmış test seti, yalnızca nihai performans değerlendirmesi için kullanıldı ve model eğitimi, hiperparametre seçimi veya α seçimi. Temsili kategoriler, veri seti yapısı ve doğrulama protokolü gösterilmiştir. Şekil 4.
Uygulama ayrıntıları
Önerilen RareCode çerçevesi ve karşılaştırma temel yöntemleri PyTorch kullanılarak uygulanmıştır. Tüm deneyler, tek bir NVIDIA GeForce RTX 4060 Ti GPU'su (16 GB) ile donatılmış bir iş istasyonunda gerçekleştirilmiştir. Ağ mimarisi yapılandırması için farklı uzamsal ölçeklerdeki özellikleri yakalayabilmek amacıyla, çift kollu mimari iki farklı ölçekte, birbiriyle örtüşmeyen dalgaları işler: 32 × 32 piksel (daha küçük alıcı alan, yerel doku desenlerini yakalar) ve 64 × 64 piksel (daha büyük alıcı alan, daha geniş mekansal bağlamı yakalar), sırasıyla. Her iki dal kodlayıcısının ürettiği sürekli özellik yerleştirme boyutu üniform olarak 64'e ayarlanmıştır. MHC modülünde, her dal için farklı kapasitelere sahip dört kod kitabı; sırasıyla 64, 128, 256 ve 512 adet ayrık prototip ile yapılandırdık.
Optimizasyon sırasında ağ, her seferinde 8 örneklik bir grup boyutuyla 50 dönem boyunca uçtan uca eğitildi. Ağırlık güncellemeleri için AdamW optimizasyon algoritmasını kullandık ve başlangıç öğrenme oranı 5 × ve aşırı uydurmayı önlemek için ağırlık azaltma kullanıldı. Ayrıca, eğitim sürecinin düzgün bir şekilde yakınsamasını sağlamak amacıyla kosinüs tavlama öğrenme oranı şeması kullanıldı ve bu sayede eğitim sürecinin sonraki aşamalarında daha ince ayarlı bir optimizasyon sağlandı. Yama boyutları ve kod kitabı boyutları, çok ölçekli temsil ile hesaplama maliyeti arasında denge kurulacak şekilde seçildi. Nihai FourScales yapılandırması, ablasyon analizi ile desteklendi ve α doğrulama seti üzerinde test seti değerlendirmesinden önce seçilmiştir.
Kod çözücü karmaşıklığı ablasyonu için FourScales yapılandırmasına dayalı karmaşık kod çözücü bir varyant uygulandı. Bu varyant, aynı veri bölüşümünü, kod kitabı boyutlarını, eğitim dönemlerini, optimizasyon yöntemini, öğrenme oranını ve doğrulamaya dayalı olarak α seçim ve değerlendirme metriklerini içeren FourScales modeli. Temel çözücü, çok ölçekli derinlemesine evrişim blokları ve Evrişim Bloğu Dikkat Modülleri'nden (CBAM) oluşan EMCAD tarzı bir çözücü ile değiştirildi. İlk üç ters evrişim yukarı örneklemesi aşamasının her birinin ardından paralel 3 × 3, 5 × 5 ve 7 × 7 adet derinliğe göre evrişim uygulandı, ardından 1 × 1 nokta atışı birleştirme, toplu normalleştirme, ReLU etkinleştirme, artıklı bağlantı ve CBAM dikkati. CBAM, ortalama ve maks havuzlama tanımlayıcılarına dayalı kanal dikkatini ve 7 boyutlu bir filtre kullanan uzamsal dikkati içeriyordu. × 7. evirimsel katman. Son aşama, 32'yi yeniden oluşturmak için ters çevrilmış evirim ve sigmoid aktivasyon kullandı × 32 yama
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Sonuçlar
Temel yöntemlerle karşılaştırma
RareCode çerçevesini değerlendirmek amacıyla; yeniden yapılandırma tabanlı yöntemler (CAE32, VAE12, SAE33, MAE34, PatchSAE35), bellekle desteklenmiş yeniden yapılandırma (MemAE36), bilgi damıtma (STFPM37), sentetik anomali üretimi (DRAEM38) ve ön eğitimli özellik çıkarımı (Patch...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Tartışma
Sonuçlar, kod defteri aktivasyon modellerinin uzaysal yeniden yapılandırma hatalarına tamamlayıcı bilgiler sağlayabileceğini göstermektedir. NoCAR'dan tam FourScales modeline geçişle sağlanan iyileşme, CAR puanlamasının potansiyel katkısını desteklerken, seçilen füzyon ağırlıkları anlamsal nadirliğin nihai anomali puanında önemli bir rol oynayabileceğine işaret etmektedir. Olası bir açıklama, CRC ile ilişkili anomalilerin nükleer atipiden glandüler mimari bozulmaya kadar farklı morfolojik ölçeklere yayılabilmesi ve bu ne...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Açıklamalar
Yazarlar, bu makalede bildirilen çalışmayı etkilediği görülebilecek herhangi bir finansal çıkar çatışması veya kişisel ilişki içinde olmadıklarını beyan ederler. Bu çalışmanın hazırlanması sırasında, taslağın dilini ve okunabilirliğini artırmak ve veri görselleştirme kodlarının oluşturulmasına yardımcı olmak amacıyla ChatGPT kullandık. Bu aracı kullandıktan sonra içeriği gözden geçirdik, gerektiği şekilde düzenledik ve yayınlanan makalenin tüm sorumluluğunu üstleniyoruz.
Teşekkürler
Bu araştırma, Yong Dai Akademisyen Çalışma İstasyonu (Otoimmün Hastalıklar için Tanı Teknolojisi) (Wan Ke Bilim ve Teknoloji [2023] No. 317), Hefei Ulusal Sağlık Bilimi ve Teknolojisi Araştırma Merkezi Meslek Hastalıkları ve Sağlığı Ortak Araştırma Merkezi Lisansüstü İnovasyon Fonu Projesi Açık Fonu (No.OMH-2023-04) ve Anhui Eyaleti Klinik ve Translasyonel Araştırma Projesi (No.20242761020132) tarafından desteklenmiştir.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Malzemeler
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| GeForce RTX 4060 Ti GPU | NVIDIA | Girdi sağlanmamıştır. Lütfen çevrilmesini istediğiniz metni giriniz. | 16 GB VRAM; tüm deneyler için tek bir GPU kullanılmıştır (RRID:SCR_02858) |
| Matplotlib | Matplotlib Geliştirici Ekibi | Versiyon 3.8.4 | Veri görselleştirme ve şekil oluşturma (RRID:SCR_08624) |
| NumPy | NumPy Geliştiricileri | Sürüm 1.26.4 | Sayısal hesaplama ve dizi işlemleri (RRID:SCR_0863) |
| pandas | pandas Geliştirme Ekibi | Sürüm 2.2.3 | Veri organizasyonu ve tablosal sonuç işleme (RRID:SCR_018214) |
| Yastık | Python Imaging Library / Pillow Katkıda Bulunanlar | Sürüm 10.3.0 | Görüntü yükleme ve ön işleme |
| Python | Python Software Foundation | Sürüm 3.12.3 | Model geliştirme ve veri analizi için kullanılan programlama dili (RRID:SCR_08394) |
| PyTorch | Meta Platforms, Inc. | Sürüm 2.7.0+cu18 | Model uygulaması ve eğitimi için kullanılan derin öğrenme çerçevesi (RRID:SCR_018536) |
| scikit-learn | scikit-learn Geliştiricileri | Sürüm 1.4.2 | Çapraz doğrulama, eğitim-test ayırma ve değerlendirme metrikleri (RRID:SCR_02577) |
| SciPy | SciPy Geliştiricileri | Sürüm 1.13.1 | İstatistiksel analiz (RRID:SCR_08058) |
| torchvision | PyTorch Projesi | Sürüm 0.2.0+cu18 | Görüntü ön işleme ve veri dönüşümü |
| tqdm | tqdm Geliştiricileri | Sürüm 4.6.4 | Eğitim ve değerlendirme ilerleme izlemesi |
Kaynaklar
- Fan J, Sun Q, Di Y, et al. DIPathMamba: A domain-incremental weakly supervised state space model for pathology image segmentation. Med Image Anal. 2025;103:103563.
- Nan T, Zheng S, Qiao S, et al. Deep learning quantifies pathologists' visual patterns for whole slide image diagnosis. Nat Commun. 2025;16(1):5493.
- Lagogiannis I, Meissen F, Kaissis G, et al. Unsupervised pathology detection: a deep dive into the state of the art. IEEE Trans Med Imaging. 2024;43(1):241-252.
- Tian Y, Liu F, Pang G, et al. Self-supervised pseudo multiclass pre-training for unsupervised anomaly detection and segmentation in medical images. Med Image Anal. 2023;90:102930.
- Metter DM, Colgan TJ, Leung ST, et al. Trends in the US and Canadian pathologist workforces from 2007 to 2017. JAMA Netw Open. 2019;2(5):e194337.
- Shaukat A, Levin TR. Current and future colorectal cancer screening strategies. Nat Rev Gastroenterol Hepatol. 2022;19(8):521-531.
- Ancker JS, Edwards A, Nosal S, et al. Effects of workload, work complexity, and repeated alerts on alert fatigue in a clinical decision support system. BMC Med Inform Decis Mak. 2017;17(1):36.
- Litjens G, Kooi T, Ehteshami Bejnordi B, et al. A survey on deep learning in medical image analysis. Med Image Anal. 2017;42:60-88.
- Stepec D, Skocaj D. Unsupervised detection of cancerous regions in histology imagery using image-to-image translation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2021:3785-3792.
- Li Y, Lao Q, Kang Q, et al. Self-supervised anomaly detection, staging and segmentation for retinal images. Med Image Anal. 2023;87:102805.
- Hinton GE, Salakhutdinov RR. Reducing the dimensionality of data with neural networks. Science. 2006;313(5786):504-507.
- Kingma DP, Welling M. Auto-encoding variational Bayes. In: Proceedings of the 2nd International Conference on Learning Representations (ICLR). 2014.
- Goodfellow IJ, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets. In: Advances in Neural Information Processing Systems. 2014;27:2672-2680.
- Lu S, Zhang W, Zhao H, et al. Anomaly detection for medical images using heterogeneous auto-encoder. IEEE Trans Image Process. 2024;33:2770-2782.
- Yang Z, Zhang T, Soltani Bozchalooi I, et al. Memory-augmented generative adversarial networks for anomaly detection. IEEE Trans Neural Netw Learn Syst. 2022;33(6):2324-2334.
- Huyan N, Quan D, Zhang X, et al. Unsupervised outlier detection using memory and contrastive learning. IEEE Trans Image Process. 2022;31:6440-6454.
- Jézéquel L, Beaudet J, Histace A, et al. Unified anomaly detection via multi-scale contrasted memory. IEEE Trans Image Process. 2026;35:2802-2815.
- Roth K, Pemula L, Zepeda J, et al. Towards total recall in industrial anomaly detection. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022:14298-14308.
- Defard T, Setkov A, Loesch A, et al. PaDiM: a patch distribution modeling framework for anomaly detection and localization. In: International Conference on Pattern Recognition. Cham: Springer; 2021:475-489.
- Zingman I, Stierstorfer B, Lempp C, et al. Learning image representations for anomaly detection: application to discovery of histological alterations in drug development. Med Image Anal. 2024;92:103067.
- Jiang Y, Cao Y, Shen W. Prototypical learning guided context-aware segmentation network for few-shot anomaly detection. IEEE Trans Neural Netw Learn Syst. 2025;36(7):12016-12026.
- Wang X, Zhao J, Marostica E, et al. A pathology foundation model for cancer diagnosis and prognosis prediction. Nature. 2024;634(8035):970-978.
- Frotscher A, Kapoor J, Wolfers T, et al. Unsupervised anomaly detection in medical imaging using aggregated normative diffusion. Med Image Anal. 2026;109:103895.
- Zeng GQ, Yang YW, Lu KD, et al. Evolutionary adversarial autoencoder for unsupervised anomaly detection of industrial Internet of Things. IEEE Trans Reliab. 2025;74(3):3454-3468.
- Lu KD, Zhang BX, Xu Y, et al. MoARNN-AM: multi-objective automated recurrent neural network with attention mechanism for cyber-attack detection of UAV. IEEE Trans Consum Electron. 2026;72(1):1738-1749.
- van den Oord A, Vinyals O, Kavukcuoglu K. Neural discrete representation learning. In: Advances in Neural Information Processing Systems. 2017;30:6306-6315.
- Ghafourian A, Shui H, Upadhyay D, et al. Targeted collapse regularized autoencoder for anomaly detection: black hole at the center. IEEE Trans Neural Netw Learn Syst. 2025;36(6):10348-10358.
- Gao Z, Mao A, Dong Y, et al. SMMILe enables accurate spatial quantification in digital pathology using multiple-instance learning. Nat Cancer. 2025;6(12):2025-2041.
- Wang X, Liu H, Zhang Y, et al. Joint modeling histology and molecular markers for cancer classification. Med Image Anal. 2025;102:103505.
- Jin H, Shen J, Cui L, et al. Dynamic graph based weakly supervised deep hashing for whole slide image classification and retrieval. Med Image Anal. 2025;101:103468.
- Schmitz R, Madesta F, Nielsen M, et al. Multi-scale fully convolutional neural networks for histopathology image segmentation: from nuclear aberrations to the global tissue architecture. Med Image Anal. 2021;70:101996.
- Masci J, Meier U, Ciresan D, et al. Stacked convolutional auto-encoders for hierarchical feature extraction. In: International Conference on Artificial Neural Networks. Berlin: Springer; 2011:52-59.
- Ng A. Sparse autoencoder. CS294A Lecture Notes. 2011;72:1-19.
- He K, Chen X, Xie S, et al. Masked autoencoders are scalable vision learners. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022:16000-16009.
- Lim H, Choi J, Choo J, et al. Sparse autoencoders reveal selective remapping of visual concepts during adaptation. In: Proceedings of the 13th International Conference on Learning Representations (ICLR). 2025.
- Gong D, Liu L, Le V, et al. Memorizing normality to detect anomaly: memory-augmented deep autoencoder for unsupervised anomaly detection. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019:1705-1714.
- Wang G, Han S, Ding E, et al. Student-teacher feature pyramid matching for anomaly detection. In: Proceedings of the 32nd British Machine Vision Conference (BMVC). 2021.
- Zavrtanik V, Kristan M, Skocaj D. DRAEM: a discriminatively trained reconstruction embedding for surface anomaly detection. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021:8330-8339.
- Niazi MKK, Parwani AV, Gurcan MN. Digital pathology and artificial intelligence. Lancet Oncol. 2019;20(5):e253-e261.
- Raab SS, Grzybicki DM, Janosky JE, et al. Clinical impact and frequency of anatomic pathology errors in cancer diagnoses. Cancer. 2005;104(10):2205-2213.
- Schömig-Markiefka B, Pryalukhin A, Hulla W, et al. Quality control stress test for deep learning-based diagnostic model in digital pathology. Mod Pathol. 2021;34(12):2098-2108.
- Steiner DF, MacDonald R, Liu Y, et al. Impact of deep learning assistance on the histopathologic review of lymph nodes for metastatic breast cancer. Am J Surg Pathol. 2018;42(12):1636-1646.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.