RareCode: Nienadzorowany system głębokiego uczenia do detekcji anomalii w obrazach histopatologicznych raka jelita grubego

Liu Xiang; Huashun Li; Xuejia Zheng; Feng Zhu; Tianyuan Li; Yujie Zhang; Jie Song; Hongtao Jin; Yong Dai

doi:10.3791/72303

Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.

Artykuł badawczy

RareCode: Nienadzorowany system głębokiego uczenia do detekcji anomalii w obrazach histopatologicznych raka jelita grubego

3 wyświetleń

⸱

DOI:

10.3791/72303

⸱

22 września 2026

Liu Xiang¹^,² , Huashun Li³ , Xuejia Zheng⁴ , Feng Zhu⁴ , Tianyuan Li² , Yujie Zhang² , Jie Song²^,⁵ , Hongtao Jin⁶^,⁷ , Yong Dai²^,³^,⁸

¹School of Computer Science and Engineering, Anhui University of Science and Technology, ²School of Medicine, Anhui University of Science and Technology, ³School of Electrical and Information Engineering, Anhui University of Science and Technology, ⁴The First Hospital, Anhui University of Science and Technology, ⁵School of Safety Science and Engineering, Anhui University of Science and Technology, ⁶Department of Pathology, Shenzhen People's Hospital, The Second Clinical Medical College, Jinan University, ⁷The First Affiliated Hospital, Southern University of Science and Technology, ⁸Anhui Provincial Academician Workstation of Anhui University of Science and Technology for Autoimmune Disease Diagnostic Technology

W tym artykule

Podsumowanie

Niniejsze badanie przedstawia RareCode – nienadzorowany model głębokiego uczenia, który wykrywa anomalie w obrazach histopatologicznych raka jelita grubego poprzez analizę rzadkości aktywacji książki kodowej (Codebook Activation Rarity – CAR), co stwarza potencjał do wspomagania wstępnej przesiewowej diagnostyki bez konieczności użycia etykietowanych danych treningowych.

Streszczenie

Nienadzorowane wykrywanie anomalii w obrazach histopatologicznych było szeroko badane z wykorzystaniem podejść opartych na rekonstrukcji, które mierzą błędy rekonstrukcji, jednak metody te często nie potrafią uchwycić subtelnych patologicznych zmian na poziomie semantycznym ze względu na naturalną heterogeniczność tekstur tkanek. Aby rozwiązać ten problem, niniejsze badanie przedstawia RareCode – framework oparty na kwantyzacji wektorowej, który rozszerza paradygmat detekcji poza rekonstrukcję na poziomie pikseli, aby włączyć analizę aktywacji książki kodowej (codebook) na poziomie semantycznym. Główną innowacją jest scoring Rzadkości Aktywacji Książki Kodowej (Codebook Activation Rarity, CAR), który profiluje częstotliwość aktywacji każdego wpisu w książce kodowej podczas uczenia wyłącznie na próbkach prawidłowych i oznacza rzadkie aktywacje jako wskaźniki anomalii w czasie wnioskowania, uzupełniając w ten sposób błędy rekonstrukcji o dyskryminację na poziomie semantycznym. W oparciu o ten jednoskalowy mechanizm CAR wprowadzono dodatkowo moduł Wieloskalowej Hierarchicznej Książki Kodowej (Multi-scale Hierarchical Codebook, MHC), wykorzystujący książki kodowe o różnych rozmiarach z wyuczalnymi wagami fuzji, aby uchwycić wzorce patologiczne obejmujące zarówno grube struktury na poziomie tkanki, jak i drobne szczegóły na poziomie komórkowym. Wykorzystując projekt wieloskalowy, generowane są hierarchiczne mapy ciepła anomalii dla każdego poziomu ziarnistości książki kodowej, co dostarcza patologom interpretowalnych, wielowymiarowych wizualnych wskazówek lokalizacji, wskazujących zarówno miejsce, jak i poziom strukturalny występowania anomalii. Pięciokrotna walidacja krzyżowa na klinicznie adnotowanym zbiorze obrazów histopatologicznych raka jelita grubego, pozyskanym ze szpitala Shenzhen People's Hospital, wykazuje, że RareCode osiąga pole pod krzywą (AUC) na poziomie 96,82%, przewyższając metody bazowe. Analiza per-klasa wykazała wyższą skuteczność w wykrywaniu nowotworów (AUC = 99,44%, swoistość = 94,21%) niż w wykrywaniu stanów zapalnych (AUC = 94,30%, swoistość = 60,44%). Wyniki te sugerują, że analiza CAR może stanowić obiecujące nienadzorowane podejście do wykrywania anomalii histopatologicznych, potencjalnie wspierając kliniczny przesiew w diagnostyce raka jelita grubego.

Wprowadzenie

Niezawodne badanie histopatologiczne w kierunku raka jelita grubego pozostaje ograniczone przez konieczność adnotacji eksperckich i manualnej weryfikacji, szczególnie w sytuacjach, gdy zmiany zapalne i nowotworowe wykazują nakładającą się morfologię¹^,². Ograniczenia te stanowią motywację do stosowania nienadzorowanych podejść obliczeniowych, które uczą się na podstawie prawidłowej tkanki bez konieczności przeprowadzania wyczerpujących adnotacji zmian patologicznych³^,⁴.

Kliniczna pilność automatycznego screeningu histopatologicznego wynika z rosnącej dysproporcji między zapotrzebowaniem diagnostycznym a dostępną wiedzą specjalistyczną w dziedzinie patomorfologii; obciążenie diagnostyczne przypadające na jednego patologa w USA wzrosło o ponad 40% w ciągu jednej dekady, podczas gdy liczba pracowników tego sektora nadal malała⁵. W przypadku raka jelita grubego (CRC) zorganizowane programy przesiewowe wiązały się z redukcją śmiertelności o 29-68%⁶, jednak możliwości manualnej oceny patomorfologicznej pozostają ograniczone ze względu na dostępność personelu. Zautomatyzowany system wstępnej oceny, który niezawodnie identyfikuje podejrzane przypadki do priorytetowej analizy, mógłby pomóc w zmniejszeniu tego obciążenia i skrócić czas oczekiwania na wynik diagnostyczny. Wdrożenie takich systemów wymaga jednak zarówno wysokiej czułości, aby uniknąć pominięcia wyników prawdziwie dodatnich, jak i odpowiedniej swoistości, aby zapobiec nadmiernej liczbie fałszywych alarmów⁷.

Nienadzorowana detekcja anomalii (UAD) zyskuje na znaczeniu w analizie obrazów medycznych⁸, ponieważ pozwala na modelowanie rozkładów tkanek prawidłowych bez konieczności posiadania etykiet treningowych dla zmian patologicznych³^,⁹^,¹⁰. Modele oparte na rekonstrukcji, w tym autoenkodery, wariacyjne autoenkodery, generatywne sieci przeciwstawne oraz warianty z pamięcią wspomaganą, identyfikują anomalie poprzez błędy rekonstrukcji, jednak dekodery o wysokiej pojemności mogą wciąż rekonstruować obszary patologiczne z wysoką wiernością¹¹^,¹²^,¹³^,¹⁴^,¹⁵^,¹⁶^,¹⁷. Metody oparte na cechach, takie jak PatchCore i PaDiM, wykorzystują wstępnie wytrenowane reprezentacje, choć cechy wyuczone na obrazach naturalnych mogą nie w pełni oddawać atypię mikroskopową w histopatologii¹⁸^,¹⁹^,²⁰^,²¹. Specjalistyczne modele bazowe dla patomorfologii oraz detektory anomalii oparte na modelach dyfuzyjnych stanowią potężne alternatywy, lecz ich zapotrzebowanie na dane lub koszty obliczeniowe mogą ograniczać ich bezpośrednie zastosowanie w badaniach wysokoprzepustowych²²^,²³. Niedawne metody zautomatyzowane i ewolucyjne, takie jak EvoAAE²⁴ i MoARNN-AM²⁵, dodatkowo ilustrują wartość adaptacyjnej optymalizacji modeli w detekcji anomalii, choć konteksty ich zastosowania różnią się od analizy obrazów histopatologicznych. Z kolei metody oparte na kwantyzacji wektorowej (VQ) wprowadzają dyskretne ograniczenia książki kodowej (codebook), co może ograniczyć mapowanie identyczności; jednak istniejące podejścia oparte na VQ wciąż opierają się głównie na przestrzennych błędach rekonstrukcji i nie w pełni wykorzystują informacje semantyczne zawarte w wzorcach aktywacji książki kodowej²⁶^,²⁷.

Chociaż wspomniane metody wykazują obiecującą skuteczność w domenach ogólnych, ich zastosowanie w złożonych scenariuszach histopatologicznych wiąże się z konkretnymi wyzwaniami. Obrazy histopatologiczne charakteryzują się złożoną heterogennością tkanek na wielu poziomach strukturalnych²⁸. W praktyce analiza obrazów odbywa się zazwyczaj na lokalnych fragmentach obrazu wyodrębnionych z przekrojów tkanek, a diagnoza patologiczna ma z natury charakter wielkoskalowy: patolodzy oceniają morfologię gruczołów i tkanek przy małym powiększeniu, badając jednocześnie pleomorfizm jądrowy i figury mitotyczne przy dużym powiększeniu²⁹. Zidentyfikowaliśmy trzy kluczowe ograniczenia obecnych podejść: Po pierwsze, anomalie patologiczne i tkanki prawidłowe wykazują duże podobieństwo w niskopoziomowych cechach wizualnych, takich jak style barwienia i lokalne tekstury, co sprawia, że metody oparte na rekonstrukcji zawodzą w wykrywaniu subtelnych anomalii, ponieważ zarówno próbki prawidłowe, jak i anomalne mogą dawać podobną jakość rekonstrukcji na poziomie semantycznym. Po drugie, większość istniejących metod wykorzystuje jednoskalową ekstrakcję cech, co utrudnia jednoczesne uchwycenie cech anomalnych zarówno na poziomie tkankowym, jak i komórkowym³⁰^,³¹. Po trzecie, mimo że główne metody potrafią generować mapy ciepła na poziomie pikseli, często nie udaje im się w sposób intuicyjny uchwycić hierarchicznych atrybutów anomalii, co ogranicza przydatność takich modeli jako narzędzi wspomagających diagnostykę kliniczną.

Aby sprostać powyższym wyzwaniom, proponujemy RareCode – framework UAD, który bada wzorce aktywacji książki kodowej (codebook) oraz hierarchiczną reprezentację cech na wielu poziomach abstrakcji. Framework wprowadza trzy główne komponenty: (1) mechanizm oceny rzadkości aktywacji książki kodowej (Codebook Activation Rarity, CAR), który oblicza wyniki rzadkości na podstawie częstotliwości aktywacji wpisów trenowanych wyłącznie na próbkach prawidłowych, co pozwala odróżnić próbki prawidłowe od anomalnych na poziomie semantycznym i dostarcza sygnały dyskryminacyjne uzupełniające tradycyjne błędy rekonstrukcji przestrzennej; (2) architekturę fuzji wieloskalowej hierarchicznej książki kodowej (Multi-scale Hierarchical Codebook, MHC), która wychwytuje cechy patologiczne na wielu poziomach ziarnistości – od grubych wzorców strukturalnych po drobnoziarniste szczegóły komórkowe – poprzez zastosowanie książek kodowych o różnej pojemności, przy czym adaptacyjna fuzja jest realizowana za pomocą wag uczących się; (3) hierarchiczny moduł lokalizacji interpretowalnej, który wykorzystuje architekturę wieloskalową do generowania map ciepła anomalii o różnej ziarnistości, dostarczając patologom wieloskalowych, semantycznie interpretowalnych referencji diagnostycznych.

Główną hipotezą niniejszego badania było to, że profile częstotliwości aktywacji książek kodów, wyprowadzone z książek kodów trenowanych wyłącznie na obrazach histopatologicznych prawidłowego jelita grubego, będą kodować istotne semantycznie informacje o anomaliach wykraczające poza błąd rekonstrukcji na poziomie pikseli, a wieloskalowa integracja tych komplementarnych sygnałów poprawi rozróżnianie obrazów zawierających tkankę nowotworową lub zapalną od obrazów prawidłowych w porównaniu z reprezentatywnymi metodami UAD, oceniane przede wszystkim za pomocą AUC. Aby zweryfikować tę hipotezę, oceniliśmy RareCode, stosując 5-krotną walidację krzyżową na klinicznie adnotowanym zbiorze danych CRC, oraz przeprowadziliśmy analizy ablacyjne i lokalizacyjne w celu zbadania wkładu i interpretowalności jego kluczowych komponentów.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

Niniejsze badanie zostało zatwierdzone przez Komitet Etyczny ds. Badań Klinicznych Szpitala Ludowego w Shenzhen'szpitala (nr zgody: LL-KY-2025300-01). Wymóg uzyskania świadomej zgody został odwołany przez komitet etyczny, ponieważ niniejsze badanie retrospektywne wykorzystywało istniejące obrazy histopatologiczne i materiały kliniczne bez bezpośredniego kontaktu z pacjentami ani interwencji. Wszystkie dane kliniczne i obrazy histopatologiczne zostały zanonimizowane przed analizą, a w badaniu nie wykorzystano żadnych informacji umożliwiających identyfikację osób. Wszystkie dane wykorzystane w badaniach zostały przetworzone zgodnie ze standardami etycznymi instytucjonalnych i krajowych komitetów ds. badań naukowych.

Omówienie ramowe
Ogólna architektura proponowanego ramowego rozwiązania UAD, RareCode, została przedstawiona na Rycina 1. Ramy pracy wykorzystują równoległą architekturę dwuramieniową. Dla każdego obrazu wejściowego o rozmiarze 512 x 512 niepokrywające się fragmenty o rozmiarach 32 x 32 i 64 x 64 są wyodrębniane jako wejścia o skali odpowiednio drobnej i grubej. Fragmenty 64 x 64 są zmieniane do rozmiaru 32 x 32 przed przekazaniem do sieci, aby oba ramiona współdzieliły ten sam rozmiar wejściowy enkodera-dekodera, zachowując jednocześnie różne pola odbiorcze. Enkodery w każdym ramieniu odwzorowują wyodrębnione cechy w przestrzeń ukrytą, gdzie moduł MHC nakłada ograniczenia dyskretyzacji. Następnie dekodery rekonstruują obraz z kwantyzowanych cech w celu obliczenia błędów rekonstrukcji w dziedzinie przestrzennej. Mechanizm CAR mierzy następnie stopień anomalii na poziomie semantycznym poprzez analizę częstości aktywacji w zbiorze kodowym. Wreszcie model łączy wyniki rekonstrukcji i wyniki CAR za pomocą ważonej kombinacji, aby uzyskać wyniki anomalii na poziomie obrazu. Framework RareCode jest uczony kompleksowo (end-to-end) wyłącznie na podstawie próbek normalnych, bez konieczności adnotowania anomalii. Dwuramieniowa architektura została wykorzystana w celu przechwycenia zarówno lokalnych cech komórkowych, jak i szerszych struktur gruczołowych. Moduł MHC został wykorzystany do modelowania tych cech za pomocą zbiorów kodowych o różnej pojemności.

Architektura enkoder-dekoder
RareCode konstruuje strukturalnie niezależne enkodery i dekodery dla gałęzi szczegółowej i ogólnej. Każda gałąź wykorzystuje ten sam projekt enkoder-dekoder, ale nie współdzieli parametrów. Enkoder składa się z czterech bloków konwolucyjnych, z których każdy zawiera konwolucję 3 × 3, normalizację wsadową, aktywację ReLU oraz dropout. Liczba kanałów rośnie od 64 do 128, następnie do 256, a końcową mapę cech spłaszcza się i rzutuje na 64-wymiarowy ukryty wektor cech. Dekoder jest lustrzanym odbiciem enkodera i zawiera warstwę rzutowania w pełni połączoną oraz cztery warstwy konwolucji transponowanej, odtwarzając każdy fragment do oryginalnego rozmiaru wejściowego sieci. Błąd rekonstrukcji obliczany jest jako średniokwadratowy błąd pomiędzy wejściem a odtworzonymi fragmentami. Łącząc tę strukturę enkoder-dekoder z dyskretnymi ograniczeniami słownika kodowego, RareCode uczy się kompaktowych reprezentacji tkanki prawidłowej i mierzy odchylenia podczas wnioskowania.

Wieloskalowy hierarchiczny kodeks
Aby uchwycić cechy patologiczne na wielu poziomach abstrakcji—od szerokich wzorców tkankowych po zlokalizowane zmiany komórkowe—moduł MHC wykorzystuje K dyskretnych kodeków figure-protocol-1 o różnej pojemności n₁, n₂, ..., n_KW końcowej konfiguracji FourScales każda gałąź zawiera cztery kodeksy o 64, 128, 256 oraz 512 wpisach odpowiednio, a każdy wpis w kodeksie ma 64-wymiarowe osadzenie. Dla każdej zakodowanej cechy fragmentu najbliższy wpis w kodeksie jest wybierany na podstawie odległości euklidesowej. Skwantyzowane wyjścia z różnych kodeksów są następnie łączone za pomocą nauczanych wag, znormalizowanych pomiędzy kodeksami. Oczekuje się, że mniejsze kodeksy, ze względu na silniejsze ograniczenia kompresji, kodują ogólne, typowe wzorce, abstrahujące od lokalnych różnic, podczas gdy większe kodeksy zachowują cechy bardziej szczegółowe, oddające konkretniejsze cechy strukturalne. Dla każdego kodeksu figure-protocol-2 , gdzie e_k⁽ⁱ⁾ figure-protocol-3 R^d oznacza i-ty wektor osadzania w k-tym kodeksie, cechy ciągłe są odwzorowywane na dyskretną przestrzeń kodeksu poprzez wyszukiwanie najbliższego sąsiada (równ. 1 i 2):

figure-protocol-4

figure-protocol-5

Aby osiągnąć adaptacyjne fuzję cech wieloskalowych, wprowadzamy nauczalne wagi. Po normalizacji softmax wykonywane jest ważone sumowanie nad zakwantyzowanymi wyjściami z każdej księgi kodów (równ. 3):

figure-protocol-6

gdzie σ(·) oznacza funkcję softmax, zapewniającą, że wagi spełniają Σ_k σ(w_k) = 1. Ten rodzaj konstrukcji pozwala modelowi na automatyczne dostosowywanie współczynników udziału kartotek na różnych poziomach szczegółowości w oparciu o semantyczną zawartość cech wejściowych.

W celu zoptymalizowania uczenia się kodbooka przyjmujemy standardową funkcję straty VQ (równ. 4):

figure-protocol-7

gdzie sg[·] oznacza operację zatrzymania gradientu, a β = 0,25 to współczynnik wagi straty zobowiązania. Pierwszy składnik zachęca wektory słownika kodowego do przemieszczania się w kierunku wyjść enkodera, podczas gdy drugi składnik zachęca wyjścia enkodera do zachowania spójności z odpowiadającymi im wektorami słownika kodowego. Kompletny mechanizm wieloskalowego VQ przedstawiono na Rycina 2.

Ocenianie rzadkości aktywacji kodów
CAR mierzy anomalie na poziomie semantycznym na podstawie statystyk aktywacji słownika, oszacowanych na podstawie normalnych próbek uczących. Po zakończeniu uczenia modelu wszystkie normalne obrazy uczące zostały przepuszczone przez enkoder i moduł MHC bez augmentacji danych. Dla każdej gałęzi i każdego słownika zarejestrowano indeks przypisania każdej cechy fragmentu oraz zliczono liczbę przypisań do każdego wpisu w słowniku. Następnie liczby te zostały unormowane w celu uzyskania rozkładu częstości aktywacji dla danego słownika (równanie 5):

figure-protocol-8

Podczas wnioskowania każdy obraz testowy był przetwarzany za pomocą tej samej procedury ekstrakcji fragmentów, kodowania i przypisywania najbliższego sąsiada z katalogu kodów. Dla każdego przypisanego wpisu w katalogu kodów, wartość rzadkości obliczana jest jako ujemny logarytm częstości jego aktywacji w zbiorze treningowym normalnych przypadków (Równ. 6):

figure-protocol-9

gdzie ε jest małą stałą wykorzystywaną w celu zapewnienia stabilności numerycznej. W związku z tym wpis w słowniku kodów o niskiej częstotliwości otrzymuje wyższy wynik rzadkości, co sugeruje, iż odpowiadający mu cechę fragmentu mniej zgodna jest z nauczoną dystrybucją tkanki prawidłowej. Wyniki rzadkości na poziomie fragmentów były uśredniane w obrębie każdego obrazu oraz pomiędzy ramionami o wysokiej i niskiej rozdzielczości, w celu uzyskania odpowiedzi rzadkości na poziomie obrazu.

Aby uzupełnić rzadkość opartą na częstości aktywacji, obliczamy również wynik odległości kwantyzacji oparty na percentylach (równ. 7):

figure-protocol-10

Wynik ten pochodzi od odległości euklidesowej między każdym zakodowanym wektorem cech a jego najbliższym wpisem w słowniku kodowym. Rozkład odległości szacuje się na podstawie normalnych próbek treningowych, a odległości próbek testowych przelicza się na wyniki percentylowe. Wyższe wyniki percentylowe wskazują, że zakodowana cecha jest trudniejsza do reprezentacji przy użyciu nauczonych prototypów normalnego słownika kodowego.

Ostateczna ocena CAR łączy rzadkość aktywacji i odległość kwantyzacji we wszystkich kodeksach za pomocą nauczalnych wag kodeksów (równ. 8):

figure-protocol-11

Te same znormalizowane wagi kodowego słownika, które są stosowane do fuzji cech wieloskalowych, wykorzystywane są również w fuzji na poziomie ocen, zapewniając spójność między uczeniem reprezentacji a ocenianiem anomalii. Otrzymany wynik CAR obliczany jest na poziomie obrazu, a następnie łączy się go z wynikiem rekonstrukcji, aby uzyskać końcową ocenę anomalii. Całkowity mechanizm oceniania CAR przedstawiono na Rycina 3.

Ostateczne obliczenie wyniku anomalii
Łączymy błędy rekonstrukcji w dziedzinie przestrzennej ze wskaźnikami CAR na poziomie semantycznym. Przed połączeniem oba wskaźniki są oddzielnie normalizowane za pomocą min-max opartego na percentylach, aby zmniejszyć wpływ skrajnych wartości odstających. Ostateczny, obrazowy wskaźnik niezwykłości definiuje się następnie jako (równ. 9):

figure-protocol-12

gdzie S_rekon oznacza znormalizowany średni błąd rekonstrukcji w przestrzeni pikseli, odzwierciedlający jakość rekonstrukcji próbek; S_CAR to wynik CAR opisany powyżej, oddający stopnie anomalii na poziomie semantycznym. Hiperparametr α figure-protocol-13 [0,1] kontroluje względną wagę między dwoma składowymi, przy czym optymalne wartości są wyznaczane na zbiorach walidacyjnych.

Cel szkolenia
Framework RareCode jest szkolony end-to-end wyłącznie przy użyciu próbek normalnych. Całkowity błąd treningowy składa się z następujących składowych (Równanie 10):

figure-protocol-14

Każdy termin jest definiowany następująco: Strata rekonstrukcji: figure-protocol-15 , mierząc średni błąd kwadratowy między fragmentami wejściowymi p i odtworzone plamy D(z_q) po kwantyzacji. Strata ta jest stosowana oddzielnie do 32 × 32 patch branch ( figure-protocol-16 ) i 64 × 64 patch branch ( figure-protocol-17 ) aby zapewnić skuteczne naukę cech na obu skalach przestrzennych.

Opis zestawu danych
Aby ocenić działanie RareCode, przeprowadzono eksperymenty na klinicznie opisanym zbiorze danych obrazów histopatologicznych raka jelita grubego (CRC), obejmującym obrazy przekrojów tkanek jelita grubego barwionych hematoksyliną i eozyną (H&E)&E), uzyskany z Shenzhen People's Hospital. Wszystkie obrazy w tym zbiorze pochodzą z rzeczywistych przypadków klinicznych. Obrazy zostały zdigitalizowane w powiększeniu 40x z oryginalną rozdzielczością 1024 × 1024 piksele. W celu zapewnienia rzetelności i jakości adnotacji wszystkie etykiety kategorii próbek zostały wspólnie przeanalizowane i potwierdzone przez dwóch lub więcej wybitnych specjalistów-patologów zgodnie z protokołem podwójnie ślepego badania.

Na podstawie cech histopatologicznych zbiór danych został podzielony na trzy klasy: tkankę normalną (1226 obrazów), nowotwór (1215 obrazów) oraz stan zapalny (1214 obrazów). W ustawieniu binarnym UAD próbki z nowotworem i stanem zapalnym traktowane były jako anomalie, natomiast próbki normalne stanowiły rozkład odniesienia. Takie sformułowanie odzwierciedla zamierzone zadanie triażu polegające na oddzieleniu przypadków wymagających dalszej oceny patologicznej od tych, które są morfologicznie normalne.

Wszystkie H&Obrazy postrzegane w świetle odbitym zostały przeskalowane do rozmiaru 512 × 512 pikseli przed użyciem jako wejście sieci. Do oceny zastosowano warstwową pięciokrotną walidację krzyżową. W każdej części normalne próbki najpierw podzielono na podzbiory uczący, walidacyjny i testowy (przytrzymywany). RareCode trenowano wyłącznie na normalnych próbkach z podzbioru uczącego. Podzbiór walidacyjny, zawierający również wyłącznie normalne próbki, użyto do selekcji modelu, dostrajania hiperparametrów oraz wyboru wagi fuzji. αZestaw testowy typu „held-out”, składający się z niezobaczonych próbek normalnych oraz próbek nietypowych, w tym nowotworowych i zapalnych, został użyty wyłącznie do końcowej oceny wydajności modelu i nie był wykorzystywany do uczenia modelu, doboru hiperparametrów ani α selekcji. Przedstawiono reprezentatywne kategorie, strukturę zbioru danych oraz protokół walidacji w Rycina 4.

Szczegóły implementacji
Zaproponowany system RareCode oraz porównawcze metody referencyjne zaimplementowano przy użyciu PyTorch. Wszystkie eksperymenty przeprowadzono na stacji roboczej wyposażonej w pojedynczą kartę graficzną NVIDIA GeForce RTX 4060 Ti (16 GB). W celu konfiguracji architektury sieci, aby uchwycić cechy na różnych skalach przestrzennych, architektura dwurzędowa przetwarza niepokrywające się fragmenty w dwóch skalach: 32 × 32 piksele (mniejsze pole odbiorcze, przechwytujące lokalne wzory tekstury) i 64 × 64 piksele (większe pole odbiorcze, obejmujące szerszy kontekst przestrzenny), odpowiednio. Wymiar ciągłego osadzania cech generowanego przez oba enkodery gałęzi jest jednolicie ustawiony na 64. W module MHC konfigurujemy cztery kodeksy o różnych pojemnościach dla każdej gałęzi, z odpowiednio 64, 128, 256 i 512 dyskretnymi prototypami.

W trakcie optymalizacji sieć była trenowana kompleksowo przez 50 epok z rozmiarem partii równym 8. Do aktualizacji wag zastosowano optymalizator AdamW z początkowym współczynnikiem uczenia równym 5 × i współczynnik regularyzacji wag (weight decay) w celu zapobiegania przeuczeniu. Dodatkowo, aby zapewnić gładką zbieżność procesu uczenia, zastosowano harmonogram zmian szybkości uczenia typu kosinusoidalnego (cosine annealing), co umożliwia dokładniejszą optymalizację w późniejszych etapach treningu. Rozmiary fragmentów (patch sizes) oraz rozmiary słownika kodowego (codebook sizes) dobrano tak, aby zrównoważyć reprezentację wieloskalową i koszt obliczeniowy. Ostateczną konfigurację FourScales poparto analizą ablacyjną, i α został wybrany na zbiorze walidacyjnym przed oceną na zbiorze testowym.

W celu analizy wpływu złożoności dekodera zaimplementowano wariant złożonego dekodera oparty na konfiguracji FourScales. Wariant ten wykorzystywał ten sam podział danych, rozmiary codebooków, liczbę epok treningowych, optymalizator, współczynnik uczenia oraz walidację opartą na α selekcji i metryk oceny jako model FourScales. Podstawowy dekoder został zastąpiony dekoderem w stylu EMCAD, zawierającym bloki splotu głębokościowego wieloskalowego oraz moduły uwagi bloku splotowego (CBAM). Po każdym z pierwszych trzech etapów podwyższania próbkowania za pomocą transponowanego splotu, równolegle 3 × 3, 5 × 5 i 7 × Zastosowano 7 splotów wgłąb, po których nastąpił 1 × 1 fuzja punktowa, normalizacja wsadowa, aktywacja ReLU, połączenie resztkowe oraz uwaga CBAM. CBAM zawierała uwagę kanałową opartą na deskryptorach uśredniania i maksymalnego uśredniania oraz uwagę przestrzenną wykorzystującą 7 × 7 splotów. Ostatni etap wykorzystywał splot transponowany i aktywację sigmoidalną do rekonstrukcji 32 × 32 plastry.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

Porównanie z metodami bazowymi
Aby ocenić framework RareCode, jako metody bazowe wybrano kilka reprezentatywnych metod UAD, obejmujących metody oparte na rekonstrukcji (CAE³², VAE¹², SAE³³, MAE³⁴, PatchSAE³⁵), rekonstrukcję wspomaganą pamięcią (MemAE³⁶), destylację wiedzy (STFPM³⁷), syntetyczne generowanie anomalii (DRAEM

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

Wyniki sugerują, że wzorce aktywacji książki kodowej mogą dostarczać informacji uzupełniających względem błędów rekonstrukcji przestrzennej. Poprawa wyników przy przejściu z modelu NoCAR na pełny model FourScales potwierdza potencjalny wkład punktacji CAR, natomiast dobrane wagi fuzji wskazują, że rzadkość semantyczna może odgrywać istotną rolę w końcowym wyniku anomalii. Jednym z możliwych wyjaśnień jest fakt, że nieprawidłowości związane z CRC mogą obejmować różne skale morfologiczne, od atypii jądrowej po zaburzenia a...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

Autorzy oświadczają, że nie mają żadnych znanych konfliktów interesów finansowych ani relacji osobistych, które mogłyby wpłynąć na pracę opisaną w niniejszym artykule. Podczas przygotowywania tej pracy korzystaliśmy z ChatGPT w celu poprawy języka i przejrzystości manuskryptu oraz w celu pomocy w generowaniu kodu do wizualizacji danych. Po skorzystaniu z tego narzędzia sprawdziliśmy i zredagowaliśmy treść w razie potrzeby i bierzemy pełną odpowiedzialność za opublikowany artykuł.

Podziękowania

Badania te były wspierane przez Yong Dai Academician's Workstation (Diagnostic Technology for Autoimmune Diseases) (Wan Ke Science and Technology [2023] nr 317), projekt Graduate Innovation Fund z Hefei National Research Center for Health Science and Technology Joint Research Center for Occupational Medicine and Health Open Fund (nr OMH-2023-04) oraz projekt badań klinicznych i translacyjnych prowincji Anhui (nr 202427610020132).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
Nazwa	Firma	Numer katalogowy	Komentarze
Karta graficzna GeForce RTX 4060 Ti GPU	NVIDIA	N/D	16 GB VRAM; w wszystkich eksperymentach wykorzystano jedną jednostkę GPU (RRID:SCR_022858)
Matplotlib	Zespół programistyczny Matplotlib	Wersja 3.8.4	Wizualizacja danych i generowanie rycin (RRID:SCR_008624)
NumPy	Programiści NumPy	Wersja 1.26.4	Obliczenia numeryczne i operacje na tablicach (RRID:SCR_008633)
pandas	Zespół programistyczny pandas	Wersja 2.2.3	Organizacja danych i przetwarzanie wyników w formie tabelarycznej (RRID:SCR_018214)
Poduszka	Współtwórcy Python Imaging Library / Pillow	Wersja 10.3.0	Ładowanie i wstępne przetwarzanie obrazów
Python	Python Software Foundation	Wersja 3.12.3	Język programowania wykorzystany do opracowania modelu i analizy danych (RRID:SCR_008394)
PyTorch	Meta Platforms, Inc.	Wersja 2.7.0+cu118	Środowisko uczenia głębokiego wykorzystane do implementacji i trenowania modelu (RRID:SCR_018536)
scikit-learn	Deweloperzy scikit-learn	Wersja 1.4.2	Walidacja krzyżowa, podział na zbiór treningowy i testowy oraz metryki ewaluacji (RRID:SCR_002577)
SciPy	Deweloperzy SciPy	Wersja 1.13.1	Analiza statystyczna (RRID:SCR_008058)
torchvision	Projekt PyTorch	Wersja 0.22.0+cu118	Przetwarzanie wstępne obrazów i transformacja danych
tqdm	Deweloperzy tqdm	Wersja 4.66.4	Monitorowanie postępów szkolenia i ewaluacji

Bibliografia

Fan J, Sun Q, Di Y, et al. DIPathMamba: A domain-incremental weakly supervised state space model for pathology image segmentation. Med Image Anal. 2025;103:103563.
Nan T, Zheng S, Qiao S, et al. Deep learning quantifies pathologists' visual patterns for whole slide image diagnosis. Nat Commun. 2025;16(1):5493.
Lagogiannis I, Meissen F, Kaissis G, et al. Unsupervised pathology detection: a deep dive into the state of the art. IEEE Trans Med Imaging. 2024;43(1):241-252.
Tian Y, Liu F, Pang G, et al. Self-supervised pseudo multiclass pre-training for unsupervised anomaly detection and segmentation in medical images. Med Image Anal. 2023;90:102930.
Metter DM, Colgan TJ, Leung ST, et al. Trends in the US and Canadian pathologist workforces from 2007 to 2017. JAMA Netw Open. 2019;2(5):e194337.
Shaukat A, Levin TR. Current and future colorectal cancer screening strategies. Nat Rev Gastroenterol Hepatol. 2022;19(8):521-531.
Ancker JS, Edwards A, Nosal S, et al. Effects of workload, work complexity, and repeated alerts on alert fatigue in a clinical decision support system. BMC Med Inform Decis Mak. 2017;17(1):36.
Litjens G, Kooi T, Ehteshami Bejnordi B, et al. A survey on deep learning in medical image analysis. Med Image Anal. 2017;42:60-88.
Stepec D, Skocaj D. Unsupervised detection of cancerous regions in histology imagery using image-to-image translation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2021:3785-3792.
Li Y, Lao Q, Kang Q, et al. Self-supervised anomaly detection, staging and segmentation for retinal images. Med Image Anal. 2023;87:102805.
Hinton GE, Salakhutdinov RR. Reducing the dimensionality of data with neural networks. Science. 2006;313(5786):504-507.
Kingma DP, Welling M. Auto-encoding variational Bayes. In: Proceedings of the 2nd International Conference on Learning Representations (ICLR). 2014.
Goodfellow IJ, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets. In: Advances in Neural Information Processing Systems. 2014;27:2672-2680.
Lu S, Zhang W, Zhao H, et al. Anomaly detection for medical images using heterogeneous auto-encoder. IEEE Trans Image Process. 2024;33:2770-2782.
Yang Z, Zhang T, Soltani Bozchalooi I, et al. Memory-augmented generative adversarial networks for anomaly detection. IEEE Trans Neural Netw Learn Syst. 2022;33(6):2324-2334.
Huyan N, Quan D, Zhang X, et al. Unsupervised outlier detection using memory and contrastive learning. IEEE Trans Image Process. 2022;31:6440-6454.
Jézéquel L, Beaudet J, Histace A, et al. Unified anomaly detection via multi-scale contrasted memory. IEEE Trans Image Process. 2026;35:2802-2815.
Roth K, Pemula L, Zepeda J, et al. Towards total recall in industrial anomaly detection. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022:14298-14308.
Defard T, Setkov A, Loesch A, et al. PaDiM: a patch distribution modeling framework for anomaly detection and localization. In: International Conference on Pattern Recognition. Cham: Springer; 2021:475-489.
Zingman I, Stierstorfer B, Lempp C, et al. Learning image representations for anomaly detection: application to discovery of histological alterations in drug development. Med Image Anal. 2024;92:103067.
Jiang Y, Cao Y, Shen W. Prototypical learning guided context-aware segmentation network for few-shot anomaly detection. IEEE Trans Neural Netw Learn Syst. 2025;36(7):12016-12026.
Wang X, Zhao J, Marostica E, et al. A pathology foundation model for cancer diagnosis and prognosis prediction. Nature. 2024;634(8035):970-978.
Frotscher A, Kapoor J, Wolfers T, et al. Unsupervised anomaly detection in medical imaging using aggregated normative diffusion. Med Image Anal. 2026;109:103895.
Zeng GQ, Yang YW, Lu KD, et al. Evolutionary adversarial autoencoder for unsupervised anomaly detection of industrial Internet of Things. IEEE Trans Reliab. 2025;74(3):3454-3468.
Lu KD, Zhang BX, Xu Y, et al. MoARNN-AM: multi-objective automated recurrent neural network with attention mechanism for cyber-attack detection of UAV. IEEE Trans Consum Electron. 2026;72(1):1738-1749.
van den Oord A, Vinyals O, Kavukcuoglu K. Neural discrete representation learning. In: Advances in Neural Information Processing Systems. 2017;30:6306-6315.
Ghafourian A, Shui H, Upadhyay D, et al. Targeted collapse regularized autoencoder for anomaly detection: black hole at the center. IEEE Trans Neural Netw Learn Syst. 2025;36(6):10348-10358.
Gao Z, Mao A, Dong Y, et al. SMMILe enables accurate spatial quantification in digital pathology using multiple-instance learning. Nat Cancer. 2025;6(12):2025-2041.
Wang X, Liu H, Zhang Y, et al. Joint modeling histology and molecular markers for cancer classification. Med Image Anal. 2025;102:103505.
Jin H, Shen J, Cui L, et al. Dynamic graph based weakly supervised deep hashing for whole slide image classification and retrieval. Med Image Anal. 2025;101:103468.
Schmitz R, Madesta F, Nielsen M, et al. Multi-scale fully convolutional neural networks for histopathology image segmentation: from nuclear aberrations to the global tissue architecture. Med Image Anal. 2021;70:101996.
Masci J, Meier U, Ciresan D, et al. Stacked convolutional auto-encoders for hierarchical feature extraction. In: International Conference on Artificial Neural Networks. Berlin: Springer; 2011:52-59.
Ng A. Sparse autoencoder. CS294A Lecture Notes. 2011;72:1-19.
He K, Chen X, Xie S, et al. Masked autoencoders are scalable vision learners. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022:16000-16009.
Lim H, Choi J, Choo J, et al. Sparse autoencoders reveal selective remapping of visual concepts during adaptation. In: Proceedings of the 13th International Conference on Learning Representations (ICLR). 2025.
Gong D, Liu L, Le V, et al. Memorizing normality to detect anomaly: memory-augmented deep autoencoder for unsupervised anomaly detection. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019:1705-1714.
Wang G, Han S, Ding E, et al. Student-teacher feature pyramid matching for anomaly detection. In: Proceedings of the 32nd British Machine Vision Conference (BMVC). 2021.
Zavrtanik V, Kristan M, Skocaj D. DRAEM: a discriminatively trained reconstruction embedding for surface anomaly detection. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021:8330-8339.
Niazi MKK, Parwani AV, Gurcan MN. Digital pathology and artificial intelligence. Lancet Oncol. 2019;20(5):e253-e261.
Raab SS, Grzybicki DM, Janosky JE, et al. Clinical impact and frequency of anatomic pathology errors in cancer diagnoses. Cancer. 2005;104(10):2205-2213.
Schömig-Markiefka B, Pryalukhin A, Hulla W, et al. Quality control stress test for deep learning-based diagnostic model in digital pathology. Mod Pathol. 2021;34(12):2098-2108.
Steiner DF, MacDonald R, Liu Y, et al. Impact of deep learning assistance on the histopathologic review of lymph nodes for metastatic breast cancer. Am J Surg Pathol. 2018;42(12):1636-1646.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Przeglądaj więcej artykułów

Uczenie nienadzorowane aktywacja książki kodowej kwantyzacja wektorowa wieloskalowa książka kodowa wykrywanie nowotworów analiza semantyczna