RareCode: Uma Estrutura de Aprendizado Profundo Não Supervisionado para Detecção de Anomalias em Imagens Histopatológicas de Câncer Colorretal

Resumo

Este estudo apresenta o RareCode, um framework de aprendizado profundo não supervisionado que detecta anomalias em imagens histopatológicas de câncer colorretal ao analisar a Raridade na Ativação do Código (CAR), com potencial para auxiliar no pré-rastreamento sem necessidade de dados de treinamento rotulados.

Resumo

A detecção não supervisionada de anomalias em imagens histopatológicas tem sido amplamente explorada por meio de abordagens baseadas em reconstrução que medem erros de reconstrução, mas esses métodos frequentemente falham em capturar variações patológicas sutis em nível semântico devido à heterogeneidade inerente das texturas teciduais. Para superar essa limitação, este estudo apresenta o RareCode, um framework baseado em quantização vetorial que amplia o paradigma de detecção além do reconstrução em nível de pixel, incorporando análise de ativação de código semântico. A inovação central é a pontuação de Raridade na Ativação do Código (CAR), que caracteriza a frequência de ativação de cada entrada do código durante o treinamento exclusivamente com amostras normais e sinaliza ativações infrequentes como indicadores de anomalia no momento da inferência, complementando assim os erros de reconstrução com discriminação em nível semântico. Com base nesse mecanismo CAR em escala única, um módulo de Código Hierárquico Multiescala (MHC) é ainda introduzido, empregando códigos de tamanhos variados com pesos de fusão aprendíveis para capturar padrões patológicos que vão desde estruturas grossas em nível tecidual até detalhes finos em nível celular. Aproveitando o design multiescala, mapas de calor de anomalia hierárquicos são gerados em cada granularidade do código, fornecendo aos patologistas pistas visuais interpretáveis e multidimensionais que indicam tanto a localização quanto o nível estrutural em que as anomalias ocorrem. A validação cruzada com cinco divisões em um conjunto de dados de imagens histopatológicas de câncer colorretal clinicamente anotado, obtido no Hospital de Shenzhen, demonstra que o RareCode alcança uma área sob a curva (AUC) de 96,82%, superando os métodos de referência. A análise por classe mostrou desempenho mais forte na detecção de câncer (AUC = 99,44%, especificidade = 94,21%) do que na detecção de inflamação (AUC = 94,30%, especificidade = 60,44%). Esses resultados sugerem que a análise CAR pode oferecer uma abordagem não supervisionada promissora para detecção de anomalias histopatológicas, potencialmente auxiliando no pré-rastreamento clínico do diagnóstico de câncer colorretal.

Introdução

A triagem histopatológica confiável para câncer colorretal permanece limitada pela anotação de especialistas e revisão manual, especialmente quando lesões inflamatórias e malignidades apresentam morfologia sobreposta^1,2. Essas limitações motivam abordagens computacionais não supervisionadas que aprendem com tecido normal sem exigir anotações exaustivas de anomalias^3,4.

A urgência clínica do rastreamento histopatológico automatizado é acentuada pelo crescente desequilíbrio entre a demanda diagnóstica e a expertise patológica disponível, com a carga de trabalho diagnóstica por patologista nos EUA aumentando mais de 40% em uma única década, enquanto o número de patologistas continuava a diminuir⁵. No câncer colorretal (CRC), programas organizados de rastreamento têm sido associados a reduções na mortalidade de 29-68%⁶, ainda assim a capacidade de revisão patológica manual permanece limitada pela disponibilidade de profissionais. Um sistema automatizado de pré-rastreamento que identifique com confiança casos suspeitos para revisão prioritária poderia ajudar a aliviar esse encargo e melhorar os tempos de resposta diagnóstica. Contudo, a implantação de tais sistemas exige alta sensibilidade para evitar a perda de verdadeiros positivos e especificidade adequada para prevenir alarmes falsos excessivos⁷.

A detecção não supervisionada de anomalias (UAD) tornou-se cada vez mais relevante na análise de imagens médicas⁸, pois pode modelar distribuições de tecidos normais sem necessidade de rótulos de treinamento anormais^3,9,10. Modelos baseados em reconstrução, incluindo autoencoders, autoencoders variacionais, redes generativas adversariais e variantes com memória aumentada, identificam anomalias por meio de erros de reconstrução, mas decodificadores de alta capacidade ainda podem reconstruir regiões anormais com alta fidelidade^{11,12,13,14,15,16,17}. Métodos baseados em características, como PatchCore e PaDiM, utilizam representações pré-treinadas, embora características aprendidas a partir de imagens naturais possam não capturar plenamente atipias microscópicas em histopatologia^18,19,20,21. Modelos fundamentais específicos de patologia e detectores de anomalias baseados em difusão oferecem alternativas poderosas, mas seus requisitos de dados ou custos computacionais podem limitar seu uso direto em triagem de alto rendimento^22,23. Métodos recentes automatizados e evolutivos, como EvoAAE²⁴ e MoARNN-AM²⁵, ilustram ainda mais o valor da otimização adaptativa de modelos para detecção de anomalias, embora seus contextos de aplicação difiram da análise de imagens histopatológicas. Em contraste, métodos baseados em quantização vetorial (VQ) impõem restrições de código de livro discretas que podem reduzir o mapeamento de identidade; no entanto, abordagens baseadas em VQ existentes ainda dependem principalmente de erros de reconstrução espacial e subutilizam a informação semântica contida nos padrões de ativação do código de livro^26,27.

Embora os métodos mencionados demonstrem desempenho promissor em domínios gerais, sua aplicação a cenários histopatológicos complexos enfrenta desafios específicos. As imagens histopatológicas são caracterizadas por heterogeneidade tecidual complexa em múltiplos níveis estruturais²⁸. Na prática, a análise de imagens normalmente opera em fragmentos locais extraídos de cortes de tecido, e o diagnóstico patológico é inerentemente multiescalar: os patologistas avaliam a morfologia glandular e tecidual em baixa ampliação, enquanto examinam pleomorfismo nuclear e figuras mitóticas em alta ampliação²⁹. Identificamos três limitações principais das abordagens atuais: Primeiro, anomalias patológicas e tecidos normais exibem alta similaridade em características visuais de baixo nível, como estilos de coloração e texturas locais, fazendo com que métodos baseados em reconstrução falhem na detecção de anomalias sutis, já que amostras normais e anômalas podem produzir qualidade de reconstrução semelhante no nível semântico. Segundo, a maioria dos métodos existentes utiliza extração de características em uma única escala, o que dificulta a captura simultânea de características anômalas nos níveis tecidual e celular^30,31. Terceiro, embora os métodos convencionais possam gerar mapas de calor em nível de pixel, frequentemente falham em capturar de forma intuitiva os atributos hierárquicos das anomalias, limitando a utilidade desses modelos como auxílios diagnósticos clínicos.

Para enfrentar os desafios acima, propomos o RareCode, um framework UAD que explora padrões de ativação de codebook e representação hierárquica de características em múltiplos níveis de abstração. O framework introduz três componentes principais: (1) Mecanismo de Pontuação de Raridade de Ativação de Codebook (CAR), que calcula pontuações de raridade com base nas frequências de ativação de entradas treinadas exclusivamente em amostras normais, distinguindo amostras normais de anômalas no nível semântico e fornecendo sinais discriminativos complementares aos erros tradicionais de reconstrução espacial. (2) Arquitetura de Fusão de Codebook Hierárquico Multiescalar (MHC), que captura características patológicas em múltiplos níveis de granularidade — desde padrões estruturais grossos até detalhes celulares finos — utilizando codebooks com capacidades variadas, com fusão adaptativa alcançada por meio de pesos aprendíveis. (3) Módulo de Localização Interpretável Hierárquico, que aproveita a arquitetura multiescalar para gerar mapas de calor de anomalias em diferentes níveis de granularidade, fornecendo aos patologistas referências diagnósticas semanticamente interpretáveis em múltiplas escalas.

A hipótese principal deste estudo foi que os perfis de frequência de ativação de código derivados de códigos treinados exclusivamente em imagens histopatológicas normais do cólon e reto codificariam informações semânticas relevantes para anomalias além do erro de reconstrução no nível dos pixels, e que a integração em múltiplas escalas desses sinais complementares melhoraria a discriminação de imagens contendo tecido canceroso ou inflamatório em relação a imagens normais, comparado a métodos representativos de detecção não supervisionada de anomalias (UAD), avaliado principalmente pelo AUC. Para testar essa hipótese, avaliamos o RareCode utilizando validação cruzada de 5 dobras em um conjunto de dados de CCR clinicamente anotado e realizamos análises de ablação e de localização para examinar as contribuições e a interpretabilidade de seus componentes principais.

Protocolo

This study was approved by the Clinical Research Ethics Committee of Shenzhen People's Hospital (Approval No. LL-KY-2025300-01). The requirement for informed consent was waived by the ethics committee because this retrospective study used existing histopathological images and clinical materials without direct patient contact or intervention. All clinical data and histopathological images were de-identified before analysis, and no personally identifiable information was used in this study. All data used in this research were handled in accordance with the ethical standards of the institutional and national research committees.

Framework overview
The overall architecture of the proposed UAD framework, RareCode, is illustrated in Figure 1. The framework employs a parallel dual-branch architecture. For each 512 x 512 input image, non-overlapping 32 x 32 and 64 x 64 patches are extracted as fine- and coarse-scale inputs, respectively. The 64 x 64 patches are resized to 32 x 32 before being passed to the network so that both branches share the same encoder-decoder input size while preserving different receptive fields. Encoders in each branch map the extracted features into a latent space, where the MHC module imposes discretization constraints. Subsequently, decoders reconstruct the image from quantized features to compute spatial-domain reconstruction errors. The CAR mechanism then measures the degree of semantic-level anomaly by profiling codebook activation frequencies. Finally, the model fuses reconstruction scores and CAR scores through a weighted combination to obtain image-level anomaly scores. The RareCode framework is trained end-to-end using only normal samples, requiring no anomaly annotations. The dual-branch design was used to capture both local cellular features and broader glandular structures. The MHC module was used to model these features with codebooks of different capacities.

Encoder-decoder architecture
RareCode constructs structurally independent encoders and decoders for the fine- and coarse-scale branches. Each branch uses the same encoder-decoder design but does not share parameters. The encoder consists of four convolutional blocks, each including a 3 x 3 convolution, batch normalization, ReLU activation, and dropout. The channel width increases from 64 to 128, then to 256, and the final feature map is flattened and projected into a 64-dimensional latent embedding. The decoder mirrors the encoder with a fully connected projection layer followed by four transposed convolution layers, reconstructing each patch to the original input size of the network. Reconstruction error is calculated as the mean squared error between the input and reconstructed patches. By combining this encoder-decoder structure with discrete codebook constraints, RareCode learns compact representations of normal tissue and measures deviations during inference.

Multi-scale hierarchical codebook
To capture pathological features at multiple levels of abstraction—from broad tissue patterns to localized cellular variations—the MHC module employs K discrete codebooks with varying capacities n₁, n₂, ..., n_K. In the final FourScales configuration, each branch contains four codebooks with 64, 128, 256, and 512 entries, respectively, and each codebook entry has a 64-dimensional embedding. For each encoded patch feature, the nearest codebook entry is selected according to Euclidean distance. The quantized outputs from different codebooks are then fused using learnable weights normalized across codebooks. Smaller codebooks, due to stronger compression constraints, are expected to encode coarse-grained prototypical patterns that abstract away local variations, whereas larger codebooks preserve finer-grained features that capture more specific structural characteristics. For each codebook , where e_k⁽ⁱ⁾  R^d denotes the i-th embedding vector in the k-th codebook, continuous features are mapped to the discrete codebook space via nearest neighbor lookup (Eq. 1 and 2):

To achieve adaptive fusion of multi-scale features, we introduce learnable weights . After softmax normalization, weighted summation is performed over the quantized outputs from each codebook (Eq. 3):

where σ(·) denotes the softmax function, ensuring that weights satisfy Σ_k σ(w_k) = 1. This design enables the model to automatically adjust the contribution ratios of codebooks at different granularities based on the semantic content of the input features.

To optimize codebook learning, we adopt the standard VQ loss function (Eq. 4):

where sg[·] denotes the stop-gradient operation, and β = 0.25 is the commitment loss weight coefficient. The first term encourages codebook vectors to move toward encoder outputs, while the second term encourages encoder outputs to remain consistent with their corresponding codebook vectors. The complete mechanism of multi-scale VQ is illustrated in Figure 2.

Codebook activation rarity scoring
CAR measures semantic-level anomalies based on codebook activation statistics estimated from normal training samples. After model training, all normal training images were passed through the encoder and MHC module without data augmentation. For each branch and each codebook, the assignment index of every patch feature was recorded, and the number of assignments to each codebook entry was counted. The counts were then normalized to obtain the activation-frequency distribution for that codebook (Eq. 5):

During inference, each test image was processed through the same patch extraction, encoding, and nearest-neighbor codebook assignment procedure. For each assigned codebook entry, the rarity score is calculated as the negative logarithm of its activation frequency in the normal training set (Eq. 6):

where ε is a small constant used for numerical stability. A low-frequency codebook entry, therefore, receives a higher rarity score, suggesting that the corresponding patch feature is less consistent with the learned normal-tissue distribution. Patch-level rarity scores were averaged within each image and across the fine- and coarse-scale branches to obtain an image-level rarity response.

To complement activation-frequency rarity, we also compute a percentile-based quantization distance score (Eq. 7):

This score is derived from the Euclidean distance between each encoded feature vector and its nearest codebook entry. The distance distribution is estimated from normal training samples, and test-sample distances are converted into percentile scores. Larger percentile scores indicate that the encoded feature is more difficult to represent using the learned normal codebook prototypes.

The final CAR score combines activation rarity and quantization distance across all codebooks using the learnable codebook weights (Eq. 8):

The same normalized codebook weights used for multi-scale feature fusion are applied to score-level fusion, maintaining consistency between representation learning and anomaly scoring. The resulting CAR score is calculated at the image level and is then combined with the reconstruction score to obtain the final anomaly score. The overall CAR scoring mechanism is illustrated in Figure 3.

Final anomaly score computation
We fuse spatial-domain reconstruction errors with semantic-level CAR scores. Before fusion, both scores are separately normalized using percentile-based min-max normalization to reduce the influence of extreme outliers. The final image-level anomaly score is then defined as (Eq. 9):

where S_recon denotes the normalized mean squared reconstruction error, reflecting sample reconstruction quality in pixel space; S_CAR is the CAR score described above, capturing degrees of semantic-level anomaly. The hyperparameter α [0,1] controls the relative weighting between the two components, with optimal values determined on validation sets.

Training objective
The RareCode framework is trained end-to-end using only normal samples. The total training loss comprises the following components (Eq. 10):

Each term is defined as follows: Reconstruction Loss: , measuring the mean squared error between input patches p and reconstructed patches D(z_q) after quantization. This loss is applied separately to the 32 × 32 patch branch () and 64 × 64 patch branch () to ensure effective learning of features at both spatial scales. 

Dataset description
To evaluate RareCode, experiments were conducted on a clinically annotated CRC histopathological image dataset comprising images of colorectal tissue sections stained with hematoxylin and eosin (H&E), obtained from Shenzhen People's Hospital. All images in this dataset originate from real clinical cases. Images were digitized at 40x magnification with an original resolution of 1024 × 1024 pixels. To ensure annotation reliability and quality, all sample category labels were jointly reviewed and confirmed by two or more senior professional pathologists following a double-blind protocol.

Based on histopathological characteristics, the dataset was categorized into three classes: normal tissue (1,226 images), cancer (1,215 images), and inflammation (1,214 images). In the binary UAD setting, cancer and inflammation samples were treated as anomalous, while normal samples served as the reference distribution. This formulation reflects the intended triage task of separating cases requiring further pathological review from those that are morphologically normal.

All H&E-stained images were resized to 512 × 512 pixels before being used as network input. Stratified 5-fold cross-validation was used for evaluation. In each fold, the normal samples were first divided into training, validation, and held-out test subsets. RareCode was trained only on the training normal samples. The validation subset, which also contained only normal samples, was used for model selection, hyperparameter tuning, and selection of the fusion weight α. The held-out test set, consisting of unseen normal samples and anomalous samples including cancer and inflammation, was used only for final performance evaluation and was not used for model training, hyperparameter selection, or α selection. The representative categories, dataset structure, and validation protocol are shown in Figure 4.

Implementation details
The proposed RareCode framework and comparison baselines were implemented using PyTorch. All experiments were conducted on a workstation equipped with a single NVIDIA GeForce RTX 4060 Ti GPU (16 GB). For network architecture configuration, to capture features at different spatial extents, the dual-branch architecture processes non-overlapping patches at two scales: 32 × 32 pixels (smaller receptive field, capturing local texture patterns) and 64 × 64 pixels (larger receptive field, capturing broader spatial context), respectively. The continuous feature embedding dimension produced by both branch encoders is uniformly set to 64. In the MHC module, we configure four codebooks with different capacities for each branch, with discrete prototype quantities of 64, 128, 256, and 512, respectively.

During optimization, the network was trained end-to-end for 50 epochs with a batch size of 8. We employ the AdamW optimizer for weight updates, with an initial learning rate of 5 × and weight decay of to prevent overfitting. Additionally, to ensure smooth training convergence, a cosine annealing learning rate schedule was used, enabling finer optimization in later training stages. Patch sizes and codebook sizes were selected to balance multi-scale representation and computational cost. The final FourScales configuration was supported by ablation analysis, and α was selected on the validation set before test-set evaluation.

For the decoder-complexity ablation, a complex-decoder variant was implemented based on the FourScales configuration. This variant used the same data split, codebook sizes, training epochs, optimizer, learning rate, validation-based α selection, and evaluation metrics as the FourScales model. The basic decoder was replaced with an EMCAD-style decoder containing multi-scale depthwise convolution blocks and Convolutional Block Attention Modules (CBAM). After each of the first three transposed-convolution upsampling stages, parallel 3 × 3, 5 × 5, and 7 × 7 depthwise convolutions were applied, followed by 1 × 1 pointwise fusion, batch normalization, ReLU activation, a residual connection, and CBAM attention. CBAM included channel attention based on average- and max-pooling descriptors and spatial attention using a 7 × 7 convolution. The final stage used transposed convolution and sigmoid activation to reconstruct 32 × 32 patches.

Resultados

Comparison with baseline methods
To evaluate the RareCode framework, multiple representative UAD methods were selected as baselines, spanning reconstruction-based methods (CAE³², VAE¹², SAE³³, MAE³⁴, PatchSAE³⁵), memory-augmented reconstruction (MemAE³⁶), knowledge distillation (STFPM³⁷), synthetic anomaly generation (DRAEM

Discussão

Os resultados sugerem que os padrões de ativação do codebook podem fornecer informações complementares aos erros de reconstrução espacial. A melhoria do NoCAR até o modelo completo FourScales apoia a contribuição potencial da pontuação CAR, enquanto os pesos de fusão selecionados indicam que a raridade semântica pode desempenhar um papel importante na pontuação final de anomalia. Uma explicação possível é que as anormalidades relacionadas ao CCR podem abranger diferentes escalas morfológicas, desde atipia nuclear até a d...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
GPU GeForce RTX 4060 Ti	NVIDIA	N/A	16 GB de VRAM; GPU único utilizado em todos os experimentos (RRID:SCR_022858)
Matplotlib	Equipe de Desenvolvimento do Matplotlib	Versão 3.8.4	Visualização de dados e geração de figuras (RRID:SCR_008624)
NumPy	Desenvolvedores do NumPy	Versão 1.26.4	Computação numérica e operações com arrays (RRID:SCR_008633)
pandas	Equipe de Desenvolvimento do pandas	Versão 2.2.3	Organização de dados e processamento de resultados tabulares (RRID:SCR_018214)
Pillow	Equipe de Colaboradores da Biblioteca Python de Imagem / Pillow	Versão 10.3.0	Carregamento e pré-processamento de imagens
Python	Python Software Foundation	Versão 3.12.3	Linguagem de programação utilizada para desenvolvimento de modelos e análise de dados (RRID:SCR_008394)
PyTorch	Meta Platforms, Inc.	Versão 2.7.0+cu118	Framework de aprendizado profundo utilizado para implementação e treinamento do modelo (RRID:SCR_018536)
scikit-learn	Desenvolvedores do scikit-learn	Versão 1.4.2	Validação cruzada, divisão treino-teste e métricas de avaliação (RRID:SCR_002577)
SciPy	Desenvolvedores do SciPy	Versão 1.13.1	Análise estatística (RRID:SCR_008058)
torchvision	Projeto PyTorch	Versão 0.22.0+cu118	Pré-processamento de imagens e transformação de dados
tqdm	Desenvolvedores do tqdm	Versão 4.66.4	Monitoramento do progresso durante treinamento e avaliação