RareCode : Un cadre d'apprentissage profond non supervisé pour la détection d'anomalies dans les images histopathologiques du cancer colorectal

Résumé

Cette étude présente RareCode, un cadre d'apprentissage profond non supervisé qui détecte des anomalies dans les images histopathologiques du cancer colorectal en analysant la rareté d'activation du carnet de codes (CAR), avec un potentiel d'assistance au préscreening sans données d'entraînement annotées.

Résumé

La détection non supervisée d'anomalies dans les images histopathologiques a été largement explorée à l'aide d'approches fondées sur la reconstruction qui mesurent les erreurs de reconstruction, mais ces méthodes échouent souvent à capturer les variations pathologiques subtiles au niveau sémantique en raison de l'hétérogénéité intrinsèque des textures tissulaires. Pour pallier cette limitation, cette étude présente RareCode, un cadre basé sur la quantification vectorielle qui étend le paradigme de détection au-delà de la reconstruction au niveau des pixels, en intégrant une analyse des activations au niveau sémantique du carnet de codes. L'innovation principale réside dans le score de rareté d'activation du carnet de codes (CAR), qui caractérise la fréquence d'activation de chaque entrée du carnet de codes durant l'apprentissage sur des échantillons exclusivement normaux, et signale les activations rares comme des indicateurs d'anomalie au moment de l'inférence, complétant ainsi les erreurs de reconstruction par une discrimination au niveau sémantique. S'appuyant sur ce mécanisme CAR monocouche, un module de carnet de codes hiérarchique multi-échelle (MHC) est ensuite introduit, utilisant des carnets de codes de tailles variées et des poids d'agrégation apprenables afin de capturer des motifs pathologiques allant des structures tissulaires globales aux détails cellulaires fins. Grâce à cette conception multi-échelle, des cartes de chaleur d'anomalie hiérarchiques sont générées à chaque niveau de granularité du carnet de codes, fournissant aux pathologistes des indices visuels interprétables et multidimensionnels indiquant à la fois l'emplacement et le niveau structural des anomalies. Une validation croisée en cinq plis sur un jeu de données d'images histopathologiques annotées cliniquement, provenant de l'hôpital populaire de Shenzhen, démontre que RareCode atteint une aire sous la courbe (AUC) de 96,82 %, surpassant les méthodes de référence. Une analyse par classe a révélé des performances supérieures pour la détection du cancer (AUC = 99,44 %, spécificité = 94,21 %) par rapport à la détection de l'inflammation (AUC = 94,30 %, spécificité = 60,44 %). Ces résultats suggèrent que l'analyse CAR pourrait offrir une approche non supervisée prometteuse pour la détection d'anomalies histopathologiques, pouvant potentiellement aider au préscreening clinique du diagnostic du cancer colorectal.

Introduction

Le dépistage histopathologique fiable du cancer colorectal reste limité par l'annotation réalisée par des experts et par l'examen manuel, particulièrement lorsque les lésions inflammatoires et les tumeurs malignes présentent une morphologie chevauchante^1,2. Ces limitations justifient le recours à des approches computationnelles non supervisées capables d'apprendre à partir de tissus normaux sans nécessiter d'annotations exhaustives des anomalies^3,4.

L'urgence clinique du dépistage histopathologique automatisé est soulignée par le déséquilibre croissant entre la demande diagnostique et l'expertise pathologique disponible, la charge de travail diagnostique par pathologiste aux États-Unis ayant augmenté de plus de 40 % en une seule décennie alors que l'effectif de pathologistes continue de diminuer⁵. Dans le cancer colorectal (CCR), des programmes de dépistage organisés ont été associés à une réduction de la mortalité de 29 à 68 %⁶, mais la capacité d'analyse pathologique manuelle reste limitée par la disponibilité des effectifs. Un système de présélection automatisé capable d'identifier de manière fiable les cas suspects nécessitant un examen prioritaire pourrait aider à alléger cette charge et à améliorer les délais de diagnostic. Toutefois, le déploiement de tels systèmes exige à la fois une sensibilité élevée pour éviter de manquer les vrais positifs et une spécificité adéquate pour prévenir un nombre excessif de faux positifs⁷.

La détection non supervisée d'anomalies (UAD) devient de plus en plus pertinente dans l'analyse d'images médicales⁸, car elle permet de modéliser les distributions des tissus normaux sans nécessiter d'étiquettes d'apprentissage pour les anomalies^3,9,10. Les modèles fondés sur la reconstruction, notamment les autoencodeurs, les autoencodeurs variationnels, les réseaux antagonistes génératifs et leurs variantes augmentées par mémoire, identifient les anomalies à partir des erreurs de reconstruction, mais les decodeurs à haute capacité peuvent néanmoins reconstruire les régions anormales avec une grande fidélité^{11,12,13,14,15,16,17}. Les méthodes basées sur les caractéristiques, telles que PatchCore et PaDiM, utilisent des représentations pré-entraînées, bien que les caractéristiques apprises à partir d'images naturelles ne capturent pas toujours complètement les atypies microscopiques en histopathologie^18,19,20,21. Les modèles fondamentaux spécifiques à la pathologie et les détecteurs d'anomalies basés sur la diffusion offrent des alternatives puissantes, mais leurs besoins en données ou leurs coûts computationnels peuvent limiter leur utilisation directe dans le dépistage à haut débit^22,23. Des méthodes récentes automatisées et évolutionnaires, telles que EvoAAE²⁴ et MoARNN-AM²⁵, illustrent davantage l'intérêt de l'optimisation adaptative des modèles pour la détection d'anomalies, bien que leurs contextes d'application diffèrent de l'analyse d'images histopathologiques. En revanche, les méthodes basées sur la quantification vectorielle (VQ) imposent des contraintes de dictionnaire discret qui peuvent réduire la correspondance identitaire ; toutefois, les approches VQ existantes s'appuient encore principalement sur les erreurs de reconstruction spatiale et exploitent insuffisamment l'information sémantique contenue dans les motifs d'activation du dictionnaire^26,27.

Bien que les méthodes susmentionnées démontrent des performances prometteuses dans des domaines généraux, leur application à des scénarios histopathologiques complexes fait face à des défis spécifiques. Les images histopathologiques se caractérisent par une hétérogénéité tissulaire complexe à travers plusieurs niveaux structurels²⁸. En pratique, l'analyse d'image opère généralement sur des fragments d'image locaux extraits de sections tissulaires, et le diagnostic pathologique est intrinsèquement multi-échelle : les pathologistes évaluent la morphologie des glandes et des tissus à faible grossissement, tout en examinant le polymorphisme nucléaire et les figures mitotiques à fort grossissement²⁹. Nous identifions trois limitations majeures des approches actuelles : premièrement, les anomalies pathologiques et les tissus normaux présentent une grande similarité dans les caractéristiques visuelles de bas niveau, telles que les styles de coloration et les textures locales, ce qui conduit les méthodes fondées sur la reconstruction à échouer dans la détection d'anomalies subtiles, car des échantillons normaux et anormaux peuvent produire une qualité de reconstruction similaire au niveau sémantique. Deuxièmement, la plupart des méthodes existantes utilisent une extraction de caractéristiques à une seule échelle, ce qui rend difficile la capture simultanée des caractéristiques anormales aux niveaux tissulaire et cellulaire^30,31. Troisièmement, bien que les méthodes dominantes puissent générer des cartes de chaleur au niveau des pixels, elles échouent souvent à représenter intuitivement les attributs hiérarchiques des anomalies, limitant ainsi l'utilité de ces modèles comme aides diagnostiques cliniques.

Pour répondre aux défis susmentionnés, nous proposons RareCode, un cadre d'apprentissage non supervisé pour la détection d'anomalies (UAD) qui explore les motifs d'activation des codebooks et la représentation hiérarchique des caractéristiques à plusieurs niveaux d'abstraction. Ce cadre introduit trois composants principaux : (1) le mécanisme de notation basé sur la rareté d'activation du codebook (CAR), qui calcule des scores de rareté à partir des fréquences d'activation des entrées entraînées exclusivement sur des échantillons normaux, permettant ainsi de distinguer les échantillons normaux des échantillons anormaux au niveau sémantique et fournissant des signaux discriminants complémentaires aux erreurs traditionnelles de reconstruction spatiale. (2) L'architecture de fusion de codebooks hiérarchiques multi-échelles (MHC), qui capture les caractéristiques pathologiques à plusieurs niveaux de granularité — depuis les motifs structurels grossiers jusqu'aux détails cellulaires fins — en utilisant des codebooks de capacités variables, la fusion adaptative étant réalisée grâce à des poids apprenables. (3) Le module de localisation hiérarchique interprétable, qui exploite l'architecture multi-échelle pour générer des cartes de chaleur d'anomalie à différentes granularités, offrant ainsi aux pathologistes des références diagnostiques sémantiquement interprétables et multi-échelles.

L'hypothèse principale de cette étude était que les profils de fréquence d'activation de codebook, dérivés de codebooks entraînés exclusivement sur des images histopathologiques colorectales normales, coderaient des informations sémantiques pertinentes pour la détection d'anomalies allant au-delà de l'erreur de reconstruction au niveau des pixels, et qu'une intégration multi-échelle de ces signaux complémentaires améliorerait la discrimination des images contenant des tissus cancéreux ou inflammatoires par rapport aux images normales, comparé aux méthodes représentatives de détection d'anomalies non supervisées (UAD), évaluée principalement par l'AUC. Pour tester cette hypothèse, nous avons évalué RareCode à l'aide d'une validation croisée en 5 folds sur un jeu de données CRC annoté cliniquement, et réalisé des analyses d'ablation et de localisation afin d'examiner les contributions et l'interprétabilité de ses composants essentiels.

Protocole

This study was approved by the Clinical Research Ethics Committee of Shenzhen People's Hospital (Approval No. LL-KY-2025300-01). The requirement for informed consent was waived by the ethics committee because this retrospective study used existing histopathological images and clinical materials without direct patient contact or intervention. All clinical data and histopathological images were de-identified before analysis, and no personally identifiable information was used in this study. All data used in this research were handled in accordance with the ethical standards of the institutional and national research committees.

Framework overview
The overall architecture of the proposed UAD framework, RareCode, is illustrated in Figure 1. The framework employs a parallel dual-branch architecture. For each 512 x 512 input image, non-overlapping 32 x 32 and 64 x 64 patches are extracted as fine- and coarse-scale inputs, respectively. The 64 x 64 patches are resized to 32 x 32 before being passed to the network so that both branches share the same encoder-decoder input size while preserving different receptive fields. Encoders in each branch map the extracted features into a latent space, where the MHC module imposes discretization constraints. Subsequently, decoders reconstruct the image from quantized features to compute spatial-domain reconstruction errors. The CAR mechanism then measures the degree of semantic-level anomaly by profiling codebook activation frequencies. Finally, the model fuses reconstruction scores and CAR scores through a weighted combination to obtain image-level anomaly scores. The RareCode framework is trained end-to-end using only normal samples, requiring no anomaly annotations. The dual-branch design was used to capture both local cellular features and broader glandular structures. The MHC module was used to model these features with codebooks of different capacities.

Encoder-decoder architecture
RareCode constructs structurally independent encoders and decoders for the fine- and coarse-scale branches. Each branch uses the same encoder-decoder design but does not share parameters. The encoder consists of four convolutional blocks, each including a 3 x 3 convolution, batch normalization, ReLU activation, and dropout. The channel width increases from 64 to 128, then to 256, and the final feature map is flattened and projected into a 64-dimensional latent embedding. The decoder mirrors the encoder with a fully connected projection layer followed by four transposed convolution layers, reconstructing each patch to the original input size of the network. Reconstruction error is calculated as the mean squared error between the input and reconstructed patches. By combining this encoder-decoder structure with discrete codebook constraints, RareCode learns compact representations of normal tissue and measures deviations during inference.

Multi-scale hierarchical codebook
To capture pathological features at multiple levels of abstraction—from broad tissue patterns to localized cellular variations—the MHC module employs K discrete codebooks with varying capacities n₁, n₂, ..., n_K. In the final FourScales configuration, each branch contains four codebooks with 64, 128, 256, and 512 entries, respectively, and each codebook entry has a 64-dimensional embedding. For each encoded patch feature, the nearest codebook entry is selected according to Euclidean distance. The quantized outputs from different codebooks are then fused using learnable weights normalized across codebooks. Smaller codebooks, due to stronger compression constraints, are expected to encode coarse-grained prototypical patterns that abstract away local variations, whereas larger codebooks preserve finer-grained features that capture more specific structural characteristics. For each codebook , where e_k⁽ⁱ⁾  R^d denotes the i-th embedding vector in the k-th codebook, continuous features are mapped to the discrete codebook space via nearest neighbor lookup (Eq. 1 and 2):

To achieve adaptive fusion of multi-scale features, we introduce learnable weights . After softmax normalization, weighted summation is performed over the quantized outputs from each codebook (Eq. 3):

where σ(·) denotes the softmax function, ensuring that weights satisfy Σ_k σ(w_k) = 1. This design enables the model to automatically adjust the contribution ratios of codebooks at different granularities based on the semantic content of the input features.

To optimize codebook learning, we adopt the standard VQ loss function (Eq. 4):

where sg[·] denotes the stop-gradient operation, and β = 0.25 is the commitment loss weight coefficient. The first term encourages codebook vectors to move toward encoder outputs, while the second term encourages encoder outputs to remain consistent with their corresponding codebook vectors. The complete mechanism of multi-scale VQ is illustrated in Figure 2.

Codebook activation rarity scoring
CAR measures semantic-level anomalies based on codebook activation statistics estimated from normal training samples. After model training, all normal training images were passed through the encoder and MHC module without data augmentation. For each branch and each codebook, the assignment index of every patch feature was recorded, and the number of assignments to each codebook entry was counted. The counts were then normalized to obtain the activation-frequency distribution for that codebook (Eq. 5):

During inference, each test image was processed through the same patch extraction, encoding, and nearest-neighbor codebook assignment procedure. For each assigned codebook entry, the rarity score is calculated as the negative logarithm of its activation frequency in the normal training set (Eq. 6):

where ε is a small constant used for numerical stability. A low-frequency codebook entry, therefore, receives a higher rarity score, suggesting that the corresponding patch feature is less consistent with the learned normal-tissue distribution. Patch-level rarity scores were averaged within each image and across the fine- and coarse-scale branches to obtain an image-level rarity response.

To complement activation-frequency rarity, we also compute a percentile-based quantization distance score (Eq. 7):

This score is derived from the Euclidean distance between each encoded feature vector and its nearest codebook entry. The distance distribution is estimated from normal training samples, and test-sample distances are converted into percentile scores. Larger percentile scores indicate that the encoded feature is more difficult to represent using the learned normal codebook prototypes.

The final CAR score combines activation rarity and quantization distance across all codebooks using the learnable codebook weights (Eq. 8):

The same normalized codebook weights used for multi-scale feature fusion are applied to score-level fusion, maintaining consistency between representation learning and anomaly scoring. The resulting CAR score is calculated at the image level and is then combined with the reconstruction score to obtain the final anomaly score. The overall CAR scoring mechanism is illustrated in Figure 3.

Final anomaly score computation
We fuse spatial-domain reconstruction errors with semantic-level CAR scores. Before fusion, both scores are separately normalized using percentile-based min-max normalization to reduce the influence of extreme outliers. The final image-level anomaly score is then defined as (Eq. 9):

where S_recon denotes the normalized mean squared reconstruction error, reflecting sample reconstruction quality in pixel space; S_CAR is the CAR score described above, capturing degrees of semantic-level anomaly. The hyperparameter α [0,1] controls the relative weighting between the two components, with optimal values determined on validation sets.

Training objective
The RareCode framework is trained end-to-end using only normal samples. The total training loss comprises the following components (Eq. 10):

Each term is defined as follows: Reconstruction Loss: , measuring the mean squared error between input patches p and reconstructed patches D(z_q) after quantization. This loss is applied separately to the 32 × 32 patch branch () and 64 × 64 patch branch () to ensure effective learning of features at both spatial scales. 

Dataset description
To evaluate RareCode, experiments were conducted on a clinically annotated CRC histopathological image dataset comprising images of colorectal tissue sections stained with hematoxylin and eosin (H&E), obtained from Shenzhen People's Hospital. All images in this dataset originate from real clinical cases. Images were digitized at 40x magnification with an original resolution of 1024 × 1024 pixels. To ensure annotation reliability and quality, all sample category labels were jointly reviewed and confirmed by two or more senior professional pathologists following a double-blind protocol.

Based on histopathological characteristics, the dataset was categorized into three classes: normal tissue (1,226 images), cancer (1,215 images), and inflammation (1,214 images). In the binary UAD setting, cancer and inflammation samples were treated as anomalous, while normal samples served as the reference distribution. This formulation reflects the intended triage task of separating cases requiring further pathological review from those that are morphologically normal.

All H&E-stained images were resized to 512 × 512 pixels before being used as network input. Stratified 5-fold cross-validation was used for evaluation. In each fold, the normal samples were first divided into training, validation, and held-out test subsets. RareCode was trained only on the training normal samples. The validation subset, which also contained only normal samples, was used for model selection, hyperparameter tuning, and selection of the fusion weight α. The held-out test set, consisting of unseen normal samples and anomalous samples including cancer and inflammation, was used only for final performance evaluation and was not used for model training, hyperparameter selection, or α selection. The representative categories, dataset structure, and validation protocol are shown in Figure 4.

Implementation details
The proposed RareCode framework and comparison baselines were implemented using PyTorch. All experiments were conducted on a workstation equipped with a single NVIDIA GeForce RTX 4060 Ti GPU (16 GB). For network architecture configuration, to capture features at different spatial extents, the dual-branch architecture processes non-overlapping patches at two scales: 32 × 32 pixels (smaller receptive field, capturing local texture patterns) and 64 × 64 pixels (larger receptive field, capturing broader spatial context), respectively. The continuous feature embedding dimension produced by both branch encoders is uniformly set to 64. In the MHC module, we configure four codebooks with different capacities for each branch, with discrete prototype quantities of 64, 128, 256, and 512, respectively.

During optimization, the network was trained end-to-end for 50 epochs with a batch size of 8. We employ the AdamW optimizer for weight updates, with an initial learning rate of 5 × and weight decay of to prevent overfitting. Additionally, to ensure smooth training convergence, a cosine annealing learning rate schedule was used, enabling finer optimization in later training stages. Patch sizes and codebook sizes were selected to balance multi-scale representation and computational cost. The final FourScales configuration was supported by ablation analysis, and α was selected on the validation set before test-set evaluation.

For the decoder-complexity ablation, a complex-decoder variant was implemented based on the FourScales configuration. This variant used the same data split, codebook sizes, training epochs, optimizer, learning rate, validation-based α selection, and evaluation metrics as the FourScales model. The basic decoder was replaced with an EMCAD-style decoder containing multi-scale depthwise convolution blocks and Convolutional Block Attention Modules (CBAM). After each of the first three transposed-convolution upsampling stages, parallel 3 × 3, 5 × 5, and 7 × 7 depthwise convolutions were applied, followed by 1 × 1 pointwise fusion, batch normalization, ReLU activation, a residual connection, and CBAM attention. CBAM included channel attention based on average- and max-pooling descriptors and spatial attention using a 7 × 7 convolution. The final stage used transposed convolution and sigmoid activation to reconstruct 32 × 32 patches.

Résultats

Comparison with baseline methods
To evaluate the RareCode framework, multiple representative UAD methods were selected as baselines, spanning reconstruction-based methods (CAE³², VAE¹², SAE³³, MAE³⁴, PatchSAE³⁵), memory-augmented reconstruction (MemAE³⁶), knowledge distillation (STFPM³⁷), synthetic anomaly generation (DRAEM

Discussion

Les résultats suggèrent que les motifs d'activation des codebooks pourraient fournir des informations complémentaires aux erreurs de reconstruction spatiale. L'amélioration observée entre NoCAR et le modèle complet FourScales soutient la contribution potentielle du score CAR, tandis que les poids de fusion sélectionnés indiquent que la rareté sémantique pourrait jouer un rôle important dans le score d'anomalie final. Une explication possible est que les anomalies liées au CCR peuvent s'étendre sur différentes échelles mo...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
GeForce RTX 4060 Ti GPU	NVIDIA	N/A	16 Go de mémoire vidéo ; une seule GPU utilisée pour toutes les expériences (RRID:SCR_022858)
Matplotlib	Matplotlib Development Team	Version 3.8.4	Visualisation des données et génération de figures (RRID:SCR_008624)
NumPy	NumPy Developers	Version 1.26.4	Calcul numérique et opérations sur les tableaux (RRID:SCR_008633)
pandas	pandas Development Team	Version 2.2.3	Organisation des données et traitement des résultats sous forme tabulaire (RRID:SCR_018214)
Pillow	Python Imaging Library / Pillow Contributors	Version 10.3.0	Chargement et prétraitement des images
Python	Python Software Foundation	Version 3.12.3	Langage de programmation utilisé pour le développement du modèle et l'analyse des données (RRID:SCR_008394)
PyTorch	Meta Platforms, Inc.	Version 2.7.0+cu118	Infrastructure d'apprentissage profond utilisée pour l'implémentation et l'entraînement du modèle (RRID:SCR_018536)
scikit-learn	scikit-learn Developers	Version 1.4.2	Validation croisée, division entre ensembles d'apprentissage et de test, et métriques d'évaluation (RRID:SCR_002577)
SciPy	SciPy Developers	Version 1.13.1	Analyse statistique (RRID:SCR_008058)
torchvision	PyTorch Project	Version 0.22.0+cu118	Prétraitement des images et transformation des données
tqdm	tqdm Developers	Version 4.66.4	Surveillance de la progression de l'entraînement et de l'évaluation