本研究提出了RareCode,一种无监督深度学习框架,通过分析码本激活稀有性(CAR)来检测结直肠癌组织病理学图像中的异常,有望在无需标注训练数据的情况下辅助预筛。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本研究提出了RareCode,一种无监督深度学习框架,通过分析码本激活稀有性(CAR)来检测结直肠癌组织病理学图像中的异常,有望在无需标注训练数据的情况下辅助预筛。
基于重建的方法通过测量重建误差,在组织病理学图像的无监督异常检测中已得到广泛研究,但由于组织纹理固有的异质性,这些方法往往难以捕捉细微的语义层面病理变化。为克服这一局限,本研究提出 RareCode,一种基于向量量化的框架,将检测范式从像素级重建扩展至语义级码本激活分析。其核心创新在于码本激活稀有性(Codebook Activation Rarity, CAR)评分:在仅使用正常样本进行训练时,统计每个码本条目的激活频率,并在推理阶段将低频激活标记为异常指示,从而在重建误差之外引入语义层面的判别能力。在此单尺度 CAR 机制基础上,进一步引入多尺度分层码本(Multi-scale Hierarchical Codebook, MHC)模块,采用不同尺寸的码本并结合可学习的融合权重,以捕捉从粗粒度组织级结构到细粒度细胞级细节的跨尺度病理模式。依托该多尺度设计,系统在每个码本粒度上生成分层异常热图,为病理医生提供可解释的、多维度的视觉定位线索,明确指示异常发生的位置及其所在的结构层级。在深圳人民医院获取的临床标注结直肠癌组织病理图像数据集上进行的五折交叉验证表明,RareCode 的曲线下面积(AUC)达到 96.82%,优于基线方法。按类别分析显示,癌症检测性能更优(AUC = 99.44%,特异性 = 94.21%),优于炎症检测(AUC = 94.30%,特异性 = 60.44%)。这些结果表明,CAR 分析可能为组织病理学异常检测提供一种有前景的无监督方法,有望辅助结直肠癌诊断中的临床预筛。
结直肠癌的可靠组织病理学筛查仍受限于专家标注和人工复核,尤其是在炎性病变与恶性肿瘤形态重叠的情况下1,2。这些限制促使人们发展无需大量异常标注、能够从正常组织中自主学习的无监督计算方法3,4。
自动组织病理学筛查的临床紧迫性日益凸显,这源于诊断需求与现有病理学专业人员之间的差距不断加大;在过去十年中,每位美国病理学家的诊断工作量增加了超过40%,而病理学家队伍却持续萎缩5。在结直肠癌(CRC)领域,有组织的筛查项目已与29-68%的死亡率下降相关6,但人工病理学复核的能力仍受限于专业人员的可及性。一种能够可靠识别可疑病例以供优先复核的自动化预筛查系统,有望减轻这一负担并改善诊断周转时间。然而,此类系统的部署既需要高灵敏度以避免漏诊真阳性病例,也需要足够的特异性以防止产生过多的假阳性警报7。
无监督异常检测(UAD)在医学图像分析中日益重要8,因为它能够在无需异常训练标签的情况下对正常组织分布进行建模3,9,10。基于重建的模型,包括自编码器、变分自编码器、生成对抗网络以及记忆增强型变体,通过重建误差来识别异常,但高容量的解码器仍可能以高保真度重建异常区域11,12,13,14,15,16,17。基于特征的方法(如 PatchCore 和 PaDiM)使用预训练表示,但从自然图像中学习到的特征可能无法充分捕捉组织病理学中的微观非典型性18,19,20,21。病理学特异性基础模型和基于扩散的异常检测器提供了强大的替代方案,但其数据需求或计算成本可能限制其在高通量筛查中的直接应用22,23。近期的自动化与进化方法,如 EvoAAE24 和 MoARNN-AM25,进一步体现了自适应模型优化在异常检测中的价值,尽管其应用背景不同于组织病理图像分析。相比之下,基于向量量化(VQ)的方法施加了离散码本约束,可减少恒等映射;然而,现有的基于 VQ 的方法仍主要依赖空间重建误差,未能充分利用码本激活模式中蕴含的语义信息26,27。
尽管上述方法在通用领域中表现出良好的性能,但将其应用于复杂的组织病理学场景时仍面临特定挑战。组织病理学图像在多个结构层面上表现出复杂的组织异质性28。在实际应用中,图像分析通常基于从组织切片中提取的局部图像区域进行,而病理诊断本质上具有跨尺度特性:病理医师在低倍镜下评估腺体和组织形态,同时在高倍镜下观察核多形性和有丝分裂象29。我们总结了当前方法的三个关键局限性:第一,病理异常区域与正常组织在染色模式和局部纹理等低级视觉特征上具有高度相似性,导致基于重建的方法难以检测细微异常,因为正常样本与异常样本在语义层面可能产生相似的重建质量;第二,大多数现有方法采用单尺度特征提取,难以同时捕捉组织层面和细胞层面的异常特征30,31;第三,尽管主流方法能够生成像素级热图,但往往无法直观反映异常的层次结构属性,限制了此类模型作为临床诊断辅助工具的实用性。
为应对上述挑战,我们提出 RareCode 框架,一种无监督异常检测(UAD)方法,通过探索码本激活模式及多层次抽象级别的分层特征表示来实现异常识别。该框架包含三个主要组成部分:(1)码本激活稀有性(CAR)评分机制,该机制基于仅在正常样本上训练得到的码本条目激活频率计算稀有性得分,能够在语义层面区分正常与异常样本,并为传统的空间重建误差提供互补的判别信号。(2)多尺度分层码本(MHC)融合架构,通过采用具有不同容量的码本,捕捉从粗粒度结构模式到细粒度细胞细节等多粒度级别的病理特征,并通过可学习权重实现自适应融合。(3)分层可解释定位模块,利用多尺度架构生成不同粒度级别的异常热图,为病理医师提供多尺度、语义上可解释的诊断参考。
本研究的主要假设是:仅基于正常结直肠组织病理学图像训练所得的码本,其激活频率谱能够编码超出像素级重建误差的异常相关语义信息,并且通过多尺度整合这些互补信号,相较于代表性无监督异常检测(UAD)方法,可更有效地区分包含癌变或炎性组织的图像与正常图像,主要通过AUC指标进行评估。为验证该假设,我们在一个临床标注的结直肠癌(CRC)数据集上采用5折交叉验证评估了RareCode方法,并进行了消融实验与定位分析,以探究其核心组件的贡献及其可解释性。
访问受限。请登录或开始试用以查看此内容。
本研究经深圳市人民医院临床研究伦理委员会批准。'医院(批准号:LL-KY-2025300-01)。由于此项回顾性研究使用的是既有的组织病理学图像和临床材料,未与患者直接接触或进行干预,伦理委员会豁免了知情同意要求。所有临床数据和组织病理学图像在分析前均已进行去标识化处理,本研究未使用任何个人身份信息。本研究中使用的所有数据均按照机构和国家研究委员会的伦理标准进行处理。
框架概述
所提出的异常检测框架 RareCode 的整体架构如图所示 图 1该框架采用并行双分支架构。对于每幅512 x 512输入图像,分别提取非重叠的32 x 32和64 x 64图像块作为细尺度和粗尺度输入。64 x 64图像块在送入网络前被调整为32 x 32,从而使两个分支共享相同的编码器-解码器输入尺寸,同时保留不同的感受野。每个分支中的编码器将提取的特征映射到潜在空间,在此MHC模块施加离散化约束。随后,解码器从量化后的特征重建图像,以计算空间域重建误差。接着,CAR机制通过分析码书激活频率来度量语义级异常程度。最后,模型通过加权融合重建分数与CAR分数,得到图像级异常分数。RareCode框架仅使用正常样本进行端到端训练,无需异常标注。双分支设计旨在同时捕获局部细胞特征和更广泛的腺体结构。MHC模块则用于通过不同容量的码书对这些特征进行建模。
编码器-解码器架构
RareCode 为精细尺度分支与粗尺度分支构建了结构独立的编码器和解码器。每个分支采用相同的编码器-解码器设计,但不共享参数。编码器由四个卷积块组成,每个块包含一个 3 x 3 卷积、批量归一化、ReLU 激活函数和丢弃层。通道宽度从 64 增至 128,再增至 256,最终的特征图被展平并投影至一个 64 维的潜在嵌入空间。解码器与编码器结构对称,包含一个全连接投影层和四个转置卷积层,将每个图像块重建至网络的原始输入尺寸。重建误差通过计算输入图像块与重建图像块之间的均方误差得出。通过将此编码器-解码器结构与离散码本约束相结合,RareCode 学习正常组织的紧凑表示,并在推理过程中度量其偏离程度。
多尺度分层码本
为在多个抽象层次上捕捉病理学特征—从广泛的组织模式到局部的细胞变异—MHC模块采用K个离散码本
具有不同容量 n1, n2, ..., nK在最终的四尺度配置中,每个分支分别包含四个码本,其条目数依次为64、128、256和512,每个码本条目具有一个64维嵌入。对于每个编码后的图像块特征,根据欧氏距离选择最近的码本条目。随后,使用跨码本归一化的可学习权重对不同码本的量化输出进行融合。由于压缩约束更强,较小的码本预期编码粗粒度的原型模式,这些模式抽象掉了局部变化;而较大的码本则保留更细粒度的特征,以捕捉更具体的结构特性。对于每个码本
,其中 ek(i)
Rd 表示第k个码本中的第i个嵌入向量,连续特征通过最近邻查找映射至离散码本空间(公式1和2):


为实现多尺度特征的自适应融合,我们引入了可学习的权重。经 softmax 归一化后,对各码本的量化输出进行加权求和(公式 3):

其中 σ(·) 表示 softmax 函数,确保权重满足 Σk σ(wk) = 1。该设计使模型能够根据输入特征的语义内容,自动调整不同粒度码本的贡献比例。
为优化码本学习,我们采用标准向量量化损失函数(公式4):

其中 sg·] 表示停止梯度操作, β = 0.25 为承诺损失权重系数。第一项鼓励码本向量向编码器输出移动,而第二项则鼓励编码器输出与其对应的码本向量保持一致。多尺度 VQ 的完整机制如下图所示: 图 2.
代码本激活稀有性评分
CAR通过基于正常训练样本估计的码本激活统计量来检测语义层面的异常。模型训练完成后,所有正常训练图像在不进行数据增强的情况下通过编码器和MHC模块进行处理。对于每个分支和每个码本,记录每个图像块特征的分配索引,并统计每个码本条目被分配的次数。随后对这些计数进行归一化处理,以获得该码本的激活频率分布(公式5):

在推理阶段,每张测试图像均经过相同的图块提取、编码及最近邻码本分配流程处理。对于每个被分配的码本条目,其稀有性评分通过计算其在正常训练集中激活频率的负对数得出(公式6):

何处 ε ε是一个用于维持数值稳定性的小常数。因此,低频码本条目会获得较高的稀有性评分,这表明对应的图像块特征与学习到的正常组织分布一致性较低。将每个图像内部以及细尺度与粗尺度分支间的图像块级稀有性评分进行平均,即可得到图像级的稀有性响应。
为补充激活频率的稀有性,我们还计算了基于百分位数的量化距离分数(公式7):

该分数源自每个编码特征向量与其最近码本条目之间的欧几里得距离。距离分布通过正常训练样本进行估算,测试样本距离则转换为百分位数分数。百分位数分数越大,表明该编码特征越难以使用已习得的正常码本原型进行表征。
最终的CAR分数通过可学习的码本权重,结合了所有码本中的激活稀有性与量化距离(公式8):

用于多尺度特征融合的同一归一化码本权重被应用于分数级融合,以保持表征学习与异常评分之间的一致性。由此得到的CAR分数在图像级别计算,随后与重建分数结合,以获取最终的异常分数。整体的CAR评分机制如图所示 图 3.
最终异常值计算
我们将空间域重建误差与语义级CAR分数相融合。在融合前,两种分数均采用基于百分位数的最大-最小归一化法分别进行归一化处理,以降低极端异常值的影响。最终图像级异常分数定义为(公式9):

何处 S重构 表示归一化均方重建误差,反映了像素空间中的样本重建质量; SCAR 是上文所述的CAR分数,用于捕捉语义层面异常的程度。超参数 α
[0,1] 控制着两个组成部分之间的相对权重,其最优值在验证集上确定。
培训目标
RareCode框架仅使用正常样本进行端到端训练。其总训练损失由以下部分组成(公式10):

每个术语的定义如下:重建损失:
,测量输入图像块之间的均方误差 p 以及重建的斑块 D(zq) 量化后。该损失函数分别应用于32 × 32 补丁分支
) 和 64 × 64 个斑片分支
) 以确保在两个空间尺度上有效学习特征。
数据集描述
为评估RareCode,我们在一个经临床标注的结直肠癌组织病理学图像数据集上进行了实验。该数据集包含经苏木精-伊红(H&E)染色的结直肠组织切片图像。&E),购自深圳市人民医院's医院。本数据集中的所有图像均源自真实临床病例。图像以40倍放大倍率数字化采集,原始分辨率为1024。 × 1024像素。为确保标注的可靠性与质量,所有样本类别标签均遵循双盲原则,由两位或以上资深专业病理学家共同审核并确认。
根据组织病理学特征,该数据集被分为三类:正常组织(1,226张图像)、癌症(1,215张图像)和炎症(1,214张图像)。在二元异常检测设置中,癌症和炎症样本被视为异常,而正常样本则作为参考分布。这种设定反映了预期的分诊任务,即将需要进一步病理学检查的病例与形态学正常的病例区分开来。
所有 H&E 染色图像被调整为 512 × 512 像素,然后用作网络输入。采用分层 5 折交叉验证进行评估。在每一折中,首先将正常样本划分为训练集、验证集和保留测试集。RareCode 仅使用训练集中的正常样本进行训练。同样仅包含正常样本的验证集用于模型选择、超参数调优以及融合权重的选择。 α. 仅用于最终性能评估的留出测试集包含未见过的正常样本以及癌症和炎症等异常样本,该测试集未用于模型训练、超参数选择或 α 筛选。代表性类别、数据集结构及验证方案如下所示 图 4.
实施细节
所提出的 RareCode 框架及对比基线均使用 PyTorch 实现。所有实验均在一台配备单块 NVIDIA GeForce RTX 4060 Ti GPU(16 GB)的工作站上进行。在网络架构配置方面,为捕捉不同空间范围的特征,双分支架构以两种尺度处理非重叠图像块:32 × 32 像素(较小的感受野,捕获局部纹理模式)和 64 × 64像素(感受野更大,能捕捉更广泛的空间上下文信息)。两个分支编码器产生的连续特征嵌入维度统一设置为64。在MHC模块中,我们为每个分支配置了四个不同容量的码本,其离散原型数量分别为64、128、256和512。
在优化过程中,该网络以批次大小为8进行了50轮端到端训练。我们采用AdamW优化器进行权重更新,初始学习率设为5。 × 并采用权重衰减以防止过拟合。此外,为确保训练收敛平稳,使用了余弦退火学习率调度策略,从而在训练后期实现更精细的优化。选择补丁尺寸和码本尺寸以平衡多尺度表征与计算成本。最终的 FourScales 配置得到了消融分析的支持,并且 α 该模型在测试集评估前已在验证集上完成筛选。
在解码器复杂度消融实验中,基于 FourScales 配置实现了一个复杂解码器变体。该变体使用了相同的数据划分、码本大小、训练轮次、优化器、学习率以及基于验证的 α 选择、评估指标均与FourScales模型保持一致。基础解码器被替换为包含多尺度深度可分离卷积块和卷积块注意力模块(CBAM)的EMCAD风格解码器。在前三个转置卷积上采样阶段中的每一阶段之后,均并行添加3 × 3, 5 × 5、7 × 应用了 7 次深度卷积,随后进行 1 次 × 逐点融合、批量归一化、ReLU激活、残差连接以及CBAM注意力机制。CBAM包含基于平均池化和最大池化描述符的通道注意力,以及使用7×7卷积核的空间注意力。 × 7 次卷积。最终阶段使用转置卷积和 sigmoid 激活函数来重建 32 × 32 个斑片。
访问受限。请登录或开始试用以查看此内容。
与基线方法比较
为评估 RareCode 框架,我们选取了多种代表性无监督异常检测方法作为基线,涵盖基于重构的方法(如 CAE32, 变分自编码器12, 严重不良事件33, 平均绝对误差34, PatchSAE35),记忆增强重建(MemAE36),知识蒸馏(STFPM37),合成异常生成(DRAEM38)以及预训练特征提取(PatchCore18基准方法的选择侧重于那些可在可比计算资源和数据假设下(仅能访问未标记的正常训练样本)进行训练或应用的方法,从而确保性能差异反映的是方法学贡献,而非预训练数据规模的差异。为确保公平比较,所有方法均使用相同的五折数据划分、预处理...
访问受限。请登录或开始试用以查看此内容。
结果表明,码本激活模式可能为空间重建误差提供补充信息。从 NoCAR 到完整的 FourScales 模型的性能提升支持了 CAR 评分的潜在贡献,而所选的融合权重表明语义稀有性可能在最终的异常评分中发挥重要作用。一种可能的解释是,结直肠癌相关的异常可跨越不同的形态学尺度,从核异型性到腺体结构破坏,因此可能受益于多尺度的特征表示14。当前模型在同一放大倍数下使用 32 × 32 和 64 × 64 的图像块来捕获不同的空间范围;未来与全切片图像(WSI)处理框架的结合可能进一步支持分层的切片级分析39。
从临床角度来看,RareCode 最好被视为一种预筛查分诊工具,而非自主诊断系统。其较高的召回率(98.40%)表明漏诊异常病例的风险相对较低40,而其适中的特异性(58.24%)可能反映了在无监督环境下区分炎症性改变与正常组织的难度。较高的癌症特异性(94.21%)进一步表明,对于临床最关键的亚型,假阳性警报可能较少。这些性能特征支持将 ...
访问受限。请登录或开始试用以查看此内容。
作者声明,他们不存在任何已知的可能影响本文报道工作的竞争性财务利益或个人关系。在本研究工作准备过程中,我们使用了 ChatGPT 以改进稿件的语言表达和可读性,并协助生成数据可视化代码。在使用该工具后,我们根据需要对内容进行了审阅和修改,并对发表的文章承担全部责任。
本研究由雍 Dai 院士工作站(自身免疫性疾病诊断技术)(皖科科技〔2023〕317号)、合肥国家卫生健康科学与技术研究中心联合研究中心研究生创新基金项目职业医学与健康开放基金(编号:OMH-2023-04)、安徽省临床与转化研究项目(编号:202427610020132)资助。
访问受限。请登录或开始试用以查看此内容。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| GeForce RTX 4060 Ti GPU | NVIDIA | N/A | 16 GB VRAM;所有实验均使用单个GPU(RRID:SCR_022858) |
| Matplotlib | Matplotlib Development Team | Version 3.8.4 | 数据可视化与图表生成(RRID:SCR_008624) |
| NumPy | NumPy Developers | Version 1.26.4 | 数值计算与数组操作(RRID:SCR_008633) |
| pandas | pandas Development Team | Version 2.2.3 | 数据组织与表格化结果处理(RRID:SCR_018214) |
| Pillow | Python Imaging Library / Pillow Contributors | Version 10.3.0 | 图像加载与预处理 |
| Python | Python Software Foundation | Version 3.12.3 | 用于模型开发与数据分析的编程语言(RRID:SCR_008394) |
| PyTorch | Meta Platforms, Inc. | Version 2.7.0+cu118 | 用于模型实现与训练的深度学习框架(RRID:SCR_018536) |
| scikit-learn | scikit-learn Developers | Version 1.4.2 | 交叉验证、训练集-测试集划分与评估指标(RRID:SCR_002577) |
| SciPy | SciPy Developers | Version 1.13.1 | 统计分析(RRID:SCR_008058) |
| torchvision | PyTorch Project | Version 0.22.0+cu118 | 图像预处理与数据转换 |
| tqdm | tqdm Developers | Version 4.66.4 | 训练与评估过程的进度监控 |
访问受限。请登录或开始试用以查看此内容。