이 콘텐츠를 보려면 JoVE 구독이 필요합니다. 로그인하거나 오늘 무료 평가판을 시작하세요.

연구 논문

RareCode: 대장암 조직병리 이미지의 이상 탐지를 위한 비지도 딥러닝 프레임워크

3 조회수

⸱

DOI:

10.3791/72303

⸱

2026년 9월 22일

 ,  ,  ,  ,  ,  ,  ,  , 
1School of Computer Science and Engineering, Anhui University of Science and Technology, 2School of Medicine, Anhui University of Science and Technology, 3School of Electrical and Information Engineering, Anhui University of Science and Technology, 4The First Hospital, Anhui University of Science and Technology, 5School of Safety Science and Engineering, Anhui University of Science and Technology, 6Department of Pathology, Shenzhen People's Hospital, The Second Clinical Medical College, Jinan University, 7The First Affiliated Hospital, Southern University of Science and Technology, 8Anhui Provincial Academician Workstation of Anhui University of Science and Technology for Autoimmune Disease Diagnostic Technology

이 논문에서

요약

본 연구는 코드북 활성화 희소성(Codebook Activation Rarity, CAR)을 분석하여 대장암 조직 병리 이미지의 이상 징후를 탐지하는 비지도 딥러닝 프레임워크인 RareCode를 제시하며, 이는 라벨링된 훈련 데이터 없이도 사전 스크리닝을 지원할 수 있는 잠재력을 가지고 있습니다.

초록

조직병리 이미지의 비지도 이상 탐지는 재구성 오차를 측정하는 재구성 기반 접근법을 통해 널리 연구되어 왔으나, 이러한 방법들은 조직 질감의 내재적 이질성으로 인해 미세한 의미론적 수준의 병리적 변이를 포착하지 못하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 픽셀 수준의 재구성을 넘어 의미론적 수준의 코드북 활성화 분석을 통합한 벡터 양자화 기반 프레임워크인 RareCode를 제시합니다. 핵심 혁신 기술은 코드북 활성화 희귀도(Codebook Activation Rarity, CAR) 스코어링으로, 이는 정상 샘플만으로 학습하는 동안 각 코드북 항목의 활성화 빈도를 프로파일링하고, 추론 시에 드물게 발생하는 활성화를 이상 징후로 표시함으로써 재구성 오차를 의미론적 수준의 판별력으로 보완합니다. 이러한 단일 규모 CAR 메커니즘을 바탕으로, 학습 가능한 융합 가중치를 가진 다양한 크기의 코드북을 사용하는 다중 규모 계층적 코드북(Multi-scale Hierarchical Codebook, MHC) 모듈을 추가로 도입하여, 거친 조직 수준의 구조부터 미세한 세포 수준의 세부 사항까지 아우르는 병리적 패턴을 포착하도록 했습니다. 이러한 다중 규모 설계를 활용하여 각 코드북 입도별로 계층적 이상 히트맵을 생성함으로써, 병리 의사가 이상 징후가 발생하는 위치와 구조적 수준을 모두 알 수 있는 해석 가능하고 다차원적인 시각적 국소화 단서를 제공합니다. Shenzhen People's Hospital에서 얻은 임상 주석이 포함된 대장암 조직병리 이미지 데이터셋에 대해 5겹 교차 검증을 수행한 결과, RareCode는 곡선 아래 면적(AUC) 96.82%를 달성하여 베이스라인 방법들보다 우수한 성능을 보였습니다. 클래스별 분석 결과, 염증 탐지(AUC = 94.30%, 특이도 = 60.4%)보다 암 탐지(AUC = 9.4%, 특이도 = 94.21%)에서 더 강력한 성능을 나타냈습니다. 이러한 결과는 CAR 분석이 조직병리 이상 탐지를 위한 유망한 비지도 접근법이 될 수 있으며, 잠재적으로 대장암 진단의 임상 사전 스크리닝에 도움이 될 수 있음을 시사합니다.

서론

대장암에 대한 신뢰할 수 있는 조직병리학적 스크리닝은 전문가의 주석 달기와 수동 검토의 제약을 받고 있으며, 특히 염증성 병변과 악성 종양의 형태가 중첩될 때 더욱 그러합니다1,2. 이러한 제약으로 인해, 광범위한 비정상 주석 없이도 정상 조직으로부터 학습하는 비지도 계산 방식의 접근법이 요구되고 있습니다3,4.

자동화된 조직병리 스크리닝의 임상적 시급성은 진단 수요와 가용 병리 전문 지식 사이의 심화되는 불균형으로 인해 더욱 강조되고 있으며, 병리 전문의 인력이 계속 감소하는 가운데 미국 병리 전문의 1인당 진단 업무량은 단 10년 만에 40% 이상 증가했습니다5. 대장암(CRC)의 경우, 조직적인 스크리닝 프로그램이 사망률을 29-68% 감소시키는 것과 연관이 있었으나6, 수동 병리 검토 역량은 여전히 인력 가용성에 의해 제한적인 상황입니다. 우선 검토가 필요한 의심 사례를 신뢰성 있게 식별하는 자동 사전 스크리닝 시스템은 이러한 부담을 완화하고 진단 소요 시간을 단축하는 데 도움이 될 수 있습니다. 그러나 이러한 시스템을 구축하려면 위양성을 피하기 위한 높은 민감도와 과도한 오경보를 방지하기 위한 적절한 특이도가 모두 필요합니다7.

비지도 이상 탐지(UAD)는 비정상 훈련 레이블을 필요로 하지 않고 정상 조직 분포를 모델링할 수 있기 때문에 의료 영상 분석에서 점점 더 중요해지고 있습니다83,9,10. 오토인코더, 변분 오토인코더, 생성적 적대 신경망 및 메모리 증강 변형을 포함하는 재구성 기반 모델은 재구성 오차를 통해 이상 징후를 식별하지만, 고용량 디코더는 여전히 비정상 영역을 높은 충실도로 재구성할 수 있습니다1,12,13,14,15,16,17. PatchCore 및 PaDiM과 같은 특징 기반 방법은 사전 훈련된 표현을 사용하지만, 자연 영상에서 학습된 특징은 조직병리학의 미세한 비정형성을 완전히 포착하지 못할 수 있습니다18,19,20,21. 병리학 특화 파운데이션 모델과 확산 기반 이상 탐지기는 강력한 대안을 제공하지만, 데이터 요구 사항이나 계산 비용으로 인해 고처리량 스크리닝에 직접 사용하기에는 제한이 있을 수 있습니다2,23. EvoAAE24 및 MoARNN-AM25과 같은 최근의 자동화 및 진화적 방법은 이상 탐지를 위한 적응형 모델 최적화의 가치를 더욱 잘 보여주지만, 이들의 적용 맥락은 조직병리학적 영상 분석과는 다릅니다. 이와 대조적으로, 벡터 양자화(VQ) 기반 방법은 항등 매핑을 줄일 수 있는 이산 코드북 제약을 부과합니다. 하지만 기존의 VQ 기반 접근 방식은 여전히 주로 공간적 재구성 오차에 의존하며, 코드북 활성화 패턴에 포함된 의미론적 정보를 충분히 활용하지 못하고 있습니다26,27.

앞서 언급한 방법들이 일반적인 도메인에서 유망한 성능을 보여주었으나, 복잡한 조직병리학적 시나리오에 적용하는 데에는 특정한 어려움이 따릅니다. 조직병리학적 이미지는 여러 구조적 수준에 걸쳐 복잡한 조직 이질성을 보이는 것이 특징입니다28. 실제로 이미지 분석은 일반적으로 조직 절편에서 추출한 국소 이미지 패치를 대상으로 수행되며, 병리학적 진단은 본질적으로 교차 척도적입니다. 즉, 병리 의사는 저배율에서 선조직 및 조직 형태를 평가하는 동시에 고배율에서 핵 다형성과 유사분열상을 검토합니다29. 본 연구에서는 현재 접근 방식의 세 가지 주요 한계점을 확인하였습니다. 첫째, 병리학적 이상 부위와 정상 조직은 염색 스타일 및 국소 질감과 같은 저수준 시각적 특징에서 높은 유사성을 보입니다. 이로 인해 정상 샘플과 이상 샘플 모두 시맨틱 수준에서 유사한 재구성 품질을 생성할 수 있어, 재구성 기반 방법으로는 미세한 이상 부위를 검출하는 데 실패하게 됩니다. 둘째, 기존 방법의 대부분은 단일 척도 특징 추출을 사용하므로, 조직 수준과 세포 수준 모두에서 이상 특징을 동시에 포착하는 것이 어렵습니다30,31. 셋째, 주류 방법들은 픽셀 수준의 히트맵을 생성할 수 있지만, 이상 부위의 계층적 속성을 직관적으로 포착하지 못하는 경우가 많아 임상 진단 보조 도구로서의 유용성이 제한됩니다.

위의 과제들을 해결하기 위해, 본 연구에서는 여러 추상화 수준에서 코드북 활성화 패턴과 계층적 특징 표현을 탐색하는 UAD 프레임워크인 RareCode를 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다. (1) 코드북 활성화 희소성(Codebook Activation Rarity, CAR) 점수 산출 메커니즘은 정상 샘플만으로 학습된 항목 활성화 빈도를 기반으로 희소성 점수를 계산하여, 시맨틱 수준에서 정상 샘플과 이상 샘플을 구별하며 기존의 공간적 재구성 오차를 보완하는 판별 신호를 제공합니다. (2) 다중 스케일 계층적 코드북(Multi-scale Hierarchical Codebook, MHC) 융합 아키텍처는 다양한 용량의 코드북을 사용하여 거친 구조적 패턴부터 미세한 세포 세부 사항까지 여러 입도 수준에서 병리적 특징을 포착하며, 학습 가능한 가중치를 통해 적응형 융합을 구현합니다. (3) 계층적 해석 가능 로컬라이제이션 모듈은 이러한 다중 스케일 아키텍처를 활용하여 서로 다른 입도에서 이상 부위 히트맵을 생성함으로써, 병리학자에게 다중 스케일의 시맨틱 해석이 가능한 진단 참조 자료를 제공합니다.

본 연구의 주요 가설은 정상 대장 조직 병리 이미지로만 학습된 코드북에서 도출된 코드북 활성화 빈도 프로파일이 픽셀 수준의 재구성 오차를 넘어 이상 징후와 관련된 의미론적 정보를 인코딩하며, 이러한 상호 보완적 신호들의 다중 스케일 통합이 대표적인 UAD 방법론들에 비해 암성 또는 염증성 조직이 포함된 이미지를 정상 이미지로부터 구별하는 성능을 향상시킬 것이며, 이는 주로 AUC를 통해 평가될 것이라는 점이었습니다. 이 가설을 검증하기 위해, 임상적으로 주석이 달린 CRC 데이터셋에 대해 5-겹 교차 검증을 사용하여 RareCode를 평가하였으며, 핵심 구성 요소들의 기여도와 해석 가능성을 조사하기 위해 어블레이션(ablation) 및 국소화 분석을 수행하였습니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

프로토콜

이 연구는 선전시 인민병원 임상연구윤리위원회의 승인을 받았으며, 선전시 인민병원에서 모든 실험이 수행되었습니다.'s 병원 (승인 번호: LL-KY-2025300-01). 본 연구는 기존의 조직병리학적 이미지와 임상 자료를 활용한 후향적 연구로서 환자와의 직접적인 접촉이나 중재가 없었기 때문에, 윤리위원회에서 서면 동의 요건을 면제하였다. 모든 임상 자료 및 조직병리학적 이미지는 분석 전에 익명화되었으며, 본 연구에서는 개인을 식별할 수 있는 정보가 사용되지 않았다. 본 연구에서 사용된 모든 자료는 기관 및 국가 연구 위원회의 윤리 기준에 따라 취급되었다.

프레임워크 개요
제안된 UAD 프레임워크인 RareCode의 전체 아키텍처는 다음에 도시되어 있다. 그림 1. 이 프레임워크는 병렬 이중 브랜치 구조를 채택한다. 각 512 × 512 입력 이미지에 대해, 미세 스케일 입력과 거시 스케일 입력으로 각각 겹치지 않는 32 × 32 및 64 × 64 패치를 추출한다. 64 × 64 패치는 네트워크로 전달되기 전에 32 × 32 크기로 재조정되며, 이를 통해 두 브랜치가 동일한 인코더-디코더 입력 크기를 공유하면서도 서로 다른 수용 영역을 유지할 수 있다. 각 브랜치의 인코더는 추출된 특징들을 잠재 공간으로 매핑하며, 여기서 MHC 모듈이 이산화 제약 조건을 부여한다. 이후 디코더는 양자화된 특징들로부터 이미지를 재구성하여 공간 도메인 상의 재구성 오차를 계산한다. CAR 메커니즘은 코드북 활성화 빈도를 분석함으로써 의미 수준의 이상 정도를 측정한다. 마지막으로, 모델은 재구성 점수와 CAR 점수를 가중 결합하여 이미지 수준의 이상 점수를 산출한다. RareCode 프레임워크는 정상 샘플만을 사용하여 엔드투엔드 방식으로 학습되며, 이상에 대한 주석이 필요하지 않다. 이중 브랜치 설계는 국소 세포 특징과 더 넓은 선종 구조를 모두 포착하기 위해 사용되었으며, MHC 모듈은 서로 다른 용량의 코드북을 통해 이러한 특징들을 모델링하기 위해 사용되었다.

인코더-디코더 아키텍처
RareCode는 미세 스케일 및 거친 스케일 브랜치 각각에 대해 구조적으로 독립적인 인코더와 디코더를 구성한다. 각 브랜치는 동일한 인코더-디코더 설계를 사용하지만, 파라미터는 공유하지 않는다. 인코더는 3×3 합성곱, 배치 정규화, ReLU 활성화 함수, 드롭아웃으로 구성된 총 네 개의 합성곱 블록으로 이루어진다. 채널 폭은 64에서 128로, 이후 256으로 증가하며, 최종 특징 맵은 평탄화된 후 64차원의 잠재 임베딩 공간으로 투영된다. 디코더는 완전 연결 투영 층에 이어 네 개의 전치 합성곱 층을 배치하여 인코더를 대칭적으로 구성하며, 각 패치를 네트워크의 원래 입력 크기로 재구성한다. 재구성 오차는 입력 패치와 재구성된 패치 간의 평균 제곱 오차로 계산된다. RareCode는 이러한 인코더-디코더 구조에 이산 코드북 제약 조건을 결합함으로써 정상 조직의 압축된 표현을 학습하고, 추론 과정에서 이로부터의 편차를 측정한다.

다중 규모 계층적 코드북
여러 수준의 추상화에서 병리학적 특징을 포착하기 위해—광범위한 조직 패턴에서 국소적인 세포 수준의 변이까지—MHC 모듈은 K개의 이산적 코드북을 사용한다 figure-protocol-1 다양한 용량으로 n1, n2, ..., nK최종 FourScales 구성에서 각 브랜치는 각각 64, 128, 256, 512개의 엔트리를 가진 네 개의 코드북(codebook)을 포함하며, 각 코드북 엔트리는 64차원 임베딩을 갖는다. 각 인코딩된 패치 특성(patch feature)에 대해 유클리드 거리에 따라 가장 가까운 코드북 엔트리가 선택된다. 이후 서로 다른 코드북에서 얻어진 양자화된 출력은 코드북 간 정규화된 학습 가능한 가중치를 사용하여 융합된다. 더 강한 압축 제약 조건을 가지는 작은 크기의 코드북은 국소적 변동을 추상화한 거친 수준의 전형적 패턴을 인코딩하는 반면, 더 큰 크기의 코드북은 보다 구체적인 구조적 특성을 포착하는 섬세한 수준의 특징을 보존할 것으로 기대된다. 각 코드북마다 figure-protocol-2, 여기서 ek(i) figure-protocol-3 Rd 는 k번째 코드북의 i번째 임베딩 벡터를 나타내며, 연속형 특징들은 최근접 이웃 탐색을 통해 이산적인 코드북 공간에 매핑된다(수식 1 및 2).

figure-protocol-4

figure-protocol-5

다중 스케일 특징의 적응적 융합을 달성하기 위해 학습 가능한 가중치를 도입한다. 소프트맥스 정규화 후, 각 코드북의 양자화된 출력에 대해 가중 합산이 수행된다(식 3).

figure-protocol-6

여기서 σ(·)은 소프트맥스 함수를 나타내며, 가중치가 다음 조건을 만족하도록 보장함 Σk σ(wk) = 1. 이 설계는 모델이 입력 특징의 의미적 내용에 따라 다양한 세분성 수준의 코드북 기여 비율을 자동으로 조정할 수 있도록 한다.

코드북 학습을 최적화하기 위해, 우리는 표준 VQ 손실 함수(Eq. 4)를 채택한다:

figure-protocol-7

sg[·]는 정지 구배(stopping-gradient) 연산을 나타내며, β = 0.25는 커밋먼트 손실 가중 계수이다. 첫 번째 항은 코드북 벡터가 인코더 출력 방향으로 이동하도록 유도하며, 두 번째 항은 인코더 출력이 해당 코드북 벡터와 일관성을 유지하도록 유도한다. 다중 스케일 VQ의 전체 동작 방식은 다음에 도시되어 있다. 그림 2.

코드북 활성화 희귀도 점수 산정
CAR은 정상 훈련 샘플에서 추정한 코드북 활성화 통계를 기반으로 의미 수준의 이상을 측정한다. 모델 훈련 후, 모든 정상 훈련 이미지를 데이터 증강 없이 인코더와 MHC 모듈을 통해 전달하였다. 각 브랜치 및 각 코드북에 대해 모든 패치 특징의 할당 인덱스를 기록하고, 각 코드북 엔트리에 할당된 횟수를 집계하였다. 이후 이 집계값을 정규화하여 해당 코드북의 활성화 빈도 분포를 얻었다(수식 5).

figure-protocol-8

추론 과정에서 각 테스트 이미지는 동일한 패치 추출, 인코딩 및 최근접 이웃 코드북 할당 절차를 거쳤다. 할당된 각 코드북 항목에 대해 희귀성 점수는 정상 훈련 집합에서의 활성화 빈도의 음의 로그로 계산된다(식 6).

figure-protocol-9

여기서 ε 수치적 안정성을 위해 사용되는 작은 상수이다. 따라서 저주파 코드북 항목은 더 높은 희귀성 점수를 받으며, 이는 해당 패치 특징이 학습된 정상 조직 분포와 일치하지 않을 가능성이 더 높음을 나타낸다. 패치 수준의 희귀성 점수는 각 이미지 내에서 평균화되었으며, 미세 및 거친 스케일 브랜치들 간에도 평균화되어 이미지 수준의 희귀성 반응을 산출하였다.

활성화 빈도의 드물ness를 보완하기 위해 백분위수 기반 양자화 거리 점수(식 7)도 계산한다:

figure-protocol-10

이 점수는 각 인코딩된 특징 벡터와 그에 가장 가까운 코드북 항목 사이의 유클리드 거리로부터 산출된다. 거리 분포는 정상 훈련 샘플로부터 추정되며, 테스트 샘플의 거리는 백분위수 점수로 변환된다. 백분위수 점수가 클수록 인코딩된 특징이 학습된 정상 코드북 프로토타입을 사용하여 표현하기 더 어렵다는 것을 나타낸다.

최종 CAR 점수는 학습 가능한 코드북 가중치를 사용하여 모든 코드북에 걸친 활성화 희소성과 양자화 거리의 조합이다(식 8).

figure-protocol-11

표준화된 코드북 가중치는 다중 스케일 특징 융합에 사용된 것과 동일하게 점수 수준 융합에도 적용되어 표현 학습과 이상 점수 산정 간의 일관성을 유지한다. 결과적으로 계산된 CAR 점수는 이미지 수준에서 산출되며, 이후 재구성 점수와 결합되어 최종 이상 점수가 도출된다. 전체적인 CAR 점수 산정 방식은 다음에 도시되어 있다. 그림 3.

최종 이상 점수 계산
공간 영역 재구성 오차와 의미 수준의 CAR 점수를 융합한다. 융합 전에 두 점수는 각각 백분위수 기반의 최소-최대 정규화(min-max normalization)를 사용하여 정규화하여 극단적인 이상치의 영향을 줄인다. 최종 이미지 수준의 이상 점수는 다음과 같이 정의된다(식 9):

figure-protocol-12

여기서 S재구성 정규화된 평균 제곱 재구성 오차를 나타내며, 픽셀 공간에서의 샘플 재구성 품질을 반영함; SCAR 위에서 설명한 CAR 점수는 의미 수준의 이상 정도를 반영한다. 하이퍼파라미터 α figure-protocol-13 [0,1]은 두 구성 요소 간의 상대적 가중치를 조절하며, 최적의 값은 검증 세트에서 결정된다.

훈련 목적
RareCode 프레임워크는 정상 샘플만을 사용하여 엔드투엔드 방식으로 훈련된다. 전체 훈련 손실은 다음의 구성 요소들로 이루어진다(식 10):

figure-protocol-14

각 용어의 정의는 다음과 같다. 재구성 손실: figure-protocol-15, 입력 패치 간의 평균 제곱 오차 측정 p 재구성된 패치들 D(zq) 양자화 후이다. 이 손실은 32에 대해 개별적으로 적용된다. × 32패치 브랜치 (figure-protocol-16) 및 64 × 64패치 브랜치 (figure-protocol-17공간적 척도의 양쪽에서 효과적인 특징 학습을 보장하기 위해. 

데이터셋 설명
희귀코드(RareCode)를 평가하기 위해, 헤마톡실린-에오신(H&E)으로 염색된 대장절제조직 절편의 임상 주석이 달린 대장암(CRC) 조직병리 이미지 데이터셋을 이용한 실험을 수행하였다.&E), 선전 인민병원에서 제공받음's 병원. 이 데이터셋의 모든 이미지는 실제 임상 사례에서 촬영된 것이다. 이미지들은 40배의 배율로 디지털화되었으며, 원본 해상도는 1024 × 1024픽셀. 주석의 신뢰성과 품질을 보장하기 위해 모든 샘플 범주 라벨은 더블 블라인드 프로토콜에 따라 두 명 이상의 고위 전문 병리의사가 공동으로 검토하고 확인하였다.

조직병리학적 특성에 기반하여, 데이터셋은 정상 조직(1,226장), 암(1,215장), 염증(1,214장)의 세 가지 클래스로 분류되었다. 이진 이상 탐지(UAD) 설정에서는 암 및 염증 샘플을 이상 샘플로 간주하고, 정상 샘플을 기준 분포로 사용하였다. 이러한 설정은 추가 병리학적 검토가 필요한 사례와 형태학적으로 정상인 사례를 구분하는 목적의 분류 과제를 반영한다.

모든 H&E-염색 이미지를 512로 크기 조정함 × 512픽셀로 조정한 후 네트워크 입력으로 사용하였다. 평가에는 계층화된 5-폴드 교차 검증을 사용하였다. 각 폴드에서 정상 샘플을 먼저 훈련용, 검증용 및 별도의 테스트용 서브셋으로 분할하였다. RareCode는 훈련용 정상 샘플에 대해서만 훈련시켰으며, 검증 서브셋(이 역시 정상 샘플만 포함)은 모델 선택, 하이퍼파라미터 조정 및 융합 가중치 선정에 사용하였다. α보이지 않는 정상 샘플과 암 및 염증을 포함한 이상 샘플로 구성된 홀드아웃 테스트 세트는 최종 성능 평가 용도로만 사용되었으며, 모델 훈련, 하이퍼파라미터 선택 또는 α 선택. 대표적인 범주, 데이터셋 구조 및 검증 프로토콜은 다음에 나와 있다. 그림 4.

구현 세부 사항
제안된 RareCode 프레임워크 및 비교 기준 기법들은 PyTorch를 사용하여 구현되었다. 모든 실험은 단일 NVIDIA GeForce RTX 4060 Ti GPU(16GB)가 장착된 워크스테이션에서 수행되었다. 네트워크 아키텍처 구성에서 다양한 공간 범위의 특징을 추출하기 위해, 듀얼 브랜치 아키텍처는 32과 두 가지 스케일에서 겹치지 않는 패치를 처리한다. × 32픽셀(더 작은 수용야, 국부적인 질감 패턴을 포착함) 및 64 × 64픽셀(더 큰 수용야를 가져 넓은 공간적 맥락을 포착함)이다. 두 브랜치 인코더가 생성하는 연속형 특징 임베딩 차원은 모두 균일하게 64로 설정한다. MHC 모듈에서는 각 브랜치에 대해 서로 다른 용량을 가진 네 개의 코드북을 구성하며, 이산형 프로토타입의 수는 각각 64, 128, 256, 512이다.

최적화 과정에서 네트워크는 배치 크기 8로 50에포크 동안 엔드투엔드로 훈련시켰다. 가중치 갱신에는 AdamW 옵티마이저를 사용하였으며, 초기 학습률은 5였다. × 과적합을 방지하기 위해 weight decay를 적용하였다. 또한, 원활한 학습 수렴을 보장하기 위해 코사인 어닐링 학습률 스케줄을 사용하여 후반 학습 단계에서 보다 정교한 최적화가 가능하도록 하였다. 패치 크기와 코드북 크기는 다중 스케일 표현과 계산 비용 간의 균형을 고려하여 선정하였다. 최종 FourScales 구성은 제거 분석(ablation analysis)을 통해 뒷받침되었으며, α 검증 세트에서 테스트 세트 평가 이전에 선택되었다.

디코더 복잡도 제거 실험을 위해 FourScales 구성에 기반한 복잡한 디코더 변형을 구현하였다. 이 변형은 동일한 데이터 분할, 코드북 크기, 훈련 에포크, 옵티마이저, 학습률, 검증 기반 α 선택 및 평가 지표를 FourScales 모델로 삼았다. 기본 디코더는 다중 스케일 딥와이즈 합성곱 블록과 합성곱 블록 어텐션 모듈(CBAM)로 구성된 EMCAD 스타일의 디코더로 교체하였다. 처음 세 단계의 전치 합성곱 업샘플링 각각 이후에, 병렬 3 × 3, 5 × 5, 및 7 × 7단계의 깊이 방향 합성곱을 적용한 후, 1 × 1 대 1 융합, 배치 정규화, ReLU 활성화, 잔차 연결, 및 CBAM 어텐션. CBAM은 평균 풀링 및 최대 풀링 기술자를 기반으로 하는 채널 어텐션과 7×7 커널을 사용하는 공간 어텐션을 포함함 × 7개의 합성곱. 최종 단계에서는 전치 합성곱과 시그모이드 활성화를 사용하여 32를 재구성함 × 32개 패치

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

결과

기준 방법과의 비교
희귀코드(RareCode) 프레임워크를 평가하기 위해, 재구성 기반 방법(CAE)을 포함한 여러 대표적인 UAD 방법들을 기준선으로 선정하였다.32, VAE12, SAE33, MAE34, 패치SAE35), 메모리 증강 재구성(MemAE)36), 지식 증류(STFPM37), 합성 이상 생성(DRAEM)38), 및 사전 훈련된 특징 추출 (PatchCore18). 기준 모델 선정 시, 비교 가능한 수준의 계산 자원과 데이터 가정 조건(정상 샘플에 대한 비라벨링된 훈련 데이터만 접근 가능) 하에...

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

토론

결과는 코드북 활성화 패턴이 공간 재구성 오차에 대한 보완적인 정보를 제공할 수 있음을 시사합니다. NoCAR에서 전체 FourScales 모델로의 성능 향상은 CAR 스코어링의 잠재적 기여를 뒷받침하며, 선택된 퓨전 가중치는 의미론적 희소성이 최종 이상치 점수에서 중요한 역할을 할 수 있음을 나타냅니다. 한 가지 가능한 설명은 CRC 관련 이상 징후가 핵 비정형성부터 선 구조의 파괴에 이르기까지 서로 다른 형태학적 척도를 가질 수 있으며, 따라서 여러 입도(granularity)의 특징 표현을 통해 이점을 얻을 수 있다는 것입니다14. 현재 모델은 동일한 배율 수준에서 32 × 32 및 64 × 64 패치를 사용하여 서로 다른 공간적 범위를 캡처하며, 향후 전체 슬라이드 이미지(WSI) 처리 프레임워크와의 통합을 통해 계층적 슬라이드 수준 분석을 더욱 지원할 수 있을 것입니다39.

임상적으로 ...

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

공개 사항

저자들은 본 논문에 보고된 연구에 영향을 미칠 수 있는 알려진 재정적 이해관계나 개인적 관계가 없음을 선언합니다. 본 연구를 준비하는 동안, 저희는 원고의 언어 및 가독성을 개선하고 데이터 시각화 코드 생성을 지원받기 위해 ChatGPT를 사용하였습니다. 해당 도구를 사용한 후, 저희는 필요에 따라 내용을 검토 및 수정하였으며 출판된 논문에 대해 모든 책임을 집니다.

감사의 글

본 연구는 Yong Dai 학술원 워크스테이션 (자가면역질환 진단 기술) (Wan Ke Science and Technology [2023] No. 317), 허페이 국립 보건 과학 기술 연구 센터 직업 의학 및 건강 공동 연구 센터 대학원 혁신 기금 프로젝트 오픈 펀드 (No.OMH-2023-04), 안후이성 임상 및 중개 연구 프로젝트 (No.20242761020132)의 지원을 받아 수행되었습니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

재료

이 논문에 사용된 재료 목록
이름회사카탈로그 번호댓글
GeForce RTX 4060 Ti GPUNVIDIA입력된 텍스트가 없습니다. 번역할 내용을 제공해 주시기 바랍니다.16 GB VRAM; 모든 실험에 단일 GPU 사용 (RRID:SCR_02858)
MatplotlibMatplotlib 개발 팀버전 3.8.4데이터 시각화 및 도표 생성 (RRID:SCR_08624)
NumPyNumPy 개발자버전 1.26.4수치 계산 및 배열 연산 (RRID:SCR_00863)
판다스pandas 개발팀버전 2.2.3데이터 정리 및 표 형식의 결과 처리 (RRID:SCR_018214)
필로우Python Imaging Library / Pillow 기여자버전 10.3.0이미지 로딩 및 전처리
파이썬Python Software Foundation버전 3.12.3모델 개발 및 데이터 분석에 사용된 프로그래밍 언어 (RRID:SCR_08394)
PyTorchMeta Platforms, Inc.버전 2.7.0+cu18모델 구현 및 학습에 사용된 딥러닝 프레임워크 (RRID:SCR_018536)
scikit-learnscikit-learn 개발자버전 1.4.2교차 검증, 훈련-테스트 분할 및 평가 지표 (RRID:SCR_0257)
SciPySciPy 개발자버전 1.13.1통계 분석 (RRID:SCR_08058)
torchvisionPyTorch 프로젝트버전 0.2.0+cu18영상 전처리 및 데이터 변환
tqdmtqdm 개발자버전 4.6.4훈련 및 평가 진행 상황 모니터링

참고문헌

  1. Fan J, Sun Q, Di Y, et al. DIPathMamba: A domain-incremental weakly supervised state space model for pathology image segmentation. Med Image Anal. 2025;103:103563.
  2. Nan T, Zheng S, Qiao S, et al. Deep learning quantifies pathologists' visual patterns for whole slide image diagnosis. Nat Commun. 2025;16(1):5493.
  3. Lagogiannis I, Meissen F, Kaissis G, et al. Unsupervised pathology detection: a deep dive into the state of the art. IEEE Trans Med Imaging. 2024;43(1):241-252.
  4. Tian Y, Liu F, Pang G, et al. Self-supervised pseudo multiclass pre-training for unsupervised anomaly detection and segmentation in medical images. Med Image Anal. 2023;90:102930.
  5. Metter DM, Colgan TJ, Leung ST, et al. Trends in the US and Canadian pathologist workforces from 2007 to 2017. JAMA Netw Open. 2019;2(5):e194337.
  6. Shaukat A, Levin TR. Current and future colorectal cancer screening strategies. Nat Rev Gastroenterol Hepatol. 2022;19(8):521-531.
  7. Ancker JS, Edwards A, Nosal S, et al. Effects of workload, work complexity, and repeated alerts on alert fatigue in a clinical decision support system. BMC Med Inform Decis Mak. 2017;17(1):36.
  8. Litjens G, Kooi T, Ehteshami Bejnordi B, et al. A survey on deep learning in medical image analysis. Med Image Anal. 2017;42:60-88.
  9. Stepec D, Skocaj D. Unsupervised detection of cancerous regions in histology imagery using image-to-image translation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2021:3785-3792.
  10. Li Y, Lao Q, Kang Q, et al. Self-supervised anomaly detection, staging and segmentation for retinal images. Med Image Anal. 2023;87:102805.
  11. Hinton GE, Salakhutdinov RR. Reducing the dimensionality of data with neural networks. Science. 2006;313(5786):504-507.
  12. Kingma DP, Welling M. Auto-encoding variational Bayes. In: Proceedings of the 2nd International Conference on Learning Representations (ICLR). 2014.
  13. Goodfellow IJ, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets. In: Advances in Neural Information Processing Systems. 2014;27:2672-2680.
  14. Lu S, Zhang W, Zhao H, et al. Anomaly detection for medical images using heterogeneous auto-encoder. IEEE Trans Image Process. 2024;33:2770-2782.
  15. Yang Z, Zhang T, Soltani Bozchalooi I, et al. Memory-augmented generative adversarial networks for anomaly detection. IEEE Trans Neural Netw Learn Syst. 2022;33(6):2324-2334.
  16. Huyan N, Quan D, Zhang X, et al. Unsupervised outlier detection using memory and contrastive learning. IEEE Trans Image Process. 2022;31:6440-6454.
  17. Jézéquel L, Beaudet J, Histace A, et al. Unified anomaly detection via multi-scale contrasted memory. IEEE Trans Image Process. 2026;35:2802-2815.
  18. Roth K, Pemula L, Zepeda J, et al. Towards total recall in industrial anomaly detection. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022:14298-14308.
  19. Defard T, Setkov A, Loesch A, et al. PaDiM: a patch distribution modeling framework for anomaly detection and localization. In: International Conference on Pattern Recognition. Cham: Springer; 2021:475-489.
  20. Zingman I, Stierstorfer B, Lempp C, et al. Learning image representations for anomaly detection: application to discovery of histological alterations in drug development. Med Image Anal. 2024;92:103067.
  21. Jiang Y, Cao Y, Shen W. Prototypical learning guided context-aware segmentation network for few-shot anomaly detection. IEEE Trans Neural Netw Learn Syst. 2025;36(7):12016-12026.
  22. Wang X, Zhao J, Marostica E, et al. A pathology foundation model for cancer diagnosis and prognosis prediction. Nature. 2024;634(8035):970-978.
  23. Frotscher A, Kapoor J, Wolfers T, et al. Unsupervised anomaly detection in medical imaging using aggregated normative diffusion. Med Image Anal. 2026;109:103895.
  24. Zeng GQ, Yang YW, Lu KD, et al. Evolutionary adversarial autoencoder for unsupervised anomaly detection of industrial Internet of Things. IEEE Trans Reliab. 2025;74(3):3454-3468.
  25. Lu KD, Zhang BX, Xu Y, et al. MoARNN-AM: multi-objective automated recurrent neural network with attention mechanism for cyber-attack detection of UAV. IEEE Trans Consum Electron. 2026;72(1):1738-1749.
  26. van den Oord A, Vinyals O, Kavukcuoglu K. Neural discrete representation learning. In: Advances in Neural Information Processing Systems. 2017;30:6306-6315.
  27. Ghafourian A, Shui H, Upadhyay D, et al. Targeted collapse regularized autoencoder for anomaly detection: black hole at the center. IEEE Trans Neural Netw Learn Syst. 2025;36(6):10348-10358.
  28. Gao Z, Mao A, Dong Y, et al. SMMILe enables accurate spatial quantification in digital pathology using multiple-instance learning. Nat Cancer. 2025;6(12):2025-2041.
  29. Wang X, Liu H, Zhang Y, et al. Joint modeling histology and molecular markers for cancer classification. Med Image Anal. 2025;102:103505.
  30. Jin H, Shen J, Cui L, et al. Dynamic graph based weakly supervised deep hashing for whole slide image classification and retrieval. Med Image Anal. 2025;101:103468.
  31. Schmitz R, Madesta F, Nielsen M, et al. Multi-scale fully convolutional neural networks for histopathology image segmentation: from nuclear aberrations to the global tissue architecture. Med Image Anal. 2021;70:101996.
  32. Masci J, Meier U, Ciresan D, et al. Stacked convolutional auto-encoders for hierarchical feature extraction. In: International Conference on Artificial Neural Networks. Berlin: Springer; 2011:52-59.
  33. Ng A. Sparse autoencoder. CS294A Lecture Notes. 2011;72:1-19.
  34. He K, Chen X, Xie S, et al. Masked autoencoders are scalable vision learners. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022:16000-16009.
  35. Lim H, Choi J, Choo J, et al. Sparse autoencoders reveal selective remapping of visual concepts during adaptation. In: Proceedings of the 13th International Conference on Learning Representations (ICLR). 2025.
  36. Gong D, Liu L, Le V, et al. Memorizing normality to detect anomaly: memory-augmented deep autoencoder for unsupervised anomaly detection. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019:1705-1714.
  37. Wang G, Han S, Ding E, et al. Student-teacher feature pyramid matching for anomaly detection. In: Proceedings of the 32nd British Machine Vision Conference (BMVC). 2021.
  38. Zavrtanik V, Kristan M, Skocaj D. DRAEM: a discriminatively trained reconstruction embedding for surface anomaly detection. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021:8330-8339.
  39. Niazi MKK, Parwani AV, Gurcan MN. Digital pathology and artificial intelligence. Lancet Oncol. 2019;20(5):e253-e261.
  40. Raab SS, Grzybicki DM, Janosky JE, et al. Clinical impact and frequency of anatomic pathology errors in cancer diagnoses. Cancer. 2005;104(10):2205-2213.
  41. Schömig-Markiefka B, Pryalukhin A, Hulla W, et al. Quality control stress test for deep learning-based diagnostic model in digital pathology. Mod Pathol. 2021;34(12):2098-2108.
  42. Steiner DF, MacDonald R, Liu Y, et al. Impact of deep learning assistance on the histopathologic review of lymph nodes for metastatic breast cancer. Am J Surg Pathol. 2018;42(12):1636-1646.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

재인쇄 및 허가

더 많은 논문 탐색

비지도 학습코드북 활성화벡터 양자화다중 스케일 코드북암 검출의미론적 분석
문의하기
도서관에 추천하기

개인정보 처리방침

이용 약관

정책

저작권 © 2026 MyJoVE Corporation. 모든 권리 보유.