このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。

方法論記事

ヘルスケアシステムにおける説明可能な人工知能モデルの開発および評価のための再現可能な実験プロトコル

9 回視聴

⸱

DOI:

10.3791/73848

⸱

2026年9月15日

 , 
1Vishwakarma University

この記事について

サマリー

本プロトコルでは、ヘルスケアにおける説明可能な人工知能（XAI）モデルの開発、評価、および解釈のための再現可能なワークフローを提示します。透明性、信頼性、および臨床的適用性を向上させるため、標準化されたデータ準備、モデル開発、説明可能性の手法、定量的評価、および再現性の確保に向けた実践的手法を統合しています。

要約

人工知能（AI）は、臨床的意思決定、疾患予測、医学的診断、および個別化医療のための価値あるツールとして、ますます採用されています。しかし、透明性の欠如、説明可能な人工知能（XAI）手法の実装における一貫性のなさ、および再現性の低さが、臨床現場におけるAIモデルの信頼できる展開の大きな障壁となっています。本論文では、ヘルスケアアプリケーション向けの説明可能なAIモデルの開発、評価、および解釈のための、体系的で再現可能かつ透明性の高いプロトコルを提案します。ワークフローは、計算環境のセットアップから始まり、続いてデータの取得と特性評価、前処理、特徴量エンジニアリング、モデル開発、ハイパーパラメータの最適化、予測性能の評価、説明可能性の分析、統計的検証、そして再現性の評価へと進みます。このプロトコルでは、SHapley Additive exPlanations（SHAP）、Local Interpretable Model-agnostic Explanations（LIME）、Gradient-weighted Class Activation Mapping（Grad-CAM）、Integrated Gradients、アテンションの視覚化、および反事実的説明などのXAI手法を組み込み、グローバルおよびローカルなモデル解釈の両方を生成します。本プロトコルでは、標準化されたヘルスケアデータセットの準備、安定した機械学習モデルの開発、予測性能の評価、臨床的に関連のある説明の生成、および繰り返しの実験における再現性の統計的評価を含む、いくつかの主要な構成要素を重視しています。モデル開発、説明可能性、定量的および定性的評価、統計的検証、および再現性評価を統合されたワークフローに組み込むことで、本プロトコルは、ヘルスケアアプリケーション向けの透明で再現可能なAIモデルを開発するための包括的なフレームワークを提供します。

概要

AIは、複雑な臨床データの知的解析を可能にし、根拠に基づいた医療上の意思決定を支援することで、現代ヘルスケアの不可欠な構成要素となっています1。電子健康記録、医療用画像システム、ウェアラブルデバイス、ゲノム技術によるヘルスケアの急速なデジタル化により、大量の不均一なデータが生成されており、それらを効果的に解釈するためには高度な計算手法が必要とされています2。

機械学習（ML）およびディープラーニング（DL）アルゴリズムは、多次元のヘルスケアデータセットから有意義なパターンを抽出する優れた能力を示しており、これにより診断精度の向上、疾患予測、および患者のアウトカム評価が改善されている3。AIベースのモデルは、放射線科、病理科、循環器科、腫瘍科、眼科などのその他の医学専門分野において、臨床医による疾患の早期発見やパーソナライズされた治療戦略の推奨を支援するためにうまく適用されてきた4。これらの技術はまた、ワークフローの最適化、診断のばらつきの低減、およびヘルスケアリソースの利用効率の向上にも寄与している5。

コンピューティングハードウェア、クラウドコンピューティング、およびオープンソースAIフレームワークの最近の進展により、インテリジェントなヘルスケアアプリケーションの開発と導入が加速しています6。その結果、AIは精密医療および臨床意思決定支援システムを実現するための主要な基盤技術となっています7。こうした進歩にもかかわらず、多くの高性能なモデルは、予測がどのように生成されるかについての洞察をほとんど提供しないため、日常的な臨床現場におけるAIの広範な導入は依然として限定的です8。

ほとんどのディープラーニングアルゴリズムは複雑なブラックボックスモデルとして機能しており、その内部の意思決定プロセスを臨床医や研究者が理解することは困難です9。これらのモデルはしばしば優れた予測性能を達成しますが、透明性が欠如しているため、ユーザーの信頼を損ない、臨床的妥当性の確認、規制当局による承認、および患者の安全性において課題が生じます10。医療専門家は、特にリスクの高い医療環境において、AI支援による意思決定を日常的な臨床実務に組み込む前に、その根拠を正当化できなければなりません11。

XAI（説明可能なAI）は、機械学習モデルの透明性と解釈可能性を向上させるための効果的なアプローチとして登場しています12。予測モデルを不透明なシステムとして扱うのではなく、XAIの手法を用いることで、個々の予測に寄与している特徴量、画像領域、または臨床変数に関する情報を提供することが可能になります13。このような説明により、臨床医はモデルの挙動をより深く理解し、潜在的なバイアスを特定し、AIによって生成された決定が確立された医学的知識と一致しているかを確認することができます14。

ヘルスケアアプリケーション向けに、いくつかの説明可能性技術が導入されています。SHapley Additive explanations (SHAP) は、協力ゲーム理論に基づいて、モデルの予測に対する各特徴量の寄与度を測定します15。Local Interpretable Model-agnostic Explanations (LIME) は、簡略化されたモデルを作成し、ブラックボックスモデルの予測を説明します16。ディープラーニングモデルを用いた医療画像タスクでは、Gradient-weighted activation maps (Grad-CAM) により、分類決定に寄与する画像領域を視覚的に示すヒートマップが作成されます17。これらの手法を組み合わせることで、さまざまなヘルスケア領域においてAIシステムの透明性が飛躍的に向上しました18

ヘルスケア分野における説明可能性の手法への注目は高まっているものの、文献におけるその活用方法は依然として多岐にわたっています。研究者によって、前処理戦略の使用だけでなく、モデルアーキテクチャの設計、評価指標、さらには説明手法までもが異なっています19。また、多くの論文で高い予測精度が報告されていますが、説明の質や再現性に関する徹底した評価が提供されていないケースが見受けられます20。

再現性は、現代のAIサイエンスにおける大きなボトルネックの一つです。論文では、ソフトウェアのバージョン、計算環境、前処理パイプライン、ハイパーパラメータの設定、乱数シードの初期化、およびハードウェア構成が開示されていないことが多くあります21。このため、独立した研究者が公開された結果を再現したり、他のデータセットやソフトウェアプラットフォームを用いて公開された手法を検証したりすることに失敗する場合が頻繁にあります22。詳細なドキュメントの不足は、ベンチマーク研究、共同研究、およびAIシステムの臨床応用の妨げとなる要因の一つとなっています23。

これらの課題を認識し、いくつかの組織や規制機関は、ヘルスケアへの応用におけるAIの透明性、信頼性、および再現性の重要性を強調しています24。既存の報告ガイドラインによって手法の報告は改善されましたが、それらは主に何を報告すべきかを記述したものであり、研究者が直接実施できる標準化された実験手順を提供するものではありません25。したがって、データセットの準備、モデル開発、説明可能性の分析、統計的評価、および再現性の確保に向けた実践を単一の実験ワークフローに統合した、包括的なプロトコルが依然として必要とされています26。

標準化された実験プロトコルは、ヘルスケアAIコミュニティに多くの利点をもたらします。さらに、手法の一貫性を促進し、独立した研究間の比較を容易にし、計算実験の透明性を高め、公表された結果の信頼性の高い検証を可能にします27。また、標準化されたワークフローは、異なる研究室や医療機関の間で再現可能な、明確に文書化された手順を通じて、教育・トレーニング、共同研究、および規制上の評価を支援します28

ヘルスケアシステムにおけるAIモデルのトレーニングおよび評価のための、再現可能な実験プロトコルが開発され、検証された。本プロトコルでは、計算環境の構築、ヘルスケアデータセットの前処理、機械学習モデルの開発、XAI（説明可能なAI）手法の適用、予測性能の評価、統計的妥当性の検証、および再現性の評価に関する基準を概説している。29これらのコンポーネントを首尾一貫したワークフローに統合することは、ヘルスケアAI研究の透明性、信頼性、および再現性を向上させるとともに、信頼されるインテリジェント・ヘルスシステムの開発に寄与すると考えられる。30.

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

プロトコル

本検証実験では、公開されている匿名化済みのPima Indians Diabetes Datasetを使用しており、特定の可能な患者記録や新規患者の募集は含まれていません。したがって、インフォームドコンセントおよび機関のIRB/倫理委員会の承認は不要であり、すべての分析は適用可能なデータセットの利用規約および機関の研究方針に従って実施されました。

この検証例では、糖尿病の二値予測のための768件のレコードを含む、公開データセットであるPima Indians Diabetes Datasetを使用しています。本データセットに対して、全9段階のコアワークフローを適用しました。これら9つのコア段階は、データセットの選択と検証、計算環境の設定、データの前処理、データセットの分割、モデルの開発とトレーニング、予測および計算性能の評価、説明可能性分析、統計的検証、および再現性の評価で構成されています。外部検証と臨床専門家による評価は、オプションの検証モジュールとして保持され、今回の検証例では実施していません。図1にコアプロトコルのワークフローを示し、表1に今回の検証で実施した9つのコア段階のみをまとめています。オプションである外部検証と臨床専門家による評価は、プロトコル内で別途説明されており、9つの実験段階には含まれていません。

1. ヘルスケアデータセットの選択と検証

  1. 検証例の主要データセットとして、Pima Indians Diabetes Datasetを選択する。データセットの出典、サンプルサイズ、予測ターゲット、クラス分布、およびデータ構造を確認する。
  2. 事前に定義された組み入れ基準、除外基準、およびデータ品質基準を適用する。モデル開発の前に、重複レコードおよび無効なレコードを削除する。
  3. データセットの出典、特性、予測タスク、クラス分布、組み入れおよび除外基準、ならびに分割戦略を表2に記録する。
  4. データセットおよびモデル選択のための決定基準を適用する
    1. データセット、モデルアーキテクチャ、前処理戦略、または説明可能性手法を選択する前に、予測目的を定義する。
    2. データセットのモダリティを予測目的に適合させる。構造化された臨床変数の場合はテーブル形式データ、医療画像の場合は画像データ、生理学的信号の場合は時系列データ、臨床記述の場合はテキストデータを選択し、同一患者または研究ユニットに対して補完的なモダリティが利用可能な場合はマルチモーダルデータを選択する。
    3. サンプルサイズ、アウトカムの可用性、クラス分布、欠損値、アノテーションの品質、臨床的妥当性、データの完全性、およびアクセシビリティに基づいて候補データセットを評価する。事前に定義された要件を満たすデータセットを選択する。
    4. サンプルサイズ、計算リソース、または解釈性の要件により複雑なアーキテクチャの使用が制限される場合は、構造化されたテーブル形式データに対して従来の機械学習モデルを選択する。十分なトレーニングデータがあり、医療画像、生理学的信号、または臨床テキストなどの高次元入力が利用可能な場合は、ディープラーニングアーキテクチャを選択する。
    5. 同一患者または研究ユニットに対して複数のモダリティが利用可能であり、情報漏洩を引き起こさずに確実にアライメントできる場合にのみ、マルチモーダルアーキテクチャを選択する。選択したデータモダリティの特性に応じて前処理操作を選択する。
    6. モデルおよびデータモダリティに応じて説明可能性手法を選択する。適切なテーブル形式モデルにはSHAPやLIMEなどのモデル非依存の手法を、画像ベースのモデルには適用可能な場合にGrad-CAMなどのモダリティ固有の手法を使用する。
    7. データセット、前処理戦略、モデル、および説明可能性手法の選択根拠を文書化する。これらの決定を再現性記録の一部として保存する。

2. XAIモデル開発のための計算環境を構築する

  1. 選択したモデルの要件に従って、オペレーティングシステム、CPU、RAM、ストレージ、およびGPUを構成します。独立したPython環境を作成し、必要な機械学習、ディープラーニング、統計、可視化、およびXAIライブラリをインストールします。
  2. 検証で使用した実際の計算環境、モデルアーキテクチャ、およびハイパーパラメータを表3に記録します。オプティマイザー、学習率、バッチサイズ、最大エポック数、損失関数、正則化パラメータ、検証戦略、早期停止（early-stopping）の設定、乱数シードの設定、説明可能性の手法、ハードウェア、オペレーティングシステム、Pythonのバージョン、および関連するソフトウェアライブラリのバージョンを明記してください。これらの実験的に使用した設定を、一般的な設定や推奨プロトコルの設定と区別して記載してください。
  3. Pima Indians Diabetes Datasetの検証と、それに対応する予測、説明可能性、統計、および再現性の結果を再現する際は、表3に報告された構成を使用してください。
  4. 検証スクリプトを実行し、パッケージのインポート、データセットの読み込み、モデルの実行、および出力の生成が正常に行われることを確認します。再現性を確保するため、最終的な環境構成を保存してください。

3. XAIモデル開発に向けたヘルスケアデータセットの準備と特性評価

  1. ヘルスケアデータセットの選択および取得
    1. 定義された臨床予測タスクに適したヘルスケアデータセットを選択します。研究目的、データの種類、サンプルサイズ、アノテーションの質、クラスバランス、および臨床的妥当性に基づき、候補となるデータセットを評価します。
    2. 予測タスクを適切に処理でき、かつ独立した検証を容易にする場合は、公開されているベンチマークデータセットを優先的に使用してください。
    3. 機関内または内部のデータセットを取得する前に、必要な倫理的承認、機関の許可、およびデータアクセス権限を得てください。検証済みのリポジトリまたは認定された機関データベースから、選択したデータセットを取得してください。
    4. 元のデータセットファイルは変更せずに保存し、データセット提供者、バージョン、取得情報、ライセンス条件、採用基準、除外基準、および付随するメタデータを記録してください。データセットは、生データ、アノテーション、メタデータ、および補足情報のそれぞれに分けた個別のディレクトリに整理してください。
  2. ヘルスケアデータセットの特性評価
    1. 予測変数、アウトカムラベル、特徴量タイプ、データモダリティ、およびクラス分布を特定してください。被験者数、サンプル数、特徴量次元数、および利用可能なアノテーションを決定してください。
    2. データセットの特性が、選択したAI手法と適合していることを確認してください。
    3. 9段階のコアプロトコルを検証するための唯一の実験データセットとして、ピマ・インディアン糖尿病データセットを使用してください。以下に記載されている追加のデータセットも含めてください。 表2 臨床的な表形式データ、電子健康記録、ダーモスコピー画像、生理学的時系列データ、および医学用画像にわたる汎用プロトコルの適用可能性を実証するためのみに使用してください。これらの追加データセットを、モデルの訓練、テスト、統計的検証、または報告された実験結果の生成に使用してはいけません。
  3. データセットの品質評価
    1. データセットに重複レコード、破損ファイル、欠損値、アノテーションエラー、および不規則なデータエントリーがないか検査してください。重複が確認されたレコードを削除し、検証済みのフォーマットの不整合を修正してください。すべてのデータセット品質管理手順を記録してください。
    2. マルチモーダルデータセットを使用する際は、被験者識別子を用いて、画像、臨床、検査、および生理学的データの整合性を確認してください。
    3. 重複または不整合のあるレコードを削除し、欠損値を処理し、数値的特徴量を標準化し、カテゴリ変数をエンコードし、モダリティ固有の前処理を適用します。データセットを、独立したトレーニングセット、検証セット、およびテストセットに分割します。以下を参照してください。 図2 ヘルスケアデータセットの準備、前処理、分割、および品質評価のワークフローについて。
  4. データのプライバシー保護と倫理的コンプライアンスの確保
    1. ヘルスケアデータから直接的な識別子を削除してください。必要に応じて、匿名化または仮名化の手順を適用してください。患者の健康情報は、適用される倫理規定、データ保護、インフォームドコンセント、および機関の要件に従って取り扱ってください。
    2. 該当する倫理承認、免除、データガバナンスの手順、匿名化の方法、およびデータセット作成のワークフローを記録してください。
    3. 関連する人口統計学的または臨床的なサブグループに関する情報が利用可能であり、かつ倫理的に許容される場合は、それらのサブグループ間でのモデル性能を比較することにより、潜在的なアルゴリズムのバイアスを評価してください。
    4. 意図された用途、対象集団、モデルの限界、潜在的な不具合モード、人間による監視の要件、および適用される倫理的要件、データ保護要件、ヘルスケア規制要件を文書化してください。
    5. 特定された公平性の限界および責任あるAIに関する検討事項を、最終的なモデルドキュメントの一部として記録してください。
      注：AIモデルの開発に適しており、倫理的コンプライアンスが確保され、かつ重大な不整合が特定されていない、標準化および文書化されたヘルスケアデータセットを入手する。

4. AIモデル訓練のためのヘルスケアデータの前処理および分割

  1. 品質管理の実施
    1. データセットを検査し、重複レコード、欠損値、無効な値、不整合なラベル、外れ値、および破損ファイルがないか確認する。
    2. 定義済みの基準に従って無効な観測値を削除または修正し、すべての除外記録を保存する。予測変数とアウトカムラベルの一貫性を検証する。
  2. 欠損データの処理
    1. 各変数の欠損率を定量化する。定義済みの補完または除外戦略を適用する。
    2. トレーニングデータのみを用いて補完パラメータを推定し、適合させた変換を検証データおよびテストデータに適用する。
  3. データの正規化および変換
    1. 選択したモデルで必要とされる特徴量スケーリング、正規化、エンコーディング、次元削減、またはその他の変換を適用する。データに依存するすべての変換は、トレーニングデータのみを用いて適合させる。
    2. 適合させた変換を、変更せずに検証データおよびテストデータに適用する。
  4. トレーニングデータにおけるクラス不均衡を定量化する。クラス重み付け、SMOTE、オーバーサンプリング、またはデータ拡張をトレーニングデータセットにのみ適用する。検証データセットおよびテストデータセットの元の分布は維持する。
  5. 被験者、重複観測値、拡張サンプル、前処理統計量、特徴量選択基準、または合成サンプルが、トレーニング用パーティションと評価用パーティションの間で共有されていないことを確認する。

5. XAIモデルの開発および構成

  1. 入力データのモダリティ、前処理操作、モダリティ固有の特徴エンコーダー、特徴融合メカニズム、予測レイヤー、および説明可能性モジュールを指定して、モデルアーキテクチャを定義します。
  2. 予測タスクと入力モダリティに応じて、機械学習またはディープラーニングのアーキテクチャを選択します。入力レイヤー、特徴抽出コンポーネント、隠れ層、出力レイヤー、および活性化関数を構成します。オプティマイザー、学習率、バッチサイズ、損失関数、エポック数、正則化、ドロップアウト、早期終了、および学習率スケジューラを定義します。
  3. 訓練データと検証データのみを使用して、ハイパーパラメータを最適化します。
  4. 最終決定したアーキテクチャとハイパーパラメータ構成を表 3に記録します。
  5. 訓練前に、入出力の次元の適合性を確認します。
    注：適切なアーキテクチャ、定義されたハイパーパラメータ、および統合された説明可能性手法を含む、完全に構成されたXAIモデルを構築します。

6. XAIモデルのトレーニング、最適化、および保存

  1. 定義済みのトレーニングデータセットおよび検証データセットと、最終的なモデル構成をロードします。定義済みの乱数シードとトレーニングパラメータを用いてモデルを初期化します。
  2. 指定したオプティマイザー、損失関数、バッチサイズ、および停止基準を用いてモデルをトレーニングします。
  3. 検証パフォーマンスをモニタリングし、定義済みのモデル選択基準に対応するチェックポイントを保持します。選択したチェックポイントを、さらなる最適化を行わずに独立したテストデータセットで評価します。
  4. トレーニング済みモデル、前処理構成、ハイパーパラメータ、乱数シード、およびトレーニングログを保存します。
    注：準備したヘルスケアデータセットを用いてトレーニングおよび検証を行い、最適化されたXAIモデルを取得してください。再現性のために、最高のパフォーマンスを示したモデル、ハイパーパラメータ、トレーニングログ、前処理構成、および計算環境を保存してください。

7. 予測性能および計算性能の評価

  1. 予測性能の評価
    1. モデルの学習とハイパーパラメータの最適化が完了した後、最適化済みモデルと独立したテスト用データセットをロードする。テスト中は、学習済みモデルのパラメータおよび前処理パイプラインを変更せずに維持すること。
    2. テストデータセット内の全サンプルに対して予測を生成する。予測出力と対応するグラウンドトゥルース（正解ラベル）を比較する。
  2. 性能指標の算出
    1. 予測タスクの種類に応じて評価指標を選択する。
    2. 分類タスクの場合、必要に応じて正解率（accuracy）、適合率（precision）、再現率（recall）、特異度（specificity）、F1スコア、バランス正解率（balanced accuracy）、マシューズ相関係数（MCC）、および受信者動作特性曲線下面積（AUC-ROC）を算出する。回帰タスクの場合、必要に応じて平均絶対誤差（MAE）、平均二乗誤差の平方根（RMSE）、決定係数（R2）、およびその他の関連指標を算出する。
  3. モデルの汎化性能と堅牢性の評価
    1. 開発用データセットとは別に独立して収集された外部データセットが利用可能な場合は、それを用いてモデルを評価する。
    2. 搬送可能性（transportability）を評価するため、異なる医療機関、地理的領域、または患者集団に由来する外部データセットを優先的に使用する。
    3. 縦断的データセットが利用可能な場合は、より後の期間に収集されたデータを用いて時間的妥当性確認（temporal validation）を行う。
    4. 多施設データが利用可能な場合は、最終確定したモデルを参加施設ごとに個別に評価し、多施設妥当性確認（multicenter validation）を行う。
    5. 実現可能な場合は、異なる地理的領域の独立した集団を用いて地理的妥当性確認（geographic validation）を行う。
    6. 開発用データセットと外部データセットの間の性能差および信頼区間を報告する。
  4. 計算性能の評価
    1. 定義された計算環境下でのモデル学習時間、同一の計算条件下での推論およびテスト時間、ならびにメモリ消費量、モデルサイズ、ハードウェア利用率を測定する。
    2. 独立した実行回数を通じて計算測定を繰り返す。
    3. 実験的な変動の影響を軽減するため、平均実行時間を算出する。
  5. モデル性能の比較
    1. 比較評価のために、適切な従来の機械学習またはディープラーニング手法を選択する。
    2. 提案するXAIモデルと比較モデルを同一のデータセットを用いて評価する。すべての比較モデルに同一の前処理手順と評価指標を適用する。
    3. すべての比較実験を同一の計算環境内で実行する。
      注：テストした計算条件およびデータセットにおける予測の安定性と再現性に関する実験的根拠を得ること。

8. XAI出力の生成と評価

  1. モデルの説明を生成する
    1. 最適化されたXAIモデルをロードする。モデルのトレーニングに使用されなかった評価サンプルを選択する。トレーニング済みモデルや前処理パイプラインを変更せずに、事前定義された説明可能性手法を適用する。
    2. グローバルおよびローカルなモデルの説明を生成する
      1. 予測モデルの全体的な挙動を特徴づけるグローバルな説明を生成する。
      2. 個々のモデル予測を特徴づけるローカルな説明を生成する。
      3. Pima Indians Diabetes DatasetにSHAPを適用し、タブル形式モデル予測のグローバルおよびローカルな説明を生成する。
      4. SHAPサマリープロットを生成し、特徴量の寄与の全体的な方向性と大きさを可視化する。
      5. 平均絶対SHAP値を用いたSHAP特徴量重要度プロットを生成し、モデル予測への全体的な寄与度に従って特徴量をランク付けする。
      6. 代表的なテストセットの予測に対してSHAPウォーターフォールプロットを生成し、患者固有の特徴量の寄与を例示する。
      7. SHAP特徴量依存性プロットを生成し、選択した特徴量とモデル出力への寄与との関係を検討する。
      8. 代表的なテストセットの予測にLIMEを適用し、個々のモデル予測のローカルな説明を生成する。
      9. 患者固有の反実仮想的説明（counterfactual explanation）を生成し、予測結果の変化に関連する特徴量の変化を例示する。
      10. データのモダリティとモデルアーキテクチャに応じて、追加の説明可能性手法を選択する。
      11. 適用可能な場合、互換性のある画像ベースモデルにはGrad-CAMまたはサリエンシーマップを、Transformerベースのアーキテクチャにはアテンション可視化を、微分可能なモデルにはIntegrated Gradientsを使用する。
      12. Grad-CAM、サリエンシーマッピング、アテンション可視化、およびIntegrated Gradientsを、モダリティに依存する一般的なプロトコルオプションとして扱い、対応する解析が実際に実施されない限り、Pima Indians Diabetes Datasetの検証による実験結果として解釈または報告しない。
    3. 実施済みのPima検証に説明可能性手法を適用する
      1. Pima Indians Diabetes DatasetにSHAPおよびLIMEを適用し、タブル形式モデル予測のグローバルおよびローカルな説明を生成する。
      2. Pima検証の結果から、SHAPのサマリー、特徴量重要度、ウォーターフォール、および特徴量依存性の可視化を生成する。
      3. 代表的なテストセットの予測に対してLIMEローカル説明を生成する。
      4. 患者固有の反実仮想的説明を生成し、モデル予測の変化に関連する特徴量の変化を例示する。
      5. Grad-CAM、アテンション可視化、サリエンシーマッピング、およびIntegrated Gradientsを、他のヘルスケアデータタイプおよびモデルアーキテクチャ向けのモダリティ依存の説明可能性オプションとして扱う。
      6. 対応する解析が実際に実施されない限り、Grad-CAM、アテンション可視化、サリエンシーマッピング、またはIntegrated GradientsをPima実施検証の実験結果として報告しない。
  2. 説明の質を評価する
    1. 生成された説明がモデルの予測プロセスを反映しているか評価する。繰り返しの実験ランにおける説明の安定性と、同一の計算条件下での説明出力の一貫性を評価する。
    2. 適用可能な場合、入力データの変化に対する説明出力の感度を評価する。生成された説明を、利用可能なドメイン知識または専門家の解釈と比較する。
    3. 比較可能な場合、確立された医学的知識と一致する予測特徴量または解剖学的領域を特定する。
    4. 生成された説明と利用可能な臨床的解釈との間の合意または不一致のレベルを記録する。
  3. 予測の不確実性を定量化する
    1. 選択したモデルアーキテクチャおよびヘルスケアアプリケーションに適した不確実性推定手法を用いて、評価サンプルの予測信頼度推定値を生成する。
    2. 適切な場合、モンテカルロドロップアウト、アンサンブルベースの予測、ベイズ推論、適合予測（conformal prediction）、またはその他の検証済み不確実性推定アプローチを適用する。
    3. モンテカルロドロップアウトを使用する場合は、確率的な予測パスを繰り返し行い、各評価サンプルの平均予測値と予測分散を算出する。
    4. 予測信頼度または不確実性区間を、対応するモデル予測とともに報告する。
    5. 不確実性の推定値によって、信頼性が低い、または予測誤差が増大している予測が特定できているか評価する。再現性を確保するため、不確実性推定手法、パラメータ、乱数シード、および生成された不確実性出力を保存する。
  4. 説明可能性の出力を文書化し保存する
    1. 生成されたすべての特徴量重要度スコア、ヒートマップ、サリエンシーマップ、アテンション可視化、および患者固有の解釈を保存する。説明可能性の出力を標準化されたファイル形式で保存する。出力をトレーニング済みモデルおよび前処理設定とともにアーカイブする。
    2. 説明生成に使用した計算設定、説明パラメータ、実行時間、およびソフトウェアバージョンを記録する。独立したレビューと再現性を容易にするため、完全な説明可能性ドキュメントを保存する。
  5. 説明の質を定量的に評価する
    1. 重要であると特定された特徴量を系統的に摂動またはマスクし、モデル出力の対応する変化を測定することで、説明の忠実性（faithfulness）を評価する。寄与度の大きさと、結果として生じたモデル予測の変化を比較して、説明忠実性スコアを算出する。
    2. 繰り返しのラン、摂動させた入力、または臨床的に類似したサンプルに対して説明を生成し、得られた寄与パターンの類似性を算出することで、説明の安定性を評価する。制御された入力摂動下で、予測出力の変化と説明の寄与から推定された変化との乖離を測定することで、不忠実性（infidelity）を算出する。
    3. 医用画像の説明については、参照アノテーションが利用可能な場合、専門家が定義した関心領域（ROI）を用いて局在化精度を評価する。事前定義された解釈基準を用いて、資格を持つ臨床専門家から独立した評価を得ることで、臨床的有用性を評価する。
    4. 複数の専門家が独立して説明の妥当性や合意を評価した場合は、Cohen's kappaまたはFleiss' kappaを算出する。
      注：トレーニング済みAIモデルの予測挙動を特徴づけるグローバルおよびローカルな説明を生成すること。透明性のある解釈と再現可能な評価のために、説明可能性の出力および対応する設定を保存すること。

9. 統計的検証および再現性の評価を行う

  1. 統計的バリデーションの実施
    1. 研究目的、実験デザイン、データの分布、および評価変数の特性に応じて統計手法を選択する。
    2. 連続変数は、適宜、平均値 ± 標準偏差または中央値および四分位範囲として報告し、カテゴリ変数は件数および割合として報告する。
    3. トレーニングセットに対して5分割交差検証を行い、モデル性能の安定性を評価し、精度、AUC-ROC、適合率、再現率、およびF1スコアを、各フォールドの平均値 ± 標準偏差として報告する。1,000回のブートストラップ再サンプリングを用いて、独立したテストセットの性能指標の95%信頼区間を推定する。
    4. 提案モデルをCNN、ランダムフォレスト、およびSVMのベースラインモデルと比較する。精度のペア比較にはMcNemar検定を、相関のあるAUC-ROCの比較にはDeLong検定を、F1スコアの比較には1,000回の再サンプリングによるペアブートストラップ検定を用いる。
    5. 各比較について、対応する検定統計量と正確なp値を報告し、両側有意水準 α = 0.05 を使用する。
  2. モデル性能の統計的比較
    1. 提案された説明可能AIモデルを、選択した最新の機械学習およびディープラーニングのベースラインモデルと比較する。
    2. 2群の比較を行う場合は、適宜、Studentのt検定またはマン・ホイットニーのU検定を適用する。3群以上のパラメトリックな比較が可能な場合は、一元配置分散分析（one-way ANOVA）を適用する。3群以上のノンパラメトリックな比較が可能な場合は、クラスカル・ウォリス検定を適用する。
    3. 原著論文の規定に従い、p < 0.05 を統計的に有意とみなす。
    4. すべての事前定義された統計的比較に両側有意水準 α = 0.05 を使用し、対応する検定統計量およびp値を報告する。
    5. 主要な予測性能指標について、95%信頼区間を報告する。
    6. 適宜、ブートストラップ再サンプリングを用いて性能尺度の信頼区間を推定する。同一被験者を2つのモデルで評価した際の相関のあるROC-AUC値を比較するには、DeLong検定を用いる。同一被験者に対して生成されたペアのカテゴリ分類結果を比較するには、McNemar検定を用いる。適宜、F1スコアまたはその他の派生性能指標を比較するために、ペアブートストラップ手順を用いる。
    7. 確率的な予測が利用可能な場合は、キャリブレーションプロット、キャリブレーション勾配/切片、およびBrierスコアを用いてキャリブレーションを評価する。
    8. Pima Indians Diabetesデータセットのバリデーション事例では、提案モデルとベースラインモデルに対して規定されたペア統計比較を用いる。比較内容に応じて、ペアのテストセット予測または反復実行の性能測定に対し、選択した検定を一貫して適用する。両側有意水準 α = 0.05 を使用し、検定統計量と正確なp値を報告する。結果セクションに提示されていない限り、代替の統計検定を実施したとは報告しない。
    9. 両側検定を適用し、事前定義された閾値 p < 0.05 を用いて統計的有意性を解釈する。
  3. モデル堅牢性の評価
    1. 事前定義されたデータセットの分割、前処理手順、モデルアーキテクチャ、ハイパーパラメータ、ソフトウェア環境、および評価プロトコルを維持したまま、異なる乱数シードを用いてトレーニングおよび評価の手順全体を10回繰り返す。
    2. 各独立実行におけるAUC-ROC、精度、およびF1スコアを記録し、10回の実行における平均値 ± 標準偏差を報告する。
    3. 反復実行による性能値を比較し、異なるランダム初期化における予測の安定性と再現性を評価する。
  4. 説明可能性の再現性の評価
    1. 説明の安定性評価が含まれる場合は、複数の実験実行にわたって特徴量アトリビューション、アテンションマップ、またはその他の説明出力を生成する。適切な類似度またはランクベースの一致度を用いて、反復実行間で説明出力を定量的に比較する。
    2. 今回のPima Indians Diabetesデータセットのバリデーション事例では、対応する反復説明出力および分析が行われていない限り、定量的な説明安定性指標を報告しない。
    3. 適切な臨床評価が利用可能な場合は、モデルが生成した説明と臨床医の解釈の一致度を評価する。評価者間の一致度を評価するために、適宜、Cohenのカッパ係数またはFleissのカッパ係数を算出する。
  5. 再現性の文書化
    1. 生データ、前処理手順、ソースコード、学習済みモデル、ハイパーパラメータ設定、説明可能性の出力、統計分析スクリプト、および生成された結果を保存する。
    2. ワークフロー全体で使用したソフトウェア環境およびハードウェア構成を記録する。アーカイブされたファイルと設定を用いて、ワークフロー全体を独立して再実行する。
    3. 再現された予測性能を元の実験結果と比較し、再現されたモデルの説明を元の説明可能性出力と比較する。
    4. 再現中に観察された相違点を記録する。独立した実行中に特定された再現性の観察結果を反映するように、実験文書を更新する。
      注：反復実験を通じて評価可能な、統計的に検証された予測性能および説明可能性の結果を取得すること。ワークフロー全体の独立した検証を可能にするため、十分な計算、分析、および手法に関する文書を保存すること。
  6. 再現性チェックリスト
    1. データセット名、バージョン、取得日、ソース、採用基準、除外基準、および最終サンプル数を記録する。すべての前処理操作、変換パラメータ、正規化設定、特徴量選択手順、およびデータ分割ルールを記録する。
    2. オペレーティングシステム、CPU、GPU、RAM、Pythonのバージョン、フレームワークのバージョン、およびライブラリのバージョンを記録する。すべてのモデルアーキテクチャ仕様およびハイパーパラメータを記録する。
    3. オプティマイザ、学習率、バッチサイズ、エポック数、損失関数、正則化、および早期終了基準を記録する。すべての乱数シードおよび乱数生成器の設定を記録する。
    4. 学習済みモデルの重みと前処理設定を保存する。トレーニングログ、評価スクリプト、統計分析スクリプト、および説明可能性の出力を保存する。最終的な実験に使用したモデルおよびソフトウェアのバージョンを記録する。
    5. 独立した再現に必要な完全な計算環境を保存する。
    6. 倫理的、法的、ライセンス、およびプライバシーに関する制限に従い、ソースコード、データセット、モデルの重み、および補足資料の利用可能性を文書化する。
    7. アーカイブされたワークフローを独立して再実行し、再現された結果を元の結果と比較する。
    8. 標準化されたチェックリストを用いて、完全な再現性要件を文書化する。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

結果

提案されたXAIフレームワークは、代表的なヘルスケアデータセットとしてPima Indians Diabetes Datasetを用いて実装されました。Pima Indians Diabetes Datasetが唯一の実験的検証データセットとして使用されました。報告されたすべての予測、説明可能性、統計、および再現性の結果はこのデータセットから生成されたものです。TCGA-BRCA、TCGA-UCEC、MIMIC-III、ISIC 2019、HAM100、OhioT1DM、およびBraTS 2021は実験的な評価は行われておらず、異なるヘルスケアデータのモダリティにわたる一般的なプロトコルの適用可能性を示す例としてのみ含まれています。無効なレコードおよび重複レコードを削除した後、完全なデータセットを使用し、モデル開発前に指定の前処理操作を実行しました。データセットは、定義済みの層化分割戦略を用いて、独立したトレーニング、検証、およびテストサブセットに分割されました。データリークの可能性を最小限に抑えるため、3つのサブセット間でのサンプルの独立性が維持されました。

予測モデルは、事前定...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

ディスカッション

これらの結果は、提案されたプロトコルが、多様なヘルスケアデータセットにわたってXAIシステムを開発および評価するための、標準化され再現可能なワークフローとして有用であることを示している。表2および図3に示すように、体系的な前処理によって、欠損値の処理、データの正規化、特徴量のスケーリング、およびデータセットの分割が行われ、標準化されたデータが生成され、データ品質が向上した。データ準備における変動は、バイアスを導入し、予測性能を低下させ、説明可能性分析の信頼性を損なう可能性があるため、これらの前処理ステップは極めて重要である。したがって、再現性を促進し、データリークを防ぐためには、トレーニング、検証、およびテストの各データセットにわたって一貫した前処理手順を適用しなければならない19,20。

に示されているモデルの学習結果は 図 4<...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

開示事項

著者らは、本研究で報告された内容に影響を及ぼし得る競合する金銭的利益、商業的関係、または個人的関係がないことを宣言します。また、著者らに開示すべき利益相反はありません。

謝辞

著者らは、本ヘルスケアXAIプロトコルの開発および実験的検証において、それぞれの所属機関から提供された制度的支援に感謝いたします。また、実験的分析に使用した計算設備およびソフトウェアリソースに感謝いたします。本研究は外部資金を受けていません。著者らは、計算分析、データの可視化、および本研究で提示した図の作成に使用したPython 3.11、Matplotlib 3.9、およびSciPy 1.13の使用に感謝いたします。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
CaptumMeta AI最新安定版PyTorchの説明可能性
CUDA ToolkitNVIDIA12.2GPU加速
cuDNNNVIDIA9.xディープラーニングバックエンド
GitGit SCM最新安定版バージョン管理
GitHubGitHub Inc.Webプラットフォームソースコードリポジトリ
Grad-CAMjacobgil最新リリースCNNの可視化
Jupyter NotebookProject Jupyter最新安定版インタラクティブ開発
LightGBMMicrosoft4.x勾配ブースティング
LIMELIME Community0.2.0局所的な説明可能性
MatplotlibMatplotlib Developers3.9可視化
Microsoft ExcelMicrosoftMicrosoft 365データ整理
NumPyNumPy Developers1.26数値計算
NVIDIA RTX 4090 GPUNVIDIA24 GB VRAMモデル学習
OpenCVOpenCV Organization4.10画像前処理
PandasPandas Development Team2.2データ前処理
Pillow (PIL)Python Imaging Library10.x画像処理
PlotlyPlotly Technologies5.xインタラクティブ可視化
PythonPython Software Foundation3.11プログラミング環境
PyTorchPyTorch Foundation2.3ディープラーニング
Scikit-learnScikit-learn Developers1.5機械学習
SciPySciPy Developers1.13科学計算
SeabornSeaborn Developers0.13統計グラフ
SHAPSHAP Community0.46大域的な説明可能性
SimpleITKInsight Software Consortium2.x医療画像処理
StatsmodelsStatsmodels Developers0.14統計解析
システムRAMメーカー不問32 GB 以上メモリ
TensorBoardGoogle2.15学習モニタリング
TensorFlowGoogle2.15ディープラーニング
Ubuntu Linux / Windows 11Canonical / Microsoft22.04 LTS / 11オペレーティングシステム
Visual Studio CodeMicrosoft最新安定版コード開発
XGBoostXGBoost Developers2.1勾配ブースティング

参考文献

  1. Acosta JN, Falcone GJ, Rajpurkar P, Topol EJ. Multimodal biomedical AI. Nat Med. 2022;28(9):1773-1784.
  2. Tang AS, et al. Harnessing EHR data for health research. Nat Med. 2024;30(7):1847-1855.
  3. Zhang A, Xing L, Zou J, Wu JC. Shifting machine learning for healthcare from development to deployment and from models to data. Nat Biomed Eng. 2022;6(11):1330-1345.
  4. Bera K, et al. Predicting cancer outcomes with radiomics and artificial intelligence in radiology. Nat Rev Clin Oncol. 2022;19(2):132-146.
  5. Wenderott K, Krups J, Zaruchas F, Weigl M. Effects of artificial intelligence implementation on efficiency in medical imaging—a systematic literature review and meta-analysis. NPJ Digit Med. 2024;7(1):265.
  6. Kaissis GA, Makowski MR, Rückert D, Braren RF. Secure, privacy-preserving and federated machine learning in medical imaging. Nat Mach Intell. 2020;2(6):305-311.
  7. He J, et al. The practical implementation of artificial intelligence technologies in medicine. Nat Med. 2019;25(1):30-36.
  8. Antoniadi AM, et al. Current challenges and future opportunities for XAI in machine learning-based clinical decision support systems: A systematic review. Appl Sci (Basel). 2021;11(11):5088.
  9. Samek W, et al. Explaining deep neural networks and beyond: A review of methods and applications. Proc IEEE. 2021;109(3):247-278.
  10. Holzinger A, et al. Causability and explainability of artificial intelligence in medicine. WIREs Data Min Knowl Discov. 2019;9(4).
  11. Markus AF, Kors JA, Rijnbeek PR. The role of explainability in creating trustworthy artificial intelligence for health care: A comprehensive survey of the terminology, design choices, and evaluation strategies. Nat Biomed Eng. 2021;5(9):996-1011.
  12. Arrieta AB, et al. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion. 2020;58:82-115.
  13. Selvaraju RR, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [conference paper]. Presented at: IEEE International Conference on Computer Vision (ICCV); Venice, Italy; 2017:618-626. https://openaccess.thecvf.com/content_iccv_2017/html/Selvaraju_Grad-CAM_Visual_Explanations_ICCV_2017_paper.html
  14. Tonekaboni S, Joshi S, McCradden MD, Goldenberg A. What clinicians want: Contextualizing explainable machine learning for clinical end use. Nat Mach Intell. 2019;1(12):572-584.
  15. Sundararajan M, Taly A, Yan Q. Axiomatic attribution for deep networks [conference paper]. Presented at: 34th International Conference on Machine Learning; Sydney, Australia; 2017;70:3319-3328. https://proceedings.mlr.press/v70/sundararajan17a.html
  16. Ribeiro MT, Singh S, Guestrin C. “Why should I trust you?”: Explaining the predictions of any classifier [conference paper]. Presented at: 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; San Francisco, CA; 2016:1135-1144.
  17. Desai S, Ramaswamy HG. Ablation-CAM: Visual explanations for deep convolutional network via gradient-free localization [conference paper]. Presented at: IEEE/CVF Winter Conference on Applications of Computer Vision (WACV); 2020:983-991.
  18. Belle V, Papantonis I. Principles and practice of explainable machine learning. Front Big Data. 2021;4:688969.
  19. Vilone G, Longo L. Notions of explainability and evaluation approaches for explainable artificial intelligence. Inf Fusion. 2021;76:89-106.
  20. Ali S, et al. Explainable artificial intelligence (XAI): What we know and what is left to attain trustworthy artificial intelligence. Inf Fusion. 2023;99:101805.
  21. Gundersen OE, Kjensmo S. State of the art: Reproducibility in artificial intelligence [conference paper]. Presented at: Thirty-Second AAAI Conference on Artificial Intelligence; New Orleans, LA; 2018:1644-1651. https://ojs.aaai.org/index.php/AAAI/article/view/11503
  22. Hutson M. Artificial intelligence faces reproducibility crisis. Science. 2018;359(6377):725-726.
  23. Pineau J, et al. Improving reproducibility in machine learning research: A report from the NeurIPS 2019 reproducibility program. J Mach Learn Res. 2021;22(164):1-20.
  24. U.S. Food and Drug Administration, Health Canada, Medicines and Healthcare products Regulatory Agency. Good Machine Learning Practice for Medical Device Development: Guiding Principles. 2021.
  25. Liu X, et al. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: The CONSORT-AI extension. Nat Med. 2020;26(9):1364-1374.
  26. Mongan J, Moy L, Kahn CE Jr. Checklist for Artificial Intelligence in Medical Imaging (CLAIM): A guide for authors and reviewers. Radiol Artif Intell. 2020;2(2).
  27. Peng RD. Reproducible research in computational science. Science. 2011;334(6060):1226-1227.
  28. Collins GS, et al. Protocol for development of the TRIPOD-AI and PROBAST-AI reporting and risk-of-bias tools for studies developing, validating, or updating prediction models based on artificial intelligence. BMJ Open. 2021;11.
  29. Kapoor S, Narayanan A. Leakage and the reproducibility crisis in machine-learning-based science. Patterns. 2023;4(9):100804.
  30. Wiens J, et al. Do no harm: A roadmap for responsible machine learning for health care. Nat Med. 2019;25(9):1337-1340.

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

再版と許可

さらに記事を探す

説明可能なAIヘルスケアAIモデルモデルの解釈可能性再現可能なプロトコル予測性能特徴量エンジニアリング統計的検証SHAPによる説明LIMEによる説明反事実的説明
お問い合わせ
図書館に推薦する

プライバシー

利用規約

ポリシー

著作権 © 2026 MyJoVE Corporation. 無断転載を禁じます。