È richiesta un abbonamento a JoVE per visualizzare questo contenuto. Accedi o inizia la tua prova gratuita.

Articolo metodologico

Un protocollo sperimentale riproducibile per lo sviluppo e la valutazione di modelli di intelligenza artificiale spiegabile nei sistemi sanitari

9 visualizzazioni

⸱

DOI:

10.3791/73848

⸱

15 settembre 2026

 , 
1Vishwakarma University

In questo articolo

Sommario

Questo protocollo presenta un flusso di lavoro riproducibile per lo sviluppo, la valutazione e l'interpretazione di modelli di intelligenza artificiale interpretabili nell'ambito sanitario. Esso integra la preparazione standardizzata dei dati, lo sviluppo del modello, tecniche di interpretabilità, valutazione quantitativa e pratiche di riproducibilità al fine di migliorare trasparenza, affidabilità e applicabilità clinica.

Abstract

L'intelligenza artificiale (AI) sta diventando sempre più uno strumento prezioso per il processo decisionale clinico, la previsione delle malattie, la diagnosi medica e l'assistenza sanitaria personalizzata. Tuttavia, la mancanza di trasparenza, l'implementazione non uniforme dei metodi di intelligenza artificiale interpretabile (XAI) e la riproducibilità limitata rimangono ostacoli significativi per un impiego affidabile dei modelli di intelligenza artificiale in ambito clinico. Questo articolo propone un protocollo sistematico, riproducibile e trasparente per lo sviluppo, la valutazione e l'interpretazione di modelli di intelligenza artificiale interpretabile per applicazioni sanitarie. Il flusso di lavoro inizia con la configurazione dell'ambiente computazionale, seguita dall'acquisizione e caratterizzazione dei dati, la pre-elaborazione, l'ingegnerizzazione delle caratteristiche, lo sviluppo del modello, l'ottimizzazione degli iperparametri, la valutazione delle prestazioni predittive, l'analisi dell'interpretabilità, la validazione statistica e la valutazione della riproducibilità. Il protocollo incorpora metodi XAI come SHapley Additive exPlanations (SHAP), Local Interpretable Model-agnostic Explanations (LIME), Gradient-weighted Class Activation Mapping (Grad-CAM), Integrated Gradients, la visualizzazione dell'attenzione e spiegazioni controfattuali, al fine di generare interpretazioni sia globali che locali del modello. Il protocollo sottolinea diversi componenti chiave, tra cui la preparazione di set di dati sanitari standardizzati, lo sviluppo di modelli di apprendimento automatico stabili, la valutazione delle prestazioni predittive, la generazione di spiegazioni clinicamente rilevanti e la valutazione statistica della riproducibilità attraverso esperimenti ripetuti. Integrando lo sviluppo del modello, l'interpretabilità, la valutazione quantitativa e qualitativa, la validazione statistica e la valutazione della riproducibilità in un flusso di lavoro unificato, questo protocollo fornisce un quadro completo per lo sviluppo di modelli di intelligenza artificiale trasparenti e riproducibili per applicazioni sanitarie.

Introduzione

L'intelligenza artificiale è diventata un componente fondamentale dell'assistenza sanitaria moderna, consentendo un'analisi intelligente di dati clinici complessi e sostenendo il processo decisionale medico basato su evidenze1. La rapida digitalizzazione dell'assistenza sanitaria attraverso cartelle cliniche elettroniche, sistemi di imaging medico, dispositivi indossabili e tecnologie genomiche ha generato grandi volumi di dati eterogenei che richiedono approcci computazionali avanzati per un'interpretazione efficace2.

Gli algoritmi di machine learning (ML) e deep learning (DL) hanno dimostrato capacità notevoli nell'estrarre schemi significativi da dataset sanitari multidimensionali, migliorando così l'accuratezza diagnostica, la previsione delle malattie e la valutazione degli esiti nei pazienti3. I modelli basati sull'intelligenza artificiale sono stati applicati con successo in radiologia, patologia, cardiologia, oncologia, oftalmologia e altre specialità mediche per assistere i clinici nel rilevamento precoce delle malattie e nella raccomandazione di strategie di trattamento personalizzate4. Queste tecnologie hanno inoltre contribuito all'ottimizzazione dei flussi di lavoro, alla riduzione della variabilità diagnostica e al miglioramento dell'utilizzo delle risorse sanitarie5.

I recenti sviluppi nell'hardware informatico, nel cloud computing e nei framework open source per l'intelligenza artificiale hanno accelerato lo sviluppo e il deployment di applicazioni sanitarie intelligenti6. Di conseguenza, l'intelligenza artificiale è diventata una tecnologia abilitante fondamentale per la medicina di precisione e per i sistemi di supporto alle decisioni cliniche7. Nonostante questi progressi, l'adozione diffusa dell'intelligenza artificiale nella pratica clinica di routine rimane limitata, poiché molti modelli ad alte prestazioni offrono scarse informazioni su come vengono generate le loro previsioni8.

La maggior parte degli algoritmi di deep learning funziona come modelli complessi a scatola nera, nei quali il processo decisionale interno è difficile da comprendere per clinici e ricercatori9. Sebbene questi modelli spesso raggiungano prestazioni predittive eccellenti, la loro mancanza di trasparenza compromette la fiducia degli utenti e pone sfide per la validazione clinica, l'approvazione regolatoria e la sicurezza dei pazienti10. I professionisti sanitari devono essere in grado di giustificare le decisioni assistite dall'intelligenza artificiale prima di integrarle nella pratica clinica di routine, specialmente in ambienti medici ad alto rischio11.

L'XAI si è affermato come un approccio efficace per migliorare la trasparenza e l'interpretabilità dei modelli di apprendimento automatico12. Piuttosto che considerare i modelli predittivi come sistemi opachi, le tecniche XAI forniscono informazioni sulle caratteristiche, le regioni delle immagini o le variabili cliniche che contribuiscono alle singole previsioni13. Tali spiegazioni consentono ai clinici di comprendere meglio il comportamento del modello, identificare potenziali bias e stabilire se le decisioni generate dall'intelligenza artificiale siano coerenti con le conoscenze mediche consolidate14.

Sono state introdotte diverse tecniche di spiegabilità per applicazioni nel settore sanitario. Le spiegazioni additive basate sui valori di Shapley (SHAP) misurano il contributo di ciascuna caratteristica alla previsione del modello sulla base della teoria dei giochi cooperativi15. Le spiegazioni locali interpretabili indipendenti dal modello (LIME) creano un modello semplificato per spiegare le previsioni di un modello blackbox16. Per compiti di analisi di immagini mediche che utilizzano modelli di deep learning, le mappe di attivazione pesate tramite gradiente (Grad-CAM) generano mappe di calore che indicano visivamente le regioni dell'immagine che contribuiscono alle decisioni di classificazione17. La combinazione di questi metodi ha notevolmente aumentato la trasparenza dei sistemi di intelligenza artificiale in diversi ambiti sanitari18.

Nonostante l'attenzione crescente verso i metodi di spiegabilità nei contesti sanitari, il loro utilizzo rimane vario in letteratura. I ricercatori differiscono non solo nell'uso di strategie di preelaborazione, ma anche nella progettazione dell'architettura del modello, nelle metriche di valutazione e persino nelle tecniche esplicative19. Inoltre, molti articoli riportano un'elevata accuratezza predittiva ma non forniscono una valutazione approfondita della qualità delle spiegazioni o della loro riproducibilità20.

La riproducibilità è uno dei principali colli di bottiglia nella scienza moderna dell'intelligenza artificiale. Spesso gli articoli non riportano la versione del software, l'ambiente computazionale, la pipeline di preelaborazione, le impostazioni degli iperparametri, l'inizializzazione del seme casuale e le configurazioni hardware21. Per questo motivo, i ricercatori indipendenti spesso non riescono a riprodurre i risultati pubblicati o a verificare i metodi descritti utilizzando altri dataset o piattaforme software22. La mancanza di documentazione dettagliata è uno dei fattori che ostacolano gli studi di benchmarking, la ricerca collaborativa e la traduzione clinica dei sistemi di intelligenza artificiale23.

Riconoscendo queste sfide, numerose organizzazioni e agenzie regolatorie hanno sottolineato l'importanza di un'intelligenza artificiale trasparente, affidabile e riproducibile per le applicazioni nel settore sanitario24. Le linee guida per la rendicontazione esistenti hanno migliorato la descrizione metodologica, ma descrivono principalmente cosa dovrebbe essere riportato, piuttosto che fornire procedure sperimentali standardizzate che i ricercatori possano implementare direttamente25. Di conseguenza, permane la necessità di un protocollo completo che integri la preparazione del dataset, lo sviluppo del modello, l'analisi dell'interpretabilità, la valutazione statistica e le pratiche di riproducibilità in un unico flusso di lavoro sperimentale26.

Un protocollo sperimentale standardizzato offre diversi vantaggi per la comunità dell'intelligenza artificiale in ambito sanitario. Inoltre, promuove la coerenza metodologica, facilita il confronto tra studi indipendenti, aumenta la trasparenza degli esperimenti computazionali e permette una validazione affidabile dei risultati pubblicati27. I flussi di lavoro standardizzati assistono anche l'istruzione/la formazione, la ricerca collaborativa e la valutazione normativa attraverso procedure chiaramente documentate, riproducibili in diversi laboratori e istituzioni sanitarie28.

È stato sviluppato e testato un protocollo sperimentale riproducibile per la formazione e la valutazione di modelli di intelligenza artificiale nei sistemi sanitari. Il protocollo definisce standard per la configurazione dell'ambiente computazionale, la pre-elaborazione dei dataset sanitari, lo sviluppo di modelli di apprendimento automatico, l'applicazione di metodi XAI, la valutazione delle prestazioni predittive, l'esecuzione di validazioni statistiche e la valutazione della riproducibilità29. L'integrazione di tali componenti in un flusso di lavoro coerente è probabilmente in grado di aumentare la trasparenza, l'affidabilità e la riproducibilità della ricerca sull'intelligenza artificiale in ambito sanitario, oltre a contribuire allo sviluppo di sistemi sanitari intelligenti affidabili30.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Protocollo

L'esperimento di validazione svolto ha utilizzato il Pima Indians Diabetes Dataset, disponibile pubblicamente e con informazioni anonime, e non ha coinvolto record di pazienti identificabili né reclutamento di nuovi pazienti. Pertanto, non era richiesto il consenso informato né l'approvazione del comitato etico istituzionale (IRB), e tutte le analisi sono state condotte in conformità ai termini applicabili del dataset e alle politiche istituzionali per la ricerca.

L'esempio pratico di validazione utilizza il dataset pubblicamente disponibile Pima Indians Diabetes, che contiene 768 record per la previsione binaria del diabete. All'insieme di dati è stato applicato un flusso di lavoro principale completo di nove fasi. Le nove fasi fondamentali comprendevano la selezione e la validazione del dataset, la configurazione dell'ambiente computazionale, la pre-elaborazione dei dati, la suddivisione del dataset, lo sviluppo e l'addestramento del modello, la valutazione delle prestazioni predittive e computazionali, l'analisi dell'interpretabilità, la validazione statistica e la valutazione della riproducibilità. La validazione esterna e la valutazione da parte di esperti clinici sono state mantenute come moduli opzionali di validazione e non sono state eseguite nel presente esempio pratico. Figura 1 illustra il flusso di lavoro del protocollo principale, e Tabella 1 riassume esclusivamente le nove fasi principali implementate nel presente esempio pratico di validazione; la validazione esterna e la valutazione da parte di esperti clinici, descritte separatamente all'interno del Protocollo, non sono incluse tra le nove fasi sperimentali.

1. Selezionare e convalidare il dataset sanitario

  1. Selezionare il Pima Indians Diabetes Dataset come dataset principale per l'esempio di validazione illustrato. Verificare la provenienza del dataset, la dimensione del campione, l'obiettivo della previsione, la distribuzione delle classi e la struttura dei dati.
  2. Applicare i criteri predeterminati di inclusione, esclusione e qualità dei dati. Rimuovere i record duplicati e non validi prima dello sviluppo del modello.
  3. Registrare nel Tabella 2 la provenienza del dataset, le caratteristiche, il compito di previsione, la distribuzione delle classi, i criteri di inclusione ed esclusione e la strategia di partizionamento.
  4. Applicare i criteri decisionali per la selezione del dataset e del modello
    1. Definire l'obiettivo della previsione prima di selezionare il dataset, l'architettura del modello, la strategia di preelaborazione o il metodo di spiegabilità.
    2. Abbinare la modalità del dataset all'obiettivo della previsione. Selezionare dati tabellari per variabili cliniche strutturate, dati di immagini per immagini mediche, dati in serie temporale per segnali fisiologici, dati testuali per narrazioni cliniche, o dati multimodali quando sono disponibili modalità complementari per lo stesso paziente o unità di studio.
    3. Valutare i dataset candidati in base alla dimensione del campione, alla disponibilità dell'esito, alla distribuzione delle classi, alla presenza di dati mancanti, alla qualità delle annotazioni, alla rilevanza clinica, alla completezza dei dati e all'accessibilità. Selezionare il dataset che soddisfa i requisiti predeterminati.
    4. Selezionare modelli convenzionali di machine learning per dati tabellari strutturati quando la dimensione del campione, le risorse computazionali o i requisiti di interpretabilità limitano l'uso di architetture complesse. Selezionare architetture di deep learning quando sono disponibili dati di addestramento sufficienti e input ad alta dimensionalità, come immagini mediche, segnali fisiologici o testo clinico.
    5. Selezionare architetture multimodali solo quando sono disponibili più modalità per lo stesso paziente o unità di studio e possono essere allineate in modo affidabile senza introdurre perdite informative. Selezionare le operazioni di preelaborazione in base alle caratteristiche della modalità dati scelta.
    6. Selezionare i metodi di spiegabilità in base al modello e alla modalità dei dati. Utilizzare metodi agnostici rispetto al modello, come SHAP o LIME, per modelli tabellari appropriati e metodi specifici della modalità, come Grad-CAM per modelli basati su immagini, quando applicabile.
    7. Documentare la motivazione alla base delle scelte relative al dataset, alla strategia di preelaborazione, al modello e ai metodi di spiegabilità. Conservare queste decisioni come parte del record di riproducibilità.

2. Configurare l'ambiente computazionale per lo sviluppo del modello XAI

  1. Configurare il sistema operativo, la CPU, la RAM, lo storage e la GPU in base ai requisiti del modello selezionato. Creare un ambiente Python isolato e installare le librerie necessarie di machine learning, deep learning, statistica, visualizzazione e XAI.
  2. Registrare l'ambiente computazionale effettivo, l'architettura del modello e gli iperparametri utilizzati per la validazione svolta in Tabella 3. Specificare l'ottimizzatore, il tasso di apprendimento, la dimensione del batch, il numero massimo di epoche, la funzione di perdita, i parametri di regolarizzazione, la strategia di validazione, la configurazione dell'arresto anticipato, la configurazione del seme casuale, i metodi di spiegabilità, l'hardware, il sistema operativo, la versione di Python e le versioni delle librerie software rilevanti. Distinguere queste impostazioni effettivamente utilizzate nell'esperimento dalle impostazioni generali o raccomandate del protocollo.
  3. Utilizzare la configurazione riportata in Tabella 3 quando si riproduce la validazione del Pima Indians Diabetes Dataset e i corrispondenti risultati predittivi, di spiegabilità, statistici e di riproducibilità.
  4. Eseguire uno script di validazione per verificare l'importazione corretta dei pacchetti, il caricamento del dataset, l'esecuzione del modello e la generazione degli output. Conservare la configurazione finale dell'ambiente per garantire la riproducibilità.

3. Preparare e caratterizzare set di dati sanitari per lo sviluppo di modelli XAI

  1. Selezionare e acquisire il dataset sanitario
    1. Selezionare un dataset sanitario appropriato per il compito di previsione clinica definito. Valutare i dataset candidati in base all'obiettivo della ricerca, al tipo di dati, alla dimensione del campione, alla qualità delle annotazioni, all'equilibrio delle classi e alla rilevanza clinica.
    2. Preferire dataset di riferimento pubblicamente disponibili quando questi affrontano adeguatamente il compito di previsione e facilitano la validazione indipendente.
    3. Ottenere le necessarie approvazioni etiche, le autorizzazioni istituzionali e l'autorizzazione all'accesso ai dati prima di acquisire dataset istituzionali o interni. Ottenere il dataset selezionato da un archivio verificato o da un database istituzionale autorizzato.
    4. Conservare i file originali del dataset senza modifiche e registrare il fornitore del dataset, la versione, le informazioni sull'acquisizione, le condizioni di licenza, i criteri di inclusione, i criteri di esclusione e i metadati allegati. Organizzare il dataset in directory separate per dati grezzi, annotazioni, metadati e informazioni supplementari.
  2. Caratterizzare il dataset sanitario
    1. Identificare le variabili predittive, le etichette degli esiti, i tipi di caratteristiche, le modalità dei dati e le distribuzioni delle classi. Determinare il numero di soggetti, campioni, dimensioni delle caratteristiche e annotazioni disponibili.
    2. Verificare che le caratteristiche del dataset siano compatibili con il metodo di intelligenza artificiale selezionato.
    3. Utilizzare il Pima Indians Diabetes Dataset come unico dataset sperimentale illustrato per la validazione del protocollo principale in nove fasi. Includere i dataset aggiuntivi elencati nella Tabella 2 soltanto per dimostrare l'applicabilità del protocollo generale su dati clinici tabulari, cartelle cliniche elettroniche, immagini dermatoscopiche, dati temporali fisiologici e immagini mediche. Non utilizzare questi dataset aggiuntivi per l'addestramento del modello, i test, la validazione statistica o la generazione dei risultati sperimentali riportati.
  3. Valutare la qualità del dataset
    1. Esaminare il dataset alla ricerca di record duplicati, file corrotti, valori mancanti, errori di annotazione e inserimenti di dati irregolari. Rimuovere i record duplicati confermati e correggere le irregolarità di formattazione verificate. Documentare tutte le procedure di controllo qualità del dataset.
    2. Verificare la corrispondenza tra dati di imaging, clinici, di laboratorio e fisiologici attraverso gli identificatori dei soggetti quando si utilizzano dataset multimodali.
    3. Rimuovere record duplicati o incoerenti, gestire i valori mancanti, standardizzare le caratteristiche numeriche, codificare le variabili categoriche e applicare pre-elaborazioni specifiche per ciascuna modalità. Suddividere il dataset in set indipendenti di addestramento, validazione e test. Fare riferimento alla Figura 2 per il flusso di lavoro relativo alla preparazione, pre-elaborazione, suddivisione e valutazione della qualità del dataset sanitario.
  4. Garantire la privacy dei dati e la conformità etica
    1. Rimuovere gli identificatori diretti dai dati sanitari. Applicare procedure di anonimizzazione o pseudonimizzazione quando richiesto. Gestire le informazioni sanitarie dei pazienti in conformità con i requisiti etici, di protezione dei dati, di consenso informato e istituzionali applicabili.
    2. Registrare l'approvazione etica applicabile, l'esenzione, le procedure di governance dei dati, i metodi di anonimizzazione e il flusso di lavoro di preparazione del dataset.
    3. Valutare il potenziale bias algoritmico confrontando le prestazioni del modello tra sottogruppi demografici o clinici rilevanti, quando tali informazioni sono disponibili e consentite dal punto di vista etico.
    4. Documentare l'uso previsto, la popolazione target, i limiti del modello, i potenziali modi di fallimento, i requisiti di supervisione umana e i requisiti etici, di protezione dei dati e normativi sanitari applicabili.
    5. Registrare i limiti di equità identificati e le considerazioni relative all'intelligenza artificiale responsabile come parte della documentazione finale del modello.
      NOTA: Ottenere un dataset sanitario standardizzato e documentato, adatto allo sviluppo di modelli di intelligenza artificiale, conforme agli aspetti etici e privo di incoerenze significative identificate.

4. Preelaborare e suddividere i dati sanitari per l'addestramento del modello di intelligenza artificiale

  1. Eseguire il controllo di qualità
    1. Esaminare il dataset alla ricerca di record duplicati, valori mancanti, valori non validi, etichette inconsistenti, valori anomali e file corrotti.
    2. Rimuovere o correggere le osservazioni non valide secondo criteri predeterminati e registrare tutte le esclusioni. Verificare la coerenza delle variabili predittive e delle etichette dell'esito.
  2. Gestire i dati mancanti
    1. Quantificare la presenza di dati mancanti per ogni variabile. Applicare la strategia predeterminata di imputazione o esclusione.
    2. Stimare i parametri di imputazione utilizzando esclusivamente i dati di addestramento e applicare la trasformazione calibrata ai dati di validazione e di test.
  3. Normalizzare e trasformare i dati
    1. Applicare la riduzione della scala delle caratteristiche, la normalizzazione, la codifica, la riduzione della dimensionalità o altre trasformazioni richieste dal modello selezionato. Calibrare tutte le trasformazioni dipendenti dai dati utilizzando solo i dati di addestramento.
    2. Applicare le trasformazioni calibrate senza modifiche ai dati di validazione e di test.
  4. Quantificare lo sbilanciamento delle classi nei dati di addestramento. Applicare pesatura delle classi, SMOTE, oversampling o aumento del campione solo al dataset di addestramento. Mantenere la distribuzione originale dei dataset di validazione e di test.
  5. Verificare che nessun soggetto, osservazione duplicata, campione aumentato, statistica di preelaborazione, criterio di selezione delle caratteristiche o campione sintetico sia condiviso tra i partizioni di addestramento e di valutazione.

5. Sviluppare e configurare il modello XAI

  1. Definire l'architettura del modello specificando le modalità dei dati in ingresso, le operazioni di pre-elaborazione, gli encoder delle caratteristiche specifici per ogni modalità, il meccanismo di fusione delle caratteristiche, il livello di previsione e il modulo di spiegabilità.
  2. Scegliere l'architettura di machine learning o deep learning in base al compito di previsione e alla modalità in ingresso. Configurare il livello di input, i componenti di estrazione delle caratteristiche, i livelli nascosti, il livello di output e le funzioni di attivazione. Definire l'ottimizzatore, il tasso di apprendimento, la dimensione del batch, la funzione di perdita, il numero di epoche, la regolarizzazione, il dropout, l'arresto anticipato e la pianificazione del tasso di apprendimento.
  3. Ottimizzare gli iperparametri utilizzando esclusivamente i dati di addestramento e di validazione.
  4. Registrare l'architettura finale e la configurazione degli iperparametri nella Tabella 3.
  5. Verificare la compatibilità delle dimensioni tra input e output prima dell'addestramento.
    NOTA: Creare un modello XAI completamente configurato, contenente un'architettura adeguata, iperparametri definiti e tecniche di spiegabilità integrate.

6. Addestrare, ottimizzare e conservare il modello XAI

  1. Caricare i dataset predefiniti per il training e la validazione e la configurazione finale del modello. Inizializzare il modello utilizzando il seme casuale predefinito e i parametri di addestramento.
  2. Addestrare il modello utilizzando l'ottimizzatore specificato, la funzione di perdita, la dimensione del batch e i criteri di arresto.
  3. Monitorare le prestazioni sulla validazione e conservare il checkpoint corrispondente al criterio di selezione del modello predefinito. Valutare il checkpoint selezionato sul dataset di test indipendente senza ulteriore ottimizzazione.
  4. Salvare il modello addestrato, la configurazione di pre-elaborazione, gli iperparametri, il seme casuale e il registro di addestramento.
    NOTA: Ottenere un modello XAI ottimizzato, addestrato e validato utilizzando il dataset sanitario preparato. Conservare il modello con le migliori prestazioni, gli iperparametri, i registri di addestramento, la configurazione di pre-elaborazione e l'ambiente computazionale per garantire la riproducibilità.

7. Valutare le prestazioni predittive e computazionali

  1. Valutare le prestazioni predittive
    1. Caricare il modello ottimizzato e il dataset di test indipendente al termine dell'addestramento del modello e dell'ottimizzazione degli iperparametri. Mantenere invariati i parametri del modello addestrato e la pipeline di pre-elaborazione durante il test.
    2. Generare le previsioni per tutti i campioni nel dataset di test. Confrontare le uscite previste con le corrispondenti etichette reali.
  2. Calcolare le metriche di prestazione
    1. Selezionare le metriche di valutazione in base al tipo di compito predittivo.
    2. Calcolare accuratezza, precisione, richiamo (recall), specificità, punteggio F1, accuratezza bilanciata, coefficiente di correlazione di Matthews (MCC) e area sotto la curva ROC (AUC-ROC) per compiti di classificazione, ove applicabile. Calcolare errore assoluto medio (MAE), errore quadratico medio (RMSE), coefficiente di determinazione (R2) e altre misure rilevanti per compiti di regressione, ove applicabile.
  3. Valutare la generalizzazione e la robustezza del modello
    1. Valutare il modello utilizzando un dataset esterno raccolto in modo indipendente rispetto al dataset di sviluppo, ogni volta che tali dati siano disponibili.
    2. Preferire dataset esterni provenienti da un’istituzione sanitaria diversa, da una regione geografica differente o da una popolazione di pazienti distinta per valutarne la trasportabilità.
    3. Eseguire una validazione temporale utilizzando dati raccolti in un periodo successivo, quando sono disponibili dataset longitudinali.
    4. Eseguire una validazione multicentrica valutando il modello finale separatamente presso le diverse istituzioni partecipanti, quando sono disponibili dati multicentrici.
    5. Eseguire una validazione geografica utilizzando una popolazione indipendente proveniente da una diversa regione geografica, quando fattibile.
    6. Segnalare le differenze di prestazione e gli intervalli di confidenza tra il dataset di sviluppo e i dataset esterni.
  4. Valutare le prestazioni computazionali
    1. Misurare il tempo di addestramento del modello nell'ambiente computazionale predefinito, il tempo di inferenza e di test nelle stesse condizioni computazionali, nonché il consumo di memoria, le dimensioni del modello e l'utilizzo dell'hardware.
    2. Ripetere le misurazioni computazionali su esecuzioni indipendenti.
    3. Calcolare il tempo medio di esecuzione per ridurre l'effetto della variabilità sperimentale.
  5. Confrontare le prestazioni del modello
    1. Selezionare metodi convenzionali appropriati di apprendimento automatico o apprendimento profondo per la valutazione comparativa.
    2. Valutare il modello XAI proposto e i modelli di confronto utilizzando lo stesso dataset. Applicare procedure di pre-elaborazione e metriche di valutazione identiche a tutti i modelli comparativi.
    3. Eseguire tutti gli esperimenti comparativi nello stesso ambiente computazionale.
      NOTA: Ottenere evidenze sperimentali della stabilità predittiva e della riproducibilità nelle condizioni computazionali e con il dataset testati.

8. Generare e valutare gli output XAI

  1. Generare spiegazioni del modello
    1. Caricare il modello XAI ottimizzato. Selezionare campioni di valutazione non utilizzati per l'addestramento del modello. Applicare i metodi di spiegabilità predefiniti senza modificare il modello addestrato o la pipeline di preelaborazione.
    2. Generare spiegazioni globali e locali del modello
      1. Generare spiegazioni globali per caratterizzare il comportamento complessivo del modello predittivo.
      2. Generare spiegazioni locali per caratterizzare le singole previsioni del modello.
      3. Applicare SHAP al Pima Indians Diabetes Dataset per generare spiegazioni globali e locali delle previsioni del modello tabellare.
      4. Generare un grafico riassuntivo SHAP per visualizzare la direzione e l'entità complessive dei contributi delle caratteristiche.
      5. Generare un grafico di importanza delle caratteristiche SHAP utilizzando i valori assoluti medi di SHAP per ordinare le caratteristiche in base al loro contributo complessivo alle previsioni del modello.
      6. Generare un grafico a cascata SHAP per una previsione rappresentativa del test set per illustrare i contributi specifici per paziente delle caratteristiche.
      7. Generare un grafico di dipendenza delle caratteristiche SHAP per esaminare la relazione tra una caratteristica selezionata e il suo contributo all'uscita del modello.
      8. Applicare LIME a previsioni rappresentative del test set per generare spiegazioni locali delle singole previsioni del modello.
      9. Generare una spiegazione contropositiva specifica per paziente per illustrare i cambiamenti nelle caratteristiche associati a un cambiamento nell'esito previsto.
      10. Selezionare ulteriori tecniche di spiegabilità in base alla modalità dei dati e all'architettura del modello.
      11. Utilizzare Grad-CAM o mappe di salienza per modelli basati su immagini compatibili, visualizzazioni dell'attenzione per architetture basate su trasformatori e Gradienti Integrati per modelli differenziabili, quando applicabile.
      12. Considerare Grad-CAM, mappatura della salienza, visualizzazione dell'attenzione e Gradienti Integrati come opzioni generali di protocollo dipendenti dalla modalità, e non interpretarle né riportarle come risultati sperimentali della validazione del Pima Indians Diabetes Dataset a meno che le analisi corrispondenti non siano effettivamente eseguite.
    3. Applicare metodi di spiegabilità alla validazione esemplificata del dataset Pima
      1. Applicare SHAP e LIME al Pima Indians Diabetes Dataset per generare spiegazioni globali e locali delle previsioni del modello tabellare.
      2. Generare visualizzazioni SHAP riassuntive, di importanza delle caratteristiche, a cascata e di dipendenza delle caratteristiche a partire dai risultati della validazione Pima.
      3. Generare una spiegazione locale LIME per previsioni rappresentative del test set.
      4. Generare una spiegazione contropositiva specifica per paziente per illustrare i cambiamenti nelle caratteristiche associati a un cambiamento nella previsione del modello.
      5. Considerare Grad-CAM, visualizzazione dell'attenzione, mappatura della salienza e Gradienti Integrati come opzioni di spiegabilità dipendenti dalla modalità per altri tipi di dati sanitari e architetture di modelli.
      6. Non riportare Grad-CAM, visualizzazione dell'attenzione, mappatura della salienza o Gradienti Integrati come risultati sperimentali della validazione esemplificata del dataset Pima a meno che le analisi corrispondenti non siano effettivamente eseguite.
  2. Valutare la qualità delle spiegazioni
    1. Valutare se le spiegazioni generate riflettono il processo di previsione del modello. Valutare la stabilità delle spiegazioni in ripetuti esperimenti e la coerenza degli output delle spiegazioni in condizioni computazionali identiche.
    2. Valutare la sensibilità degli output delle spiegazioni ai cambiamenti nei dati in ingresso, quando applicabile. Confrontare le spiegazioni generate con le conoscenze di dominio disponibili o con interpretazioni esperte.
    3. Identificare caratteristiche predittive o regioni anatomiche che corrispondono a conoscenze mediche consolidate, quando tali confronti sono disponibili.
    4. Registrare il livello di accordo o disaccordo tra le spiegazioni generate e l'interpretazione clinica disponibile.
  3. Quantificare l'incertezza della previsione
    1. Generare stime di confidenza della previsione per i campioni valutati utilizzando un metodo di stima dell'incertezza appropriato all'architettura del modello selezionato e all'applicazione sanitaria.
    2. Applicare dropout Monte Carlo, previsione basata su ensemble, inferenza bayesiana, previsione conforme o un altro approccio validato di stima dell'incertezza, quando appropriato.
    3. Ripetere passaggi stocastici di previsione quando si utilizza il dropout Monte Carlo e calcolare la previsione media e la varianza predittiva per ciascun campione di valutazione.
    4. Riportare intervalli di confidenza o di incertezza della previsione insieme alle previsioni corrispondenti del modello.
    5. Valutare se le stime di incertezza identificano previsioni associate a minore affidabilità o a un aumento dell'errore di previsione. Conservare il metodo di stima dell'incertezza, i parametri, i semi casuali e gli output di incertezza generati per garantire la riproducibilità.
  4. Documentare e conservare gli output di spiegabilità
    1. Salvare tutti i punteggi di importanza delle caratteristiche generati, le mappe termiche, le mappe di salienza, le visualizzazioni dell'attenzione e le interpretazioni specifiche per paziente. Archiviare gli output di spiegabilità utilizzando formati di file standardizzati. Conservare gli output insieme al modello addestrato e alla configurazione di preelaborazione.
    2. Registrare le impostazioni computazionali, i parametri delle spiegazioni, il tempo di esecuzione e le versioni del software utilizzati per la generazione delle spiegazioni. Conservare tutta la documentazione relativa alla spiegabilità per facilitare la revisione indipendente e la riproducibilità.
  5. Valutare quantitativamente la qualità delle spiegazioni
    1. Valutare la fedeltà della spiegazione perturbando o mascherando in modo sistematico le caratteristiche identificate come importanti e misurando il corrispondente cambiamento nell'uscita del modello. Calcolare un punteggio di fedeltà della spiegazione confrontando l'entità dell'attribuzione con il cambiamento risultante nella previsione del modello.
    2. Valutare la stabilità della spiegazione generando spiegazioni per esecuzioni ripetute, input perturbati o campioni clinicamente simili e calcolando la somiglianza tra i modelli di attribuzione risultanti. Calcolare l'infedeltà misurando la discrepanza tra il cambiamento previsto nell'uscita e il cambiamento stimato dall'attribuzione della spiegazione sotto perturbazioni controllate dell'input.
    3. Per le spiegazioni basate su immagini mediche, valutare l'accuratezza della localizzazione utilizzando una regione di interesse definita da esperti quando sono disponibili annotazioni di riferimento. Valutare l'utilità clinica ottenendo valutazioni indipendenti da esperti clinici qualificati utilizzando criteri di interpretazione predefiniti.
    4. Calcolare il kappa di Cohen o il kappa di Fleiss quando più esperti valutano in modo indipendente la rilevanza o l'accordo delle spiegazioni.
      NOTA: Generare spiegazioni globali e locali che caratterizzino il comportamento predittivo del modello di intelligenza artificiale addestrato. Conservare gli output di spiegabilità e le configurazioni corrispondenti per un'interpretazione trasparente e una valutazione riproducibile.

9. Eseguire la validazione statistica e la valutazione della riproducibilità

  1. Eseguire la validazione statistica
    1. Selezionare i metodi statistici in base all'obiettivo dello studio, al disegno sperimentale, alla distribuzione dei dati e alle caratteristiche delle variabili valutate.
    2. Riportare le variabili continue come media ± deviazione standard o come mediana e intervallo interquartile, secondo opportunità, e le variabili categoriali come frequenze assolute e percentuali.
    3. Eseguire una cross-validation a cinque ripetizioni sul set di addestramento per valutare la stabilità delle prestazioni del modello e riportare accuratezza, AUC-ROC, precisione, richiamo e punteggio F1 come valori medi ± deviazione standard tra i fold. Stimare intervalli di confidenza al 95% per le metriche di prestazione sul test set indipendente utilizzando 1.000 ricampionamenti bootstrap.
    4. Confrontare il modello proposto con i modelli di base CNN, Random Forest e SVM utilizzando il test di McNemar per confronti appaiati dell'accuratezza, il test di DeLong per confronti dell'AUC-ROC correlati e un test bootstrap appaiato con 1.000 ricampionamenti per i confronti del punteggio F1.
    5. Riportare la statistica del test corrispondente e il valore p esatto per ogni confronto, utilizzando un livello di significatività bilaterale di α = 0.05.
  2. Confrontare statisticamente le prestazioni del modello
    1. Confrontare il modello di intelligenza artificiale interpretabile proposto con i modelli di riferimento selezionati basati su machine learning e deep learning all'avanguardia.
    2. Applicare il test t di Student t-test o il test di Mann-Whitney U a seconda dei casi quando si confrontano due gruppi. Applicare l'analisi della varianza ad un fattore (ANOVA) per i confronti parametrici appropriati che coinvolgono più di due gruppi. Applicare il test di Kruskal-Wallis per i confronti non parametrici appropriati che coinvolgono più di due gruppi.
    3. Considerare p < 0,05 statisticamente significativo, come specificato nel manoscritto originale.
    4. Utilizzare un livello di significatività bilaterale di α = 0,05 per tutti i confronti statistici predeterminati e riportare le corrispondenti statistiche del test e i valori p.
    5. Riportare gli intervalli di confidenza al 95% per le principali metriche di prestazione predittiva.
    6. Utilizzare il ricampionamento bootstrap per stimare gli intervalli di confidenza delle misure di prestazione quando appropriato. Utilizzare il test di DeLong per confrontare valori di ROC-AUC correlati quando gli stessi soggetti vengono valutati da due modelli. Utilizzare il test di McNemar per confrontare risultati categoriali appaiati di classificazione ottenuti per gli stessi soggetti. Utilizzare procedure bootstrap appaiate per confrontare il punteggio F1 o altre metriche di prestazione derivate quando appropriato.
    7. Valutare la calibrazione utilizzando i grafici di calibrazione, la pendenza/l'intercetta della calibrazione e il punteggio di Brier quando sono disponibili previsioni probabilistiche.
    8. Per la validazione del dataset Pima Indians Diabetes elaborato, utilizzare il confronto statistico accoppiato predefinito specificato per il modello proposto e i modelli di riferimento. Applicare il test selezionato in modo coerente alle predizioni sui test set accoppiati o alle misurazioni di prestazione ottenute da esecuzioni ripetute, a seconda della tipologia di confronto. Utilizzare un livello di significatività bilaterale di α = 0,05 e riportare la statistica del test e il valore p esatto. Non riportare test statistici alternativi come eseguiti a meno che i loro risultati non siano presentati nella sezione Risultati.
    9. Applicare test a due code e interpretare la significatività statistica utilizzando una soglia predeterminata di p < 0.05.
  3. Valutare la robustezza del modello
    1. Ripetere l'intera procedura di addestramento e valutazione 10 volte utilizzando diversi semi casuali, mantenendo invariata la partizione predeterminata del dataset, le procedure di preelaborazione, l'architettura del modello, gli iperparametri, l'ambiente software e il protocollo di valutazione.
    2. Registra l'AUC-ROC, l'accuratezza e il punteggio F1 per ogni esecuzione indipendente e riporta la media ± deviazione standard calcolata su 10 ripetizioni.
    3. Confrontare i valori di prestazione ottenuti in ripetute esecuzioni per valutare la stabilità predittiva e la riproducibilità in diverse inizializzazioni casuali.
  4. Valutare la riproducibilità dell'interpretabilità
    1. Generare attribuzioni delle caratteristiche, mappe di attenzione o altri output esplicativi in più esecuzioni sperimentali quando è inclusa la valutazione della stabilità delle spiegazioni. Confrontare quantitativamente gli output esplicativi tra corse ripetute utilizzando una misura di similarità appropriata o una misura di accordo basata sui ranghi.
    2. Per la validazione attuale del dataset sul diabete dei Pima Indians, non riportare metriche quantitative di stabilità delle spiegazioni a meno che non siano state eseguite le corrispondenti analisi e ripetizioni delle spiegazioni.
    3. Valutare l'accordo tra le spiegazioni generate dal modello e le interpretazioni dei clinici quando sono disponibili valutazioni cliniche appropriate. Calcolare il kappa di Cohen o il kappa di Fleiss, secondo opportunità, per valutare l'accordo tra i valutatori.
  5. Documentare la riproducibilità
    1. Conservare i dati grezzi, le procedure di preelaborazione, il codice sorgente, i modelli addestrati, le configurazioni degli iperparametri, gli output di spiegabilità, gli script di analisi statistica e i risultati generati.
    2. Registrare l'ambiente software e la configurazione hardware utilizzati durante l'intero flusso di lavoro. Ripetere in modo indipendente l'intero flusso di lavoro utilizzando i file e le configurazioni archiviati.
    3. Confrontare le prestazioni predittive replicate con i risultati sperimentali originali e le spiegazioni del modello replicate con gli output originali di spiegabilità.
    4. Registrare eventuali differenze osservate durante la replicazione. Aggiornare la documentazione sperimentale per riflettere le osservazioni sulla riproducibilità emerse durante l'esecuzione indipendente.
      NOTA: Ottenere risultati statisticamente validati relativi alle prestazioni predittive e alla spiegabilità, che possano essere valutati in esperimenti ripetuti. Conservare documentazione sufficiente di tipo computazionale, analitico e metodologico per consentire la verifica indipendente dell'intero flusso di lavoro.
  6. Elenco di controllo per la riproducibilità
    1. Registra il nome del dataset, la versione, la data di acquisizione, la fonte, i criteri di inclusione, i criteri di esclusione e il numero finale di campioni. Registra tutte le operazioni di preelaborazione, i parametri di trasformazione, le impostazioni di normalizzazione, le procedure di selezione delle caratteristiche e le regole di suddivisione dei dati.
    2. Registrare il sistema operativo, CPU, GPU, RAM, versione di Python, versioni dei framework e versioni delle librerie. Registrare tutte le specifiche dell'architettura del modello e gli iperparametri.
    3. Registra l'ottimizzatore, il tasso di apprendimento, la dimensione del batch, il numero di epoche, la funzione di perdita, la regolarizzazione e i criteri di arresto anticipato. Registra tutti i valori iniziali (seed) casuali e le impostazioni del generatore di numeri casuali.
    4. Conservare i pesi del modello addestrato e le configurazioni di pre-elaborazione. Conservare i log di addestramento, gli script di valutazione, gli script di analisi statistica e gli output di spiegabilità. Registrare le versioni del modello e del software utilizzate per gli esperimenti finali.
    5. Preservare l'ambiente computazionale completo necessario per la replicazione indipendente.
    6. Documentare la disponibilità del codice sorgente, dei set di dati, dei pesi del modello e dei materiali di supporto soggetti a restrizioni etiche, legali, di licenza e di privacy.
    7. Eseguire nuovamente in modo indipendente il flusso di lavoro archiviato e confrontare i risultati replicati con i risultati originali.
    8. Documentare i requisiti completi di riproducibilità utilizzando la checklist standardizzata.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Risultati

Il framework XAI proposto è stato implementato utilizzando il Pima Indians Diabetes Dataset come dataset rappresentativo nel settore sanitario. Il Pima Indians Diabetes Dataset è stato utilizzato come unico dataset per la validazione sperimentale. Tutti i risultati predittivi, di interpretabilità, statistici e di riproducibilità riportati sono stati ottenuti da questo dataset. TCGA-BRCA, TCGA-UCEC, MIMIC-III, ISIC 2019, HAM10000, OhioT1DM e BraTS 2021 non sono stati valutati sperimentalmente e sono inclusi soltanto come ...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Discussione

I risultati dimostrano l'utilità del protocollo proposto come flusso di lavoro standardizzato e riproducibile per lo sviluppo e la valutazione di sistemi XAI su diversi dataset sanitari. Come mostrato nella Tabella 2 e nella Figura 3, un preelaborazione sistematica ha prodotto dati standardizzati e ha migliorato la qualità dei dati attraverso la gestione dei valori mancanti, la normalizzazione dei dati, la scalatura delle caratteristiche e la partizione dei dataset. Questi p...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Dichiarazioni

Gli autori dichiarano di non avere interessi finanziari concorrenti, rapporti commerciali o rapporti personali che avrebbero potuto influenzare il lavoro descritto in questo studio. Gli autori non hanno conflitti di interessi da dichiarare.

Ringraziamenti

Gli autori riconoscono il supporto istituzionale fornito dalle rispettive istituzioni di affiliazione durante lo sviluppo e la validazione sperimentale di questo protocollo XAI per l'assistenza sanitaria. Gli autori riconoscono inoltre le strutture computazionali e le risorse software utilizzate per condurre le analisi sperimentali. Questa ricerca non ha ricevuto finanziamenti esterni. Gli autori riconoscono l'uso di Python 3.11, Matplotlib 3.9 e SciPy 1.13 per l'analisi computazionale, la visualizzazione dei dati e la generazione delle figure presentate in questo studio.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Materiali

Elenco dei materiali utilizzati in questo articolo
NomeAziendaNumero di catalogoCommenti
CaptumMeta AIUltima versione stabileSpiegabilità di PyTorch
CUDA ToolkitNVIDIA12.2Accelerazione GPU
cuDNNNVIDIA9.xBackend per il deep learning
GitGit SCMUltima versione stabileControllo versioni
GitHubGitHub Inc.Piattaforma webRepository di codice sorgente
Grad-CAMjacobgilUltima versione rilasciataVisualizzazione CNN
Jupyter NotebookProject JupyterUltima versione stabileSviluppo interattivo
LightGBMMicrosoft4.xGradient boosting
LIMEComunità LIME0.2.0Spiegabilità locale
MatplotlibSviluppatori Matplotlib3.9Visualizzazione
Microsoft ExcelMicrosoftMicrosoft 365Organizzazione dati
NumPySviluppatori NumPy1.26Calcolo numerico
NVIDIA RTX 4090 GPUNVIDIA24 GB VRAMAddestramento del modello
OpenCVOrganizzazione OpenCV4.10Pre-elaborazione delle immagini
PandasSquadra di sviluppo di Pandas2.2Pre-elaborazione dati
Pillow (PIL)Python Imaging Library10.xElaborazione delle immagini
PlotlyPlotly Technologies5.xVisualizzazione interattiva
PythonFondazione Python Software3.11Ambiente di programmazione
PyTorchFondazione PyTorch2.3Deep learning
Scikit-learnSviluppatori Scikit-learn1.5Apprendimento automatico
SciPySviluppatori SciPy1.13Calcolo scientifico
SeabornSviluppatori Seaborn0.13Grafici statistici
SHAPComunità SHAP0.46Spiegabilità globale
SimpleITKInsight Software Consortium2.xElaborazione di immagini mediche
StatsmodelsSviluppatori Statsmodels0.14Analisi statistica
RAM di sistemaQualsiasi produttore32 GB o superioreMemoria
TensorBoardGoogle2.15Monitoraggio dell'addestramento
TensorFlowGoogle2.15Deep learning
Ubuntu Linux / Windows 11Canonical / Microsoft22.04 LTS / 11Sistema operativo
Visual Studio CodeMicrosoftUltima versione stabileSviluppo del codice
XGBoostSviluppatori XGBoost2.1Gradient boosting

Riferimenti

  1. Acosta JN, Falcone GJ, Rajpurkar P, Topol EJ. Multimodal biomedical AI. Nat Med. 2022;28(9):1773-1784.
  2. Tang AS, et al. Harnessing EHR data for health research. Nat Med. 2024;30(7):1847-1855.
  3. Zhang A, Xing L, Zou J, Wu JC. Shifting machine learning for healthcare from development to deployment and from models to data. Nat Biomed Eng. 2022;6(11):1330-1345.
  4. Bera K, et al. Predicting cancer outcomes with radiomics and artificial intelligence in radiology. Nat Rev Clin Oncol. 2022;19(2):132-146.
  5. Wenderott K, Krups J, Zaruchas F, Weigl M. Effects of artificial intelligence implementation on efficiency in medical imaging—a systematic literature review and meta-analysis. NPJ Digit Med. 2024;7(1):265.
  6. Kaissis GA, Makowski MR, Rückert D, Braren RF. Secure, privacy-preserving and federated machine learning in medical imaging. Nat Mach Intell. 2020;2(6):305-311.
  7. He J, et al. The practical implementation of artificial intelligence technologies in medicine. Nat Med. 2019;25(1):30-36.
  8. Antoniadi AM, et al. Current challenges and future opportunities for XAI in machine learning-based clinical decision support systems: A systematic review. Appl Sci (Basel). 2021;11(11):5088.
  9. Samek W, et al. Explaining deep neural networks and beyond: A review of methods and applications. Proc IEEE. 2021;109(3):247-278.
  10. Holzinger A, et al. Causability and explainability of artificial intelligence in medicine. WIREs Data Min Knowl Discov. 2019;9(4).
  11. Markus AF, Kors JA, Rijnbeek PR. The role of explainability in creating trustworthy artificial intelligence for health care: A comprehensive survey of the terminology, design choices, and evaluation strategies. Nat Biomed Eng. 2021;5(9):996-1011.
  12. Arrieta AB, et al. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion. 2020;58:82-115.
  13. Selvaraju RR, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [conference paper]. Presented at: IEEE International Conference on Computer Vision (ICCV); Venice, Italy; 2017:618-626. https://openaccess.thecvf.com/content_iccv_2017/html/Selvaraju_Grad-CAM_Visual_Explanations_ICCV_2017_paper.html
  14. Tonekaboni S, Joshi S, McCradden MD, Goldenberg A. What clinicians want: Contextualizing explainable machine learning for clinical end use. Nat Mach Intell. 2019;1(12):572-584.
  15. Sundararajan M, Taly A, Yan Q. Axiomatic attribution for deep networks [conference paper]. Presented at: 34th International Conference on Machine Learning; Sydney, Australia; 2017;70:3319-3328. https://proceedings.mlr.press/v70/sundararajan17a.html
  16. Ribeiro MT, Singh S, Guestrin C. “Why should I trust you?”: Explaining the predictions of any classifier [conference paper]. Presented at: 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; San Francisco, CA; 2016:1135-1144.
  17. Desai S, Ramaswamy HG. Ablation-CAM: Visual explanations for deep convolutional network via gradient-free localization [conference paper]. Presented at: IEEE/CVF Winter Conference on Applications of Computer Vision (WACV); 2020:983-991.
  18. Belle V, Papantonis I. Principles and practice of explainable machine learning. Front Big Data. 2021;4:688969.
  19. Vilone G, Longo L. Notions of explainability and evaluation approaches for explainable artificial intelligence. Inf Fusion. 2021;76:89-106.
  20. Ali S, et al. Explainable artificial intelligence (XAI): What we know and what is left to attain trustworthy artificial intelligence. Inf Fusion. 2023;99:101805.
  21. Gundersen OE, Kjensmo S. State of the art: Reproducibility in artificial intelligence [conference paper]. Presented at: Thirty-Second AAAI Conference on Artificial Intelligence; New Orleans, LA; 2018:1644-1651. https://ojs.aaai.org/index.php/AAAI/article/view/11503
  22. Hutson M. Artificial intelligence faces reproducibility crisis. Science. 2018;359(6377):725-726.
  23. Pineau J, et al. Improving reproducibility in machine learning research: A report from the NeurIPS 2019 reproducibility program. J Mach Learn Res. 2021;22(164):1-20.
  24. U.S. Food and Drug Administration, Health Canada, Medicines and Healthcare products Regulatory Agency. Good Machine Learning Practice for Medical Device Development: Guiding Principles. 2021.
  25. Liu X, et al. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: The CONSORT-AI extension. Nat Med. 2020;26(9):1364-1374.
  26. Mongan J, Moy L, Kahn CE Jr. Checklist for Artificial Intelligence in Medical Imaging (CLAIM): A guide for authors and reviewers. Radiol Artif Intell. 2020;2(2).
  27. Peng RD. Reproducible research in computational science. Science. 2011;334(6060):1226-1227.
  28. Collins GS, et al. Protocol for development of the TRIPOD-AI and PROBAST-AI reporting and risk-of-bias tools for studies developing, validating, or updating prediction models based on artificial intelligence. BMJ Open. 2021;11.
  29. Kapoor S, Narayanan A. Leakage and the reproducibility crisis in machine-learning-based science. Patterns. 2023;4(9):100804.
  30. Wiens J, et al. Do no harm: A roadmap for responsible machine learning for health care. Nat Med. 2019;25(9):1337-1340.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Ristampe e permessi

Esplora altri articoli

IA spiegabileModelli di IA per l'assistenza sanitariaInterpretabilità dei modelliProtocollo riproducibilePrestazioni predittiveFeature engineeringValidazione statisticaSpiegazioni SHAPSpiegazioni LIMESpiegazioni controfattuali
Contattaci
Consiglia alla biblioteca

Privacy

Termini di utilizzo

Politiche

Copyright © 2026 MyJoVE Corporation. Tutti i diritti riservati.