Um Protocolo Experimental Reprodutível para o Desenvolvimento e Avaliação de Modelos de Inteligência Artificial Explicável em Sistemas de Saúde

Sital Dash; Kailas Patil

doi:10.3791/73848

É necessária uma assinatura do JoVE para visualizar este conteúdo. Faça login ou inicie seu teste gratuito.

Artigo de método

Um Protocolo Experimental Reprodutível para o Desenvolvimento e Avaliação de Modelos de Inteligência Artificial Explicável em Sistemas de Saúde

9 visualizações

⸱

DOI:

10.3791/73848

⸱

15 de setembro de 2026

Sital Dash¹ , Kailas Patil¹

¹Vishwakarma University

Neste artigo

Resumo

Este protocolo apresenta um fluxo de trabalho reproduzível para desenvolver, avaliar e interpretar modelos de inteligência artificial explicáveis na área da saúde. Ele integra a preparação padronizada de dados, desenvolvimento de modelos, técnicas de explicabilidade, avaliação quantitativa e práticas de reprodutibilidade para melhorar a transparência, confiabilidade e aplicabilidade clínica.

Resumo

A inteligência artificial (AI) está sendo cada vez mais adotada como uma ferramenta valiosa para tomada de decisões clínicas, predição de doenças, diagnóstico médico e cuidados de saúde personalizados. No entanto, a falta de transparência, a implementação inconsistente de métodos de inteligência artificial explicável (XAI) e a reprodutibilidade limitada continuam sendo barreiras significativas para a implantação confiável de modelos de IA em ambientes clínicos. Este artigo propõe um protocolo sistemático, reprodutível e transparente para desenvolver, avaliar e interpretar modelos de IA explicáveis para aplicações em saúde. O fluxo de trabalho começa com a configuração do ambiente computacional, seguida pela aquisição e caracterização dos dados, pré-processamento, engenharia de características, desenvolvimento do modelo, otimização de hiperparâmetros, avaliação do desempenho preditivo, análise de explicabilidade, validação estatística e avaliação de reprodutibilidade. O protocolo incorpora métodos de XAI, como Explicações Aditivas de Shapley (SHAP), Explicações Locais Model-agnósticas Interpretáveis (LIME), Mapeamento de Ativação por Gradiente Ponderado (Grad-CAM), Gradientes Integrados, visualização de atenção e explicações contrafactuais, para gerar interpretações globais e locais do modelo. O protocolo enfatiza diversos componentes-chave, incluindo a preparação de conjuntos de dados padronizados em saúde, o desenvolvimento de modelos estáveis de aprendizado de máquina, a avaliação do desempenho preditivo, a geração de explicações clinicamente relevantes e a avaliação estatística da reprodutibilidade em experimentos repetidos. Ao integrar o desenvolvimento do modelo, explicabilidade, avaliação quantitativa e qualitativa, validação estatística e avaliação de reprodutibilidade em um fluxo de trabalho unificado, este protocolo fornece uma estrutura abrangente para o desenvolvimento de modelos de IA transparentes e reprodutíveis para aplicações em saúde.

Introdução

A IA tornou-se um componente integral da saúde moderna ao permitir a análise inteligente de dados clínicos complexos e apoiar a tomada de decisões médicas baseadas em evidências¹. A rápida digitalização da saúde por meio de prontuários eletrônicos, sistemas de imagens médicas, dispositivos vestíveis e tecnologias genômicas gerou grandes volumes de dados heterogêneos que exigem abordagens computacionais avançadas para interpretação eficaz².

Algoritmos de aprendizado de máquina (ML) e aprendizado profundo (DL) demonstraram capacidades notáveis na extração de padrões significativos a partir de conjuntos de dados multidimensionais em saúde, melhorando assim a precisão diagnóstica, a predição de doenças e a avaliação de desfechos em pacientes³. Modelos baseados em inteligência artificial foram aplicados com sucesso em radiologia, patologia, cardiologia, oncologia, oftalmologia e outras especialidades médicas para auxiliar clínicos na detecção precoce de doenças e na recomendação de estratégias de tratamento personalizadas⁴. Essas tecnologias também contribuíram para a otimização dos fluxos de trabalho, a redução da variabilidade diagnóstica e a melhoria no uso dos recursos em saúde⁵.

Desenvolvimentos recentes em hardware computacional, computação em nuvem e frameworks de IA de código aberto aceleraram o desenvolvimento e a implantação de aplicações inteligentes em saúde⁶. Consequentemente, a IA tornou-se uma tecnologia essencial para a medicina de precisão e sistemas de suporte à decisão clínica⁷. Apesar desses avanços, a adoção generalizada da IA na prática clínica rotineira ainda é limitada, pois muitos modelos de alto desempenho oferecem pouca transparência sobre como suas previsões são geradas⁸.

A maioria dos algoritmos de aprendizado profundo atua como modelos complexos do tipo caixa-preta, nos quais o processo interno de tomada de decisão é difícil de compreender para clínicos e pesquisadores⁹. Embora esses modelos frequentemente alcancem um excelente desempenho preditivo, a falta de transparência compromete a confiança do usuário e representa desafios para a validação clínica, aprovação regulatória e segurança do paciente¹⁰. Os profissionais de saúde devem ser capazes de justificar decisões assistidas por IA antes de incorporá-las à prática clínica rotineira, especialmente em ambientes médicos de alto risco¹¹.

A IAX surgiu como uma abordagem eficaz para melhorar a transparência e a interpretabilidade de modelos de aprendizado de máquina¹². Em vez de tratar modelos preditivos como sistemas opacos, as técnicas de IAX fornecem informações sobre as características, regiões da imagem ou variáveis clínicas que contribuem para previsões individuais¹³. Tais explicações permitem que clínicos compreendam melhor o comportamento do modelo, identifiquem possíveis vieses e determinem se decisões geradas por IA são consistentes com o conhecimento médico estabelecido¹⁴.

Várias técnicas de explicabilidade foram introduzidas para aplicações na área da saúde. As Explicações Aditivas baseadas em Shapley (SHAP) medem a contribuição de cada característica para a predição do modelo com base na teoria dos jogos cooperativos¹⁵. Explicações Locais, Interpretáveis e Agnósticas em relação ao Modelo (LIME) criam um modelo simplificado para explicar as predições de um modelo opaco¹⁶. Para tarefas envolvendo imagens médicas com modelos de aprendizado profundo, os mapas de ativação ponderados por gradiente (Grad-CAM) geram mapas de calor que indicam visualmente as regiões da imagem que contribuem para as decisões de classificação¹⁷. A combinação desses métodos aumentou significativamente a transparência dos sistemas de IA em diversas áreas da saúde¹⁸.

Apesar da crescente atenção aos métodos de explicabilidade em ambientes de saúde, seu uso permanece variado na literatura. Os pesquisadores diferem não apenas na utilização de estratégias de pré-processamento, mas também no design da arquitetura do modelo, nas métricas de avaliação e até nas técnicas de explicação¹⁹. Além disso, muitos artigos relatam alta precisão preditiva, mas não fornecem uma avaliação completa da qualidade das explicações ou de sua reprodutibilidade²⁰.

A reprodutibilidade é um dos principais gargalos na ciência moderna de IA. Os artigos frequentemente não divulgam a versão do software, o ambiente computacional, o pipeline de pré-processamento, as configurações dos hiperparâmetros, a inicialização da semente aleatória e as configurações de hardware²¹. Por causa disso, pesquisadores independentes muitas vezes não conseguem reproduzir os resultados publicados ou verificar os métodos publicados usando outros conjuntos de dados ou plataformas de software²². A falta de documentação detalhada é um dos fatores que dificultam estudos de comparação, pesquisas colaborativas e a tradução clínica de sistemas de IA²³.

Reconhecendo esses desafios, diversas organizações e agências reguladoras enfatizaram a importância de uma IA transparente, confiável e reproduzível para aplicações em saúde²⁴. As diretrizes de relatoria existentes melhoraram a divulgação metodológica, mas descrevem principalmente o que deve ser relatado, em vez de fornecer procedimentos experimentais padronizados que os pesquisadores possam implementar diretamente²⁵. Consequentemente, ainda existe a necessidade de um protocolo abrangente que integre o preparo do conjunto de dados, o desenvolvimento do modelo, a análise de explicabilidade, a avaliação estatística e as práticas de reprodutibilidade em um único fluxo de trabalho experimental²⁶.

Um protocolo experimental padronizado oferece diversas vantagens para a comunidade de inteligência artificial em saúde. Além disso, promove consistência metodológica, facilita a comparação de estudos independentes, aumenta a transparência dos experimentos computacionais e permite a validação confiável de resultados publicados²⁷. Fluxos de trabalho padronizados também auxiliam na educação/formação, pesquisa colaborativa e avaliação regulatória por meio de procedimentos claramente documentados que são reproduzíveis em diferentes laboratórios e instituições de saúde²⁸.

Foi desenvolvido e testado um protocolo experimental reprodutível para treinar e avaliar modelos de IA em sistemas de saúde. O protocolo estabelece padrões para configurar o ambiente computacional, pré-processar conjuntos de dados de saúde, desenvolver modelos de aprendizado de máquina, aplicar métodos de IAX, avaliar o desempenho preditivo, realizar validação estatística e avaliar a reprodutibilidade²⁹. A integração desses componentes em um fluxo de trabalho coerente tende a aumentar a transparência, confiabilidade e reprodutibilidade da pesquisa em IA para a saúde, além de auxiliar no desenvolvimento de sistemas inteligentes de saúde confiáveis³⁰.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Protocolo

O experimento de validação realizado utilizou o Conjunto de Dados sobre Diabetes dos Índios Pima, disponível publicamente e com identificação removida, e não envolveu registros de pacientes identificáveis nem recrutamento novo de pacientes. Portanto, não foi necessária a aprovação do comitê de ética institucional (IRB) nem o consentimento informado, e todas as análises foram conduzidas em conformidade com os termos aplicáveis do conjunto de dados e com as políticas institucionais de pesquisa.

O exemplo validado utiliza o conjunto de dados publicamente disponível sobre diabetes dos índios Pima, que contém 768 registros para previsão binária de diabetes. O fluxo de trabalho completo com nove etapas principais foi aplicado a este conjunto de dados. As nove etapas principais compreenderam seleção e validação do conjunto de dados, configuração do ambiente computacional, pré-processamento dos dados, particionamento do conjunto de dados, desenvolvimento e treinamento do modelo, avaliação do desempenho preditivo e computacional, análise de explicabilidade, validação estatística e avaliação de reprodutibilidade. A validação externa e a avaliação por especialistas clínicos foram mantidas como módulos opcionais de validação e não foram realizadas no presente exemplo validado. Figura 1 ilustra o fluxo de trabalho do protocolo principal, e Tabela 1 resume apenas as nove etapas principais implementadas no presente exemplo validado; a validação externa opcional e a avaliação por especialistas clínicos são descritas separadamente dentro do Protocolo e não estão incluídas entre as nove etapas experimentais.

1. Selecionar e validar o conjunto de dados de saúde

Selecione o conjunto de dados Pima Indians Diabetes Dataset como o conjunto de dados principal para o exemplo validado. Verifique a fonte do conjunto de dados, tamanho da amostra, objetivo de predição, distribuição das classes e estrutura dos dados.
Aplique os critérios predefinidos de inclusão, exclusão e qualidade dos dados. Remova registros duplicados e inválidos antes do desenvolvimento do modelo.
Registre a fonte do conjunto de dados, características, tarefa de predição, distribuição das classes, critérios de inclusão e exclusão e estratégia de particionamento na Tabela 2.
Aplicar critérios de decisão para seleção do conjunto de dados e modelo
1. Defina o objetivo de predição antes de selecionar o conjunto de dados, arquitetura do modelo, estratégia de pré-processamento ou método de explicabilidade.
2. Relacione a modalidade do conjunto de dados ao objetivo de predição. Selecione dados tabulares para variáveis clínicas estruturadas, dados de imagem para imagens médicas, dados de séries temporais para sinais fisiológicos, dados textuais para narrativas clínicas ou dados multimodais quando modalidades complementares estiverem disponíveis para o mesmo paciente ou unidade de estudo.
3. Avalie os conjuntos de dados candidatos com base no tamanho da amostra, disponibilidade do desfecho, distribuição das classes, ausência de dados, qualidade da anotação, relevância clínica, integridade dos dados e acessibilidade. Selecione o conjunto de dados que atenda aos requisitos predefinidos.
4. Selecione modelos convencionais de aprendizado de máquina para dados tabulares estruturados quando o tamanho da amostra, recursos computacionais ou requisitos de interpretabilidade limitarem o uso de arquiteturas complexas. Selecione arquiteturas de aprendizado profundo quando houver dados de treinamento suficientes e entradas de alta dimensionalidade, como imagens médicas, sinais fisiológicos ou texto clínico, disponíveis.
5. Selecione arquiteturas multimodais somente quando múltiplas modalidades estiverem disponíveis para o mesmo paciente ou unidade de estudo e puderem ser alinhadas de forma confiável sem introduzir vazamento de informação. Selecione operações de pré-processamento de acordo com as características da modalidade de dados escolhida.
6. Selecione métodos de explicabilidade de acordo com o modelo e a modalidade dos dados. Utilize métodos agnósticos em relação ao modelo, como SHAP ou LIME, para modelos tabulares apropriados e métodos específicos da modalidade, como Grad-CAM para modelos baseados em imagens, quando aplicável.
7. Documente a justificativa para as seleções do conjunto de dados, estratégia de pré-processamento, modelo e método de explicabilidade. Preserve essas decisões como parte do registro de reprodutibilidade.

2. Configure o ambiente computacional para o desenvolvimento do modelo XAI

Configure o sistema operacional, CPU, RAM, armazenamento e GPU de acordo com os requisitos do modelo selecionado. Crie um ambiente Python isolado e instale as bibliotecas necessárias de aprendizado de máquina, aprendizado profundo, estatística, visualização e XAI.
Registre o ambiente computacional real, a arquitetura do modelo e os hiperparâmetros utilizados na validação realizada na Tabela 3. Especifique o otimizador, taxa de aprendizado, tamanho do lote, número máximo de épocas, função de perda, parâmetros de regularização, estratégia de validação, configuração de parada antecipada, configuração de semente aleatória, métodos de explicabilidade, hardware, sistema operacional, versão do Python e versões das bibliotecas de software relevantes. Distingua essas configurações utilizadas experimentalmente das configurações gerais ou recomendadas do protocolo.
Utilize a configuração relatada na Tabela 3 ao reproduzir a validação do conjunto de dados Pima Indians Diabetes e os resultados preditivos, de explicabilidade, estatísticos e de reprodutibilidade correspondentes.
Execute um script de validação para confirmar a importação bem-sucedida dos pacotes, carregamento do conjunto de dados, execução do modelo e geração de saídas. Preserve a configuração finalizada do ambiente para fins de reprodutibilidade.

3. Prepare e caracterize conjuntos de dados de saúde para o desenvolvimento de modelos de XAI

Selecione e adquira o conjunto de dados de saúde
1. Selecione um conjunto de dados de saúde apropriado para a tarefa clínica de predição definida. Avalie conjuntos de dados candidatos de acordo com o objetivo da pesquisa, tipo de dados, tamanho da amostra, qualidade da anotação, equilíbrio de classes e relevância clínica.
2. Prefira conjuntos de dados de referência de acesso público quando eles abordarem adequadamente a tarefa de predição e facilitarem a validação independente.
3. Obtenha as aprovações éticas necessárias, permissões institucionais e autorizações de acesso aos dados antes de adquirir conjuntos de dados institucionais ou internos. Obtenha o conjunto de dados selecionado a partir de um repositório verificado ou base de dados institucional autorizada.
4. Preserve os arquivos originais do conjunto de dados sem modificações e registre o provedor do conjunto de dados, versão, informações de aquisição, condições de licenciamento, critérios de inclusão, critérios de exclusão e metadados complementares. Organize o conjunto de dados em diretórios separados para dados brutos, anotações, metadados e informações suplementares.
Caracterize o conjunto de dados de saúde
1. Identifique as variáveis preditoras, rótulos de resultado, tipos de características, modalidades de dados e distribuições de classes. Determine o número de indivíduos, amostras, dimensões de características e anotações disponíveis.
2. Confirme que as características do conjunto de dados são compatíveis com o método de IA selecionado.
3. Utilize o conjunto de dados Pima Indians Diabetes como o único conjunto experimental trabalhado para validar o protocolo central de nove etapas. Inclua os conjuntos de dados adicionais listados na Tabela 2 apenas para demonstrar a aplicabilidade do protocolo geral em dados clínicos tabulares, prontuários eletrônicos de saúde, imagens dermatoscópicas, dados de séries temporais fisiológicas e imagens médicas. Não utilize esses conjuntos de dados adicionais para treinamento do modelo, testes, validação estatística ou geração dos resultados experimentais relatados.
Avalie a qualidade do conjunto de dados
1. Inspeccione o conjunto de dados quanto a registros duplicados, arquivos corrompidos, valores ausentes, erros de anotação e entradas irregulares de dados. Remova registros duplicados confirmados e corrija irregularidades de formatação verificadas. Documente todos os procedimentos de controle de qualidade do conjunto de dados.
2. Verifique a correspondência entre dados de imagem, clínicos, laboratoriais e fisiológicos por meio de identificadores dos indivíduos, ao utilizar conjuntos de dados multimodais.
3. Remova registros duplicados ou inconsistentes, trate valores ausentes, padronize características numéricas, codifique variáveis categóricas e aplique pré-processamento específico à modalidade. Divida o conjunto de dados em conjuntos independentes de treinamento, validação e teste. Consulte a Figura 2 para o fluxo de trabalho de preparação, pré-processamento, divisão e avaliação da qualidade do conjunto de dados de saúde.
Garanta a privacidade dos dados e conformidade ética
1. Remova identificadores diretos dos dados de saúde. Aplique procedimentos de anonimização ou pseudonimização quando necessário. Trate as informações de saúde do paciente de acordo com os requisitos éticos, de proteção de dados, de consentimento informado e institucionais aplicáveis.
2. Registre a aprovação ética aplicável, isenções, procedimentos de governança de dados, métodos de anonimização e fluxo de trabalho de preparação do conjunto de dados.
3. Avalie potenciais vieses algorítmicos comparando o desempenho do modelo em subgrupos demográficos ou clínicos relevantes, quando essas informações estiverem disponíveis e forem eticamente permitidas.
4. Documente o uso pretendido, população-alvo, limitações do modelo, modos potenciais de falha, requisitos de supervisão humana e os requisitos éticos, de proteção de dados e regulamentares da área da saúde aplicáveis.
5. Registre limitações identificadas em termos de equidade e considerações de IA responsável como parte da documentação final do modelo.
  NOTA: Obtenha um conjunto de dados de saúde padronizado e documentado, adequado para o desenvolvimento de modelos de IA, eticamente compatível e livre de inconsistências significativas identificadas.

4. Pré-processar e particionar dados de saúde para o treinamento de modelos de IA

Realizar controle de qualidade
1. Inspecione o conjunto de dados quanto a registros duplicados, valores ausentes, valores inválidos, rótulos inconsistentes, valores atípicos e arquivos corrompidos.
2. Remova ou corrija observações inválidas de acordo com critérios predefinidos e registre todas as exclusões. Verifique a consistência das variáveis preditoras e dos rótulos de resultado.
Tratar dados ausentes
1. Quantifique a ausência de dados para cada variável. Aplique a estratégia predefinida de imputação ou exclusão.
2. Estime os parâmetros de imputação utilizando apenas os dados de treinamento e aplique a transformação ajustada aos dados de validação e teste.
Normalizar e transformar os dados
1. Aplicar escalonamento de características, normalização, codificação, redução de dimensionalidade ou outras transformações exigidas pelo modelo selecionado. Ajuste todas as transformações dependentes dos dados utilizando apenas os dados de treinamento.
2. Aplicar as transformações ajustadas inalteradas aos dados de validação e teste.
Quantificar o desequilíbrio de classes nos dados de treinamento. Aplique ponderação de classes, SMOTE, sobreamostragem ou aumento apenas ao conjunto de dados de treinamento. Mantenha a distribuição original dos conjuntos de dados de validação e teste.
Confirme que nenhum sujeito, observação duplicada, amostra aumentada, estatística de pré-processamento, critério de seleção de características ou amostra sintética seja compartilhado entre as partições de treinamento e avaliação.

5. Desenvolver e configurar o modelo de IA explicável

Defina a arquitetura do modelo especificando as modalidades dos dados de entrada, operações de pré-processamento, codificadores de características específicos para cada modalidade, mecanismo de fusão de características, camada de predição e módulo de explicabilidade.
Selecione a arquitetura de aprendizado de máquina ou aprendizado profundo de acordo com a tarefa de predição e a modalidade de entrada. Configure a camada de entrada, os componentes de extração de características, as camadas ocultas, a camada de saída e as funções de ativação. Defina o otimizador, taxa de aprendizado, tamanho do lote, função de perda, épocas, regularização, dropout, parada antecipada e o agendamento da taxa de aprendizado.
Otimize os hiperparâmetros utilizando apenas os dados de treinamento e validação.
Registre a arquitetura finalizada e a configuração de hiperparâmetros na Tabela 3.
Verifique a compatibilidade das dimensões de entrada e saída antes do treinamento.
NOTA: Estabeleça um modelo XAI totalmente configurado, contendo uma arquitetura apropriada, hiperparâmetros definidos e técnicas de explicabilidade integradas.

6. Treine, otimize e preserve o modelo XAI

Carregue os conjuntos de dados de treinamento e validação predefinidos e a configuração final do modelo. Inicialize o modelo usando a semente aleatória predefinida e os parâmetros de treinamento.
Treine o modelo usando o otimizador especificado, função de perda, tamanho do lote e critérios de parada.
Monitore o desempenho na validação e mantenha o ponto de controle correspondente ao critério predefinido de seleção do modelo. Avalie o ponto de controle selecionado no conjunto de dados de teste independente sem mais otimização.
Salve o modelo treinado, a configuração de pré-processamento, os hiperparâmetros, a semente aleatória e o registro de treinamento.
NOTA: Obtenha um modelo XAI otimizado treinado e validado usando o conjunto de dados de saúde preparado. Preserve o modelo com melhor desempenho, os hiperparâmetros, os registros de treinamento, a configuração de pré-processamento e o ambiente computacional para reprodutibilidade.

7. Avaliar o desempenho preditivo e computacional

Avalie o desempenho preditivo
1. Carregue o modelo otimizado e o conjunto de dados de teste independente após concluir o treinamento do modelo e a otimização dos hiperparâmetros. Mantenha os parâmetros do modelo treinado e o pipeline de pré-processamento inalterados durante os testes.
2. Gere previsões para todas as amostras no conjunto de dados de teste. Compare as saídas previstas com as respectivas etiquetas reais.
Calcule as métricas de desempenho
1. Selecione métricas de avaliação de acordo com o tipo de tarefa de predição.
2. Calcule acurácia, precisão, revocação, especificidade, pontuação F1, acurácia balanceada, coeficiente de correlação de Matthews (MCC) e área sob a curva ROC (AUC-ROC) para tarefas de classificação, conforme aplicável. Calcule erro absoluto médio (MAE), raiz do erro quadrático médio (RMSE), coeficiente de determinação (R²) e outras medidas relevantes para tarefas de regressão, conforme aplicável.
Avalie a generalização e a robustez do modelo
1. Avalie o modelo utilizando um conjunto de dados externo coletado independentemente do conjunto de dados de desenvolvimento, sempre que esses dados estiverem disponíveis.
2. Prefira conjuntos de dados externos provenientes de uma instituição de saúde diferente, região geográfica ou população de pacientes distinta para avaliar a transportabilidade.
3. Realize validação temporal utilizando dados coletados em um período posterior, quando conjuntos de dados longitudinais estiverem disponíveis.
4. Realize validação multicêntrica avaliando o modelo finalizado separadamente nas instituições participantes, quando dados multicêntricos estiverem disponíveis.
5. Realize validação geográfica utilizando uma população independente de uma região geográfica diferente, quando viável.
6. Relate as diferenças de desempenho e os intervalos de confiança entre os conjuntos de dados de desenvolvimento e externos.
Avalie o desempenho computacional
1. Meça o tempo de treinamento do modelo no ambiente computacional predefinido, o tempo de inferência e de teste sob condições computacionais idênticas, além do consumo de memória, tamanho do modelo e utilização de hardware.
2. Repita as medições computacionais em execuções independentes.
3. Calcule o tempo médio de execução para reduzir o efeito da variabilidade experimental.
Compare o desempenho do modelo
1. Selecione métodos convencionais apropriados de aprendizado de máquina ou aprendizado profundo para avaliação comparativa.
2. Avalie o modelo XAI proposto e os modelos comparadores utilizando o mesmo conjunto de dados. Aplique procedimentos idênticos de pré-processamento e métricas de avaliação a todos os modelos comparativos.
3. Realize todos os experimentos comparativos no mesmo ambiente computacional.
  NOTA: Obtenha evidência experimental de estabilidade preditiva e reprodutibilidade sob as condições computacionais e o conjunto de dados testados.

8. Gerar e avaliar as saídas de XAI

Gerar explicações do modelo
1. Carregue o modelo XAI otimizado. Selecione amostras de avaliação que não foram utilizadas no treinamento do modelo. Aplique os métodos de explicabilidade pré-definidos sem modificar o modelo treinado ou o pipeline de pré-processamento.
2. Gerar explicações globais e locais do modelo
  1. Gerar explicações globais para caracterizar o comportamento geral do modelo preditivo.
  2. Gerar explicações locais para caracterizar previsões individuais do modelo.
  3. Aplicar o SHAP ao conjunto de dados Pima Indians Diabetes para gerar explicações globais e locais das previsões do modelo tabular.
  4. Gerar um gráfico resumo do SHAP para visualizar a direção geral e a magnitude das contribuições das características.
  5. Gerar um gráfico de importância de características do SHAP usando os valores médios absolutos do SHAP para classificar as características de acordo com sua contribuição geral às previsões do modelo.
  6. Gerar um gráfico de cascata do SHAP para uma previsão representativa do conjunto de teste para ilustrar as contribuições específicas por paciente.
  7. Gerar um gráfico de dependência de características do SHAP para examinar a relação entre uma característica selecionada e sua contribuição para a saída do modelo.
  8. Aplicar o LIME a previsões representativas do conjunto de teste para gerar explicações locais de previsões individuais do modelo.
  9. Gerar uma explicação contrafactual específica por paciente para ilustrar as alterações nas características associadas a uma mudança no resultado previsto.
  10. Selecionar técnicas adicionais de explicabilidade de acordo com a modalidade dos dados e a arquitetura do modelo.
  11. Utilizar Grad-CAM ou mapas de saliência para modelos baseados em imagens compatíveis, visualizações de atenção para arquiteturas baseadas em transformadores e Gradientes Integrados para modelos diferenciáveis, quando aplicável.
  12. Considerar Grad-CAM, mapeamento de saliência, visualização de atenção e Gradientes Integrados como opções gerais de protocolo dependentes da modalidade, e não interpretar nem relatar esses métodos como resultados experimentais da validação do conjunto de dados Pima Indians Diabetes, a menos que as análises correspondentes tenham sido efetivamente realizadas.
3. Aplicar métodos de explicabilidade à validação prática do conjunto Pima
  1. Aplicar SHAP e LIME ao conjunto de dados Pima Indians Diabetes para gerar explicações globais e locais das previsões do modelo tabular.
  2. Gerar visualizações resumo do SHAP, de importância de características, de cascata e de dependência de características a partir dos resultados da validação do conjunto Pima.
  3. Gerar uma explicação local do LIME para previsões representativas do conjunto de teste.
  4. Gerar uma explicação contrafactual específica por paciente para ilustrar as alterações nas características associadas a uma mudança na previsão do modelo.
  5. Considerar Grad-CAM, visualização de atenção, mapeamento de saliência e Gradientes Integrados como opções de explicabilidade dependentes da modalidade para outros tipos de dados em saúde e arquiteturas de modelos.
  6. Não relatar Grad-CAM, visualização de atenção, mapeamento de saliência ou Gradientes Integrados como descobertas experimentais da validação prática do conjunto Pima, a menos que as análises correspondentes tenham sido efetivamente realizadas.
Avaliar a qualidade das explicações
1. Avaliar se as explicações geradas refletem o processo de previsão do modelo. Avaliar a estabilidade das explicações em execuções experimentais repetidas e a consistência das saídas de explicações sob condições computacionais idênticas.
2. Avaliar a sensibilidade das saídas de explicações a alterações nos dados de entrada, quando aplicável. Comparar as explicações geradas com conhecimento de domínio disponível ou interpretações de especialistas.
3. Identificar características preditivas ou regiões anatômicas que correspondam ao conhecimento médico estabelecido, quando essas comparações estiverem disponíveis.
4. Registrar o nível de concordância ou discordância entre as explicações geradas e a interpretação clínica disponível.
Quantificar a incerteza da previsão
1. Gerar estimativas de confiança da previsão para as amostras avaliadas, utilizando um método de estimativa de incerteza apropriado à arquitetura do modelo selecionado e à aplicação em saúde.
2. Aplicar dropout de Monte Carlo, previsão baseada em conjunto, inferência bayesiana, predição conforme ou outro método validado de estimativa de incerteza, quando apropriado.
3. Repetir passos estocásticos de previsão ao usar dropout de Monte Carlo e calcular a previsão média e a variância preditiva para cada amostra de avaliação.
4. Relatar intervalos de confiança ou incerteza da previsão juntamente com as previsões correspondentes do modelo.
5. Avaliar se as estimativas de incerteza identificam previsões associadas a menor confiabilidade ou erro de previsão aumentado. Preservar o método de estimativa de incerteza, parâmetros, sementes aleatórias e saídas geradas de incerteza para garantir a reprodutibilidade.
Documentar e preservar as saídas de explicabilidade
1. Salvar todas as pontuações geradas de importância de características, mapas de calor, mapas de saliência, visualizações de atenção e interpretações específicas por paciente. Armazenar as saídas de explicabilidade utilizando formatos de arquivo padronizados. Arquivar as saídas juntamente com o modelo treinado e a configuração de pré-processamento.
2. Registrar as configurações computacionais, parâmetros de explicação, tempo de execução e versões de software utilizadas na geração de explicações. Preservar toda a documentação completa de explicabilidade para facilitar revisão independente e reprodutibilidade.
Avaliar quantitativamente a qualidade da explicação
1. Avaliar a fidelidade da explicação perturbando ou mascarando sistematicamente as características identificadas como importantes e medindo a alteração correspondente na saída do modelo. Calcular uma pontuação de fidelidade da explicação comparando a magnitude da atribuição com a alteração resultante na previsão do modelo.
2. Avaliar a estabilidade da explicação gerando explicações para execuções repetidas, entradas perturbadas ou amostras clinicamente semelhantes e calculando a similaridade entre os padrões de atribuição resultantes. Calcular a infidelidade medindo a discrepância entre a alteração prevista na saída e a alteração estimada a partir da atribuição da explicação sob perturbações controladas da entrada.
3. Para explicações de imagens médicas, avaliar a precisão de localização utilizando uma região de interesse definida por especialista, quando anotações de referência estiverem disponíveis. Avaliar a utilidade clínica obtendo avaliações independentes de especialistas clínicos qualificados, utilizando critérios de interpretação pré-definidos.
4. Calcular o kappa de Cohen ou o kappa de Fleiss quando múltiplos especialistas avaliarem independentemente a relevância ou concordância das explicações.
  NOTA: Gerar explicações globais e locais que caracterizem o comportamento preditivo do modelo de IA treinado. Preservar as saídas de explicabilidade e as configurações correspondentes para interpretação transparente e avaliação reprodutível.

9. Realize a validação estatística e a avaliação da reprodutibilidade

Realize a validação estatística
1. Selecione os métodos estatísticos de acordo com o objetivo do estudo, o delineamento experimental, a distribuição dos dados e as características das variáveis avaliadas.
2. Apresente as variáveis contínuas como média ± desvio padrão ou como mediana e intervalo interquartil, conforme apropriado, e as variáveis categóricas como contagens e porcentagens.
3. Realize uma validação cruzada de cinco dobras no conjunto de treinamento para avaliar a estabilidade do desempenho do modelo e informe a acurácia, AUC-ROC, precisão, revocação e pontuação F1 como média ± desvio padrão entre as dobras. Estime intervalos de confiança de 95% para as métricas de desempenho no conjunto de teste independente utilizando 1.000 reamostragens bootstrap.
4. Compare o modelo proposto com os modelos de referência CNN, Random Forest e SVM utilizando o teste de McNemar para comparações pareadas de acurácia, o teste de DeLong para comparações correlacionadas de AUC-ROC e testes bootstrap pareados com 1.000 reamostragens para comparações da pontuação F1.
5. Informe a estatística de teste correspondente e o valor-p exato para cada comparação e utilize um nível de significância bicaudal de α = 0,05.
Compare estatisticamente o desempenho dos modelos
1. Compare o modelo de IA explicável proposto com os modelos de referência selecionados de aprendizado de máquina e aprendizado profundo de última geração.
2. Aplicar o teste t de Student ou o teste Mann-Whitney U ao comparar dois grupos, conforme apropriado. Utilize ANOVA de um fator para comparações paramétricas aplicáveis envolvendo mais de dois grupos. Utilize o teste de Kruskal-Wallis para comparações não paramétricas aplicáveis envolvendo mais de dois grupos.
3. Considere p < 0,05 estatisticamente significativo, conforme especificado no manuscrito original.
4. Utilize um nível de significância bicaudal de α = 0,05 para todas as comparações estatísticas pré-definidas e informe as estatísticas de teste e os valores-p correspondentes.
5. Informe os intervalos de confiança de 95% para as principais métricas de desempenho preditivo.
6. Utilize reamostragem bootstrap para estimar intervalos de confiança para medidas de desempenho quando apropriado. Utilize o teste de DeLong para comparar valores de ROC-AUC correlacionados quando os mesmos indivíduos forem avaliados por dois modelos. Utilize o teste de McNemar para comparar resultados de classificação categórica pareados gerados para os mesmos indivíduos. Utilize procedimentos bootstrap pareados para comparar pontuação F1 ou outras métricas de desempenho derivadas quando apropriado.
7. Avalie a calibração utilizando gráficos de calibração, inclinação/intercepto de calibração e escore de Brier quando forem disponíveis previsões probabilísticas.
8. Para a validação realizada com o conjunto de dados Pima Indians Diabetes, utilize a comparação estatística pareada pré-definida para o modelo proposto e os modelos de referência. Aplique o teste selecionado de forma consistente às previsões pareadas no conjunto de teste ou às medições de desempenho em execuções repetidas, conforme apropriado para a comparação. Utilize um nível de significância bicaudal de α = 0,05 e informe a estatística de teste e o valor-p exato. Não informe testes estatísticos alternativos como tendo sido realizados, a menos que seus resultados sejam apresentados na seção de Resultados.
9. Aplique testes bicaudais e interprete a significância estatística utilizando um limiar pré-definido de p < 0,05.
Avalie a robustez do modelo
1. Repita o procedimento completo de treinamento e avaliação 10 vezes utilizando diferentes sementes aleatórias, mantendo a partição pré-definida do conjunto de dados, os procedimentos de pré-processamento, a arquitetura do modelo, os hiperparâmetros, o ambiente de software e o protocolo de avaliação.
2. Registre a AUC-ROC, a acurácia e a pontuação F1 para cada execução independente e informe a média ± desvio padrão ao longo das 10 execuções.
3. Compare os valores de desempenho resultantes entre execuções repetidas para avaliar a estabilidade preditiva e a reprodutibilidade sob diferentes inicializações aleatórias.
Avalie a reprodutibilidade da explicabilidade
1. Gere atribuições de características, mapas de atenção ou outras saídas explicativas em múltiplas execuções experimentais quando a avaliação da estabilidade das explicações estiver incluída. Compare quantitativamente as saídas explicativas entre execuções repetidas utilizando uma medida apropriada de similaridade ou concordância baseada em classificação.
2. Para a validação realizada com o conjunto de dados Pima Indians Diabetes, não informe métricas quantitativas de estabilidade explicativa a menos que as saídas explicativas repetidas e as análises correspondentes tenham sido realizadas.
3. Avalie a concordância entre as explicações geradas pelo modelo e as interpretações clínicas quando avaliações clínicas apropriadas estiverem disponíveis. Calcule o kappa de Cohen ou o kappa de Fleiss, conforme apropriado, para avaliar a concordância entre avaliadores.
Documente a reprodutibilidade
1. Preserve os dados brutos, procedimentos de pré-processamento, código-fonte, modelos treinados, configurações de hiperparâmetros, saídas de explicabilidade, scripts de análise estatística e resultados gerados.
2. Registre o ambiente de software e a configuração de hardware utilizados ao longo do fluxo de trabalho. Execute novamente o fluxo de trabalho completo de forma independente utilizando os arquivos e configurações arquivados.
3. Compare o desempenho preditivo replicado com os resultados experimentais originais e as explicações do modelo replicadas com as saídas originais de explicabilidade.
4. Registre quaisquer diferenças observadas durante a replicação. Atualize a documentação experimental para refletir as observações de reprodutibilidade identificadas durante a execução independente.
  NOTA: Obtenha resultados de desempenho preditivo e de explicabilidade validados estatisticamente que possam ser avaliados em experimentos repetidos. Preserve documentação computacional, analítica e metodológica suficiente para permitir a verificação independente do fluxo de trabalho completo.
Lista de Verificação de Reprodutibilidade
1. Registre o nome do conjunto de dados, versão, data de aquisição, fonte, critérios de inclusão, critérios de exclusão e contagem final de amostras. Registre todas as operações de pré-processamento, parâmetros de transformação, configurações de normalização, procedimentos de seleção de características e regras de partição dos dados.
2. Registre o sistema operacional, CPU, GPU, RAM, versão do Python, versões das estruturas e versões das bibliotecas. Registre todas as especificações da arquitetura do modelo e os hiperparâmetros.
3. Registre o otimizador, taxa de aprendizado, tamanho do lote, número de épocas, função de perda, regularização e critérios de parada antecipada. Registre todas as sementes aleatórias e configurações do gerador de números aleatórios.
4. Preserve os pesos dos modelos treinados e as configurações de pré-processamento. Preservar os registros de treinamento, scripts de avaliação, scripts de análise estatística e saídas de explicabilidade. Registre as versões do modelo e do software utilizadas nos experimentos finais.
5. Preserve o ambiente computacional completo necessário para replicação independente.
6. Documente a disponibilidade de código-fonte, conjuntos de dados, pesos de modelos e materiais de apoio sujeitos a restrições éticas, legais, de licenciamento e de privacidade.
7. Execute novamente o fluxo de trabalho arquivado de forma independente e compare os resultados replicados com os resultados originais.
8. Documente os requisitos completos de reprodutibilidade utilizando a lista de verificação padronizada.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Resultados

O framework XAI proposto foi implementado utilizando o conjunto de dados Pima Indians Diabetes como exemplo representativo de dados na área da saúde. O conjunto de dados Pima Indians Diabetes foi usado como o único conjunto de dados para validação experimental. Todos os resultados preditivos, de explicabilidade, estatísticos e de reprodutibilidade relatados foram gerados a partir desse conjunto de dados. TCGA-BRCA, TCGA-UCEC, MIMIC-III, ISIC 2019, HAM10000, OhioT1DM e BraTS 2021 não foram avaliados experimentalmente e es...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Discussão

Os resultados demonstram a utilidade do protocolo proposto como um fluxo de trabalho padronizado e reproduzível para o desenvolvimento e avaliação de sistemas de XAI em diversos conjuntos de dados de saúde. Conforme mostrado na Tabela 2 e na Figura 3, o pré-processamento sistemático gerou dados padronizados e melhorou a qualidade dos dados por meio do tratamento de valores ausentes, normalização dos dados, escalonamento de características e divisão do conjunto de dados. Essa...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Divulgações

Os autores declaram que não possuem interesses financeiros concorrentes, relações comerciais ou relações pessoais que poderiam ter influenciado o trabalho relatado neste estudo. Os autores não têm conflitos de interesse a divulgar.

Agradecimentos

Os autores agradecem o apoio institucional fornecido pelas suas respectivas instituições afiliadas durante o desenvolvimento e a validação experimental deste protocolo de IA explicável em saúde. Os autores também agradecem as instalações computacionais e os recursos de software utilizados para realizar as análises experimentais. Esta pesquisa não recebeu financiamento externo. Os autores agradecem o uso do Python 3.11, Matplotlib 3.9 e SciPy 1.13 para análise computacional, visualização de dados e geração das figuras apresentadas neste estudo.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Materiais

Lista de materiais utilizados neste artigo
Nome	Empresa	Número de catálogo	Comentários
Captum	Meta AI	Última versão estável	Explicabilidade do PyTorch
CUDA Toolkit	NVIDIA	12.2	Aceleração por GPU
cuDNN	NVIDIA	9.x	Backend para aprendizado profundo
Git	Git SCM	Última versão estável	Controle de versão
GitHub	GitHub Inc.	Plataforma web	Repositório de código-fonte
Grad-CAM	jacobgil	Última versão lançada	Visualização de CNN
Jupyter Notebook	Project Jupyter	Última versão estável	Desenvolvimento interativo
LightGBM	Microsoft	4.x	Boosting por gradiente
LIME	Comunidade LIME	0.2.0	Explicabilidade local
Matplotlib	Desenvolvedores do Matplotlib	3.9	Visualização
Microsoft Excel	Microsoft	Microsoft 365	Organização de dados
NumPy	Desenvolvedores do NumPy	1.26	Computação numérica
NVIDIA RTX 4090 GPU	NVIDIA	24 GB de VRAM	Treinamento de modelo
OpenCV	Organização OpenCV	4.10	Pré-processamento de imagem
Pandas	Equipe de Desenvolvimento do Pandas	2.2	Pré-processamento de dados
Pillow (PIL)	Biblioteca Python de Imagem	10.x	Processamento de imagem
Plotly	Plotly Technologies	5.x	Visualização interativa
Python	Python Software Foundation	3.11	Ambiente de programação
PyTorch	PyTorch Foundation	2.3	Aprendizado profundo
Scikit-learn	Desenvolvedores do Scikit-learn	1.5	Aprendizado de máquina
SciPy	Desenvolvedores do SciPy	1.13	Computação científica
Seaborn	Desenvolvedores do Seaborn	0.13	Gráficos estatísticos
SHAP	Comunidade SHAP	0.46	Explicabilidade global
SimpleITK	Insight Software Consortium	2.x	Processamento de imagem médica
Statsmodels	Desenvolvedores do Statsmodels	0.14	Análise estatística
RAM do sistema	Qualquer fabricante	32 GB ou superior	Memória
TensorBoard	Google	2.15	Monitoramento de treinamento
TensorFlow	Google	2.15	Aprendizado profundo
Ubuntu Linux / Windows 11	Canonical / Microsoft	22.04 LTS / 11	Sistema operacional
Visual Studio Code	Microsoft	Última versão estável	Desenvolvimento de código
XGBoost	Desenvolvedores do XGBoost	2.1	Boosting por gradiente

Referências

Acosta JN, Falcone GJ, Rajpurkar P, Topol EJ. Multimodal biomedical AI. Nat Med. 2022;28(9):1773-1784.
Tang AS, et al. Harnessing EHR data for health research. Nat Med. 2024;30(7):1847-1855.
Zhang A, Xing L, Zou J, Wu JC. Shifting machine learning for healthcare from development to deployment and from models to data. Nat Biomed Eng. 2022;6(11):1330-1345.
Bera K, et al. Predicting cancer outcomes with radiomics and artificial intelligence in radiology. Nat Rev Clin Oncol. 2022;19(2):132-146.
Wenderott K, Krups J, Zaruchas F, Weigl M. Effects of artificial intelligence implementation on efficiency in medical imaging—a systematic literature review and meta-analysis. NPJ Digit Med. 2024;7(1):265.
Kaissis GA, Makowski MR, Rückert D, Braren RF. Secure, privacy-preserving and federated machine learning in medical imaging. Nat Mach Intell. 2020;2(6):305-311.
He J, et al. The practical implementation of artificial intelligence technologies in medicine. Nat Med. 2019;25(1):30-36.
Antoniadi AM, et al. Current challenges and future opportunities for XAI in machine learning-based clinical decision support systems: A systematic review. Appl Sci (Basel). 2021;11(11):5088.
Samek W, et al. Explaining deep neural networks and beyond: A review of methods and applications. Proc IEEE. 2021;109(3):247-278.
Holzinger A, et al. Causability and explainability of artificial intelligence in medicine. WIREs Data Min Knowl Discov. 2019;9(4).
Markus AF, Kors JA, Rijnbeek PR. The role of explainability in creating trustworthy artificial intelligence for health care: A comprehensive survey of the terminology, design choices, and evaluation strategies. Nat Biomed Eng. 2021;5(9):996-1011.
Arrieta AB, et al. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion. 2020;58:82-115.
Selvaraju RR, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [conference paper]. Presented at: IEEE International Conference on Computer Vision (ICCV); Venice, Italy; 2017:618-626. https://openaccess.thecvf.com/content_iccv_2017/html/Selvaraju_Grad-CAM_Visual_Explanations_ICCV_2017_paper.html
Tonekaboni S, Joshi S, McCradden MD, Goldenberg A. What clinicians want: Contextualizing explainable machine learning for clinical end use. Nat Mach Intell. 2019;1(12):572-584.
Sundararajan M, Taly A, Yan Q. Axiomatic attribution for deep networks [conference paper]. Presented at: 34th International Conference on Machine Learning; Sydney, Australia; 2017;70:3319-3328. https://proceedings.mlr.press/v70/sundararajan17a.html
Ribeiro MT, Singh S, Guestrin C. “Why should I trust you?”: Explaining the predictions of any classifier [conference paper]. Presented at: 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; San Francisco, CA; 2016:1135-1144.
Desai S, Ramaswamy HG. Ablation-CAM: Visual explanations for deep convolutional network via gradient-free localization [conference paper]. Presented at: IEEE/CVF Winter Conference on Applications of Computer Vision (WACV); 2020:983-991.
Belle V, Papantonis I. Principles and practice of explainable machine learning. Front Big Data. 2021;4:688969.
Vilone G, Longo L. Notions of explainability and evaluation approaches for explainable artificial intelligence. Inf Fusion. 2021;76:89-106.
Ali S, et al. Explainable artificial intelligence (XAI): What we know and what is left to attain trustworthy artificial intelligence. Inf Fusion. 2023;99:101805.
Gundersen OE, Kjensmo S. State of the art: Reproducibility in artificial intelligence [conference paper]. Presented at: Thirty-Second AAAI Conference on Artificial Intelligence; New Orleans, LA; 2018:1644-1651. https://ojs.aaai.org/index.php/AAAI/article/view/11503
Hutson M. Artificial intelligence faces reproducibility crisis. Science. 2018;359(6377):725-726.
Pineau J, et al. Improving reproducibility in machine learning research: A report from the NeurIPS 2019 reproducibility program. J Mach Learn Res. 2021;22(164):1-20.
U.S. Food and Drug Administration, Health Canada, Medicines and Healthcare products Regulatory Agency. Good Machine Learning Practice for Medical Device Development: Guiding Principles. 2021.
Liu X, et al. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: The CONSORT-AI extension. Nat Med. 2020;26(9):1364-1374.
Mongan J, Moy L, Kahn CE Jr. Checklist for Artificial Intelligence in Medical Imaging (CLAIM): A guide for authors and reviewers. Radiol Artif Intell. 2020;2(2).
Peng RD. Reproducible research in computational science. Science. 2011;334(6060):1226-1227.
Collins GS, et al. Protocol for development of the TRIPOD-AI and PROBAST-AI reporting and risk-of-bias tools for studies developing, validating, or updating prediction models based on artificial intelligence. BMJ Open. 2021;11.
Kapoor S, Narayanan A. Leakage and the reproducibility crisis in machine-learning-based science. Patterns. 2023;4(9):100804.
Wiens J, et al. Do no harm: A roadmap for responsible machine learning for health care. Nat Med. 2019;25(9):1337-1340.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Reimpressões e permissões

Explorar mais artigos

IA Explicável Modelos de IA para Saúde Interpretabilidade de Modelos Protocolo Reprodutível Desempenho Preditivo Engenharia de Recursos Validação Estatística Explicações SHAP Explicações LIME Explicações Contrafactuais