Ein Abonnement von JoVE ist erforderlich, um diesen Inhalt anzuzeigen. Melden Sie sich an oder beginnen Sie noch heute mit einer kostenlosen Testphase.

Methodenartikel

Ein reproduzierbares experimentelles Protokoll zur Entwicklung und Evaluierung erklärbarer Modelle der Künstlichen Intelligenz in Gesundheitssystemen

9 Aufrufe

⸱

DOI:

10.3791/73848

⸱

15. September 2026

 , 
1Vishwakarma University

In diesem Artikel

Zusammenfassung

Dieses Protokoll stellt einen reproduzierbaren Arbeitsablauf zur Entwicklung, Bewertung und Interpretation erklärbarer KI-Modelle im Gesundheitswesen vor. Es integriert standardisierte Datenaufbereitung, Modellentwicklung, Erklärbarkeitstechniken, quantitative Evaluierung und Praktiken zur Reproduzierbarkeit, um Transparenz, Zuverlässigkeit und klinische Anwendbarkeit zu verbessern.

Zusammenfassung

Künstliche Intelligenz (KI) wird zunehmend als wertvolles Werkzeug für klinische Entscheidungsfindung, Krankheitsvorhersage, medizinische Diagnose und personalisierte Gesundheitsversorgung eingesetzt. Mangelnde Transparenz, inkonsistente Implementierung erklärbarer KI-Methoden (XAI) und begrenzte Reproduzierbarkeit stellen jedoch nach wie vor wesentliche Hindernisse für den vertrauenswürdigen Einsatz von KI-Modellen in klinischen Umgebungen dar. Dieser Artikel schlägt einen systematischen, reproduzierbaren und transparenten Protokollansatz zur Entwicklung, Bewertung und Interpretation erklärbarer KI-Modelle für Anwendungen im Gesundheitswesen vor. Der Workflow beginnt mit der Einrichtung der Rechenumgebung, gefolgt von Datenerfassung und -charakterisierung, Vorverarbeitung, Merkmalsentwicklung, Modellerstellung, Hyperparameter-Optimierung, Bewertung der Vorhersageleistung, Erklärbarkeitsanalyse, statistischer Validierung und Reproduzierbarkeitsbewertung. Das Protokoll integriert XAI-Methoden wie SHapley Additive exPlanations (SHAP), Local Interpretable Model-agnostic Explanations (LIME), Gradient-weighted Class Activation Mapping (Grad-CAM), Integrierte Gradienten, Visualisierung von Aufmerksamkeitsmechanismen (Attention) und kontrafaktische Erklärungen, um sowohl globale als auch lokale Modellinterpretationen zu erzeugen. Besonderes Augenmerk liegt auf mehreren zentralen Komponenten, darunter die Aufbereitung standardisierter Gesundheitsdatensätze, die Entwicklung stabiler maschineller Lernmodelle, die Bewertung der Vorhersageleistung, die Generierung klinisch relevanter Erklärungen sowie die statistische Beurteilung der Reproduzierbarkeit über wiederholte Experimente hinweg. Durch die Integration von Modellentwicklung, Erklärbarkeit, quantitativer und qualitativer Bewertung, statistischer Validierung und Reproduzierbarkeitsanalyse in einen einheitlichen Workflow bietet dieses Protokoll einen umfassenden Rahmen zur Entwicklung transparenter und reproduzierbarer KI-Modelle für Anwendungen im Gesundheitswesen.

Einleitung

KI ist zu einem integralen Bestandteil der modernen Gesundheitsversorgung geworden, da sie die intelligente Analyse komplexer klinischer Daten ermöglicht und die evidenzbasierte medizinische Entscheidungsfindung unterstützt1. Die rasche Digitalisierung des Gesundheitswesens durch elektronische Patientenakten, medizinische Bildgebungssysteme, tragbare Geräte und genomische Technologien hat große Mengen heterogener Daten generiert, die fortschrittliche computergestützte Ansätze zur effektiven Interpretation erfordern2.

Algorithmen des maschinellen Lernens (ML) und des tiefen Lernens (DL) haben bemerkenswerte Fähigkeiten bei der Extraktion aussagekräftiger Muster aus mehrdimensionalen Gesundheitsdatensätzen gezeigt und tragen so zur Verbesserung der diagnostischen Genauigkeit, der Vorhersage von Erkrankungen und der Bewertung von Patientenergebnissen bei3. KI-basierte Modelle wurden erfolgreich in der Radiologie, Pathologie, Kardiologie, Onkologie, Augenheilkunde und anderen medizinischen Fachgebieten eingesetzt, um Ärzte bei der frühzeitigen Erkennung von Krankheiten und der Empfehlung personalisierter Behandlungsstrategien zu unterstützen4. Diese Technologien haben zudem zur Optimierung von Arbeitsabläufen, zur Verringerung der diagnostischen Variabilität und zur Verbesserung der Nutzung von Gesundheitsressourcen beigetragen5.

Neuere Entwicklungen in der Rechentechnik, im Bereich Cloud-Computing und bei Open-Source-KI-Frameworks haben die Entwicklung und Bereitstellung intelligenter Gesundheitsanwendungen beschleunigt6. Folglich ist KI zu einer zentralen Schlüsseltechnologie für die präzise Medizin und klinische Entscheidungsunterstützungssysteme geworden7. Trotz dieser Fortschritte bleibt die breite Anwendung von KI in der routinemäßigen klinischen Praxis begrenzt, da viele leistungsstarke Modelle kaum Aufschluss darüber geben, wie ihre Vorhersagen zustande kommen8.

Die meisten Deep-Learning-Algorithmen funktionieren als komplexe Black-Box-Modelle, bei denen der interne Entscheidungsprozess für Ärzte und Forscher schwer nachvollziehbar ist9. Obwohl diese Modelle häufig eine hervorragende Vorhersageleistung erzielen, untergräbt ihre mangelnde Transparenz das Vertrauen der Anwender und stellt Herausforderungen für die klinische Validierung, die regulatorische Zulassung und die Patientensicherheit dar10. Gesundheitsfachkräfte müssen in der Lage sein, KI-gestützte Entscheidungen zu begründen, bevor sie diese in die routinemäßige klinische Praxis integrieren, insbesondere in medizinischen Umgebungen mit hohem Risiko11.

XAI hat sich als effektiver Ansatz zur Verbesserung der Transparenz und Interpretierbarkeit von Machine-Learning-Modellen etabliert12. Anstatt Vorhersagemodelle als undurchsichtige Systeme zu betrachten, liefern XAI-Methoden Informationen über die Merkmale, Bildbereiche oder klinischen Variablen, die zu einzelnen Vorhersagen beitragen13. Solche Erklärungen ermöglichen es Ärzten, das Modellverhalten besser zu verstehen, potenzielle Verzerrungen zu identifizieren und zu beurteilen, ob von KI generierte Entscheidungen mit etabliertem medizinischem Wissen übereinstimmen14.

Für Anwendungen im Gesundheitswesen wurden mehrere Erklärbarkeitstechniken eingeführt. SHapley Additive Explanations (SHAP) messen den Beitrag jeder Merkmalsgröße zur Modellvorhersage auf der Grundlage der kooperativen Spieltheorie15. Local Interpretable Model-agnostic Explanations (LIME) erstellen ein vereinfachtes Modell und erklären die Vorhersagen eines Blackbox-Modells16. Für medizinische Bildaufgaben, die auf Deep-Learning-Modellen basieren, erzeugen gradientengewichtete Aktivierungskarten (Grad-CAM) Heatmaps, die visuell die Bildbereiche hervorheben, die zu Klassifizierungsentscheidungen beitragen17. Die Kombination dieser Methoden hat die Transparenz von KI-Systemen in verschiedenen Bereichen des Gesundheitswesens erheblich verbessert18.

Trotz der zunehmenden Aufmerksamkeit für Erklärbarkeitsmethoden im Gesundheitswesen bleibt ihre Anwendung in der Literatur unterschiedlich. Die Forscher unterscheiden sich nicht nur in der Wahl der Vorverarbeitungsstrategien, sondern auch in der Gestaltung der Modellarchitektur, der Evaluierungsmetriken und sogar in den verwendeten Erklärungstechniken19. Zudem berichten viele Publikationen von hoher Vorhersagegenauigkeit, liefern jedoch keine gründliche Bewertung der Qualität der Erklärungen oder deren Reproduzierbarkeit20.

Die Reproduzierbarkeit ist eine der Hauptengpässe in der modernen KI-Forschung. In wissenschaftlichen Arbeiten werden oft nicht die Softwareversion, die Rechenumgebung, die Vorverarbeitungspipeline, die Hyperparameter-Einstellungen, die Initialisierung des Zufallszahlengenerators und die Hardwarekonfigurationen offengelegt21. Aus diesem Grund gelingt es unabhängigen Forschern häufig nicht, veröffentlichte Ergebnisse nachzuvollziehen oder die publizierten Methoden mit anderen Datensätzen oder Softwareplattformen zu überprüfen22. Der Mangel an detaillierter Dokumentation ist einer der Faktoren, die Benchmark-Studien, die Zusammenarbeit in der Forschung und die klinische Übertragung von KI-Systemen behindern23.

Angesichts dieser Herausforderungen haben mehrere Organisationen und Aufsichtsbehörden die Bedeutung transparenter, vertrauenswürdiger und reproduzierbarer KI für Anwendungen im Gesundheitswesen hervorgehoben24. Bestehende Berichtsleitlinien haben die methodische Dokumentation verbessert, beschreiben jedoch hauptsächlich, was berichtet werden sollte, anstatt standardisierte experimentelle Verfahren bereitzustellen, die Forschende direkt umsetzen können25. Daher besteht weiterhin Bedarf an einem umfassenden Protokoll, das Datensatzvorbereitung, Modellentwicklung, Erklärbarkeitsanalyse, statistische Bewertung und Praktiken zur Reproduzierbarkeit in einen einzigen experimentellen Workflow integriert26.

Ein standardisiertes experimentelles Protokoll bietet der Gemeinschaft der KI im Gesundheitswesen mehrere Vorteile. Darüber hinaus fördert es die methodische Konsistenz, erleichtert den Vergleich unabhängiger Studien, erhöht die Transparenz computergestützter Experimente und ermöglicht eine zuverlässige Überprüfung veröffentlichter Ergebnisse27. Standardisierte Arbeitsabläufe unterstützen außerdem die Aus- und Weiterbildung, die kollaborative Forschung und die regulatorische Bewertung durch klar dokumentierte Verfahren, die in verschiedenen Laboren und Gesundheitseinrichtungen reproduzierbar sind28.

Ein reproduzierbares experimentelles Protokoll zur Schulung und Bewertung von KI-Modellen in Gesundheitssystemen wurde entwickelt und getestet. Das Protokoll legt Standards für die Konfiguration der Rechenumgebung, die Vorverarbeitung von Gesundheitsdatensätzen, die Entwicklung von maschinellen Lernmodellen, die Anwendung von XAI-Methoden, die Bewertung der Vorhersageleistung, die Durchführung statistischer Validierungen und die Beurteilung der Reproduzierbarkeit29 fest. Die Integration solcher Komponenten in einen kohärenten Workflow wird voraussichtlich die Transparenz, Zuverlässigkeit und Reproduzierbarkeit der KI-Forschung im Gesundheitswesen erhöhen und zudem zur Entwicklung vertrauenswürdiger intelligenter Gesundheitssysteme beitragen30.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Protokoll

Das durchgeführte Validierungsexperiment verwendete den öffentlich verfügbaren, deidentifizierten Pima-Indianer-Diabetes-Datensatz und beinhaltete keine identifizierbaren Patientenakten oder neue Patientenrekrutierung. Daher waren informierte Einwilligung und die Genehmigung durch die institutionelle Ethikkommission/IRB nicht erforderlich, und alle Analysen wurden gemäß den geltenden Bedingungen des Datensatzes und den institutionellen Forschungsrichtlinien durchgeführt.

Das durchgeführte Validierungsbeispiel verwendet den öffentlich verfügbaren Pima-Indianer-Diabetes-Datensatz, der 768 Datensätze für die binäre Diabetesvorhersage enthält. Der vollständige neunstufige Kernarbeitsablauf wurde auf diesen Datensatz angewendet. Die neun Kernstufen umfassten die Datensatzauswahl und -validierung, die Konfiguration der Rechenumgebung, die Datenvorverarbeitung, die Datensatzpartitionierung, die Modellentwicklung und -schulung, die Bewertung der Vorhersage- und Rechenleistung, die Erklärbarkeitsanalyse, die statistische Validierung sowie die Beurteilung der Reproduzierbarkeit. Externe Validierung und klinische Expertenbewertung wurden als optionale Validierungsbausteine beibehalten und im vorliegenden durchgerechneten Beispiel nicht durchgeführt. Abbildung 1 veranschaulicht den Kernprotokoll-Arbeitsablauf, und Tabelle 1 fasst ausschließlich die neun im vorliegenden Validierungsbeispiel implementierten Kernstufen zusammen; optionale externe Validierung und klinische Expertenbewertung werden separat im Protokoll beschrieben und sind nicht Teil der neun experimentellen Stufen.

1. Auswahl und Validierung des Gesundheitsdatensatzes

  1. Wählen Sie den Pima-Indianer-Diabetes-Datensatz als primären Datensatz für das durchgeführte Validierungsbeispiel aus. Überprüfen Sie die Datensatzquelle, Stichprobengröße, Vorhersageziel, Klassenverteilung und Datenstruktur.
  2. Wenden Sie die vorab festgelegten Ein- und Ausschlusskriterien sowie Qualitätskriterien für die Daten an. Entfernen Sie doppelte und ungültige Datensätze vor der Modellerstellung.
  3. Notieren Sie die Datensatzquelle, Merkmale, Vorhersageaufgabe, Klassenverteilung, Ein- und Ausschlusskriterien sowie die Aufteilungsstrategie in Tabelle 2.
  4. Wenden Sie Entscheidungskriterien für die Auswahl von Datensatz und Modell an
    1. Definieren Sie das Vorhersageziel, bevor Sie den Datensatz, die Modellarchitektur, die Vorverarbeitungsstrategie oder die Erklärbarkeitsmethode auswählen.
    2. Passen Sie die Datensatzmodusart dem Vorhersageziel an. Wählen Sie tabellarische Daten für strukturierte klinische Variablen, Bilddaten für medizinische Bilder, Zeitreihendaten für physiologische Signale, Textdaten für klinische Berichte oder multimodale Daten, wenn komplementäre Modalitäten für denselben Patienten oder Untersuchungseinheit verfügbar sind.
    3. Bewerten Sie potenzielle Datensätze hinsichtlich Stichprobengröße, Verfügbarkeit des Endpunkts, Klassenverteilung, fehlender Werte, Qualität der Annotationen, klinischer Relevanz, Datenvervollständigung und Zugänglichkeit. Wählen Sie den Datensatz aus, der die vorab festgelegten Anforderungen erfüllt.
    4. Wählen Sie herkömmliche maschinelle Lernmodelle für strukturierte tabellarische Daten, wenn die Stichprobengröße, die verfügbaren Rechenressourcen oder die Anforderungen an die Interpretierbarkeit den Einsatz komplexer Architekturen einschränken. Wählen Sie Deep-Learning-Architekturen, wenn ausreichend Trainingsdaten und hochdimensionale Eingaben wie medizinische Bilder, physiologische Signale oder klinischer Text verfügbar sind.
    5. Wählen Sie multimodale Architekturen nur dann, wenn mehrere Modalitäten für denselben Patienten oder dieselbe Untersuchungseinheit verfügbar sind und zuverlässig zugeordnet werden können, ohne Informationslecks zu verursachen. Wählen Sie Vorverarbeitungsschritte entsprechend den Eigenschaften der ausgewählten Datenmodusart aus.
    6. Wählen Sie Erklärbarkeitsmethoden entsprechend dem Modell und der Datenmodusart aus. Verwenden Sie modellagnostische Methoden wie SHAP oder LIME für geeignete tabellarische Modelle und modusartspezifische Methoden wie Grad-CAM für bildbasierte Modelle, sofern anwendbar.
    7. Dokumentieren Sie die Begründung für die Auswahl von Datensatz, Vorverarbeitungsstrategie, Modell und Erklärbarkeitsmethoden. Bewahren Sie diese Entscheidungen als Teil des Reproduzierbarkeitsnachweises auf.

2. Konfigurieren Sie die Rechenumgebung für die Entwicklung von XAI-Modellen

  1. Konfigurieren Sie das Betriebssystem, die CPU, den Arbeitsspeicher, den Speicherplatz und die GPU gemäß den Anforderungen des ausgewählten Modells. Erstellen Sie eine isolierte Python-Umgebung und installieren Sie die erforderlichen Bibliotheken für maschinelles Lernen, Deep Learning, Statistik, Visualisierung und XAI.
  2. Notieren Sie die tatsächlich verwendete Rechenumgebung, die Modellarchitektur und die Hyperparameter, die bei der durchgeführten Validierung verwendet wurden, in Tabelle 3. Geben Sie den Optimierer, die Lernrate, die Batch-Größe, die maximale Anzahl an Epochen, die Verlustfunktion, Regularisierungsparameter, die Validierungsstrategie, die Early-Stopping-Konfiguration, die Zufallszahlen-Startwerte, die Erklärbarkeitsmethoden, die Hardware, das Betriebssystem, die Python-Version sowie die Versionen relevanter Softwarebibliotheken an. Unterscheiden Sie diese experimentell verwendeten Einstellungen von allgemeinen oder empfohlenen Protokolleinstellungen.
  3. Verwenden Sie die in Tabelle 3 angegebene Konfiguration, um die Validierung des Pima-Indians-Diabetes-Datensatzes sowie die entsprechenden Ergebnisse zur Vorhersage, Erklärbarkeit, Statistik und Reproduzierbarkeit zu reproduzieren.
  4. Führen Sie ein Validierungsskript aus, um den erfolgreichen Import der Pakete, das Laden des Datensatzes, die Ausführung des Modells und die Erzeugung der Ausgaben zu überprüfen. Bewahren Sie die endgültige Konfiguration der Umgebung zur Sicherstellung der Reproduzierbarkeit auf.

3. Bereiten Sie Gesundheitsdatensätze für die Entwicklung von XAI-Modellen vor und charakterisieren Sie diese

  1. Auswahl und Beschaffung des Gesundheitsdatensatzes
    1. Wählen Sie einen Gesundheitsdatensatz aus, der für die definierte klinische Vorhersageaufgabe geeignet ist. Bewerten Sie mögliche Datensätze anhand des Forschungsziels, Datentyps, Stichprobengröße, Annotationqualität, Klassenbalance und klinischen Relevanz.
    2. Bevorzugen Sie öffentlich zugängliche Benchmark-Datensätze, wenn sie die Vorhersageaufgabe ausreichend abdecken und eine unabhängige Validierung ermöglichen.
    3. Erhalten Sie vor der Beschaffung institutioneller oder intern verwalteter Datensätze die erforderlichen ethischen Genehmigungen, institutionellen Freigaben und Datenzugriffsberechtigungen. Beziehen Sie den ausgewählten Datensatz aus einem verifizierten Repository oder einer autorisierten institutionellen Datenbank.
    4. Bewahren Sie die ursprünglichen Datensatzdateien unverändert auf und dokumentieren Sie Anbieter, Version, Erwerbsinformationen, Lizenzbedingungen, Einschluss- und Ausschlusskriterien sowie begleitende Metadaten. Ordnen Sie den Datensatz in separate Verzeichnisse für Rohdaten, Annotationen, Metadaten und ergänzende Informationen.
  2. Charakterisierung des Gesundheitsdatensatzes
    1. Identifizieren Sie die Prädiktorvariablen, Outcome-Labels, Merkmalstypen, Datenausprägungen und Klassenverteilungen. Ermitteln Sie die Anzahl der Probanden, Stichproben, Merkmalsdimensionen und verfügbaren Annotationen.
    2. Stellen Sie sicher, dass die Datensatzmerkmale mit der ausgewählten KI-Methode kompatibel sind.
    3. Verwenden Sie den Pima-Indians-Diabetes-Datensatz als einzigen experimentellen Datensatz zur Validierung des neunstufigen Kernprotokolls. Die in Tabelle 2 aufgeführten zusätzlichen Datensätze dienen lediglich dazu, die Anwendbarkeit des allgemeinen Protokolls auf klinische Tabellendaten, elektronische Gesundheitsakten, dermatoskopische Bilder, physiologische Zeitreihendaten und medizinische Bildgebung zu demonstrieren. Verwenden Sie diese zusätzlichen Datensätze nicht für Modelltraining, -testung, statistische Validierung oder zur Erzeugung der berichteten experimentellen Ergebnisse.
  3. Bewertung der Datensatzqualität
    1. Prüfen Sie den Datensatz auf doppelte Einträge, beschädigte Dateien, fehlende Werte, Fehler in den Annotationen und unregelmäßige Dateneingaben. Entfernen Sie bestätigte doppelte Einträge und korrigieren Sie nachgewiesene Formatierungsfehler. Dokumentieren Sie alle Verfahren zur Qualitätskontrolle des Datensatzes.
    2. Überprüfen Sie bei multimodalen Datensätzen mithilfe von Probandenidentifikatoren die Übereinstimmung von bildgebenden, klinischen, laborchemischen und physiologischen Daten.
    3. Entfernen Sie doppelte oder inkonsistente Einträge, behandeln Sie fehlende Werte, standardisieren Sie numerische Merkmale, kodieren Sie kategoriale Variablen und wenden Sie modalitysspezifische Vorverarbeitungsschritte an. Teilen Sie den Datensatz in unabhängige Trainings-, Validierungs- und Testmengen auf. Siehe Abbildung 2 für den Workflow zur Vorbereitung, Vorverarbeitung, Aufteilung und Qualitätsbewertung von Gesundheitsdatensätzen.
  4. Gewährleistung von Datenschutz und ethischer Konformität
    1. Entfernen Sie direkte Identifikatoren aus Gesundheitsdaten. Wenden Sie bei Bedarf Anonymisierungs- oder Pseudonymisierungsverfahren an. Verarbeiten Sie Patientendaten gemäß den geltenden ethischen, Datenschutz-, Einwilligungs- und institutionellen Anforderungen.
    2. Dokumentieren Sie die geltende ethische Genehmigung, Befreiungen, Datenverwaltungsverfahren, Anonymisierungsmethoden und den Workflow zur Datensatzvorbereitung.
    3. Bewerten Sie potenzielle algorithmische Verzerrungen, indem Sie die Modellleistung bei verfügbaren und ethisch zulässigen Informationen über relevante demografische oder klinische Untergruppen vergleichen.
    4. Dokumentieren Sie den vorgesehenen Einsatz, die Zielgruppe, Modelllimitationen, mögliche Fehlermodi, Anforderungen an menschliche Überwachung sowie geltende ethische, datenschutzrechtliche und gesundheitsrechtliche Vorschriften.
    5. Dokumentieren Sie identifizierte Fairness-Einschränkungen und Aspekte verantwortungsvoller KI als Teil der endgültigen Modell-Dokumentation.
      HINWEIS: Beschaffen Sie einen standardisierten und dokumentierten Gesundheitsdatensatz, der für die Entwicklung von KI-Modellen geeignet ist, ethisch konform ist und keine gravierenden, bekannten Inkonsistenzen aufweist.

4. Vorbereiten und Aufteilen von Gesundheitsdaten für das Training von KI-Modellen

  1. Qualitätskontrolle durchführen
    1. Den Datensatz auf doppelte Einträge, fehlende Werte, ungültige Werte, inkonsistente Beschriftungen, Ausreißer und beschädigte Dateien überprüfen.
    2. Ungültige Beobachtungen gemäß vorab festgelegter Kriterien entfernen oder korrigieren und alle Ausschlüsse dokumentieren. Die Konsistenz der Prädiktorvariablen und der Zielvariablenbezeichnungen überprüfen.
  2. Umgang mit fehlenden Daten
    1. Den Umfang der fehlenden Werte für jede Variable quantifizieren. Die vorab festgelegte Strategie zur Imputation oder zum Ausschluss anwenden.
    2. Imputationsparameter ausschließlich anhand der Trainingsdaten schätzen und die angepasste Transformation auf Validierungs- und Testdaten anwenden.
  3. Daten normalisieren und transformieren
    1. Skalierung, Normalisierung, Kodierung, Dimensionsreduktion oder andere Transformationen durchführen, die vom gewählten Modell verlangt werden. Alle datenabhängigen Transformationen ausschließlich anhand der Trainingsdaten anpassen.
    2. Die angepassten Transformationen unverändert auf Validierungs- und Testdaten anwenden.
  4. Die Klassenungleichverteilung in den Trainingsdaten quantifizieren. Klassengewichtung, SMOTE, Oversampling oder Datenaugmentierung ausschließlich auf den Trainingsdatensatz anwenden. Die ursprüngliche Verteilung der Validierungs- und Testdatensätze beibehalten.
  5. Sicherstellen, dass kein Proband, doppelte Beobachtung, augmentierte Stichprobe, Preprocessing-Statistik, Merkmalsselektionskriterium oder synthetische Stichprobe zwischen Trainings- und Evaluierungs-Teildatensätzen geteilt wird.

5. Entwickeln und konfigurieren Sie das XAI-Modell

  1. Definieren Sie die Modellarchitektur, indem Sie die Eingabedatenmodalitäten, Vorverarbeitungsschritte, modalitätsspezifische Merkmalsencoder, den Mechanismus zur Merkmalsfusion, die Vorhersageschicht und das Erklärbarkeitsmodul festlegen.
  2. Wählen Sie die Machine-Learning- oder Deep-Learning-Architektur entsprechend der Vorhersageaufgabe und der Eingabemodalität aus. Konfigurieren Sie die Eingabeschicht, die Merkmalsextraktionskomponenten, die versteckten Schichten, die Ausgabeschicht und die Aktivierungsfunktionen. Legen Sie den Optimierer, die Lernrate, die Batch-Größe, die Verlustfunktion, die Epochen, die Regularisierung, den Dropout, die vorzeitige Beendigung und den Lernraten-Plan fest.
  3. Optimieren Sie die Hyperparameter ausschließlich anhand der Trainings- und Validierungsdaten.
  4. Dokumentieren Sie die endgültige Architektur und die festgelegte Hyperparameterkonfiguration in Tabelle 3.
  5. Überprüfen Sie die Kompatibilität der Eingabe- und Ausgabedimensionen vor dem Training.
    HINWEIS: Erstellen Sie ein vollständig konfiguriertes XAI-Modell, das eine geeignete Architektur, definierte Hyperparameter und integrierte Erklärbarkeitstechniken umfasst.

6. Trainieren, optimieren und speichern Sie das XAI-Modell

  1. Laden Sie die vordefinierten Trainings- und Validierungsdatensätze sowie die finale Modellkonfiguration. Initialisieren Sie das Modell mit dem vordefinierten Zufallsstartwert und den Trainingsparametern.
  2. Trainieren Sie das Modell unter Verwendung des vorgegebenen Optimierers, der Verlustfunktion, der Batch-Größe und der Abbruchkriterien.
  3. Überwachen Sie die Validierungsleistung und behalten Sie den Kontrollpunkt bei, der dem vordefinierten Modellselektionskriterium entspricht. Bewerten Sie den ausgewählten Kontrollpunkt anhand des unabhängigen Testdatensatzes ohne weitere Optimierung.
  4. Speichern Sie das trainierte Modell, die Vorverarbeitungskonfiguration, Hyperparameter, Zufallsstartwerte und das Trainingsprotokoll.
    HINWEIS: Erhalten Sie ein optimiertes XAI-Modell, das mit dem vorbereiteten Gesundheitsdatensatz trainiert und validiert wurde. Bewahren Sie das leistungsstärkste Modell, die Hyperparameter, Trainingsprotokolle, Vorverarbeitungskonfiguration und die Rechenumgebung zur Reproduzierbarkeit auf.

7. Bewertung der Vorhersage- und Rechenleistung

  1. Beurteilen der Vorhersageleistung
    1. Laden Sie das optimierte Modell und den unabhängigen Testdatensatz, nachdem das Modelltraining und die Hyperparameter-Optimierung abgeschlossen sind. Bewahren Sie die trainierten Modellparameter und die Vorverarbeitungspipeline während des Testens unverändert auf.
    2. Erzeugen Sie Vorhersagen für alle Proben im Testdatensatz. Vergleichen Sie die vorhergesagten Ergebnisse mit den entsprechenden Referenzlabels.
  2. Berechnung von Leistungsmetriken
    1. Wählen Sie Evaluationsmetriken entsprechend der Art der Vorhersageaufgabe aus.
    2. Berechnen Sie bei Klassifizierungsaufgaben, soweit anwendbar, Genauigkeit (Accuracy), Präzision, Sensitivität (Recall), Spezifität, F1-Score, balancierte Genauigkeit, Matthews-Korrelationskoeffizient (MCC) und die Fläche unter der ROC-Kurve (AUC-ROC). Berechnen Sie bei Regressionsaufgaben, soweit anwendbar, mittleren absoluten Fehler (MAE), Wurzel des mittleren quadratischen Fehlers (RMSE), Bestimmtheitsmaß (R2) und andere relevante Maße.
  3. Beurteilung der Generalisierbarkeit und Robustheit des Modells
    1. Werten Sie das Modell anhand eines externen Datensatzes aus, der unabhängig vom Entwicklungssatz erhoben wurde, sofern solche Daten verfügbar sind.
    2. Bevorzugen Sie externe Datensätze aus einer anderen medizinischen Einrichtung, geografischen Region oder Patientenpopulation, um die Übertragbarkeit zu bewerten.
    3. Führen Sie eine zeitliche Validierung anhand von Daten durch, die in einem späteren Zeitraum erhoben wurden, sofern Längsschnittdatensätze verfügbar sind.
    4. Führen Sie eine multizentrische Validierung durch, indem Sie das finale Modell getrennt an den teilnehmenden Institutionen evaluieren, sofern multizentrische Daten verfügbar sind.
    5. Führen Sie eine geografische Validierung anhand einer unabhängigen Population aus einer anderen geografischen Region durch, sofern dies machbar ist.
    6. Berichten Sie über Leistungsunterschiede und Konfidenzintervalle zwischen dem Entwicklungssatz und den externen Datensätzen.
  4. Beurteilung der rechnerischen Leistung
    1. Messen Sie die Modelltrainingszeit in der vordefinierten Rechenumgebung sowie die Inferenz- und Testzeit unter identischen Rechenbedingungen, sowie den Speicherverbrauch, die Modellgröße und die Hardwareauslastung.
    2. Wiederholen Sie die rechnerischen Messungen in unabhängigen Durchläufen.
    3. Berechnen Sie die durchschnittliche Ausführungszeit, um den Einfluss experimenteller Variabilität zu verringern.
  5. Vergleich der Modellleistung
    1. Wählen Sie geeignete konventionelle maschinelle Lern- oder Deep-Learning-Verfahren für den Vergleich aus.
    2. Werten Sie das vorgeschlagene XAI-Modell und die Vergleichsmodelle anhand desselben Datensatzes aus. Wenden Sie identische Vorverarbeitungsschritte und Evaluationsmetriken auf alle verglichenen Modelle an.
    3. Führen Sie alle vergleichenden Experimente in derselben Rechenumgebung durch.
      HINWEIS: Gewinnen Sie experimentelle Belege für die Vorhersagesicherheit und Reproduzierbarkeit unter den getesteten Rechenbedingungen und dem Datensatz.

8. XAI-Ergebnisse erzeugen und bewerten

  1. Erzeugung von Modellerklärungen
    1. Laden Sie das optimierte XAI-Modell. Wählen Sie Evaluierungsstichproben, die nicht für das Modelltraining verwendet wurden. Wenden Sie die vordefinierten Erklärbarkeitsmethoden an, ohne das trainierte Modell oder die Vorverarbeitungspipeline zu verändern.
    2. Erzeugung globaler und lokaler Modellerklärungen
      1. Erzeugen Sie globale Erklärungen, um das Gesamtverhalten des Vorhersagemodells zu charakterisieren.
      2. Erzeugen Sie lokale Erklärungen, um individuelle Modellvorhersagen zu charakterisieren.
      3. Wenden Sie SHAP auf den Pima-Indians-Diabetes-Datensatz an, um globale und lokale Erklärungen der tabellarischen Modellvorhersagen zu generieren.
      4. Erzeugen Sie ein SHAP-Zusammenfassungsdiagramm, um Richtung und Stärke der Merkmalsbeiträge zu visualisieren.
      5. Erzeugen Sie ein SHAP-Merkmalswichtigkeitsdiagramm mithilfe der mittleren absoluten SHAP-Werte, um Merkmale nach ihrem Gesamtbeitrag zu den Modellvorhersagen zu rangieren.
      6. Erzeugen Sie ein SHAP-Wasserfall-Diagramm für eine repräsentative Vorhersage aus dem Testdatensatz, um patientenspezifische Merkmalsbeiträge zu veranschaulichen.
      7. Erzeugen Sie ein SHAP-Abhängigkeitsdiagramm für ein ausgewähltes Merkmal, um den Zusammenhang zwischen diesem Merkmal und seinem Beitrag zur Modellausgabe zu untersuchen.
      8. Wenden Sie LIME auf repräsentative Vorhersagen aus dem Testdatensatz an, um lokale Erklärungen individueller Modellvorhersagen zu erzeugen.
      9. Erzeugen Sie eine patientenspezifische kontrastive Erklärung, um die mit einer Änderung des vorhergesagten Ergebnisses verbundenen Merkmalsänderungen zu veranschaulichen.
      10. Wählen Sie zusätzliche Erklärbarkeitstechniken entsprechend der Datenmodus und der Modellarchitektur aus.
      11. Verwenden Sie Grad-CAM oder Saliency-Maps für kompatible bildbasierte Modelle, Visualisierungen der Aufmerksamkeit (Attention) für Transformer-basierte Architekturen und Integrierte Gradienten für differenzierbare Modelle, wenn anwendbar.
      12. Behandeln Sie Grad-CAM, Saliency-Mapping, Attention-Visualisierung und Integrierte Gradienten als allgemeine, modusabhängige Protokolloptionen und interpretieren oder berichten Sie sie nicht als experimentelle Ergebnisse aus der Validierung des Pima-Indians-Diabetes-Datensatzes, es sei denn, die entsprechenden Analysen wurden tatsächlich durchgeführt.
    3. Anwendung der Erklärbarkeitsmethoden auf die durchgeführte Pima-Validierung
      1. Wenden Sie SHAP und LIME auf den Pima-Indians-Diabetes-Datensatz an, um globale und lokale Erklärungen der tabellarischen Modellvorhersagen zu erzeugen.
      2. Erzeugen Sie SHAP-Zusammenfassungs-, Merkmalswichtigkeits-, Wasserfall- und Merkmalsabhängigkeit-Diagramme aus den Ergebnissen der Pima-Validierung.
      3. Erzeugen Sie eine LIME-Lokalerklärung für repräsentative Vorhersagen aus dem Testdatensatz.
      4. Erzeugen Sie eine patientenspezifische kontrastive Erklärung, um die mit einer Änderung der Modellvorhersage verbundenen Merkmalsänderungen zu veranschaulichen.
      5. Behandeln Sie Grad-CAM, Attention-Visualisierung, Saliency-Mapping und Integrierte Gradienten als modusabhängige Optionen zur Erklärbarkeit für andere Gesundheitsdatentypen und Modellarchitekturen.
      6. Berichten Sie Grad-CAM, Attention-Visualisierung, Saliency-Mapping oder Integrierte Gradienten nicht als experimentelle Ergebnisse aus der durchgeführten Pima-Validierung, es sei denn, die entsprechenden Analysen wurden tatsächlich durchgeführt.
  2. Bewertung der Erklärungsqualität
    1. Prüfen Sie, ob die erzeugten Erklärungen den Vorhersageprozess des Modells widerspiegeln. Bewerten Sie die Stabilität der Erklärungen über wiederholte Experimentdurchläufe hinweg sowie die Konsistenz der Erklärungsergebnisse unter identischen Rechenbedingungen.
    2. Beurteilen Sie die Empfindlichkeit der Erklärungsergebnisse gegenüber Änderungen der Eingabedaten, wenn anwendbar. Vergleichen Sie die erzeugten Erklärungen mit verfügbarem Fachwissen oder Experteninterpretationen.
    3. Identifizieren Sie prädiktive Merkmale oder anatomische Regionen, die mit etabliertem medizinischem Wissen übereinstimmen, sofern solche Vergleiche verfügbar sind.
    4. Dokumentieren Sie das Ausmaß an Übereinstimmung oder Diskrepanz zwischen den erzeugten Erklärungen und der verfügbaren klinischen Interpretation.
  3. Quantifizierung der Vorhersageunsicherheit
    1. Erzeugen Sie Schätzungen zur Vorhersagesicherheit für die evaluierten Stichproben unter Verwendung einer Unsicherheitsschätzmethode, die zur gewählten Modellarchitektur und Anwendung im Gesundheitswesen geeignet ist.
    2. Wenden Sie Monte-Carlo-Dropout, Ensemble-basierte Vorhersage, Bayes’sche Inferenz, konforme Vorhersage oder eine andere validierte Methode zur Unsicherheitsschätzung an, wenn angebracht.
    3. Wiederholen Sie stochastische Vorhersagedurchläufe bei Verwendung von Monte-Carlo-Dropout und berechnen Sie den mittleren Vorhersagewert und die Vorhersagevarianz für jede Evaluierungsstichprobe.
    4. Geben Sie Vorhersagesicherheit oder Unsicherheitsintervalle zusammen mit den entsprechenden Modellvorhersagen an.
    5. Beurteilen Sie, ob die Unsicherheitsschätzungen Vorhersagen identifizieren, die mit geringerer Zuverlässigkeit oder erhöhtem Vorhersagefehler verbunden sind. Bewahren Sie die verwendete Methode zur Unsicherheitsschätzung, Parameter, Zufallszahlen (Random Seeds) und erzeugte Unsicherheitsausgaben auf, um Reproduzierbarkeit zu gewährleisten.
  4. Dokumentation und Speicherung der Erklärbarkeitsausgaben
    1. Speichern Sie alle erzeugten Merkmalswichtigkeitswerte, Heatmaps, Saliency-Maps, Attention-Visualisierungen und patientenspezifischen Interpretationen. Speichern Sie die Erklärbarkeitsausgaben in standardisierten Dateiformaten. Archivieren Sie die Ausgaben gemeinsam mit dem trainierten Modell und der Vorverarbeitungskonfiguration.
    2. Dokumentieren Sie die verwendeten Recheneinstellungen, Erklärungsparameter, Laufzeit und Softwareversionen für die Erzeugung der Erklärungen. Bewahren Sie die vollständige Dokumentation zur Erklärbarkeit auf, um eine unabhängige Überprüfung und reproduzierbare Evaluierung zu ermöglichen.
  5. Quantitative Bewertung der Erklärungsqualität
    1. Bewerten Sie die Treue der Erklärung (Explanation Faithfulness), indem Sie die als wichtig identifizierten Merkmale systematisch stören oder maskieren und die resultierende Änderung der Modellausgabe messen. Berechnen Sie einen Treue-Score, indem Sie die Stärke der Zuweisung mit der resultierenden Änderung der Modellvorhersage vergleichen.
    2. Bewerten Sie die Stabilität der Erklärung, indem Sie Erklärungen für wiederholte Durchläufe, gestörte Eingaben oder klinisch ähnliche Stichproben erzeugen und die Ähnlichkeit zwischen den resultierenden Zuweisungsmustern berechnen. Berechnen Sie die Infidelität (Infidelity), indem Sie die Diskrepanz zwischen der vorhergesagten Ausgabeänderung und der aus der Erklärungszuweisung geschätzten Änderung unter kontrollierten Eingabestörungen messen.
    3. Beurteilen Sie bei Erklärungen für medizinische Bilder die Lokalisationsgenauigkeit anhand eines vom Experten definierten Bereichs von Interesse (Region of Interest), wenn Referenzannotationen verfügbar sind. Bewerten Sie die klinische Nützlichkeit, indem Sie unabhängige Bewertungen qualifizierter klinischer Experten anhand vordefinierter Interpretationskriterien einholen.
    4. Berechnen Sie Cohens Kappa oder Fleiss’ Kappa, wenn mehrere Experten unabhängig die Relevanz oder Übereinstimmung der Erklärungen bewerten.
      HINWEIS: Erzeugen Sie globale und lokale Erklärungen, die das Vorhersageverhalten des trainierten KI-Modells charakterisieren. Bewahren Sie die Erklärbarkeitsausgaben und die entsprechenden Konfigurationen zur transparenten Interpretation und reproduzierbaren Evaluierung auf.

9. Durchführen der statistischen Validierung und Bewertung der Reproduzierbarkeit

  1. Statistische Validierung durchführen
    1. Wählen Sie statistische Methoden entsprechend dem Studienziel, dem experimentellen Design, der Datenverteilung und den Merkmalen der ausgewerteten Variablen aus.
    2. Berichten Sie kontinuierliche Variablen als Mittelwert ± Standardabweichung oder gegebenenfalls als Median und Interquartilbereich sowie kategoriale Variablen als absolute Häufigkeiten und Prozentangaben.
    3. Führen Sie eine fünffache Kreuzvalidierung auf dem Trainingsdatensatz durch, um die Stabilität der Modellleistung zu bewerten, und geben Sie Genauigkeit, AUC-ROC, Präzision, Sensitivität und F1-Score als Mittelwert an ± Standardabweichung über die Folds hinweg. Schätzen Sie 95 % Konfidenzintervalle für die Leistungsmetriken des unabhängigen Test-Sets mithilfe von 1.000 Bootstrap-Stichproben.
    4. Vergleichen Sie das vorgeschlagene Modell mit den Baseline-Modellen CNN, Random Forest und SVM mithilfe des McNemar-Tests für gepaarte Genauigkeitsvergleiche, des DeLong-Tests für korrelierte AUC-ROC-Vergleiche und eines gepaarten Bootstrap-Tests mit 1.000 Resampling-Durchgängen für F1-Score-Vergleiche.
    5. Geben Sie die entsprechende Teststatistik und den exakten p-Wert für jeden Vergleich an und verwenden Sie ein zweiseitiges Signifikanzniveau von α = 0.05.
  2. Vergleichen Sie die Modellleistung statistisch
    1. Vergleichen Sie das vorgeschlagene erklärbare KI-Modell mit den ausgewählten modernsten maschinellen Lern- und Deep-Learning-Basismodellen.
    2. Wenden Sie den t-Test von Student an t-Test oder den Mann-Whitney-U-Test bei Vergleichen von zwei Gruppen, je nach Angemessenheit. Wenden Sie die einfaktorielle ANOVA für entsprechende parametrische Vergleiche mit mehr als zwei Gruppen an. Wenden Sie den Kruskal-Wallis-Test für entsprechende nichtparametrische Vergleiche mit mehr als zwei Gruppen an.
    3. Berücksichtigen p < 0,05 statistisch signifikant, wie in der Originalmanuskript angegeben.
    4. Verwenden Sie ein zweiseitiges Signifikanzniveau von α = 0,05 für alle vorab definierten statistischen Vergleiche und Angabe der entsprechenden Teststatistiken und p-Werte.
    5. Geben Sie 95 %-Konfidenzintervalle für die wichtigsten Leistungskennzahlen der Vorhersage an.
    6. Verwenden Sie die Bootstrap-Resampling-Methode, um Konfidenzintervalle für Leistungskennzahlen zu schätzen, wenn dies angebracht ist. Verwenden Sie den DeLong-Test, um korrelierte ROC-AUC-Werte zu vergleichen, wenn dieselben Probanden von zwei Modellen bewertet werden. Verwenden Sie den McNemar-Test, um gepaarte kategoriale Klassifikationsergebnisse zu vergleichen, die für dieselben Probanden ermittelt wurden. Verwenden Sie gepaarte Bootstrap-Verfahren, um den F1-Score oder andere abgeleitete Leistungsmetriken zu vergleichen, wenn dies angebracht ist.
    7. Bewerten Sie die Kalibrierung anhand von Kalibrierungsdiagrammen, Kalibrierungssteigung/-achsenabschnitt und Brier-Score, sofern probabilistische Vorhersagen verfügbar sind.
    8. Für die Validierung des bearbeiteten Pima-Indianer-Diabetes-Datensatzes verwenden Sie den vordefinierten gepaarten statistischen Vergleich, der für das vorgeschlagene Modell und die Baseline-Modelle festgelegt ist. Wenden Sie den ausgewählten Test einheitlich auf die gepaarten Vorhersagen der Testmenge oder auf wiederholte Leistungsmessungen an, je nachdem, was für den jeweiligen Vergleich geeignet ist. Verwenden Sie ein zweiseitiges Signifikanzniveau von α = 0,05 und geben Sie die Teststatistik und den exakten p-Wert an. Berichten Sie nicht über alternative statistische Tests, es sei denn, deren Ergebnisse werden im Ergebnisteil präsentiert.
    9. Zweiseitige Tests anwenden und statistische Signifikanz anhand eines vorab festgelegten Schwellenwerts interpretieren p < 0.05.
  3. Bewerten Sie die Modellrobustheit
    1. Wiederholen Sie den vollständigen Trainings- und Evaluierungsprozess 10-mal mit unterschiedlichen Zufallszahlen, wobei die vorgegebene Datensatz-Aufteilung, die Vorverarbeitungsverfahren, die Modellarchitektur, die Hyperparameter, die Softwareumgebung und das Evaluierungsprotokoll beibehalten werden.
    2. Notieren Sie die AUC-ROC, die Genauigkeit und den F1-Wert für jeden unabhängigen Durchlauf und geben Sie den Mittelwert an. ± Standardabweichung über die 10 Durchläufe
    3. Vergleichen Sie die resultierenden Leistungswerte über wiederholte Durchläufe hinweg, um die Vorhersagegenauigkeit und Reproduzierbarkeit unter verschiedenen zufälligen Initialisierungen zu bewerten.
  4. Bewertung der Erklärbarkeit und Reproduzierbarkeit
    1. Generieren Sie Merkmalszuweisungen, Attention-Maps oder andere Erklärungsausgaben über mehrere experimentelle Durchläufe hinweg, wenn eine Bewertung der Erklärungsstabilität eingeschlossen ist. Vergleichen Sie die Erklärungsausgaben quantitativ über wiederholte Durchläufe hinweg unter Verwendung eines geeigneten Ähnlichkeitsmaßes oder eines rangbasierten Übereinstimmungsmaßes.
    2. Für die derzeitige Validierung des Pima-Indianer-Diabetes-Datensatzes sollten keine quantitativen Metriken zur Erklärungsstabilität angegeben werden, es sei denn, die entsprechenden wiederholten Erklärungsausgaben und Analysen wurden durchgeführt.
    3. Bewerten Sie die Übereinstimmung zwischen vom Modell generierten Erklärungen und klinischen Interpretationen, sofern entsprechende klinische Beurteilungen verfügbar sind. Berechnen Sie gegebenenfalls Cohens Kappa oder Fleiss' Kappa, um die Übereinstimmung zwischen den Beurteilern zu ermitteln.
  5. Dokumentenreproduzierbarkeit
    1. Bewahren Sie die Rohdaten, Vorverarbeitungsschritte, Quellcode, trainierten Modelle, Hyperparameter-Konfigurationen, Erklärbarkeitsausgaben, statistischen Analyse-Skripte und generierten Ergebnisse auf.
    2. Notieren Sie die Softwareumgebung und Hardwarekonfiguration, die während des gesamten Workflows verwendet wurden. Führen Sie den kompletten Workflow unabhängig erneut unter Verwendung der archivierten Dateien und Konfigurationen durch.
    3. Vergleichen Sie die replizierte Vorhersageleistung mit den ursprünglichen experimentellen Ergebnissen und die replizierten Modellerklärungen mit den ursprünglichen Erklärbarkeitsausgaben.
    4. Notieren Sie alle beobachteten Unterschiede während der Replikation. Aktualisieren Sie die experimentelle Dokumentation, um die bei der unabhängigen Durchführung identifizierten Beobachtungen zur Reproduzierbarkeit widerzuspiegeln.
      HINWEIS: Erhalten Sie statistisch validierte Ergebnisse zur Vorhersagegenauigkeit und Erklärbarkeit, die über wiederholte Experimente hinweg bewertet werden können. Bewahren Sie ausreichende dokumentarische Aufzeichnungen zu Berechnungen, Analysen und Methoden auf, um eine unabhängige Überprüfung des gesamten Arbeitsablaufs zu ermöglichen.
  6. Reproduzierbarkeits-Checkliste
    1. Notieren Sie den Datensatznamen, die Version, das Erfassungsdatum, die Quelle, die Einschlusskriterien, die Ausschlusskriterien und die endgültige Stichprobengröße. Notieren Sie alle Vorverarbeitungsschritte, Transformationsparameter, Normalisierungseinstellungen, Verfahren zur Merkmalsauswahl und Regeln zur Datenaufteilung.
    2. Notieren Sie das Betriebssystem, CPU, GPU, RAM, die Python-Version, die Versionen der Frameworks und Bibliotheken. Erfassen Sie alle Spezifikationen zur Modellarchitektur sowie Hyperparameter.
    3. Notieren Sie den Optimierer, die Lernrate, die Batch-Größe, die Anzahl der Epochen, die Verlustfunktion, die Regularisierung und die Kriterien für das vorzeitige Beenden. Notieren Sie alle Zufalls-Samen (random seeds) und Einstellungen des Zufallszahlengenerators.
    4. Trainierte Modellgewichte und Vorverarbeitungskonfigurationen beibehalten. Trainingsprotokolle, Evaluierungsskripte, Skripte zur statistischen Analyse und Erklärbarkeitsausgaben speichern. Versionen des Modells und der verwendeten Software für die endgültigen Experimente dokumentieren.
    5. Bewahren Sie die vollständige Rechenumgebung auf, die für die unabhängige Reproduktion erforderlich ist.
    6. Dokumentieren Sie die Verfügbarkeit von Quellcode, Datensätzen, Modellgewichten und unterstützenden Materialien, die ethischen, rechtlichen, lizenzrechtlichen und Datenschutzbeschränkungen unterliegen.
    7. Führen Sie den archivierten Workflow unabhängig erneut aus und vergleichen Sie die replizierten Ergebnisse mit den ursprünglichen Ergebnissen.
    8. Dokumentieren Sie die vollständigen Anforderungen an die Reproduzierbarkeit mithilfe der standardisierten Checkliste.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Ergebnisse

Der vorgeschlagene XAI-Algorithmus wurde unter Verwendung des Pima-Indians-Diabetes-Datensatzes als repräsentativem Gesundheitsdatensatz implementiert. Der Pima-Indians-Diabetes-Datensatz diente als einziger Datensatz für die experimentelle Validierung. Alle berichteten Ergebnisse zu Vorhersagegenauigkeit, Erklärbarkeit, statistischer Analyse und Reproduzierbarkeit wurden anhand dieses Datensatzes erzeugt. TCGA-BRCA, TCGA-UCEC, MIMIC-III, ISIC 2019, HAM10000, OhioT1DM und BraTS 2021 wurden nicht experimentell evaluiert u...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Diskussion

Die Ergebnisse zeigen die Nützlichkeit des vorgeschlagenen Protokolls als standardisierter und reproduzierbarer Arbeitsablauf zur Entwicklung und Bewertung von XAI-Systemen über verschiedene Gesundheitsdatensätze hinweg. Wie in Tabelle 2 und Abbildung 3 dargestellt, führte die systematische Vorverarbeitung durch Behandlung fehlender Werte, Datennormalisierung, Merkmalsskalierung und Datensatzpartitionierung zu standardisierten Daten und einer verbesserten Datenqualität. Dies...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Offenlegungen

Die Autoren erklären, dass sie keine konkurrierenden finanziellen Interessen, geschäftlichen Beziehungen oder persönlichen Beziehungen haben, die die in dieser Studie beschriebene Arbeit beeinflusst haben könnten. Die Autoren haben keine Interessenkonflikte offenzulegen.

Danksagungen

Die Autoren danken ihren jeweiligen zugehörigen Institutionen für die institutionelle Unterstützung während der Entwicklung und experimentellen Validierung dieses XAI-Protokolls im Gesundheitswesen. Die Autoren danken außerdem den genutzten Rechenanlagen und Software-Ressourcen, die für die Durchführung der experimentellen Analysen verwendet wurden. Diese Forschung erhielt keine externe Förderung. Die Autoren bestätigen die Verwendung von Python 3.11, Matplotlib 3.9 und SciPy 1.13 für die computergestützte Analyse, die Visualisierung der Daten sowie die Erstellung der in dieser Studie präsentierten Abbildungen.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
CaptumMeta AINeueste stabile VersionPyTorch-Erklärbarkeit
CUDA ToolkitNVIDIA12.2GPU-Beschleunigung
cuDNNNVIDIA9.xDeep-Learning-Backend
GitGit SCMNeueste stabile VersionVersionskontrolle
GitHubGitHub Inc.WebplattformQuellcode-Repository
Grad-CAMjacobgilNeueste VersionCNN-Visualisierung
Jupyter NotebookProject JupyterNeueste stabile VersionInteraktive Entwicklung
LightGBMMicrosoft4.xGradient-Boosting
LIMELIME Community0.2.0Lokale Erklärbarkeit
MatplotlibMatplotlib-Entwickler3.9Visualisierung
Microsoft ExcelMicrosoftMicrosoft 365Datenorganisation
NumPyNumPy-Entwickler1.26Numerische Berechnung
NVIDIA RTX 4090 GPUNVIDIA24 GB VRAMModelltraining
OpenCVOpenCV Organization4.10Bildvorverarbeitung
PandasPandas-Entwicklungsteam2.2Datenvorverarbeitung
Pillow (PIL)Python Imaging Library10.xBildverarbeitung
PlotlyPlotly Technologies5.xInteraktive Visualisierung
PythonPython Software Foundation3.11Programmierumgebung
PyTorchPyTorch Foundation2.3Deep Learning
Scikit-learnScikit-learn-Entwickler1.5maschinelles Lernen
SciPySciPy-Entwickler1.13Wissenschaftliche Berechnung
SeabornSeaborn-Entwickler0.13Statistische Diagramme
SHAPSHAP Community0.46Globale Erklärbarkeit
SimpleITKInsight Software Consortium2.xMedizinische Bildverarbeitung
StatsmodelsStatsmodels-Entwickler0.14Statistische Analyse
System RAMBeliebiger Hersteller32 GB oder höherArbeitsspeicher
TensorBoardGoogle2.15Trainingsüberwachung
TensorFlowGoogle2.15Deep Learning
Ubuntu Linux / Windows 11Canonical / Microsoft22.04 LTS / 11Betriebssystem
Visual Studio CodeMicrosoftNeueste stabile VersionCode-Entwicklung
XGBoostXGBoost-Entwickler2.1Gradient-Boosting

Referenzen

  1. Acosta JN, Falcone GJ, Rajpurkar P, Topol EJ. Multimodal biomedical AI. Nat Med. 2022;28(9):1773-1784.
  2. Tang AS, et al. Harnessing EHR data for health research. Nat Med. 2024;30(7):1847-1855.
  3. Zhang A, Xing L, Zou J, Wu JC. Shifting machine learning for healthcare from development to deployment and from models to data. Nat Biomed Eng. 2022;6(11):1330-1345.
  4. Bera K, et al. Predicting cancer outcomes with radiomics and artificial intelligence in radiology. Nat Rev Clin Oncol. 2022;19(2):132-146.
  5. Wenderott K, Krups J, Zaruchas F, Weigl M. Effects of artificial intelligence implementation on efficiency in medical imaging—a systematic literature review and meta-analysis. NPJ Digit Med. 2024;7(1):265.
  6. Kaissis GA, Makowski MR, Rückert D, Braren RF. Secure, privacy-preserving and federated machine learning in medical imaging. Nat Mach Intell. 2020;2(6):305-311.
  7. He J, et al. The practical implementation of artificial intelligence technologies in medicine. Nat Med. 2019;25(1):30-36.
  8. Antoniadi AM, et al. Current challenges and future opportunities for XAI in machine learning-based clinical decision support systems: A systematic review. Appl Sci (Basel). 2021;11(11):5088.
  9. Samek W, et al. Explaining deep neural networks and beyond: A review of methods and applications. Proc IEEE. 2021;109(3):247-278.
  10. Holzinger A, et al. Causability and explainability of artificial intelligence in medicine. WIREs Data Min Knowl Discov. 2019;9(4).
  11. Markus AF, Kors JA, Rijnbeek PR. The role of explainability in creating trustworthy artificial intelligence for health care: A comprehensive survey of the terminology, design choices, and evaluation strategies. Nat Biomed Eng. 2021;5(9):996-1011.
  12. Arrieta AB, et al. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion. 2020;58:82-115.
  13. Selvaraju RR, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [conference paper]. Presented at: IEEE International Conference on Computer Vision (ICCV); Venice, Italy; 2017:618-626. https://openaccess.thecvf.com/content_iccv_2017/html/Selvaraju_Grad-CAM_Visual_Explanations_ICCV_2017_paper.html
  14. Tonekaboni S, Joshi S, McCradden MD, Goldenberg A. What clinicians want: Contextualizing explainable machine learning for clinical end use. Nat Mach Intell. 2019;1(12):572-584.
  15. Sundararajan M, Taly A, Yan Q. Axiomatic attribution for deep networks [conference paper]. Presented at: 34th International Conference on Machine Learning; Sydney, Australia; 2017;70:3319-3328. https://proceedings.mlr.press/v70/sundararajan17a.html
  16. Ribeiro MT, Singh S, Guestrin C. “Why should I trust you?”: Explaining the predictions of any classifier [conference paper]. Presented at: 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; San Francisco, CA; 2016:1135-1144.
  17. Desai S, Ramaswamy HG. Ablation-CAM: Visual explanations for deep convolutional network via gradient-free localization [conference paper]. Presented at: IEEE/CVF Winter Conference on Applications of Computer Vision (WACV); 2020:983-991.
  18. Belle V, Papantonis I. Principles and practice of explainable machine learning. Front Big Data. 2021;4:688969.
  19. Vilone G, Longo L. Notions of explainability and evaluation approaches for explainable artificial intelligence. Inf Fusion. 2021;76:89-106.
  20. Ali S, et al. Explainable artificial intelligence (XAI): What we know and what is left to attain trustworthy artificial intelligence. Inf Fusion. 2023;99:101805.
  21. Gundersen OE, Kjensmo S. State of the art: Reproducibility in artificial intelligence [conference paper]. Presented at: Thirty-Second AAAI Conference on Artificial Intelligence; New Orleans, LA; 2018:1644-1651. https://ojs.aaai.org/index.php/AAAI/article/view/11503
  22. Hutson M. Artificial intelligence faces reproducibility crisis. Science. 2018;359(6377):725-726.
  23. Pineau J, et al. Improving reproducibility in machine learning research: A report from the NeurIPS 2019 reproducibility program. J Mach Learn Res. 2021;22(164):1-20.
  24. U.S. Food and Drug Administration, Health Canada, Medicines and Healthcare products Regulatory Agency. Good Machine Learning Practice for Medical Device Development: Guiding Principles. 2021.
  25. Liu X, et al. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: The CONSORT-AI extension. Nat Med. 2020;26(9):1364-1374.
  26. Mongan J, Moy L, Kahn CE Jr. Checklist for Artificial Intelligence in Medical Imaging (CLAIM): A guide for authors and reviewers. Radiol Artif Intell. 2020;2(2).
  27. Peng RD. Reproducible research in computational science. Science. 2011;334(6060):1226-1227.
  28. Collins GS, et al. Protocol for development of the TRIPOD-AI and PROBAST-AI reporting and risk-of-bias tools for studies developing, validating, or updating prediction models based on artificial intelligence. BMJ Open. 2021;11.
  29. Kapoor S, Narayanan A. Leakage and the reproducibility crisis in machine-learning-based science. Patterns. 2023;4(9):100804.
  30. Wiens J, et al. Do no harm: A roadmap for responsible machine learning for health care. Nat Med. 2019;25(9):1337-1340.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Nachdrucke und Genehmigungen

Weitere Artikel entdecken

Erklärbare KIKI-Modelle im GesundheitswesenModellinterpretierbarkeitreproduzierbares Protokollprädiktive LeistungFeature-Engineeringstatistische ValidierungSHAP-ErklärungenLIME-Erklärungenkontrafaktische Erklärungen
Kontaktieren Sie uns
Der Bibliothek empfehlen

Datenschutz

Nutzungsbedingungen

Richtlinien

Urheberrecht © 2026 MyJoVE Corporation. Alle Rechte vorbehalten.