הרשמה ל-JoVE נדרשת לצפייה בתוכן זה. התחברו או התחילו בגרסת ניסיון בחינם.

מאמר שיטה

פרוטוקול ניסויי הניתן לשחזור לפיתוח ולהערכה של מודלים של בינה מלאכותית ניתנת להסבר במערכות בריאות

9 צפיות

⸱

DOI:

10.3791/73848

⸱

15 בספטמבר 2026

 , 
1Vishwakarma University

במאמר זה

סיכום

פרוטוקול זה מציג תהליך עבודה הניתן לשחזור לפיתוח, הערכה ופירוש של מודלים של בינה מלאכותית ניתנת להסבר (explainable artificial intelligence) בתחום הבריאות. הוא משלב הכנה סטנדרטית של נתונים, פיתוח מודלים, טכניקות להסברתיות, הערכה כמותית ופרקטיקות לשחזור, במטרה לשפר את השקיפות, האמינות וההיתכנות הקלינית.

תקציר

בינה מלאכותית (AI) מאומצת יותר ויותר ככלי בעל ערך לקבלת החלטות קליניות, לניבוי מחלות, לאבחון רפואי ולטיפול רפואי מותאם אישית. עם זאת, מחסור בשקיפות, יישום לא עקבי של שיטות בינה מלאכותית הניתנת להסבר (XAI) ויכולת שחזור מוגבלת נותרים מחסומים מרכזיים לפריסה מהימנה של מודלי AI במסגרות קליניות. מאמר זה מציע פרוטוקול סיסטמטי, שחזיר ושקוף לפיתוח, הערכה ופירוש של מודלי XAI ליישומים בתחום הבריאות. זרימת העבודה מתחילה בהגדרת סביבת המחשוב, ולאחריה רכישת נתונים ואפיון, עיבוד מקדימ (preprocessing), הנדסת תכונות, פיתוח מודל, אופטימיזציה של היפר-פרמטרים, הערכת ביצועי ניבוי, ניתוח יכולת הסבר, תיקוף סטטיסטי והערכת יכולת שחזור. הפרוטוקול משלב שיטות XAI כגון SHapley Additive exPlanations (SHAP), Local Interpretable Model-agnostic Explanations (LIME), Gradient-weighted Class Activation Mapping (Grad-CAM), Integrated Gradients, ויזואליזציה של קשב (attention visualization) והסברים נגדיים (counterfactual explanations) כדי להפיק פרשנויות של המודל הן ברמה הגלובלית והן ברמה המקומית. הפרוטוקול שם דגש על מספר מרכיבים מרכזיים, כולל הכנת מאגרי נתונים רפואיים סטנדרטיים, פיתוח מודלי למידת מכונה יציבים, הערכת ביצועי ניבוי, הפקת הסברים רלוונטיים מבחינה קלינית והערכה סטטיסטית של יכולת השחזור בניסויים חוזרים. על ידי שילוב פיתוח מודלים, יכולת הסבר, הערכה כמותית ואיכותית, תיקוף סטטיסטי והערכת יכולת שחזור לתוך זרימת עבודה מאוחדת, פרוטוקול זה מספק מסגרת מקיפה לפיתוח מודלי AI שקופים ושחזירים ליישומים בתחום הבריאות.

מבוא

הבינה המלאכותית (AI) הפכה למרכיב בלתי נפרד מהטיפול הרפואי המודרני, בכך שהיא מאפשרת ניתוח חכם של נתונים קליניים מורכבים ותומכת בקבלת החלטות רפואיות מבוסות ראיות1. הדיגיטציה המהירה של מערכות הבריאות באמצעות רשומות רפואיות אלקטרוניות, מערכות דימות רפואי, מכשירים לבישים וטכנולוגיות גנומיקה, ייצרה נפחים גדולים של נתונים הטרוגניים הדורשים גישות חישוביות מתקדמות לצורך פרשנות יעילה2.

אלגוריתמים של למידת מכונה (ML) ולמידה עמוקה (DL) הדגימו יכולות מרשימות במיצוי תבניות משמעותיות מתוך מאגרי נתונים רב-ממדיים של שירותי בריאות, ובכך שיפרו את דיוק האבחון, את חיזוי המחלה ואת הערכת תוצאות הטיפול במטופלים3. מודלים מבוססי בינה מלאכותית (AI) יושמו בהצלחה ברדיולוגיה, פתולוגיה, קרדיולוגיה, אונקולוגיה, אופתלמולוגיה והתמחויות רפואיות אחרות כדי לסייע לקלינאים בזיהוי מחלות בשלבים מוקדמים יותר ובהמלצה על אסטרטגיות טיפול מותאמות אישית4. טכנולוגיות אלו תרמו גם לאופטימיזציה של זרימת העבודה, להפחתת השונות באבחון ולשיפור בניצול משאבי הבריאות5.

התפתחויות אחרונות בחומרת מחשוב, במחשוב ענן ובמסגרות AI בקוד פתוח האיצו את הפיתוח והפריסה של יישומים חכמים לבריאות6. כתוצאה מכך, AI הפכה לטכנולוגיה מאפשרת מרכזית לרפואה מותאמת אישית ומערכות לתמיכה בקבלת החלטות קליניות7. למרות התקדמויות אלו, האימוץ הנרחב של AI בפרקטיקה קלינית שגרתית נותר מוגבל, מכיוון שדגמים בעלי ביצועים גבוהים רבים מספקים תובנה מועטה לגבי האופן שבו התחזיות שלהם נוצרות8.

מרבית אלגוריתמי הלמידה העמוקה פועלים כמודלים מורכבים של "קופסה שחורה", שבהם תהליך קבלת ההחלטות הפנימי קשה להבנה עבור קלינאים וחוקרים9. למרות שמודלים אלו משיגים לעיתים קרובות ביצועים חיזויים מצוינים, חסרון השקיפות שלהם פוגע באמון המשתמש ומציב אתגרים בתהליכי תיקוף קליני, אישור רגולטורי ובטיחות המטופל10. אנשי מקצוע בתחום הבריאות חייבים להיות מסוגלים לנמק החלטות הנתמכות על ידי בינה מלאכותית לפני שילובן בפרקטיקה קלינית שגרתית, במיוחד בסביבות רפואיות בסיכון גבוה1.

XAI הגיחה כגישה יעילה לשיפור השקיפות והיכולת להסבר (interpretability) של מודלים של למידה מכונה12. במקום להתייחס למודלים של חיזוי כמערכות אטומות, טכניקות של XAI מספקות מידע על המאפיינים, אזורי התמונה או המשתנים הקליניים התורמים לחיזויים בודדים13. הסברים אלו מאפשרים לקלינאים להבין טוב יותר את התנהגות המודל, לזהות הטיות פוטנציאליות ולקבוע אם החלטות שנוצרו על ידי AI עקביות עם ידע רפואי מבוס14.

מספר טכניקות להסברתיות (explainability) הוצגו עבור יישומים בתחום הבריאות. SHapley Additive explanations (SHAP) מודדות את תרומתו של כל מאפיין לניבוי המודל על בסיס תורת המשחקים השיתופית15. Local Interpretable Model-agnostic Explanations (LIME) יוצרות מודל מפושט ומסבירות את הניבויים של מודל "הקופסה השחורה"16. עבור משימות של דימות רפואי המשתמשות במודלים של למידה עמוקה, Gradient-weighted activation maps (Grad-CAM) יוצרות מפות חום המצביעות באופן ויזואלי על אזורי התמונה התורמים להחלטות הסיווג17. השילוב של שיטות אלו שיפר באופן דרמטי את השקיפות של מערכות בינה מלאכותית בתחומי בריאות שונים18.

למרות התשומת הלב הגוברת לשיטות הסביריות (explainability) במסגרות של שירותי בריאות, השימוש בהן נותר מגוון בספרות המקצועית. חוקרים נבדלים לא רק בשימוש באסטרטגיות עיבוד מקדים, אלא גם בתכנון ארכיטקטורת המודל, במדדי ההערכה ואפילו בטכניקות ההסבר19. כמו כן, מאמרים רבים מדווחים על דיוק חיזוי גבוה אך נכשלים במתן הערכה מעמיקה של איכות ההסברים או של יכולת השחזור שלהם20.

שחזוריות היא אחד מצווארי הבקבוק המרכזיים במדעי הבינה המלאכותית (AI) המודרניים. מאמרים רבים אינם חושפים את גרסת התוכנה, סביבת החישוב, צינור העיבוד המקדים (preprocessing pipeline), הגדרות ההיפר-פרמטרים, אתחול הזרע האקראי (random seed) ותצורות החומרה21. בשל כך, חוקרים עצמאיים נכשלים לעיתים קרובות בשחזור תוצאות שפורסמו או באימות השיטות שפורסמו באמצעות מערכי נתונים או פלטפורמות תוכנה אחרות2. היעדר תיעוד מפורט הוא אחד הגורמים המעכבים מחקרי השוואה (benchmarking), מחקר שיתופי ותרגום קליני של מערכות AI23.

בשל אתגרים אלו, מספר ארגונים וסוכנויות רגולטוריות הדגישו את החשיבות של בינה מלאכותית (AI) שקופה, מהימנה וניתנת לשחזור עבור יישומים בתחום הבריאות24. הנחיות הדיווח הקיימות שיפרו את הדיווח המתודולוגי, אך הן מתארות בעיקר מה יש לדווח במקום לספק פרוצדורות ניסיוניות סטנדרטיות שחוקרים יכולים ליישם באופן ישיר25. כתוצאה מכך, נותר צורך בפרוטוקול מקיף המשלב הכנת מערכי נתונים, פיתוח מודלים, ניתוח יכולת הסבר (explainability), הערכה סטטיסטית ופרקטיקות לשחזור, בתוך זרימת עבודה ניסיונית אחת26.

פרוטוקול ניסיוני סטנדרטי מציע מספר יתרונות עבור קהילת ה-AI בתחום הבריאות. יתרה מכך, הוא מקדם עקביות מתודולוגית, מקל על השוואה בין מחקרים עצמאיים, מגביר את השקיפות של ניסויים חישוביים, ומאפשר תיקוף מהימן של תוצאות שפורסמו27. זרימות עבודה סטנדרטיות מסייעות גם לחינוך/הכשרה, למחקר שיתופי ולהערכה רגולטורית באמצעות נהלים מתועדים בבירור שניתן לשחזר אותם במעבדות ובמוסדות בריאות שונים28.

פותח ונבדק פרוטוקול ניסויי הדיר לביצוע אימון והערכה של מודלי AI במערכות בריאות. הפרוטוקול מתווה סטנדרטים להגדרת הסביבה החישובית, עיבוד מקדים של מאגרי נתוני בריאות, פיתוח מודלים של למידת מכונה, יישום שיטות XAI, הערכת ביצועים חיזויים, ביצוע תיקוף סטטיסטי והערכת הדירות29. שילוב של רכיבים אלו למסלול עבודה קוהרנטי צפוי להגביר את השקיפות, האמינות וההדירות של מחקרי AI בתחום הבריאות, וכן לסייע בפיתוח מערכות בריאות חכמות ומהימנות30.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

פרוטוקול

ניסוי התיקוף שבוצע השתמש במאגר הנתונים Pima Indians Diabetes, הזמין לציבור ומנופה מפרטים מזהים, ולא כלל רשומות מטופלים שניתן לזהותם או גיוס מטופלים חדשים. לפיכך, לא נדרשו הסכמה מדעת או אישור IRB/ועדת אתיקה מוסדית, וכל הניתוחים בוצעו בהתאם לתנאי השימוש הרלוונטיים של מאגר הנתונים ולמדיניות המחקר המוסדית.

דוגמת התיקוף המעשית משתמשת במאגר הנתונים Pima Indians Diabetes Dataset הזמין לציבור, המכיל 768 רשומות לחיזוי בינארי של סוכרת. זרימת העבודה הליבתית המלאה בתשעה שלבים יושמה על מאגר נתונים זה. תשעת שלבי הליבה כללו בחירת מאגר נתונים ותיקופו, הגדרת סביבת מחשוב, עיבוד מקדמי של הנתונים, חלוקת מאגר הנתונים, פיתוח ואימון מודל, הערכת ביצועים חיזוית וחישובית, ניתוח יכולת הסבר, תיקוף סטטיסטי והערכת שחזוריות. תיקוף חיצוני והערכה של מומחים קליניים נשמרו כמודולי תיקוף אופציונליים ולא בוצעו בדוגמה המעשית הנוכחית. איור 1 ממחיש את זרימת העבודה של הפרוטוקול המרכזי, ו טבלה 1 מסכם אך ורק את תשעת שלבי הליבה שיושמו בתיקוף הנוכחי; תיקוף חיצוני אופציונלי והערכה של מומחים קליניים מתוארים בנפרד במסגרת הפרוטוקול ואינם נכללים בין תשעת השלבים הניסיוניים.

1. בחירה ותיקוף של מערך נתוני הבריאות

  1. בחר את מערך הנתונים Pima Indians Diabetes כמאגר הנתונים הראשי עבור דוגמת התיקוף המעשית. ודא את מקור הנתונים, גודל המדגם, יעד הניבוי, התפלגות המחלקות ומבנה הנתונים.
  2. החל את קריטריוני ההכללה, ההדרה ואיכות הנתונים שהוגדרו מראש. הסר רשומות כפולות ורשומות לא תקינות לפני פיתוח המודל.
  3. תעד את מקור הנתונים, המאפיינים, משימת הניבוי, התפלגות המחלקות, קריטריוני ההכללה וההדרה, ואת אסטרטגיית החלוקה בטבלה 2.
  4. החל קריטריוני החלטה לבחירת מאגר הנתונים והמודל
    1. הגדר את מטרת הניבוי לפני בחירת מאגר הנתונים, ארכיטקטורת המודל, אסטרטגיית העיבוד המקדים או שיטת ההסביריות.
    2. התאם את מודליות הנתונים למטרת הניבוי. בחר בנתונים טבלאיים עבור משתנים קליניים מובנים, בנתוני דימות עבור תמונות רפואיות, בנתוני סדרות זמן עבור אותות פיזיולוגיים, בנתוני טקסט עבור תיאורים קליניים, או בנתונים מולטי-מודאליים כאשר קיימות מודליות משלימות עבור אותו מטופל או יחידת מחקר.
    3. הערך מאגרי נתונים מועמדים על פי גודל המדגם, זמינות התוצאות, התפלגות המחלקות, נתונים חסרים, איכות האנוטציה, רלוונטיות קלינית, שלמות הנתונים ונגישות. בחר במאגר הנתונים העומד בדרישות שהוגדרו מראש.
    4. בחר מודלים קונבנציונליים של למידת מכונה עבור נתונים טבלאיים מובנים כאשר גודל המדגם, המשאבים החישובים או דרישות הפרשנות מגבילים את השימוש בארכיטקטורות מורכבות. בחר ארכיטקטורות של למידה עמוקה כאשר זמינים נתוני אימון מספיקים וקלטים רב-מדיים, כגון תמונות רפואיות, אותות פיזיולוגיים או טקסט קליני.
    5. בחר ארכיטקטורות מולטי-מודאליות רק כאשר קיימות מספר מודליות עבור אותו מטופל או יחידת מחקר, וניתן לסנכרן ביניהן באופן מהימן מבלי לגרום לדליפת מידע. בחר פעולות עיבוד מקדים בהתאם למאפייני מודליות הנתונים שנבחרה.
    6. בחר שיטות הסביריות בהתאם למודל ולמודליות הנתונים. השתמש בשיטות שאינן תלויות מודל (model-agnostic) כגון SHAP או LIME עבור מודלים טבלאיים מתאימים, ובשיטות ספציפיות למודליות כגון Grad-CAM עבור מודלים מבוססי תמונה, במידה ורלוונטי.
    7. תעד את הרציונל לבחירת מאגר הנתונים, אסטרטגיית העיבוד המקדים, המודל ושיטת ההסביריות. שמור החלטות אלו כחלק מתיעוד השחזור.

2. הגדרת הסביבה החישובית לפיתוח מודל XAI

  1. הגדירו את מערכת ההפעלה, המעבד (CPU), הזיכרון (RAM), האחסון ומעבד הגרפי (GPU) בהתאם לדרישות המודל שנבחר. צרו סביבת Python מבודדת והתקינו את הספריות הנדרשות ללמידת מכונה, למידה עמוקה, סטטיסטיקה, ויזואליזציה ובינה מלאכותית ניתנת להסבר (XAI).
  2. תעד את סביבת החישוב בפועל, את ארכיטקטורת המודל ואת ההיפר-פרמטרים ששימשו לצורך התיקוף המעשי ב- טבלה 3פרטו את האופטימייזר (optimizer), קצב הלמידה (learning rate), גודל האצווה (batch size), מספר האיפוכים (epochs) המקסימלי, פונקציית ההפסד (loss function), פרמטרי רגולריזציה, אסטרטגיית התיקוף (validation strategy), הגדרות עצירה מוקדמת (early-stopping), הגדרות גרעין אקראי (random-seed), שיטות להסברתיות (explainability methods), חומרה, מערכת הפעלה, גרסת Python וגרסאות של ספריות תוכנה רלוונטיות. הפרידו בין הגדרות אלו, ששימשו בניסוי, לבין הגדרות פרוטוקול כלליות או מומלצות.
  3. השתמשו בתצורה שדווחה ב- טבלה 3 בעת שחזור התיקוף של מערך הנתונים של סוכרת באינדיאנים מפيمه (Pima Indians Diabetes Dataset) והתוצאות התואמות של הניבוי, ההסביריות, הסטטיסטיקה והשחזור.
  4. הריצו סקריפט אימות כדי לאשר ייבוא מוצלח של חבילות, טעינת מערך נתונים, הרצת מודל ויצירת פלט. שמרו את הגדרות הסביבה הסופיות לצורך שחזור.

3. הכנה ואפיון של מערכי נתונים רפואיים לפיתוח מודלי XAI

  1. בחירה והשגה של מערך נתוני שירותי הבריאות
    1. בחרו מערך נתונים רפואי המתאים למשימת הניבוי הקליני שהוגדרה. העריכו מערכי נתונים מועמדים בהתאם למטרת המחקר, סוג הנתונים, גודל המדגם, איכות התיעוד (annotation), האיזון בין המחלקות והרלוונטיות הקלינית.
    2. העדף שימוש במאגרי נתוני ייחוס (benchmark datasets) הזמינים לציבור כאשר הם נותנים מענה הולם למשימת הניבוי ומאפשרים תיקוף עצמאי.
    3. יש להשיג את האישורים האתיים הנדרשים, את ההיתרים המוסדיים ואת האישור לגישה לנתונים לפני רכישת מאגרי נתונים מוסדיים או פנימיים. יש להשיג את מאגר הנתונים הנבחר ממאגר מאומת או ממאגר נתונים מוסדי מורשה.
    4. שמרו את קבצי מערך הנתונים המקוריים ללא שינוי, ותעדו את ספק מערך הנתונים, הגרסה, מידע על הרכישה, תנאי הרישוי, קריטריוני הכללה, קריטריוני החרגה ומטא-נתונים נלווים. ארגנו את מערך הנתונים בספריות נפרדות עבור נתונים גולמיים, הערות (annotations), מטא-נתונים ומידע משלים.
  2. אפיינו את מערך הנתונים של שירותי הבריאות
    1. זהו את משתני הניבוי, תוויות התוצאה, סוגי המאפיינים, מודליות הנתונים והתפלגויות המחלקות. קבע את מספר הנבדקים, הדגימות, ממדי המאפיינים וההערות הזמינות.
    2. יש לוודא שמאפייני מערך הנתונים תואמים לשיטת ה-AI שנבחרה.
    3. השתמשו במאגר הנתונים של סוכרת בקרב אינדיאנים מפמיי (Pima Indians Diabetes Dataset) כמאגר הנתונים הניסיוי המעובד היחיד לתיקוף הפרוטוקול המרכזי בן תשעת השלבים. כללו את מאגרי הנתונים הנוספים המפורטים ב- טבלה 2 רק כדי להדגים את ישימותו של הפרוטוקול הכללי על פני נתונים טבלאיים קליניים, רשומות בריאות אלקטרוניות, תמונות דרמוסקופיות, נתוני סדרות עתיות פיזיולוגיות ודימות רפואי. אין להשתמש במאגרי נתונים נוספים אלו לאימון מודלים, לבדיקה, לתיקוף סטטיסטי או להפקת התוצאות הניסיוניות המדווחות.
  3. הערכת איכות מערך הנתונים
    1. יש לבחון את מערך הנתונים לאיתור רשומות כפולות, קבצים פגומים, ערכים חסרים, שגיאות באנוטציה ורשומות נתונים לא תקינות. יש להסיר רשומות כפולות מאושרות ולתקן אי-סדירויות מאומתות בפורמט. יש לתעד את כל נהלי בקרת האיכות של מערך הנתונים.
    2. יש לאמת את ההתאמה בין נתוני דימות, נתונים קליניים, נתוני מעבדה ונתונים פיזיולוגיים באמצעות מזהי נבדקים בעת שימוש במאגרי נתונים רב-מודאליים (multimodal datasets).
    3. הסר רשומות כפולות או שאינן עקביות, טפל בערכים חסרים, בצע סטנדרטיזציה של מאפיינים מספריים, קידד משתנים קטגוריאליים והחל עיבוד מקדים ספציפי למודליות. חלק את מערך הנתונים לקבוצות אימון, תיקוף ובדיקה בלתי תלויות. פנה אל איור 2 עבור זרימת העבודה של הכנת מערכי נתונים של שירותי בריאות, עיבוד מקדים, חלוקה והערכת איכות.
  4. הבטחת פרטיות נתונים ועמידה בכללי האתיקה
    1. הסר מזהים ישירים מנתוני שירותי בריאות. החל נהלי אנונימיזציה או פסאודונימיזציה בעת הצורך. טפל במידע בריאותי של מטופלים בהתאם לדרישות האתיקה, הגנת הפרטיות, ההסכמה המודעת והדרישות המוסדיות הרלוונטיות.
    2. יש לתעד את האישור האתי הרלוונטי, את הפטור, את נהלי ממשל הנתונים, את שיטות האנונימיזציה ואת זרימת העבודה להכנת מערך הנתונים.
    3. העריכו הטיה אלגוריתמית פוטנציאלית על ידי השוואת ביצועי המודל בין תתי-קבוצות דמוגרפיות או קליניות רלוונטיות, כאשר מידע זה זמין ומותר מבחינה אתית.
    4. יש לתעד את השימוש המיועד, את אוכלוסיית היעד, את מגבלות המודל, את מצבי הכשל הפוטנציאליים, את דרישות הפיקוח האנושי, ואת הדרישות החלות בנושאי אתיקה, הגנת נתונים ורגולציה של שירותי בריאות.
    5. תעדו מגבלות הוגנות שזוהו ושיקולי בינה מלאכותית אחראית כחלק מהתיעוד הסופי של המודל.
      הערה: השג מערך נתונים רפואי סטנדרטי ומתועד שמתאים לפיתוח מודל AI, תואם את הכללים האתיים ונקי מסתירות משמעותיות שזוהו.

4. עיבוד מקדים וחלוקה של נתוני בריאות לאימון מודל AI

  1. בצע בקרת איכות
    1. בדוק את מערך הנתונים לאיתור רשומות כפולות, ערכים חסרים, ערכים לא תקינים, תוויות שאינן עקביות, ערכי קיצון (outliers) וקבצים פגומים.
    2. הסר או תקן תצפיות לא תקינות בהתאם לקריטריונים שהוגדרו מראש ותיעד את כל ההחרגות. ודא את העקביות של משתני הניבוי ותוויות התוצאה.
  2. טיפול בנתונים חסרים
    1. כמת את מידת החסר עבור כל משתנה. החל את אסטרטגיית ההשלמה (imputation) או ההחרגה שהוגדרה מראש.
    2. אמד את פרמטרי ההשלמה באמצעות נתוני האימון בלבד, והחל את הטרנספורמציה שהתאימה על נתוני האימות והבדיקה.
  3. נורמליזציה וטרנספורמציה של נתונים
    1. החל סקלינג של מאפיינים (feature scaling), נורמליזציה, קידוד (encoding), הפחתת ממדיות או טרנספורמציות אחרות הנדרשות על ידי המודל שנבחר. התאם את כל הטרנספורמציות התלויות בנתונים באמצעות נתוני האימון בלבד.
    2. החל את הטרנספורמציות המותאמות ללא שינוי על נתוני האימות והבדיקה.
  4. כמת את חוסר האיזון בין המחלקות (class imbalance) בנתוני האימון. החל שקלול מחלקות, SMOTE, דגימה יתר (oversampling) או הרחבת נתונים (augmentation) על מערך נתוני האימון בלבד. שמור על ההתפלגות המקורית של מערכי נתוני האימות והבדיקה.
  5. ודא ששום נבדק, תצפית כפולה, דגימה מורחבת, סטטיסטיקה של עיבוד מקדים, קריטריון בחירת מאפיינים או דגימה סינתטית אינם משותפים בין חלוקות האימון להערכה.

5. פיתוח והגדרת מודל ה-XAI

  1. הגדירו את ארכיטקטורת המודל על ידי פירוט מודליות נתוני הקלט, פעולות עיבוד מקדמי, מקודדי תכונות ספציפיים למודליות, מנגנון מיזוג תכונות, שכבת ניבוי ומודול להסבריות.
  2. בחרו את ארכיטקטורת הלמידה המכונה או הלמידה העמוקה בהתאם למשימת הניבוי ולאופן קלט הנתונים (modality). הגדירו את שכבת הקלט, רכיבי מיצוי המאפיינים, השכבות החבויות, שכבת הפלט ופונקציות ההפעלה. הגדירו את האופטימיזר, קצב הלמידה, גודל האצווה (batch size), פונקציית ההפסד, מספר האיטרציות (epochs), הרגולריזציה, ה-dropout, העצירה המוקדמת (early stopping) ואת לוח הזמנים של קצב הלמידה (learning-rate schedule).
  3. בצעו אופטימיזציה של ההיפר-פרמטרים באמצעות נתוני האימון והתיקוף בלבד.
  4. תעד את הארכיטקטורה הסופית ואת הגדרות ההיפר-פרמטרים ב- טבלה 3.
  5. יש לוודא תאימות ממדית בין הקלט לפלט לפני האימון.
    הערה: הגדירו מודל XAI המוגדר במלאו, הכולל ארכיטקטורה מתאימה, היפר-פרמטרים מוגדרים וטכניקות הסביריות (explainability) משולבות.

6. אימון, אופטימיזציה ושימור של מודל ה-XAI

  1. טען את מערכי הנתונים להדרכה ולאימות שהוגדרו מראש ואת תצורת המודל הסופית. אתחל את המודל באמצעות זרע אקראי (random seed) ופרמטרי הדרכה שהוגדרו מראש.
  2. הדרך את המודל באמצעות האופטימייזר, פונקציית ההפסד (loss function), גודל האצווה (batch size) וקריטריוני העצירה שצוינו.
  3. נטר את ביצועי האימות ושמור את נקודת הבקרה (checkpoint) התואמת לקריטריון בחירת המודל שהוגדר מראש. העरक את נקודת הבקרה שנבחרה על מערך נתוני הבדיקה העצמאי ללא אופטימיזציה נוספת.
  4. שמור את המודל המודרך, את תצורת עיבוד המקדימה, את ההיפר-פרמטרים, את הזרע האקראי ואת יומן ההדרכה.
    הערה: השג מודל XAI אופטימלי שעבר הדרכה ואימות באמצעות מערך נתוני הבריאות שהוכן. שמור את המודל בעל הביצועים הטובים ביותר, את ההיפר-פרמטרים, את יומני ההדרכה, את תצורת עיבוד המקדימה ואת הסביבה החישובית לצורך שחזור התוצאות.

7. הערכת ביצועים חיזויים וחישוביים

  1. הערכת ביצועים חיזויים
    1. טענו את המודל המותאם ואת מערך הנתונים העצמאי לבדיקה לאחר השלמת אימון המודל ואופטימיזציית ההיפר-פרמטרים. השאירו את פרמטרי המודל המאומן ואת צינור העיבוד המקדים ללא שינוי במהלך הבדיקה.
    2. הפיקו תחזיות עבור כל הדגימות במערך הנתונים לבדיקה. השוו את הפלטים החזויים לתוויות האמת (ground-truth) המתאימות.
  2. חישוב מדדי ביצועים
    1. בחרו מדדי הערכה בהתאם לסוג משימת החיזוי.
    2. חשבו דיוק (accuracy), ערך ניבוי חיובי (precision), רגישות (recall), סגוליות (specificity), מדד F1, דיוק מאוזן (balanced accuracy), מקדם המתיוס (MCC), ושטח תחת העקומה של מאפיין פעולת המקלט (AUC-ROC) עבור משימות סיווג, ככל שרלוונטי. חשבו טעות מוחלטת ממוצעת (MAE), שורש טעות ריבועית ממוצעת (RMSE), מקדם דטרמינציה (R2), ומדדים רלוונטיים אחרים עבור משימות רגרסיה, ככל שרלוונטי.
  3. הערכת הכללה וחוסן של המודל
    1. העריצו את המודל באמצעות מערך נתונים חיצוני שנאסף באופן עצמאי ממערך הנתונים לפיתוח, בכל פעם שנתונים כאלו זמינים.
    2. העדיפו מערכי נתונים חיצוניים שמקורם במוסד רפואי, אזור גיאוגרפי אוכלוסיית חולים שונה, כדי להעריך את יכולת ההעברה (transportability).
    3. בצעו תיקוף זמני (temporal validation) באמצעות נתונים שנאספו בתקופה מאוחרת יותר, כאשר קיימים מערכי נתונים ארוכי טווח (longitudinal).
    4. בצעו תיקוף רב-מרכזי על ידי הערכת המודל הסופי בנפרד בין המוסדות המשתתפים, כאשר זמינים נתונים רב-מרכזיים.
    5. בצעו תיקוף גיאוגרפי באמצעות אוכלוסייה עצמאית מאזור גיאוגרפי שונה, במידה והדבר אפשרי.
    6. דווחו על הבדלי ביצועים ורווחי סמך בין מערך הנתונים לפיתוח לבין מערכי הנתונים החיצוניים.
  4. הערכת ביצועים חישוביים
    1. מדדו את זמן אימון המודל תחת הסביבה החישובית שהוגדרה מראש, את זמן ההסקה (inference) והבדיקה תחת תנאים חישוביים זהים, וכן את צריכת הזיכרון, גודל המודל וניצול החומרה.
    2. חזרו על המדידות החישוביות לאורך הרצות עצמאיות.
    3. חשבו את זמן הביצוע הממוצע כדי להפחית את השפעת השונות הניסויית.
  5. השוואת ביצועי מודלים
    1. בחרו שיטות למידת מכונה קונבנציונליות או שיטות למידה עמוקה מתאימות לצורך הערכה השוואתית.
    2. העריצו את מודל ה-XAI המוצע ואת מודלי ההשוואה באמצעות אותו מערך נתונים. החילו נהלי עיבוד מקדים ומדדי הערכה זהים על כל מודלי ההשוואה.
    3. בצעו את כל ניסויי ההשוואה בתוך אותה סביבה חישובית.
      הערה: השיגו ראיות ניסוייות ליציבות חיזויית וליכולת שחזור תחת התנאים החישוביים ומערך הנתונים שנבדקו.

8. יצירה והערכה של פלטי XAI

  1. יצירת הסברים למודל
    1. טען את מודל ה-XAI שעבר אופטימיזציה. בחר דגימות להערכה שלא שימשו לאימון המודל. החל את שיטות ההסבריות שהוגדרו מראש מבלי לשנות את המודל המאומן או את צינור העיבוד המקדים (preprocessing pipeline).
    2. יצירת הסברים גלובליים ומקומיים למודל
      1. צור הסברים גלובליים כדי לאפיין את ההתנהגות הכללית של המודל החזוי.
      2. צור הסברים מקומיים כדי לאפיין תחזיות בודדות של המודל.
      3. החל את שיטת SHAP על מערך הנתונים של סוכרת באינדיאנים פימה (Pima Indians Diabetes Dataset) כדי ליצור הסברים גלובליים ומקומיים לתחזיות המודל הטבלאי.
      4. צור תרשים סיכום (summary plot) של SHAP להמחשה ויזואלית של הכיוון והעוצמה הכלליים של תרומות המאפיינים.
      5. צור תרשים חשיבות מאפיינים (feature-importance plot) של SHAP באמצעות ערכי SHAP מוחלטים ממוצעים כדי לדרג את המאפיינים לפי תרומתם הכללית לתחזיות המודל.
      6. צור תרשים מפל (waterfall plot) של SHAP עבור תחזית מייצגת ממערך הבדיקה כדי להמחיש תרומות מאפיינים ספציפיות למטופל.
      7. צור תרשים תלות מאפיינים (feature-dependence plot) של SHAP כדי לבחון את הקשר בין מאפיין נבחר לבין תרומתו לפלט המודל.
      8. החל את שיטת LIME על תחזיות מייצגות ממערך הבדיקה כדי ליצור הסברים מקומיים לתחזיות בודדות של המודל.
      9. צור הסבר נגדי (counterfactual explanation) ספציפי למטופל כדי להמחיש את השינויים במאפיינים הקשורים לשינוי בתוצאה החזויה.
      10. בחר טכניקות הסבריות נוספות בהתאם למודליות הנתונים ולארכיטקטורת המודל.
      11. השתמש ב-Grad-CAM או במפות סליאנסי (saliency maps) עבור מודלים תואמים מבוססי תמונה, בוויזואליזציות של קשב (attention visualizations) עבור ארכיטקטורות מבוסות Transformer, וב-Integrated Gradients עבור מודלים גזירים, במידה ורלוונטי.
      12. התייחס ל-Grad-CAM, למיפוי סליאנסי, לוויזואליזציית קשב ול-Integrated Gradients כאפשרויות פרוטוקול כלליות התלויות במודליות, ואל תפרש או תדווח עליהן כתוצאות ניסיוניות מתוך תיקוף מערך נתוני סוכרת באינדיאנים פימה, אלא אם הניתוחים התואמים בוצעו בפועל.
    3. החלת שיטות הסבריות על תיקוף פימה המעשי
      1. החל את SHAP ו-LIME על מערך הנתונים של סוכרת באינדיאנים פימה כדי ליצור הסברים גלובליים ומקומיים לתחזיות המודל הטבלאי.
      2. צור ויזואליזציות סיכום, חשיבות מאפיינים, מפל ותלות מאפיינים של SHAP מתוך תוצאות תיקוף הפימה.
      3. צור הסבר מקומי של LIME עבור תחזיות מייצגות ממערך הבדיקה.
      4. צור הסבר נגדי ספציפי למטופל כדי להמחיש את השינויים במאפיינים הקשורים לשינוי בתחזית המודל.
      5. התייחס ל-Grad-CAM, לוויזואליזציית קשב, למיפוי סליאנסי ול-Integrated Gradients כאפשרויות הסבריות התלויות במודליות עבור סוגי נתוני בריאות וארכיטקטורות מודל אחרים.
      6. אל תדווח על Grad-CAM, ויזואליזציית קשב, מיפוי סליאנסי או Integrated Gradients כממצאים ניסיוניים מתוך תיקוף פימה המעשי, אלא אם הניתוחים התואמים בוצעו בפועל.
  2. הערכת איכות ההסברים
    1. בחן האם ההסברים שנוצרו משקפים את תהליך התחזית של המודל. הערך את יציבות ההסברים לאורך הרצות ניסיוניות חוזרות, ואת עקביות פלטי ההסברים תחת תנאים חישוביים זהים.
    2. הערך את הרגישות של פלטי ההסברים לשינויים בנתוני הקלט במידת הצורך. השווה את ההסברים שנוצרו עם ידע מקצועי זמין או פרשנויות של מומחים.
    3. זהה מאפיינים חזויים או אזורים אנטומיים התואמים לידע רפואי מבוס כאשר השוואות כאלה זמינות.
    4. תעד את רמת ההסכמה או אי-ההסכמה בין ההסברים שנוצרו לבין הפרשנות הקלינית הזמינה.
  3. כימות אי-ודאות של התחזית
    1. צור הערכות ביטחון-תחזית עבור הדגימות שנבחנו באמצעות שיטת הערכת אי-ודאות המתאימה לארכיטקטורת המודל הנבחרת וליישום הבריאותי.
    2. החל Monte Carlo dropout, תחזית מבוססת אנסמבל (ensemble), הסקה בייסיאנית (Bayesian inference), תחזית קונפורמלית (conformal prediction) או גישה מאומת אחרת להערכת אי-ודאות כאשר הדבר מתאים.
    3. חזור על מעברי תחזית סטוכסטיים בעת שימוש ב-Monte Carlo dropout וחשב את ממוצע התחזית ואת השונות החזויה עבור כל דגימת הערכה.
    4. דווח על ביטחון התחזית או על רווחי אי-ודאות יחד עם תחזיות המודל התואמות.
    5. הערך האם הערכות אי-ודאות מזהות תחזיות הקשורות לאמינות נמוכה יותר או לשגיאת תחזית מוגברת. שמור את שיטת הערכת אי-הודאות, הפרמטרים, הזרעים האקראיים (random seeds) ופלטי אי-הודאות שנוצרו כדי להבטיח שחזור.
  4. תיעוד ושימור פלטי הסבריות
    1. שמור את כל ציוני חשיבות המאפיינים, מפות החום, מפות הסליאנסי, ויזואליזציות הקשב והפרשנויות הספציפיות למטופל שנוצרו. אחסן את פלטי ההסבריות בפורמטים סטנדרטיים של קבצים. ארכב את הפלטים יחד עם המודל המאומן ותצורת העיבוד המקדים.
    2. תעד את ההגדרות החישוביות, פרמטרי ההסבר, זמן הביצוע וגרסאות התוכנה ששימשו ליצירת ההסברים. שמור את תיעוד ההסבריות המלא כדי לאפשר ביקורת עצמאית ושחזור.
  5. הערכה כמותית של איכות ההסברים
    1. הערך את נאמנות ההסבר (faithfulness) על ידי הפרעה (perturbation) סיסטמטית או מיסוך של המאפיינים שזוהו כחשובים ומדידת השינוי התואם בפלט המודל. חשב ציון נאמנות-הסבר על ידי השוואת עוצמת הייחוס (attribution) לשינוי שנוצר בתחזית המודל.
    2. הערך את יציבות ההסבר על ידי יצירת הסברים עבור הרצות חוזרות, קלטים עם הפרעות או דגימות דומות קלינית, וחישוב הדמיון בין דפוסי הייחוס שנוצרו. חשב חוסר-נאמנות (infidelity) על ידי מדידת הפער בין שינוי הפלט החזוי לבין השינוי המוערך מייחוס ההסבר תחת הפרעות קלט מבוקרות.
    3. עבור הסברים של תמונות רפואיות, הערך את דיוק הלוקליזציה באמצעות אזור עניין (ROI) שהוגדר על ידי מומחה כאשר זמינות הערות ייחוס. הערך את התועלת הקלינית על ידי קבלת הערכות עצמאיות ממומחים קליניים מוסמכים באמצעות קריטריוני פרשנות שהוגדרו מראש.
    4. חשב את מדד Cohen's kappa או Fleiss' kappa כאשר מספר מומחים מעריכים באופן עצמאי את רלוונטיות ההסבר או את ההסכמה ביניהם.
      הערה: צור הסברים גלובליים ומקומיים המאפיינים את התנהגות התחזית של מודל ה-AI המאומן. שמור את פלטי ההסבריות והתצורות התואמות לצורך פרשנות שקופה והערכה ניתנת לשחזור.

9. ביצוע תיקוף סטטיסטי והערכת שחזור

  1. בצע תיקוף סטטיסטי
    1. בחרו שיטות סטטיסטיות בהתאם למטרת המחקר, לתכנון הניסוי, להתפלגות הנתונים ולמאפייני המשתנים הנבדקים.
    2. דווח על משתנים רציפים כממוצע ± סטיית תקן או כחציון וטווח בין-רבעוני, לפי העניין, ומשתנים קטגוריאליים כשכיחויות ואחוזים.
    3. בצעו אימות צולב של חמישה קיפולים (five-fold cross-validation) על קבוצת האימון כדי להעריך את יציבות ביצועי המודל, ודווחו על הדיוק (accuracy), ה-AUC-ROC, הדיוק החזוי (precision), הרגישות (recall) ומדד F1 כערך ממוצע. ± סטיית תקן בין הקיפולים (folds). העריכו רווחי סמך של 95% עבור מדדי הביצועים של סט הבדיקה העצמאי באמצעות 1,0 דגימות חוזרות בשיטת הבוטסטראפ (bootstrap resamples).
    4. השוו את המודל המוצע למודלי הבסיס CNN, Random Forest ו-SVM באמצעות מבחן מקנמר (McNemar's test) להשוואות דיוק מזווגות, מבחן דלונג (DeLong's test) להשוואות AUC-ROC מתואמות, ובדיקת בוטסטרפ מזווגת עם 1,0 דגימות חוזרות להשוואות של מדד F1.
    5. דווחו על סטטיסטי המבחן המתאים ועל ערך p מדויק עבור כל השוואה, והשתמשו ברמת מובהקות דו-זנבית של α = 0.05.
  2. השוואה סטטיסטית של ביצועי מודלים
    1. השוו את מודל ה-AI ההסברי המוצע עם מודלי הבסיס שנבחרו מתוך ה-state-of-the-art בלמידה חישובית (machine learning) ולמידה עמוקה (deep learning).
    2. החל את מבחן t של Student ט-בדיקה או במבחן Mann-Whitney U בעת השוואה בין שתי קבוצות, לפי העניין. יש להשתמש במבחן ANOVA חד-כיווני להשוואות פרמטריות רלוונטיות הכוללות יותר משתי קבוצות. יש להשתמש במבחן Kruskal-Wallis להשוואות לא-פרמטריות רלוונטיות הכוללות יותר משתי קבוצות.
    3. שקול p < 0.05 מובהק סטטיסטית, כפי שצוין בכתב היד המקורי.
    4. השתמש ברמת מובהקות דו-זנבית של α = 0.05 עבור כל ההשוואות הסטטיסטיות שהוגדרו מראש, ודווחו על הסטטיסטיקות של המבחן ועל ערכי ה-p המתאימים.
    5. דווחו על רווחי סמך של 95% עבור מדדי ביצועי הניבוי העיקריים.
    6. השתמשו בדגימה חוזרת בשיטת bootstrap להערכת רווחי סמך עבור מדדי ביצועים כאשר הדבר מתאים. השתמשו במבחן DeLong להשוואת ערכי ROC-AUC מתואמים כאשר אותם נבדקים מוערכים על ידי שני מודלים. השתמשו במבחן McNemar להשוואת תוצאות סיווג קטגוריות מזווגות שנוצרו עבור אותם נבדקים. השתמשו בהליכי bootstrap מזווגים להשוואת מדד F1 או מדדי ביצועים נגזרים אחרים כאשר הדבר מתאים.
    7. הערך את הכיול באמצעות גרפי כיול, שיפוע/נקודת חיתוך של הכיול ומדד ברייר (Brier score) כאשר זמינות תחזיות הסתברותיות.
    8. עבור תיקוף מערך הנתונים של סוכרת באינדיאנים מפيمه (Pima Indians Diabetes Dataset) שעובד, השתמש בהשוואה הסטטיסטית הזוגית שהוגדרה מראש עבור המודל המוצע ומודלי הבסיס. החל את המבחן שנבחר באופן עקבי על תחזיות קבוצת הבדיקה הזוגיות או על מדידות הביצועים של הרצות חוזרות, בהתאם לסוג ההשוואה. השתמש ברמת מובהקות דו-זנבית של α = 0.05 ודווחו על הסטטיסטיקה של המבחן ועל ערך ה-p המדויק. אין לדווח על מבחנים סטטיסטיים חלופיים כאילו בוצעו, אלא אם תוצאותיהם מוצגות בפרק התוצאות.
    9. יש להחיל מבחנים דו-זנביים ולפרש מובהקות סטטיסטית באמצעות סף שנקבע מראש של p < 0.05.
  3. הערכת חוסן המודל
    1. חזור על הליך האימון וההערכה המלא 10 פעמים תוך שימוש בגרעיני אקראיות (random seeds) שונים, תוך שמירה על חלוקת מערך הנתונים, נהלי העיבוד המקדימים, ארכיטקטורת המודל, ההיפר-פרמטרים, סביבת התוכנה ופרוטוקול ההערכה שהוגדרו מראש.
    2. רשמו את ערכי ה-AUC-ROC, הדיוק (accuracy) ומד ה-F1 עבור כל הרצה עצמאית ודווחו על הממוצע ± סטיית תקן לאורך 10 ההרצות.
    3. השוו את ערכי הביצועים שהתקבלו בין הרצות חוזרות כדי להעריך את היציבות החיזויית ואת השחזוריות תחת אתחולים אקראיים שונים.
  4. הערכת שחזוריות של יכולת ההסבר (Explainability Reproducibility)
    1. ייצרו ייחוסים של מאפיינים (feature attributions), מפות קשב (attention maps) או פלטי הסבר אחרים על פני מספר הרצות ניסוייות כאשר נכללת הערכת יציבות של ההסבר. השוו כמותית את פלטי ההסבר בין הרצות חוזרות באמצעות מדד דמיון מתאים או מדד הסכמה מבוס דירוג.
    2. עבור תיקוף נתוני ה-Pima Indians Diabetes Dataset הנוכחי, אין לדווח על מדדי יציבות של הסברים כמותיים, אלא אם בוצעו הפלטים והניתוחים התואמים של הסברים חוזרים.
    3. העריכו את מידת ההסכמה בין ההסברים שהפיק המודל לבין פרשנויות של קלינאים, כאשר הערכות קליניות מתאימות זמינות. חשבו את מקדם קאפא של כהן (Cohen's kappa) או את מקדם קאפא של פלייס (Fleiss' kappa), לפי העניין, כדי להעריך את מידת ההסכמה בין המדרגים.
  5. שחזוריות מסמכים
    1. שמרו את נתוני הגלם, את נהלי העיבוד המקדים, את קוד המקור, את המודלים המאומנים, את הגדרות ההיפר-פרמטרים, את פלטי ההסבריות, את סקריפטים של הניתוח הסטטיסטי ואת התוצאות שהופקו.
    2. תעד את סביבת התוכנה ואת תצורת החומרה ששימשו לאורך תזרים העבודה. בצע מחדש את תזרים העבודה המלא באופן עצמאי תוך שימוש בקבצים ובתצורות שנשמרו בארכיון.
    3. השוו את ביצועי הניבוי המשוכפלים עם התוצאות הניסיוניות המקוריות, ואת הסברי המודל המשוכפלים עם פלטי הניתנות להסבר המקוריים.
    4. יש לתעד כל הבדל שנצפה במהלך השחזור. יש לעדכן את התיעוד הניסויי כדי לשקף את התצפיות בנוגע לשחזוריות שזוהו במהלך הביצוע העצמאי.
      הערה: השג תוצאות ביצועים חיזויים ותוצאות יכולת הסבר (explainability) המהוות תיקוף סטטיסטי וניתנות להערכה לאורך ניסויים חוזרים. שמור תיעוד חישובי, אנליטי ומתודולוגי מספיק כדי לאפשר אימות עצמאי של כלל תהליך העבודה.
  6. רשימת תבדיקה לשחזוריות
    1. רשמו את שם מערך הנתונים, הגרסה, תאריך הרכישה, המקור, קריטריוני ההכללה, קריטריוני ההדרה ומספר הדגימות הסופי. רשמו את כל פעולות עיבוד המקדמים, פרמטרי הטרנספורמציה, הגדרות הנורמליזציה, נהלי בחירת המאפיינים וכללי חלוקת הנתונים.
    2. יש לתעד את מערכת ההפעלה, המעבד (CPU), המעבד הגרפי (GPU), הזיכרון (RAM), גרסת ה-Python, גרסאות המסגרות (frameworks) וגרסאות הספריות. יש לתעד את כל מפרטי ארכיטקטורת המודל ואת ההיפר-פרמטרים.
    3. תעדו את האופטימייזר, קצב הלמידה, גודל האצווה (batch size), מספר האיפוכים (epochs), פונקציית ההפסד, הרגולריזציה וקריטריוני העצירה המוקדמת. תעדו את כל הגרעינים האקראיים (random seeds) ואת הגדרות מחולל המספרים האקראיים.
    4. שמור את משקולות המודל המאומן ואת תצורות העיבוד המקדים. שמור את יומני האימון, את סקריפטי ההערכה, את סקריפטי הניתוח הסטטיסטי ואת פלטי ההסביריות. רשום את גרסאות המודל והתוכנה ששימשו את הניסויים הסופיים.
    5. שמר את סביבת המחשוב המלאה הנדרשת לשחזור עצמאי.
    6. יש לתעד את זמינותם של קוד המקור, מערכי הנתונים, משקולות המודל וחומרי העזר, בכפוף למגבלות אתיות, משפטיות, רישיוניות ומגבלות פרטיות.
    7. בצעו מחדש את זרימת העבודה (workflow) שנשמרה באופן עצמאי והשוו את התוצאות המשוכפלות לתוצאות המקוריות.
    8. תעד את דרישות השחזוריות המלאות באמצעות רשימת הבדיקה הסטנדרטית.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

תוצאות

מסגרת ה-XAI המוצעת הוטמעה באמצעות מערך הנתונים Pima Indians Diabetes כמעערך נתונים מייצג של שירותי בריאות. מערך הנתונים Pima Indians Diabetes שימש כמערך הנתונים היחיד לתיקוף ניסיוני. כל תוצאות הניבוי, ההסביריות, הסטטיסטיקה והשחזור שדווחו הופקו ממערך נתונים זה. TCGA-BRCA, TCGA-UCEC, MIMIC-III, ISIC 2019, HAM10000, OhioT1DM ו-BraTS 2021 לא הוערכו באופן ניסיוני ונכללו רק כדוגמאות הממחישות את התשמישיות של הפרוטוקול הכללי על פני מודליות שונות של נתוני בריאות. מערך הנתונים המלא שימש לאחר הסרת רשומות לא תקינות וכפולות, וביצוע פ...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

דיון

התוצאות מדגימות את התועלת של הפרוטוקול המוצע כסב עבודה סטנדרטי וניתן לשחזור לפיתוח והערכה של מערכות XAI על פני מאגרי נתונים מגוונים בתחום הבריאות. כפי שמוצג ב-טבלה 2 וב-איור 3, עיבוד מקדים סיסטמטי הניב נתונים סטנדרטיים ושיפר את איכות הנתונים באמצעות טיפול בערכים חסרים, נורמליזציה של נתונים, סקיילינג של מאפיינים (feature scaling) וחלוקה של מאגר הנתונים. שלבי עיבוד מקדים אלו הם קריטיים מכיוון ששונות בהכנת הנתונים עלולה להוביל להטיה, להפחית את ביצועי הניבוי ולפגוע באמינות של ני...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

המחברים מצהירים כי אין להם ניגודי אינטרסים כספיים, קשרים מסחריים או קשרים אישיים שעלולים היו להשפיע על העבודה המדווחת במחקר זה. למחברים אין ניגודי אינטרסים להצהיר עליהם.

תודות

המחברים מודים על התמיכה המוסדית שניתנה על ידי המוסדות השלוחים אליהם במהלך הפיתוח והתיקוף הניסויי של פרוטוקול XAI זה לבריאות. המחברים מודים גם על המתקנים המחשובים ומשאבי התוכנה ששימשו לביצוע הניתוחים הניסוייים. מחקר זה לא קיבל מימון חיצוני. המחברים מודים על השימוש ב-Python 3.1, Matplotlib 3.9 ו-SciPy 1.13 לצורך ניתוח חישובי, ויזואליזציה של נתונים ויצירת האיורים המוצגים במחקר זה.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
CaptumMeta AIהגרסה היציבה האחרונההסבירות של PyTorch
CUDA ToolkitNVIDIA12.2האצה באמצעות GPU
cuDNNNVIDIA9.xbackend ללמידה עמוקה
GitGit SCMהגרסה היציבה האחרונהבקרת גרסאות
GitHubGitHub Inc.פלטפורמת אינטרנטמאגר קוד מקור
Grad-CAMג'קובגילמהדורה אחרונהויזואליזציה של CNN
Jupyter Notebookפרויקט Jupyterהגרסה היציבה האחרונהפיתוח אינטראקטיבי
LightGBMMicrosoft4.xהגברת גרדיאנט (Gradient boosting)
LIMEקהילת LIME0.2.0ניתנות הסבר מקומית
Matplotlibמפתחי Matplotlib3.9ויזואליזציה
Microsoft ExcelMicrosoftMicrosoft 365ארגון נתונים
NumPyמפתחי NumPy1.26מיחשוב נומרי
מעבד גרפי NVIDIA RTX 4090NVIDIA24 GB VRAMאימון מודל
OpenCVארגון OpenCV4.10עיבוד מקדים של תמונות
Pandasצוות הפיתוח של Pandas2.2עיבוד מקדים של נתונים
Pillow (PIL)ספריית עיבוד התמונות של Python10.xעיבוד תמונות
PlotlyPlotly Technologies5.xויזואליזציה אינטראקטיבית
PythonPython Software Foundation3.11סביבת תכנות
PyTorchPyTorch Foundation2.3למידה עמוקה
Scikit-learnמפתחי Scikit-learn1.5למידת מכונה
SciPyמפתחי SciPy1.13מיחשוב מדעי
Seabornמפתחי Seaborn0.13תרשימים סטטיסטיים
SHAPקהילת SHAP0.46הסבירות הגלובלית
SimpleITKקונסורציום תוכנת Insight2.xעיבוד תמונות רפואיות
Statsmodelsמפתחי Statsmodels0.14ניתוח סטטיסטי
זיכרון RAM של המערכתכל יצרן32 GB או יותרזיכרון
TensorBoardגוגל2.15ניטור אימון
TensorFlowגוגל2.15למידה עמוקה
Ubuntu Linux / Windows 1Canonical / Microsoft2.04 LTS / 1מערכת הפעלה
Visual Studio CodeMicrosoftהגרסה היציבה האחרונהפיתוח קוד
XGBoostמפתחי XGBoost2.1הגברת גרדיאנט (Gradient boosting)

מקורות

  1. Acosta JN, Falcone GJ, Rajpurkar P, Topol EJ. Multimodal biomedical AI. Nat Med. 2022;28(9):1773-1784.
  2. Tang AS, et al. Harnessing EHR data for health research. Nat Med. 2024;30(7):1847-1855.
  3. Zhang A, Xing L, Zou J, Wu JC. Shifting machine learning for healthcare from development to deployment and from models to data. Nat Biomed Eng. 2022;6(11):1330-1345.
  4. Bera K, et al. Predicting cancer outcomes with radiomics and artificial intelligence in radiology. Nat Rev Clin Oncol. 2022;19(2):132-146.
  5. Wenderott K, Krups J, Zaruchas F, Weigl M. Effects of artificial intelligence implementation on efficiency in medical imaging—a systematic literature review and meta-analysis. NPJ Digit Med. 2024;7(1):265.
  6. Kaissis GA, Makowski MR, Rückert D, Braren RF. Secure, privacy-preserving and federated machine learning in medical imaging. Nat Mach Intell. 2020;2(6):305-311.
  7. He J, et al. The practical implementation of artificial intelligence technologies in medicine. Nat Med. 2019;25(1):30-36.
  8. Antoniadi AM, et al. Current challenges and future opportunities for XAI in machine learning-based clinical decision support systems: A systematic review. Appl Sci (Basel). 2021;11(11):5088.
  9. Samek W, et al. Explaining deep neural networks and beyond: A review of methods and applications. Proc IEEE. 2021;109(3):247-278.
  10. Holzinger A, et al. Causability and explainability of artificial intelligence in medicine. WIREs Data Min Knowl Discov. 2019;9(4).
  11. Markus AF, Kors JA, Rijnbeek PR. The role of explainability in creating trustworthy artificial intelligence for health care: A comprehensive survey of the terminology, design choices, and evaluation strategies. Nat Biomed Eng. 2021;5(9):996-1011.
  12. Arrieta AB, et al. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion. 2020;58:82-115.
  13. Selvaraju RR, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [conference paper]. Presented at: IEEE International Conference on Computer Vision (ICCV); Venice, Italy; 2017:618-626. https://openaccess.thecvf.com/content_iccv_2017/html/Selvaraju_Grad-CAM_Visual_Explanations_ICCV_2017_paper.html
  14. Tonekaboni S, Joshi S, McCradden MD, Goldenberg A. What clinicians want: Contextualizing explainable machine learning for clinical end use. Nat Mach Intell. 2019;1(12):572-584.
  15. Sundararajan M, Taly A, Yan Q. Axiomatic attribution for deep networks [conference paper]. Presented at: 34th International Conference on Machine Learning; Sydney, Australia; 2017;70:3319-3328. https://proceedings.mlr.press/v70/sundararajan17a.html
  16. Ribeiro MT, Singh S, Guestrin C. “Why should I trust you?”: Explaining the predictions of any classifier [conference paper]. Presented at: 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; San Francisco, CA; 2016:1135-1144.
  17. Desai S, Ramaswamy HG. Ablation-CAM: Visual explanations for deep convolutional network via gradient-free localization [conference paper]. Presented at: IEEE/CVF Winter Conference on Applications of Computer Vision (WACV); 2020:983-991.
  18. Belle V, Papantonis I. Principles and practice of explainable machine learning. Front Big Data. 2021;4:688969.
  19. Vilone G, Longo L. Notions of explainability and evaluation approaches for explainable artificial intelligence. Inf Fusion. 2021;76:89-106.
  20. Ali S, et al. Explainable artificial intelligence (XAI): What we know and what is left to attain trustworthy artificial intelligence. Inf Fusion. 2023;99:101805.
  21. Gundersen OE, Kjensmo S. State of the art: Reproducibility in artificial intelligence [conference paper]. Presented at: Thirty-Second AAAI Conference on Artificial Intelligence; New Orleans, LA; 2018:1644-1651. https://ojs.aaai.org/index.php/AAAI/article/view/11503
  22. Hutson M. Artificial intelligence faces reproducibility crisis. Science. 2018;359(6377):725-726.
  23. Pineau J, et al. Improving reproducibility in machine learning research: A report from the NeurIPS 2019 reproducibility program. J Mach Learn Res. 2021;22(164):1-20.
  24. U.S. Food and Drug Administration, Health Canada, Medicines and Healthcare products Regulatory Agency. Good Machine Learning Practice for Medical Device Development: Guiding Principles. 2021.
  25. Liu X, et al. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: The CONSORT-AI extension. Nat Med. 2020;26(9):1364-1374.
  26. Mongan J, Moy L, Kahn CE Jr. Checklist for Artificial Intelligence in Medical Imaging (CLAIM): A guide for authors and reviewers. Radiol Artif Intell. 2020;2(2).
  27. Peng RD. Reproducible research in computational science. Science. 2011;334(6060):1226-1227.
  28. Collins GS, et al. Protocol for development of the TRIPOD-AI and PROBAST-AI reporting and risk-of-bias tools for studies developing, validating, or updating prediction models based on artificial intelligence. BMJ Open. 2021;11.
  29. Kapoor S, Narayanan A. Leakage and the reproducibility crisis in machine-learning-based science. Patterns. 2023;4(9):100804.
  30. Wiens J, et al. Do no harm: A roadmap for responsible machine learning for health care. Nat Med. 2019;25(9):1337-1340.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

הדפסות חוזרות והרשאות

גלה מאמרים נוספים

בינה מלאכותית הניתנת להסברמודלי בינה מלאכותית לבריאותפרשנות מודליםפרוטוקול הניתן לשחזורביצועים חיזוייםהנדסת מאפייניםתיקוף סטטיסטיהסברי SHAPהסברי LIMEהסברים נגדיים
צרו קשר
המליצו לספרייה

פרטיות

תנאי שימוש

מדיניות

זכויות יוצרים © 2026 MyJoVE Corporation. כל הזכויות שמורות.