Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.

Yöntem makalesi

Sağlık Sistemlerinde Açıklanabilir Yapay Zeka Modelleri Geliştirmek ve Değerlendirmek İçin Tekrarlanabilir Bir Deneysel Protokol

9 görüntülenme

⸱

DOI:

10.3791/73848

⸱

15 Eylül 2026

 , 
1Vishwakarma University

Bu makalede

Özet

Bu protokol, sağlık hizmetlerinde açıklanabilir yapay zeka modellerinin geliştirilmesi, değerlendirilmesi ve yorumlanması için tekrarlanabilir bir iş akışı sunmaktadır. Şeffaflığı, güvenilirliği ve klinik uygulanabilirliği artırmak amacıyla standartlaştırılmış veri hazırlama, model geliştirme, açıklanabilirlik teknikleri, nicel değerlendirme ve tekrarlanabilirlik uygulamalarını entegre eder.

Özet

Yapay zeka (AI), klinik karar verme, hastalık öngörüsü, tıbbi teşhis ve kişiselleştirilmiş sağlık hizmetleri için giderek daha değerli bir araç olarak benimsenmektedir. Ancak, şeffaflık eksikliği, açıklanabilir yapay zeka (XAI) yöntemlerinin tutarsız uygulanması ve sınırlı tekrarlanabilirlik, AI modellerinin klinik ortamlarda güvenilir bir şekilde yaygınlaştırılmasının önündeki temel engeller olmaya devam etmektedir. Bu makale, sağlık uygulamaları için açıklanabilir AI modellerinin geliştirilmesi, değerlendirilmesi ve yorumlanması için sistematik, tekrarlanabilir ve şeffaf bir protokol önermektedir. İş akışı, hesaplama ortamının kurulumuyla başlar; bunu veri edinimi ve karakterizasyonu, ön işleme, özellik mühendisliği, model geliştirme, hiperparametre optimizasyonu, öngörücü performans değerlendirmesi, açıklanabilirlik analizi, istatistiksel doğrulama ve tekrarlanabilirlik değerlendirmesi izler. Protokol, hem küresel hem de yerel model yorumlamaları oluşturmak için SHapley Additive exPlanations (SHAP), Local Interpretable Model-agnostic Explanations (LIME), Gradient-weighted Class Activation Mapping (Grad-CAM), Integrated Gradients, dikkat görselleştirme ve karşı olgusal açıklamalar gibi XAI yöntemlerini içermektedir. Protokol; standartlaştırılmış sağlık veri setlerinin hazırlanması, kararlı makine öğrenimi modellerinin geliştirilmesi, öngörücü performansın değerlendirilmesi, klinik olarak anlamlı açıklamaların oluşturulması ve tekrarlanan deneyler genelinde tekrarlanabilirliğin istatistiksel değerlendirmesi dahil olmak üzere birkaç temel bileşene vurgu yapmaktadır. Model geliştirme, açıklanabilirlik, nicel ve nitel değerlendirme, istatistiksel doğrulama ve tekrarlanabilirlik değerlendirmesini birleşik bir iş akışına entegre ederek, bu protokol, sağlık uygulamaları için şeffaf ve tekrarlanabilir AI modelleri geliştirmek adına kapsamlı bir çerçeve sunmaktadır.

Giriş

Yapay zeka, karmaşık klinik verilerin akıllı analizine olanak tanıyarak ve kanıta dayalı tıbbi karar verme süreçlerini destekleyerek modern sağlık hizmetlerinin ayrılmaz bir bileşeni haline gelmiştir1. Elektronik sağlık kayıtları, tıbbi görüntüleme sistemleri, giyilebilir cihazlar ve genomik teknolojiler aracılığıyla sağlık hizmetlerinin hızla dijitalleşmesi, etkili bir yorumlama için gelişmiş hesaplama yaklaşımları gerektiren büyük hacimlerde heterojen veriler üretmiştir2.

Makine öğrenimi (ML) ve derin öğrenme (DL) algoritmaları, çok boyutlu sağlık hizmetleri veri setlerinden anlamlı modeller çıkarma konusunda dikkat çekici yetenekler göstermiş; böylece tanı doğruluğunu, hastalık öngörüsünü ve hasta sonuç değerlendirmelerini iyileştirmiştir3. Yapay zeka tabanlı modeller; klinisyenlerin hastalıkları daha erken evrelerde tespit etmelerine ve kişiselleştirilmiş tedavi stratejileri önermelerine yardımcı olmak amacıyla radyoloji, patoloji, kardiyoloji, onkoloji, oftalmoloji ve diğer tıbbi uzmanlık alanlarında başarıyla uygulanmıştır4. Bu teknolojiler ayrıca iş akışının optimizasyonuna, tanısal değişkenliğin azaltılmasına ve sağlık hizmetleri kaynaklarının kullanımının iyileştirilmesine katkıda bulunmuştur5.

Hesaplamalı donanım, bulut bilişim ve açık kaynaklı yapay zeka çerçevelerindeki son gelişmeler, akıllı sağlık uygulamalarının geliştirilmesini ve yaygınlaştırılmasını hızlandırmıştır6. Sonuç olarak yapay zeka, hassas tıp ve klinik karar destek sistemleri için temel bir kolaylaştırıcı teknoloji haline gelmiştir7. Bu ilerlemelere rağmen, birçok yüksek performanslı modelin tahminlerinin nasıl oluşturulduğuna dair çok az bilgi sunması nedeniyle, yapay zekanın rutin klinik uygulamalarda yaygın olarak benimsenmesi sınırlı kalmaya devam etmektedir8.

Çoğu derin öğrenme algoritması, dahili karar verme sürecinin klinisyenler ve araştırmacılar tarafından anlaşılmasının zor olduğu karmaşık kara kutu modeller olarak işlev görür9. Bu modeller genellikle mükemmel öngörü performansı sergilese de, şeffaflık eksikliği kullanıcı güvenini sarsmakta; klinik doğrulama, düzenleyici onay ve hasta güvenliği açısından zorluklar yaratmaktadır10. Sağlık profesyonelleri, özellikle yüksek riskli tıbbi ortamlarda, yapay zeka destekli kararları rutin klinik uygulamaya dahil etmeden önce bunları gerekçelendirebilmelidir11.

XAI, makine öğrenimi modellerinin şeffaflığını ve yorumlanabilirliğini artırmak için etkili bir yaklaşım olarak ortaya çıkmıştır12. Tahmin modellerini opak sistemler olarak ele almak yerine, XAI teknikleri bireysel tahminlere katkıda bulunan özellikler, görüntü bölgeleri veya klinik değişkenler hakkında bilgi sağlar13. Bu tür açıklamalar, klinisyenlerin model davranışını daha iyi anlamalarına, potansiyel yanlılıkları belirlemelerine ve yapay zeka tarafından üretilen kararların yerleşik tıbbi bilgilerle uyumlu olup olmadığını saptamalarına olanak tanır14.

Sağlık hizmetleri uygulamaları için çeşitli açıklanabilirlik teknikleri geliştirilmiştir. SHapley Additive explanations (SHAP), kooperatif oyun teorisine dayanarak her bir özelliğin model tahminine olan katkısını ölçer15. Local Interpretable Model-agnostic Explanations (LIME), basitleştirilmiş bir model oluşturarak kara kutu modelinin tahminlerini açıklar16. Derin öğrenme modellerinin kullanıldığı tıbbi görüntüleme görevleri için Gradient-weighted activation maps (Grad-CAM), görüntünün sınıflandırma kararlarına katkıda bulunan bölgelerini görsel olarak belirten ısı haritaları oluşturur17. Bu yöntemlerin kombinasyonu, farklı sağlık hizmetleri alanlarında yapay zeka sistemlerinin şeffaflığını önemli ölçüde artırmıştır18.

Sağlık hizmetleri alanında açıklanabilirlik yöntemlerine verilen önemin artmasına rağmen, bunların literatürdeki kullanımı farklılık göstermeye devam etmektedir. Araştırmacılar yalnızca ön işleme stratejilerinin kullanımı konusunda değil, aynı zamanda model mimarisinin tasarımı, değerlendirme metrikleri ve hatta açıklama teknikleri konusunda da farklılık göstermektedirler19. Ayrıca, birçok makale yüksek öngörü doğruluğı bildirmekte ancak açıklamaların kalitesi veya tekrarlanabilirliği hakkında kapsamlı bir değerlendirme sunmakta yetersiz kalmaktadır20.

Tekrarlanabilirlik, modern yapay zeka bilimindeki en büyük darboğazlardan biridir. Makaleler genellikle yazılım versiyonunu, hesaplama ortamını, ön işleme hattını, hiperparametre ayarlarını, rastgele tohum başlatmasını ve donanım yapılandırmalarını açıklamaz21. Bu nedenle, bağımsız araştırmacılar genellikle yayınlanmış sonuçları tekrarlamakta veya yayınlanmış yöntemleri diğer veri setleri veya yazılım platformlarını kullanarak doğrulamakta başarısız olurlar22. Ayrıntılı dokümantasyon eksikliği; kıyaslama çalışmalarını, ortak araştırmaları ve yapay zeka sistemlerinin klinik uygulamalarını engelleyen faktörlerden biridir23.

Bu zorlukların farkında olan çeşitli kuruluşlar ve düzenleyici kurumlar, sağlık uygulamaları için şeffaf, güvenilir ve tekrarlanabilir yapay zekanın önemini vurgulamışlardır24. Mevcut raporlama kılavuzları metodolojik raporlamayı geliştirmiş olsa da, araştırmacıların doğrudan uygulayabileceği standartlaştırılmış deneysel prosedürler sağlamaktan ziyade, öncelikle nelerin raporlanması gerektiğini tanımlamaktadır25. Sonuç olarak; veri seti hazırlama, model geliştirme, açıklanabilirlik analizi, istatistiksel değerlendirme ve tekrarlanabilirlik uygulamalarını tek bir deneysel iş akışında birleştiren kapsamlı bir protokole ihtiyaç duyulmaktadır26.

Standardize edilmiş bir deneysel protokol, sağlık hizmetleri yapay zeka topluluğu için birçok avantaj sunar. Ayrıca, metodolojik tutarlılığı destekler, bağımsız çalışmaların karşılaştırılmasını kolaylaştırır, hesaplamalı deneylerin şeffaflığını artırır ve yayınlanmış sonuçların güvenilir bir şekilde doğrulanmasını sağlar27. Standardize edilmiş iş akışları aynı zamanda, farklı laboratuvarlar ve sağlık kurumları arasında tekrarlanabilir olan net bir şekilde belgelenmiş prosedürler aracılığıyla eğitim/öğretime, ortak araştırmalara ve düzenleyici değerlendirmelere yardımcı olur28.

Sağlık sistemlerinde yapay zeka modellerinin eğitimi ve değerlendirilmesi için tekrarlanabilir bir deneysel protokol geliştirilmiş ve test edilmiştir. Protokol; hesaplama ortamının yapılandırılması, sağlık veri kümelerinin ön işlemesi, makine öğrenmesi modellerinin geliştirilmesi, XAI yöntemlerinin uygulanması, öngörü performansının değerlendirilmesi, istatistiksel doğrulamanın gerçekleştirilmesi ve tekrarlanabilirliğin değerlendirilmesine yönelik standartları ana hatlarıyla belirtmektedir29. Bu tür bileşenlerin uyumlu bir iş akışına entegrasyonunun, sağlık hizmetleri yapay zeka araştırmalarının şeffaflığını, güvenilirliğini ve tekrarlanabilirliğini artırması ve aynı zamanda güvenilir akıllı sağlık sistemlerinin geliştirilmesine yardımcı olması beklenmektedir30.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

Gerçekleştirilen doğrulama deneyi, kamuya açık ve kimliksizleştirilmiş Pima Indians Diyabet Veri Setini kullanmış olup, tanımlanabilir hasta kayıtlarını veya yeni hasta alımını içermemiştir. Bu nedenle, bilgilendirilmiş onam ve kurumsal IRB/etik kurul onayı gerekmemiş olup, tüm analizler ilgili veri seti şartlarına ve kurumsal araştırma politikalarına uygun olarak yürütülmüştür.

Uygulamalı doğrulama örneğinde, ikili diyabet tahmini için 768 kayıt içeren ve halka açık olan Pima Indians Diabetes Veri Kümesi kullanılmıştır. Dokuz aşamalı temel iş akışının tamamı bu veri kümesine uygulanmıştır. Dokuz temel aşama; veri kümesi seçimi ve doğrulaması, hesaplama ortamı yapılandırması, veri ön işleme, veri kümesi bölümlendirme, model geliştirme ve eğitimi, öngörücü ve hesaplama performansı değerlendirmesi, açıklanabilirlik analizi, istatistiksel doğrulama ve tekrarlanabilirlik değerlendirmesinden oluşmaktadır. Harici doğrulama ve klinik uzman değerlendirmesi isteğe bağlı doğrulama modülleri olarak tutulmuş ve mevcut uygulamalı örnekte gerçekleştirilmemiştir. Şekil 1 temel protokol iş akışını göstermekte ve Tablo 1 mevcut uygulamalı doğrulamada yürütülen dokuz temel aşamayı özetlemektedir; isteğe bağlı harici doğrulama ve klinik uzman değerlendirmesi Protokol içinde ayrıca açıklanmıştır ve dokuz deneysel aşama arasında yer almamaktadır.

1. Sağlık hizmetleri veri setini seçin ve doğrulayın

  1. Çalışılan doğrulama örneği için birincil veri seti olarak Pima Kızılderilileri Diyabet Veri Setini seçin. Veri seti kaynağını, örneklem büyüklüğünü, tahmin hedefini, sınıf dağılımını ve veri yapısını doğrulayın.
  2. Önceden tanımlanmış dahil etme, hariç tutma ve veri kalitesi kriterlerini uygulayın. Model geliştirmeden önce yinelenen ve geçersiz kayıtları kaldırın.
  3. Veri seti kaynağını, özelliklerini, tahmin görevini, sınıf dağılımını, dahil etme ve hariç tutma kriterlerini ve bölümlendirme stratejisini Tablo 2'ye kaydedin.
  4. Veri seti ve model seçimi için karar kriterlerini uygulayın
    1. Veri setini, model mimarisini, ön işleme stratejisini veya açıklanabilirlik yöntemini seçmeden önce tahmin amacını tanımlayın.
    2. Veri seti modalitesini tahmin amacıyla eşleştirin. Yapılandırılmış klinik değişkenler için tablo verilerini, tıbbi görüntüler için görüntüleme verilerini, fizyolojik sinyaller için zaman serisi verilerini, klinik anlatılar için metin verilerini veya aynı hasta veya çalışma birimi için tamamlayıcı modaliteler mevcut olduğunda multimodal verileri seçin.
    3. Aday veri setlerini örneklem büyüklüğü, sonuç kullanılabilirliği, sınıf dağılımı, eksiklikler, açıklama kalitesi, klinik uygunluk, veri bütünlüğü ve erişilebilirlik açısından değerlendirin. Önceden tanımlanmış gereksinimleri karşılayan veri setini seçin.
    4. Örneklem büyüklüğü, hesaplama kaynakları veya yorumlanabilirlik gereksinimleri karmaşık mimarilerin kullanımını kısıtladığında, yapılandırılmış tablo verileri için geleneksel makine öğrenmesi modellerini seçin. Yeterli eğitim verisi ve tıbbi görüntüler, fizyolojik sinyaller veya klinik metinler gibi yüksek boyutlu girdiler mevcut olduğunda derin öğrenme mimarilerini seçin.
    5. Multimodal mimarileri yalnızca aynı hasta veya çalışma birimi için birden fazla modalite mevcut olduğunda ve bilgi sızıntısına yol açmadan güvenilir şekilde hizalanabildiğinde seçin. Ön işleme işlemlerini seçilen veri modalitesinin özelliklerine göre seçin.
    6. Açıklanabilirlik yöntemlerini modele ve veri modalitesine göre seçin. Uygun tablo modelleri için SHAP veya LIME gibi model-agnostik yöntemleri ve uygulanabildiği durumlarda görüntü tabanlı modeller için Grad-CAM gibi modaliteye özel yöntemleri kullanın.
    7. Veri seti, ön işleme stratejisi, model ve açıklanabilirlik yöntemi seçimlerinin gerekçelerini belgeleyin. Bu kararları yeniden üretilebilirlik kaydının bir parçası olarak saklayın.

2. XAI model geliştirme için hesaplama ortamını yapılandırın

  1. İşletim sistemini, CPU'yu, RAM'i, depolamayı ve GPU'yu seçilen model gereksinimlerine göre yapılandırın. İzole bir Python ortamı oluşturun ve gerekli makine öğrenimi, derin öğrenim, istatistiksel, görselleştirme ve XAI kütüphanelerini yükleyin.
  2. Gerçekleştirilen doğrulama için kullanılan gerçek hesaplama ortamını, model mimarisini ve hiperparametreleri Tablo 3'e kaydedin. Optimize ediciyi, öğrenme hızını, toplu işlem boyutunu (batch size), maksimum epoch sayısını, kayıp fonksiyonunu, düzenlileştirme parametrelerini, doğrulama stratejisini, erken durdurma yapılandırmasını, rastgele tohum (random-seed) yapılandırmasını, açıklanabilirlik yöntemlerini, donanımı, işletim sistemini, Python sürümünü ve ilgili yazılım-kütüphane sürümlerini belirtin. Deneylerde kullanılan bu ayarları, genel veya önerilen protokol ayarlarından ayırt edin.
  3. Pima İndiyans Diyabeti Veri Kümesi doğrulamasını ve buna karşılık gelen öngörücü, açıklanabilirlik, istatistiksel ve tekrarlanabilirlik sonuçlarını yeniden üretirken Tablo 3'te bildirilen yapılandırmayı kullanın.
  4. Paketlerin başarıyla içe aktarıldığını, veri kümesinin yüklendiğini, modelin çalıştırıldığını ve çıktının üretildiğini onaylamak için bir doğrulama betiği çalıştırın. Tekrarlanabilirlik için kesinleşmiş ortam yapılandırmasını koruyun.

3. XAI model geliştirme için sağlık hizmetleri veri setlerini hazırlama ve karakterize etme

  1. Sağlık veri setini seçin ve edinin
    1. Tanımlanan klinik tahmin görevi için uygun bir sağlık veri seti seçin. Aday veri setlerini; araştırma hedefi, veri tipi, örneklem büyüklüğü, açıklama (notasyon) kalitesi, sınıf dengesi ve klinik uygunluk kriterlerine göre değerlendirin.
    2. Tahmin görevini yeterince karşıladıkları ve bağımsız doğrulamayı kolaylaştırdıkları durumlarda, halka açık kıyaslama veri setleri tercih edilmelidir.
    3. Kurumsal veya kurum içi veri setlerini edinmeden önce gerekli etik onayları, kurumsal izinleri ve veri erişim yetkisini alın. Seçilen veri setini, doğrulanmış bir depodan veya yetkilendirilmiş bir kurumsal veri tabanından temin edin.
    4. Orijinal veri seti dosyalarını herhangi bir değişiklik yapmadan koruyun ve veri seti sağlayıcısını, versiyonu, elde etme bilgilerini, lisans koşullarını, dahil etme kriterlerini, hariç tutma kriterlerini ve beraberindeki meta verileri kaydedin. Veri setini; ham veriler, açıklamalarda (notasyonlar), meta veriler ve ek bilgiler için ayrı dizinler olacak şekilde düzenleyin.
  2. Sağlık hizmetleri veri setini karakterize edin
    1. Öngörücü değişkenleri, sonuç etiketlerini, öznitelik türlerini, veri modalitelerini ve sınıf dağılımlarını belirleyin. Denek sayısını, örnek sayısını, öznitelik boyutlarını ve mevcut açıklama (anotasyon) bilgilerini tespit edin.
    2. Veri kümesi özelliklerinin seçilen yapay zeka yöntemiyle uyumlu olduğunu doğrulayın.
    3. Dokuz aşamalı temel protokolün doğrulanması için tek çalışılmış deneysel veri seti olarak Pima Kızılderilileri Diyabet Veri Setini kullanın. Şunlarda listelenen ek veri setlerini dahil edin: Tablo 2 yalnızca genel protokolün klinik tablo verileri, elektronik sağlık kayıtları, dermoskopik görüntüler, fizyolojik zaman serisi verileri ve tıbbi görüntüleme genelindeki uygulanabilirliğini göstermek amacıyla kullanılmalıdır. Bu ek veri setlerini model eğitimi, test etme, istatistiksel doğrulama veya rapor edilen deneysel sonuçların oluşturulması için kullanmayın.
  3. Veri seti kalitesini değerlendirin
    1. Veri setini yinelenen kayıtlar, bozulmuş dosyalar, eksik değerler, açıklama hataları ve düzensiz veri girişleri açısından inceleyin. Onaylanmış yinelenen kayıtları kaldırın ve doğrulanmış biçimlendirme düzensizliklerini düzeltin. Tüm veri seti kalite kontrol prosedürlerini belgeleyin.
    2. Multimodal veri setleri kullanılırken; görüntüleme, klinik, laboratuvar ve fizyolojik verilerin denek tanımlayıcıları aracılığıyla uygunluğu doğrulayın.
    3. Yinelenen veya tutarsız kayıtları kaldırın, eksik değerleri yönetin, sayısal özellikleri standartlaştırın, kategorik değişkenleri kodlayın ve modaliteye özgü ön işleme adımlarını uygulayın. Veri setini bağımsız eğitim, doğrulama ve test setlerine ayırın. Şuraya başvurun: Şekil 2 sağlık hizmetleri veri seti hazırlama, ön işleme, bölümlendirme ve kalite değerlendirme iş akışı için.
  4. Veri gizliliğini ve etik uyumluluğu sağlayın
    1. Sağlık verilerindeki doğrudan tanımlayıcıları kaldırın. Gerektiğinde anonimleştirme veya takma adlandırma (pseudonymization) prosedürlerini uygulayın. Hasta sağlık bilgilerini geçerli etik, veri koruma, bilgilendirilmiş onam ve kurumsal gerekliliklere uygun şekilde yönetin.
    2. Geçerli etik onayları, feragatnameleri, veri yönetişim prosedürlerini, anonimleştirme yöntemlerini ve veri seti hazırlama iş akışını kaydedin.
    3. Bu tür bilgilerin mevcut olduğu ve etik olarak izin verildiği durumlarda, model performansını ilgili demografik veya klinik alt gruplar arasında karşılaştırarak potansiyel algoritmik yanlılığı değerlendirin.
    4. Kullanım amacı, hedef popülasyon, model kısıtlamaları, potansiyel hata modları, insan denetimi gereksinimleri ile ilgili etik, veri koruma ve sağlık hizmetleri düzenleme gerekliliklerini belgeleyin.
    5. Tespit edilen hakkaniyet kısıtlamalarını ve sorumlu yapay zeka hususlarını, final model dokümantasyonunun bir parçası olarak kaydedin.
      NOT: Yapay zeka model geliştirmeye uygun, etik kurallara uyumlu ve tanımlanmış önemli tutarsızlıklar içermeyen, standartlaştırılmış ve belgelenmiş bir sağlık veri seti edinin.

4. Yapay zeka model eğitimi için sağlık verilerinin ön işlemesi ve bölümlendirilmesi

  1. Kalite kontrolü gerçekleştirin
    1. Veri setini mükerrer kayıtlar, eksik değerler, geçersiz değerler, tutarsız etiketler, aykırı değerler ve bozuk dosyalar açısından inceleyin.
    2. Geçersiz gözlemleri önceden tanımlanmış kriterlere göre kaldırın veya düzeltin ve tüm hariç tutmaları kaydedin. Tahmin edici değişkenlerin ve sonuç etiketlerinin tutarlılığını doğrulayın.
  2. Eksik verileri yönetin
    1. Her değişken için eksiklik miktarını belirleyin. Önceden tanımlanmış imputasyon (atama) veya hariç tutma stratejisini uygulayın.
    2. İmputasyon parametrelerini yalnızca eğitim verilerini kullanarak tahmin edin ve uyarlanan dönüşümü doğrulama ve test verilerine uygulayın.
  3. Verileri normalleştirin ve dönüştürün
    1. Özellik ölçeklendirme, normalleştirme, kodlama, boyut indirgeme veya seçilen modelin gerektirdiği diğer dönüşümleri uygulayın. Veriye bağlı tüm dönüşümleri yalnızca eğitim verilerini kullanarak uyarlayın.
    2. Uyarlanan dönüşümleri doğrulama ve test verilerine hiçbir değişiklik yapmadan uygulayın.
  4. Eğitim verilerindeki sınıf dengesizliğini nicel olarak belirleyin. Sınıf ağırlıklandırma, SMOTE, aşırı örnekleme veya veri artırmayı yalnızca eğitim veri setine uygulayın. Doğrulama ve test veri setlerinin orijinal dağılımını koruyun.
  5. Hiçbir deneğin, mükerrer gözlemin, artırılmış örneğin, ön işleme istatistiğinin, özellik seçim kriterinin veya sentetik örneğin eğitim ve değerlendirme bölümleri arasında paylaşılmadığını onaylayın.

5. XAI modelini geliştirin ve yapılandırın

  1. Girdi veri modalitelerini, ön işleme işlemlerini, modaliteye özgü öznitelik kodlayıcılarını, öznitelik füzyon mekanizmasını, tahmin katmanını ve açıklanabilirlik modülünü belirterek model mimarisini tanımlayın.
  2. Tahmin görevine ve girdi modalitesine göre makine öğrenmesi veya derin öğrenme mimarisini seçin. Girdi katmanını, öznitelik çıkarma bileşenlerini, gizli katmanları, çıktı katmanını ve aktivasyon fonksiyonlarını yapılandırın. Optimize ediciyi, öğrenme oranını, yığın boyutunu, kayıp fonksiyonunu, dönem sayısını, düzenlemeyi, dropout'u, erken durdurmayı ve öğrenme oranı planını tanımlayın.
  3. Yalnızca eğitim ve doğrulama verilerini kullanarak hiperparametreleri optimize edin.
  4. Nihai mimariyi ve hiperparametre yapılandırmasını Tablo 3'e kaydedin.
  5. Eğitimden önce girdi-çıktı boyutsal uyumluluğunu doğrulayın.
    NOT: Uygun bir mimari, tanımlanmış hiperparametreler ve entegre açıklanabilirlik teknikleri içeren, tam olarak yapılandırılmış bir XAI modeli oluşturun.

6. XAI modelini eğitin, optimize edin ve kaydedin

  1. Önceden tanımlanmış eğitim ve doğrulama veri kümeleri ile nihai model konfigürasyonunu yükleyin. Modeli, önceden tanımlanmış rastgele tohum (random seed) ve eğitim parametrelerini kullanarak başlatın.
  2. Modeli belirtilen optimize edici, kayıp fonksiyonu, grup boyutu (batch size) ve durdurma kriterlerini kullanarak eğitin.
  3. Doğrulama performansını izleyin ve önceden tanımlanmış model seçim kriterine karşılık gelen kontrol noktasını (checkpoint) saklayın. Seçilen kontrol noktasını, başka bir optimizasyon yapmadan bağımsız test veri kümesi üzerinde değerlendirin.
  4. Eğitilmiş modeli, ön işleme konfigürasyonunu, hiperparametreleri, rastgele tohumu ve eğitim günlüğünü kaydedin.
    NOT: Hazırlanan sağlık hizmetleri veri kümesi kullanılarak eğitilmiş ve doğrulanmış optimize bir XAI modeli elde edin. Tekrarlanabilirlik için en iyi performansı gösteren modeli, hiperparametreleri, eğitim günlüklerini, ön işleme konfigürasyonunu ve hesaplama ortamını muhafaza edin.

7. Tahminleyici ve hesaplama performansını değerlendirin

  1. Tahmin performansını değerlendirin
    1. Model eğitimi ve hiperparametre optimizasyonu tamamlandıktan sonra, optimize edilmiş modeli ve bağımsız test veri setini yükleyin. Test aşamasında, eğitilmiş model parametrelerini ve ön işleme hattını değiştirilmeden koruyun.
    2. Test veri setindeki tüm örnekler için tahminler oluşturun. Tahmin edilen çıktıları, karşılık gelen temel gerçeklik (ground-truth) etiketleri ile karşılaştırın.
  2. Performans metriklerini hesaplayın
    1. Tahmin görevinin türüne göre değerlendirme metriklerini seçin.
    2. Sınıflandırma görevleri için uygun olduğunda; doğruluğu (accuracy), kesinliği (precision), duyarlılığı (recall), özgünlüğü (specificity), F1-skorunu, dengeli doğruluğu (balanced accuracy), Matthews korelasyon katsayısını (MCC) ve alıcı işletim karakteristik eğrisi altındaki alanı (AUC-ROC) hesaplayın. Regresyon görevleri için uygun olduğunda; ortalama mutlak hatayı (MAE), kök ortalama kare hatayı (RMSE), belirleme katsayısını (R2) ve diğer ilgili ölçümleri hesaplayın.
  3. Model genelleştirmesini ve sağlamlığını değerlendirin
    1. Mümkün olduğunda, geliştirme veri setinden bağımsız olarak toplanmış harici bir veri seti kullanarak modeli değerlendirin.
    2. Taşınabilirliği değerlendirmek için farklı bir sağlık kurumundan, coğrafi bölgeden veya hasta popülasyonundan gelen harici veri setlerini tercih edin.
    3. Boylamsal veri setleri mevcut olduğunda, daha sonraki bir dönemde toplanan verileri kullanarak zamansal doğrulama gerçekleştirin.
    4. Çok merkezli veriler mevcut olduğunda, nihai modeli katılımcı kurumlar genelinde ayrı ayrı değerlendirerek çok merkezli doğrulama gerçekleştirin.
    5. Mümkün olduğunda, farklı bir coğrafi bölgeden gelen bağımsız bir popülasyonu kullanarak coğrafi doğrulama gerçekleştirin.
    6. Geliştirme ve harici veri setleri arasındaki performans farklılıklarını ve güven aralıklarını raporlayın.
  4. Hesaplama performansını değerlendirin
    1. Önceden tanımlanmış hesaplama ortamında model eğitim süresini, aynı hesaplama koşulları altında çıkarım ve test süresini, ayrıca bellek tüketimini, model boyutunu ve donanım kullanımını ölçün.
    2. Hesaplama ölçümlerini bağımsız çalışmalar üzerinden tekrarlayın.
    3. Deneysel değişkenliğin etkisini azaltmak için ortalama yürütme süresini hesaplayın.
  5. Model performansını karşılaştırın
    1. Karşılaştırmalı değerlendirme için uygun geleneksel makine öğrenimi veya derin öğrenme yöntemlerini seçin.
    2. Önerilen XAI modelini ve karşılaştırıcı modelleri aynı veri setini kullanarak değerlendirin. Tüm karşılaştırma modellerine aynı ön işleme prosedürlerini ve değerlendirme metriklerini uygulayın.
    3. Tüm karşılaştırmalı deneyleri aynı hesaplama ortamında gerçekleştirin.
      NOT: Test edilen hesaplama koşulları ve veri seti altında tahmin kararlılığı ve tekrarlanabilirliğine dair deneysel kanıtlar elde edin.

8. XAI çıktılarını oluşturun ve değerlendirin

  1. Model açıklamalarını oluşturun
    1. Optimize edilmiş XAI modelini yükleyin. Model eğitimi için kullanılmayan değerlendirme örneklerini seçin. Eğitilmiş modeli veya ön işleme hattını değiştirmeden önceden tanımlanmış açıklanabilirlik yöntemlerini uygulayın.
    2. Global ve yerel model açıklamaları oluşturun
      1. Tahmin modelinin genel davranışını karakterize etmek için global açıklamalar oluşturun.
      2. Bireysel model tahminlerini karakterize etmek için yerel açıklamalar oluşturun.
      3. Tablo model tahminlerinin global ve yerel açıklamalarını oluşturmak için Pima Indians Diabetes Veri Kümesi'ne SHAP uygulayın.
      4. Öznitelik katkılarının genel yönünü ve büyüklüğünü görselleştirmek için bir SHAP özet grafiği oluşturun.
      5. Öznitelikleri model tahminlerine yaptıkları genel katkıya göre sıralamak için ortalama mutlak SHAP değerlerini kullanarak bir SHAP öznitelik önem grafiği oluşturun.
      6. Hastaya özgü öznitelik katkılarını göstermek için temsilci bir test seti tahmini için bir SHAP şelale grafiği oluşturun.
      7. Seçilen bir öznitelik ile bu özniteliğin model çıktısına olan katkısı arasındaki ilişkiyi incelemek için bir SHAP öznitelik bağımlılık grafiği oluşturun.
      8. Bireysel model tahminlerinin yerel açıklamalarını oluşturmak için temsilci test seti tahminlerine LIME uygulayın.
      9. Tahmin edilen sonuçtaki bir değişiklikle ilişkili öznitelik değişikliklerini göstermek için hastaya özgü bir karşıt-olgusal (counterfactual) açıklama oluşturun.
      10. Veri modalitesine ve model mimarisine göre ek açıklanabilirlik teknikleri seçin.
      11. Uygun olduğunda, uyumlu görüntü tabanlı modeller için Grad-CAM veya belirginlik haritaları (saliency maps), transformer tabanlı mimariler için dikkat (attention) görselleştirmeleri ve diferansiyellenebilir modeller için Entegre Gradyanlar (Integrated Gradients) kullanın.
      12. Grad-CAM, belirginlik haritalama, dikkat görselleştirmesi ve Entegre Gradyanları genel, modaliteye bağımlı protokol seçenekleri olarak değerlendirin ve ilgili analizler gerçekten gerçekleştirilmediği sürece bunları Pima Indians Diabetes Veri Kümesi doğrulamasından elde edilen deneysel sonuçlar olarak yorumlamayın veya raporlamayın.
    3. Açıklanabilirlik yöntemlerini çalışılmış Pima doğrulamasına uygulayın
      1. Tablo model tahminlerinin global ve yerel açıklamalarını oluşturmak için Pima Indians Diabetes Veri Kümesi'ne SHAP ve LIME uygulayın.
      2. Pima doğrulama sonuçlarından SHAP özet, öznitelik önem, şelale ve öznitelik bağımlılığı görselleştirmeleri oluşturun.
      3. Temsilci test seti tahminleri için bir LIME yerel açıklaması oluşturun.
      4. Model tahminindeki bir değişiklikle ilişkili öznitelik değişikliklerini göstermek için hastaya özgü bir karşıt-olgusal açıklama oluşturun.
      5. Grad-CAM, dikkat görselleştirmesi, belirginlik haritalama ve Entegre Gradyanları, diğer sağlık hizmetleri veri türleri ve model mimarileri için modaliteye bağımlı açıklanabilirlik seçenekleri olarak değerlendirin.
      6. İlgili analizler gerçekten gerçekleştirilmediği sürece Grad-CAM, dikkat görselleştirmesi, belirginlik haritalama veya Entegre Gradyanları Pima çalışılmış doğrulamasından elde edilen deneysel bulgular olarak raporlamayın.
  2. Açıklama kalitesini değerlendirin
    1. Oluşturulan açıklamaların modelin tahmin sürecini yansıtıp yansıtmadığını değerlendirin. Tekrarlanan deneysel çalıştırmalarda açıklamaların kararlılığını ve özdeş hesaplama koşulları altında açıklama çıktılarının tutarlılığını değerlendirin.
    2. Uygun olduğunda, açıklama çıktılarının girdi verilerindeki değişikliklere karşı duyarlılığını değerlendirin. Oluşturulan açıklamaları mevcut alan bilgisi veya uzman yorumlarıyla karşılaştırın.
    3. Bu tür karşılaştırmalar mevcut olduğunda, yerleşik tıbbi bilgilerle örtüşen tahmin edici öznitelikleri veya anatomik bölgeleri belirleyin.
    4. Oluşturulan açıklamalar ile mevcut klinik yorum arasındaki uyum veya uyumsuzluk düzeyini kaydedin.
  3. Tahmin belirsizliğini nicelleştirin
    1. Seçilen model mimarisine ve sağlık uygulamasına uygun bir belirsizlik tahmini yöntemi kullanarak değerlendirilen örnekler için tahmin güven tahmini oluşturun.
    2. Uygun olduğunda Monte Carlo dropout, topluluk tabanlı (ensemble-based) tahmin, Bayesyen çıkarım, konformal tahmin veya doğrulanmış başka bir belirsizlik tahmini yaklaşımı uygulayın.
    3. Monte Carlo dropout kullanılırken stokastik tahmin geçişlerini tekrarlayın ve her değerlendirme örneği için ortalama tahmini ve tahmin varyansını hesaplayın.
    4. Tahmin güvenini veya belirsizlik aralıklarını, ilgili model tahminleriyle birlikte raporlayın.
    5. Belirsizlik tahminlerinin, daha düşük güvenilirlikle veya artan tahmin hatasıyla ilişkili tahminleri belirleyip belirlemediğini değerlendirin. Tekrarlanabilirliği sağlamak için belirsizlik tahmin yöntemini, parametrelerini, rastgele tohumlarını ve oluşturulan belirsizlik çıktılarını koruyun.
  4. Açıklanabilirlik çıktılarını belgeleyin ve koruyun
    1. Oluşturulan tüm öznitelik önem puanlarını, ısı haritalarını, belirginlik haritalarını, dikkat görselleştirmelerini ve hastaya özgü yorumları kaydedin. Açıklanabilirlik çıktılarını standartlaştırılmış dosya formatları kullanarak saklayın. Çıktıları, eğitilmiş model ve ön işleme yapılandırmasıyla birlikte arşivleyin.
    2. Açıklama oluşturma için kullanılan hesaplama ayarlarını, açıklama parametrelerini, yürütme süresini ve yazılım sürümlerini kaydedin. Bağımsız incelemeyi ve tekrarlanabilirliği kolaylaştırmak için eksiksiz açıklanabilirlik dokümantasyonunu koruyun.
  5. Açıklama kalitesini nicel olarak değerlendirin
    1. Önemli olarak tanımlanan öznitelikleri sistematik olarak bozarak veya maskeleyerek ve model çıktısındaki karşılık gelen değişikliği ölçerek açıklama sadakatini (faithfulness) değerlendirin. Atribüsyon büyüklüğünü, model tahmininde meydana gelen sonuçla karşılaştırarak bir açıklama sadakati puanı hesaplayın.
    2. Tekrarlanan çalıştırmalar, bozulmuş girdiler veya klinik olarak benzer örnekler için açıklamalar oluşturarak ve ortaya çıkan atribüsyon kalıpları arasındaki benzerliği hesaplayarak açıklama kararlılığını değerlendirin. Kontrollü girdi bozulmaları altında, tahmin edilen çıktı değişimi ile açıklama atribüsyonundan tahmin edilen değişim arasındaki tutarsızlığı ölçerek sadakatsizliği (infidelity) hesaplayın.
    3. Tıbbi görüntü açıklamaları için, referans anotasyonlar mevcut olduğunda, uzman tarafından tanımlanmış bir ilgi alanı (region of interest) kullanarak lokalizasyon doğruluğunu değerlendirin. Önceden tanımlanmış yorum kriterlerini kullanarak yetkin klinik uzmanlardan bağımsız değerlendirmeler alarak klinik yararlılığı değerlendirin.
    4. Birden fazla uzman, açıklama ilgisini veya uyumunu bağımsız olarak değerlendirdiğinde Cohen's kappa veya Fleiss' kappa hesaplayın.
      NOT: Eğitilmiş yapay zeka modelinin tahmin davranışını karakterize eden global ve yerel açıklamalar oluşturun. Şeffaf yorumlama ve tekrarlanabilir değerlendirme için açıklanabilirlik çıktılarını ve ilgili yapılandırmaları koruyun.

9. İstatistiksel doğrulama ve tekrarlanabilirlik değerlendirmesi gerçekleştirin

  1. İstatistiksel doğrulamayı gerçekleştirin
    1. Çalışma amacına, deneysel tasarıma, veri dağılımına ve değerlendirilen değişkenlerin özelliklerine göre istatistiksel yöntemleri seçin.
    2. Sürekli değişkenleri uygun şekilde ortalama ± standart sapma veya medyan ve çeyrekler arası aralık olarak; kategorik değişkenleri ise sayı ve yüzdeler olarak raporlayın.
    3. Model performans stabilitesini değerlendirmek için eğitim seti üzerinde beş katlı çapraz doğrulama yapın ve doğruluk, AUC-ROC, kesinlik, geri çağırma ve F1-skorunu katlar boyunca ortalama ± standart sapma olarak raporlayın. 1.000 bootstrap yeniden örneklemesi kullanarak bağımsız test seti performans metrikleri için %95 güven aralıklarını tahmin edin.
    4. Önerilen modeli; eşleşmiş doğruluk karşılaştırmaları için McNemar testi, korele AUC-ROC karşılaştırmaları için DeLong testi ve F1-skoru karşılaştırmaları için 1.000 yeniden örneklemeli eşleşmiş bootstrap testi kullanarak CNN, Random Forest ve SVM temel modelleri ile karşılaştırın.
    5. Her karşılaştırma için ilgili test istatistiğini ve kesin p-değerini raporlayın ve α = 0.05 iki yönlü anlamlılık düzeyini kullanın.
  2. Model performansını istatistiksel olarak karşılaştırın
    1. Önerilen açıklanabilir AI modelini, seçilen güncel makine öğrenimi ve derin öğrenim temel modelleri ile karşılaştırın.
    2. İki grubu karşılaştırırken uygun şekilde Student's t-testi veya Mann-Whitney U testini uygulayın. İkiden fazla grubun dahil olduğu uygun parametrik karşılaştırmalar için tek yönlü ANOVA'yı uygulayın. İkiden fazla grubun dahil olduğu uygun parametrik olmayan karşılaştırmalar için Kruskal-Wallis testini uygulayın.
    3. Orijinal makalede belirtildiği üzere, p < 0.05 değerini istatistiksel olarak anlamlı kabul edin.
    4. Tüm önceden tanımlanmış istatistiksel karşılaştırmalar için α = 0.05 iki yönlü anlamlılık düzeyini kullanın ve ilgili test istatistiklerini ve p-değerlerini raporlayın.
    5. Temel öngörücü performans metrikleri için %95 güven aralıklarını raporlayın.
    6. Uygun olduğunda, performans ölçümleri için güven aralıklarını tahmin etmek amacıyla bootstrap yeniden örneklemesi kullanın. Aynı denekler iki model tarafından değerlendirildiğinde, korele ROC-AUC değerlerini karşılaştırmak için DeLong testini kullanın. Aynı denekler için oluşturulan eşleşmiş kategorik sınıflandırma sonuçlarını karşılaştırmak için McNemar testini kullanın. Uygun olduğunda, F1-skoru veya diğer türetilmiş performans metriklerini karşılaştırmak için eşleşmiş bootstrap prosedürlerini kullanın.
    7. Olasılıksal tahminler mevcut olduğunda kalibrasyonu; kalibrasyon grafikleri, kalibrasyon eğimi/kesim noktası ve Brier skoru kullanarak değerlendirin.
    8. Uygulanan Pima Indians Diabetes Dataset doğrulaması için, önerilen model ve temel modeller için belirtilen önceden tanımlanmış eşleşmiş istatistiksel karşılaştırmayı kullanın. Seçilen testi, karşılaştırmaya uygun olarak, eşleşmiş test seti tahminlerine veya tekrarlanan çalıştırma performans ölçümlerine tutarlı bir şekilde uygulayın. İki yönlü α = 0.05 anlamlılık düzeyini kullanın ve test istatistiği ile kesin p-değerini raporlayın. Sonuçları Sonuçlar bölümünde sunulmadığı sürece alternatif istatistiksel testlerin gerçekleştirildiğini raporlamayın.
    9. İki yönlü testleri uygulayın ve istatistiksel anlamlılığı önceden tanımlanmış p < 0.05 eşiğini kullanarak yorumlayın.
  3. Model sağlamlığını değerlendirin
    1. Önceden tanımlanmış veri seti bölümlendirmesini, ön işleme prosedürlerini, model mimarisini, hiperparametreleri, yazılım ortamını ve değerlendirme protokolünü koruyarak, farklı rastgele tohumlar (random seeds) kullanarak tüm eğitim ve değerlendirme prosedürünü 10 kez tekrarlayın.
    2. Her bağımsız çalıştırma için AUC-ROC, doğruluk ve F1-skorunu kaydedin ve 10 çalıştırma boyunca ortalama ± standart sapmayı raporlayın.
    3. Farklı rastgele başlangıçlar altında öngörücü stabiliteyi ve tekrarlanabilirliği değerlendirmek için tekrarlanan çalışmalar sonucunda elde edilen performans değerlerini karşılaştırın.
  4. Açıklanabilirlik tekrarlanabilirliğini değerlendirin
    1. Açıklama stabilitesi değerlendirmesi dahil olduğunda, birden fazla deneysel çalışma boyunca özellik atamaları, dikkat haritaları veya diğer açıklama çıktılarını oluşturun. Tekrarlanan çalışmalar boyunca açıklama çıktılarını, uygun bir benzerlik veya sıra tabanlı uyum ölçütü kullanarak nicel olarak karşılaştırın.
    2. Mevcut Pima Indians Diabetes Dataset uygulamalı doğrulaması için, ilgili tekrarlanan açıklama çıktıları ve analizler gerçekleştirilmediği sürece nicel açıklama stabilitesi metriklerini raporlamayın.
    3. Uygun klinik değerlendirmeler mevcut olduğunda, model tarafından üretilen açıklamalar ile klinisyen yorumları arasındaki uyumu değerlendirin. Değerlendiriciler arasındaki uyumu değerlendirmek için uygun şekilde Cohen's kappa veya Fleiss' kappa değerini hesaplayın.
  5. Tekrarlanabilirliği belgeleyin
    1. Ham verileri, ön işleme prosedürlerini, kaynak kodu, eğitilmiş modelleri, hiperparametre yapılandırmalarını, açıklanabilirlik çıktılarını, istatistiksel analiz betiklerini ve oluşturulan sonuçları muhafaza edin.
    2. İş akışı boyunca kullanılan yazılım ortamını ve donanım yapılandırmasını kaydedin. Arşivlenen dosyaları ve yapılandırmaları kullanarak tüm iş akışını bağımsız olarak yeniden çalıştırın.
    3. Tekrarlanan öngörücü performansı orijinal deneysel sonuçlarla ve tekrarlanan model açıklamalarını orijinal açıklanabilirlik çıktılarıyla karşılaştırın.
    4. Tekrarlama sırasında gözlemlenen tüm farklılıkları kaydedin. Deneysel dokümantasyonu, bağımsız yürütme sırasında tespit edilen tekrarlanabilirlik gözlemlerini yansıtacak şekilde güncelleyin.
      NOT: Tekrarlanan deneyler boyunca değerlendirilebilecek istatistiksel olarak doğrulanmış öngörücü performans ve açıklanabilirlik sonuçları elde edin. Tüm iş akışının bağımsız doğrulanmasını sağlamak için yeterli hesaplama, analiz ve metodoloji dokümantasyonunu muhafaza edin.
  6. Tekrarlanabilirlik Kontrol Listesi
    1. Veri seti adını, sürümünü, edinme tarihini, kaynağını, dahil etme kriterlerini, hariç tutma kriterlerini ve nihai örnek sayısını kaydedin. Tüm ön işleme işlemlerini, dönüşüm parametrelerini, normalizasyon ayarlarını, özellik seçme prosedürlerini ve veri bölümlendirme kurallarını kaydedin.
    2. İşletim sistemini, CPU, GPU, RAM, Python sürümünü, framework sürümlerini ve kütüphane sürümlerini kaydedin. Tüm model mimarisi spesifikasyonlarını ve hiperparametreleri kaydedin.
    3. Optimize ediciyi, öğrenme oranını, batch boyutunu, epoch sayısını, kayıp fonksiyonunu, düzenleştirmeyi ve erken durdurma kriterlerini kaydedin. Tüm rastgele tohumları ve rastgele sayı üreteci ayarlarını kaydedin.
    4. Eğitilmiş model ağırlıklarını ve ön işleme yapılandırmalarını muhafaza edin. Eğitim günlüklerini, değerlendirme betiklerini, istatistiksel analiz betiklerini ve açıklanabilirlik çıktılarını muhafaza edin. Final deneyler için kullanılan model ve yazılım sürümlerini kaydedin.
    5. Bağımsız tekrarlama için gereken eksiksiz hesaplama ortamını muhafaza edin.
    6. Kaynak kodun, veri setlerinin, model ağırlıklarının ve destekleyici materyallerin; etik, yasal, lisanslama ve gizlilik kısıtlamalarına tabi olan erişilebilirliğini belgeleyin.
    7. Arşivlenen iş akışını bağımsız olarak yeniden çalıştırın ve tekrarlanan sonuçları orijinal sonuçlarla karşılaştırın.
    8. Tüm tekrarlanabilirlik gereksinimlerini standartlaştırılmış kontrol listesini kullanarak belgeleyin.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

Önerilen XAI çerçevesi, temsili sağlık veri seti olarak Pima Indians Diabetes Veri Seti kullanılarak uygulanmıştır. Pima Indians Diabetes Veri Seti, tek deneysel doğrulama veri seti olarak kullanılmıştır. Rapor edilen tüm öngörücü, açıklanabilirlik, istatistiksel ve tekrarlanabilirlik sonuçları bu veri setinden elde edilmiştir. TCGA-BRCA, TCGA-UCEC, MIMIC-III, ISIC 2019, HAM10000, OhioT1DM ve BraTS 2021 deneysel olarak değerlendirilmemiş olup, yalnızca genel protokolün farklı sağlık veri modaliteleri genelindeki uygulana...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

Sonuçlar, önerilen protokolün çeşitli sağlık hizmetleri veri kümelerinde XAI sistemlerini geliştirmek ve değerlendirmek için standartlaştırılmış ve tekrarlanabilir bir iş akışı olarak kullanım faydasını göstermektedir. Tablo 2 ve Şekil 3'te gösterildiği gibi, sistematik ön işleme; eksik değerlerin yönetimi, veri normalizasyonu, özellik ölçeklendirme ve veri kümesi bölümlendirme yoluyla standartlaştırılmış veriler üretmiş ve veri kalitesini artırmıştır. Veri hazırlığındaki de...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

Yazarlar, bu çalışmada bildirilen çalışmayı etkileyebilecek herhangi bir rakip finansal çıkarın, ticari ilişkinin veya kişisel ilişkinin bulunmadığını beyan ederler. Yazarların beyan edilecek herhangi bir çıkar çatışması yoktur.

Teşekkürler

Yazarlar, bu sağlık hizmetleri XAI protokolünün geliştirilmesi ve deneysel doğrulanması sırasında ilgili bağlı kurumları tarafından sağlanan kurumsal desteği kabul ederler. Yazarlar ayrıca deneysel analizleri yürütmek için kullanılan hesaplama olanaklarını ve yazılım kaynaklarını kabul ederler. Bu araştırma herhangi bir dış finansman almamıştır. Yazarlar; hesaplama analizi, veri görselleştirme ve bu çalışmada sunulan şekillerin oluşturulması için Python 3.11, Matplotlib 3.9 ve SciPy 1.13 kullanımını kabul ederler.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
CaptumMeta AIEn son kararlı sürümPyTorch açıklanabilirliği
CUDA ToolkitNVIDIA12.2GPU hızlandırma
cuDNNNVIDIA9.xDerin öğrenme arka ucu
GitGit SCMEn son kararlı sürümVersiyon kontrolü
GitHubGitHub Inc.Web platformuKaynak kod deposu
Grad-CAMjacobgilEn son sürümCNN görselleştirme
Jupyter NotebookProject JupyterEn son kararlı sürümEtkileşimli geliştirme
LightGBMMicrosoft4.xGradyan artırma
LIMELIME Community0.2.0Yerel açıklanabilirlik
MatplotlibMatplotlib Developers3.9Görselleştirme
Microsoft ExcelMicrosoftMicrosoft 365Veri organizasyonu
NumPyNumPy Developers1.26Sayısal hesaplama
NVIDIA RTX 4090 GPUNVIDIA24 GB VRAMModel eğitimi
OpenCVOpenCV Organization4.10Görüntü ön işleme
PandasPandas Development Team2.2Veri ön işleme
Pillow (PIL)Python Imaging Library10.xGörüntü işleme
PlotlyPlotly Technologies5.xEtkileşimli görselleştirme
PythonPython Software Foundation3.11Programlama ortamı
PyTorchPyTorch Foundation2.3Derin öğrenme
Scikit-learnScikit-learn Developers1.5Makine öğrenimi
SciPySciPy Developers1.13Bilimsel hesaplama
SeabornSeaborn Developers0.13İstatistiki grafikler
SHAPSHAP Community0.46Küresel açıklanabilirlik
SimpleITKInsight Software Consortium2.xTıbbi görüntü işleme
StatsmodelsStatsmodels Developers0.14İstatistiki analiz
Sistem RAMHerhangi bir üretici32 GB veya üzeriBellek
TensorBoardGoogle2.15Eğitim izleme
TensorFlowGoogle2.15Derin öğrenme
Ubuntu Linux / Windows 11Canonical / Microsoft22.04 LTS / 11İşletim sistemi
Visual Studio CodeMicrosoftEn son kararlı sürümKod geliştirme
XGBoostXGBoost Developers2.1Gradyan artırma

Kaynaklar

  1. Acosta JN, Falcone GJ, Rajpurkar P, Topol EJ. Multimodal biomedical AI. Nat Med. 2022;28(9):1773-1784.
  2. Tang AS, et al. Harnessing EHR data for health research. Nat Med. 2024;30(7):1847-1855.
  3. Zhang A, Xing L, Zou J, Wu JC. Shifting machine learning for healthcare from development to deployment and from models to data. Nat Biomed Eng. 2022;6(11):1330-1345.
  4. Bera K, et al. Predicting cancer outcomes with radiomics and artificial intelligence in radiology. Nat Rev Clin Oncol. 2022;19(2):132-146.
  5. Wenderott K, Krups J, Zaruchas F, Weigl M. Effects of artificial intelligence implementation on efficiency in medical imaging—a systematic literature review and meta-analysis. NPJ Digit Med. 2024;7(1):265.
  6. Kaissis GA, Makowski MR, Rückert D, Braren RF. Secure, privacy-preserving and federated machine learning in medical imaging. Nat Mach Intell. 2020;2(6):305-311.
  7. He J, et al. The practical implementation of artificial intelligence technologies in medicine. Nat Med. 2019;25(1):30-36.
  8. Antoniadi AM, et al. Current challenges and future opportunities for XAI in machine learning-based clinical decision support systems: A systematic review. Appl Sci (Basel). 2021;11(11):5088.
  9. Samek W, et al. Explaining deep neural networks and beyond: A review of methods and applications. Proc IEEE. 2021;109(3):247-278.
  10. Holzinger A, et al. Causability and explainability of artificial intelligence in medicine. WIREs Data Min Knowl Discov. 2019;9(4).
  11. Markus AF, Kors JA, Rijnbeek PR. The role of explainability in creating trustworthy artificial intelligence for health care: A comprehensive survey of the terminology, design choices, and evaluation strategies. Nat Biomed Eng. 2021;5(9):996-1011.
  12. Arrieta AB, et al. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion. 2020;58:82-115.
  13. Selvaraju RR, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [conference paper]. Presented at: IEEE International Conference on Computer Vision (ICCV); Venice, Italy; 2017:618-626. https://openaccess.thecvf.com/content_iccv_2017/html/Selvaraju_Grad-CAM_Visual_Explanations_ICCV_2017_paper.html
  14. Tonekaboni S, Joshi S, McCradden MD, Goldenberg A. What clinicians want: Contextualizing explainable machine learning for clinical end use. Nat Mach Intell. 2019;1(12):572-584.
  15. Sundararajan M, Taly A, Yan Q. Axiomatic attribution for deep networks [conference paper]. Presented at: 34th International Conference on Machine Learning; Sydney, Australia; 2017;70:3319-3328. https://proceedings.mlr.press/v70/sundararajan17a.html
  16. Ribeiro MT, Singh S, Guestrin C. “Why should I trust you?”: Explaining the predictions of any classifier [conference paper]. Presented at: 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; San Francisco, CA; 2016:1135-1144.
  17. Desai S, Ramaswamy HG. Ablation-CAM: Visual explanations for deep convolutional network via gradient-free localization [conference paper]. Presented at: IEEE/CVF Winter Conference on Applications of Computer Vision (WACV); 2020:983-991.
  18. Belle V, Papantonis I. Principles and practice of explainable machine learning. Front Big Data. 2021;4:688969.
  19. Vilone G, Longo L. Notions of explainability and evaluation approaches for explainable artificial intelligence. Inf Fusion. 2021;76:89-106.
  20. Ali S, et al. Explainable artificial intelligence (XAI): What we know and what is left to attain trustworthy artificial intelligence. Inf Fusion. 2023;99:101805.
  21. Gundersen OE, Kjensmo S. State of the art: Reproducibility in artificial intelligence [conference paper]. Presented at: Thirty-Second AAAI Conference on Artificial Intelligence; New Orleans, LA; 2018:1644-1651. https://ojs.aaai.org/index.php/AAAI/article/view/11503
  22. Hutson M. Artificial intelligence faces reproducibility crisis. Science. 2018;359(6377):725-726.
  23. Pineau J, et al. Improving reproducibility in machine learning research: A report from the NeurIPS 2019 reproducibility program. J Mach Learn Res. 2021;22(164):1-20.
  24. U.S. Food and Drug Administration, Health Canada, Medicines and Healthcare products Regulatory Agency. Good Machine Learning Practice for Medical Device Development: Guiding Principles. 2021.
  25. Liu X, et al. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: The CONSORT-AI extension. Nat Med. 2020;26(9):1364-1374.
  26. Mongan J, Moy L, Kahn CE Jr. Checklist for Artificial Intelligence in Medical Imaging (CLAIM): A guide for authors and reviewers. Radiol Artif Intell. 2020;2(2).
  27. Peng RD. Reproducible research in computational science. Science. 2011;334(6060):1226-1227.
  28. Collins GS, et al. Protocol for development of the TRIPOD-AI and PROBAST-AI reporting and risk-of-bias tools for studies developing, validating, or updating prediction models based on artificial intelligence. BMJ Open. 2021;11.
  29. Kapoor S, Narayanan A. Leakage and the reproducibility crisis in machine-learning-based science. Patterns. 2023;4(9):100804.
  30. Wiens J, et al. Do no harm: A roadmap for responsible machine learning for health care. Nat Med. 2019;25(9):1337-1340.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Daha fazla makale keşfet

Açıklanabilir Yapay ZekaSağlık Hizmetleri YZ ModelleriModel YorumlanabilirliğiTekrarlanabilir ProtokolÖngörücü PerformansÖznitelik Mühendisliğiİstatistiksel DoğrulamaSHAP AçıklamalarıLIME AçıklamalarıKarşıolgusal Açıklamalar
Bize Ulaşın
Kütüphaneye Öner

Gizlilik

Kullanım Koşulları

Politikalar

Telif Hakkı © 2026 MyJoVE Corporation. Tüm hakları saklıdır.