Оценка зрелости технологий искусственного интеллекта для здравоохранения: методология и ее применение на материалах московского эксперимента по компьютерному зрению в лучевой диагностике

Цель работы разработать и апробировать методологию оценки зрелости программного обеспечения на основе технологии искусственного интеллекта (ТИИ) для сферы здравоохранения.

Материалы и методы. Методология разработки матрицы зрелости программного обеспечения на основе ТИИ для сферы здравоохранения основана на литературных данных и на анализе собственного практического опыта, полученного в ходе «Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы» в 2021–2022 гг. Изучены результаты работы 35 отдельных программных продуктов на основе ТИИ, охватывающих основные направления лучевой диагностики.

Результаты. Разработана матрица зрелости, учитывающая показатели технической стабильности — удельный вес технологических дефектов, и диагностическую составляющую — площадь под характеристической кривой. Данная модель апробирована на 35 программных продуктах на основе ТИИ. Зрелости достигли 40% рассмотренных программных продуктов. Для 24 программных продуктов на основе ТИИ проведена оценка динамики развития: 15 из них (62%) находятся в зоне диагностической стагнации; 8 (33%) — в зоне высокого диагностического и технического потенциала, 1 (4%) — в зоне низкого диагностического и технического потенциала и 1 (4%) при развитии диагностического потенциала ухудшил техническую составляющую.

Заключение. По результатам оценки качества работы 35 программных продуктов на основе ТИИ разработана методология оценки зрелости ТИИ для здравоохранения, которая включает в себя матрицу зрелости и метод оценки клинико-технической трансформации зрелости, что позволяет проводить оценку программного продукта на основе ТИИ как дискретно (одномоментно), так и в динамике.

1. Пугачев П.С., Гусев А.В., Кобякова О.С., Кадыров Ф.Н., Гаврилов Д.В., Новицкий Р.Э., Владзимирский А.В. Мировые тренды цифровой трансформации отрасли здравоохранения // Национальное здравоохранение. — 2021. — Т.2. — №2. — С.5-12.

2. Лисицкий Н.Н., Антохин Ю.Н. Управление цифровым развитием организационной системы российского здравоохранения: национальная и глобальная повестка // Экономика. Право. Инновации. — 2021. — №4. — С.49-54.

3. Гусев А.В., Владзимирский А.В., Голубев Н.А., Зарубина Т.В. Информатизация здравоохранения Российской Федерации: история и результаты развития // Национальное здравоохранение. — 2021. — Т.2. — №3. — С.5-17

4. Iyamu I, Xu AXT, Gómez-Ramírez O, Ablona A, Chang HJ, Mckee G, Gilbert M. Defining Digital Public Health and the Role of Digitization, Digitalization, and Digital Transformation: Scoping Review. JMIR Public Health Surveill. 2021; 7(11): e30399. doi: 10.2196/30399.

5. Орлов Г.М., Левин М.Б. Методологические подходы к разработке эталонных моделей государственных информационных систем в сфере здравоохранения субъектов Российской Федерации // Информационные ресурсы России. — 2021. — №2. — 180. — С.20-27.

6. Cresswell K, Sheikh A, Krasuska M, Heeney C, Franklin BD, Lane W, Mozaffar H, Mason K, Eason S, Hinder S, Potts HWW, Williams R. Reconceptualising the digital maturity of health systems. Lancet Digit Health. 2019; 1(5): e200-e201. doi: 10.1016/S2589-7500(19)30083-4.

7. Kouroubali A, Papastilianou A, Katehakis DG. Preliminary Assessment of the Interoperability Maturity of Healthcare Digital Services vs Public Services of Other Sectors. Stud Health Technol Inform. 2019; 264: 654-658. doi: 10.3233/SHTI190304.

8. Liaw ST, Zhou R, Ansari S, Gao J. A digital health profile & maturity assessment toolkit: cocreation and testing in the Pacific Islands. J Am Med Inform Assoc. 2021; 28(3): 494-503. doi: 10.1093/jamia/ocaa255.

9. Duncan R, Eden R, Woods L, Wong I, Sullivan C. Synthesizing Dimensions of Digital Maturity in Hospitals: Systematic Review. J Med Internet Res. 2022; 24(3): e32994. doi: 10.2196/32994.

10. Woods L, Eden R, Pearce A, Wong YCI, Jayan L, Green D, McNeil K, Sullivan C. Evaluating Digital Health Capability at Scale Using the Digital Health Indicator. Appl Clin Inform. 2022; 13(5): 991-1001. doi: 10.1055/s-0042-1757554.

11. Орлов Г.М. Метод измерения цифровой зрелости региональной системы записи к врачу на основе эталонной сервисной модели. International Journal of Open Information Technologies. — 2020. — Т.8. — №11. — С. 110-121.

12. Шулькин И.М., Владзимирский А.В. Управление на основе данных в лучевой диагностике: оценка результативности модели Единого радиологического информационного сервиса // Менеджер здравоохранения. — 2022. — №7. — С.68-80.

13. Studzinski J. Evaluating the maturity of IT-supported clinical imaging and diagnosis using the Digital Imaging Adoption Model : Are your clinical imaging processes ready for the digital era? Radiologe. 2017; 57(6): 466-469. doi: 10.1007/s00117-017-0253-8.

14. Морозов С.П., Владзимирский А.В., Сафронов Д.С. Бенчмаркинг для оценки качества цифровизации отделений лучевой диагностики: разработка методологии // Врач и информационные технологии. — 2019. — №1. — С.40-45

15. Flott K, Callahan R, Darzi A, Mayer E. A Patient-Centered Framework for Evaluating Digital Maturity of Health Services: A Systematic Review. J Med Internet Res. 2016; 18(4): e75. doi: 10.2196/jmir.5047.

16. Khanbhai M, Flott K, Darzi A, Mayer E. Evaluating Digital Maturity and Patient Acceptability of RealTime Patient Experience Feedback Systems: Systematic Review. J Med Internet Res. 2019; 21(1): e9076. doi: 10.2196/jmir.9076.

17. Гусев А.В., Астапенко Е.М., Иванов И.В., Зарубина Т.В., Кобринский Б.А. Принципы формирования доверия к системам искусственного интеллекта для сферы здравоохранения // Вестник Росздравнадзора. — 2022. — №2. — С.25-33

18. Schoonenboom J, Johnson RB. How to Construct a Mixed Methods Research Design. Kolner Z Soz Sozpsychol. 2017; 69(2): 107-131. doi:10.1007/s11577-017-0454-1.

19. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента: монография / Под ред. Ю.А. Васильева, А.В. Владзимирского. — М. Ридеро, 2022. — 388 с.

20. Постановление Правительства Москвы от 21.11.2019 №1543-ПП (в ред. от 22.02.2022 №225- ПП).

21. Морозов С.П., Владзимирский А.В., Шарова Д.Е., Ахмад Е.С., Зинченко В.В. Первые национальные стандарты Российской Федерации на системы искусственного интеллекта в медицине // Менеджмент качества в медицине. — 2022. — №1. — С.58-62.

22. Приказ Департамента здравоохранения города Москвы от 24.02.2022 №160 «Об утверждении Порядка и условий проведения эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы».

23. Морозов С.П., Владзимирский А.В., Кляшторный В.Г. и др. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика). — Москва: Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы, 2019.

24. Sadiq RB, Safie N, Abd Rahman AH, Goudarzi S. Artificial intelligence maturity model: a systematic literature review. PeerJ Comput Sci. 2021; 7: e661. doi: 10.7717/peerj-cs.661.

25. Coates DL, Martin A. An instrument to evaluate the maturity of bias governance capability in artificial intelligence projects. IBM Journal of Research and Development. 2019; 4(5): 1–7; 15. doi: 10.1147/JRD.2019.2915062.

26. Kreutzer RT, Sirrenberg M. AI challenge — how artificial intelligence can be anchored in a company. Understanding Artificial Intelligence 2020; Cham: Springer; 2020: 235-273.

27. Lichtenthaler U. Five maturity levels of managing AI: from isolated ignorance to integrated intelligence. Journal of Innovation Management. 2020; 8(1): 39-50. doi: 10.24840/2183-0606_008.001_0005.

28. Ellefsen APT, Oleśków-Szłapka J, Pawłowski G, Toboła A. Striving for excellence in AI implementation: AI maturity model framework and preliminary research results. LogForum. 2019; 15: 363-376.

29. Tu H, Lin Z, Lee K. Automation With Intelligence in Drug Research. Clin Ther. 2019; 41(11): 2436-2444. doi: 10.1016/j.clinthera.2019.09.002.

30. Lamberti MJ, Wilkinson M, Donzanti BA, Wohlhieter GE, Parikh S, Wilkins RG, Getz K. A Study on the Application and Use of Artificial Intelligence to Support Drug Development. Clin Ther. 2019; 41(8): 1414-1426. doi: 10.1016/j.clinthera.2019.05.018.

31. Tariq A, Purkayastha S, Padmanaban GP, Krupinski E, Trivedi H, Banerjee I, Gichoya JW. Current Clinical Applications of Artificial Intelligence in Radiology and Their Best Supporting Evidence. J Am Coll Radiol. 2020; 17(11): 1371-1381. doi: 10.1016/j.jacr.2020.08.018.

32. Kelly BS, Judge C, Bollard SM, Clifford SM, Healy GM, Aziz A, Mathur P, Islam S, Yeom KW, Lawlor A, Killeen RP. Radiology artificial intelligence: a systematic review and evaluation of methods (RAISE). Eur Radiol. 2022 Apr 14. doi: 10.1007/s00330-022-08784-6.

33. Jin C, Chen W, Cao Y, Xu Z, Tan Z, Zhang X, Deng L, Zheng C, Zhou J, Shi H, Feng J. Development and evaluation of an artificial intelligence system for COVID-19 diagnosis. Nat Commun. 2020; 11(1): 5088. doi: 10.1038/s41467-020-18685-1.

34. Namiri NK, Lee J, Astuto B, Liu F, Shah R, Majumdar S, Pedoia V. Deep learning for large scale MRIbased morphological phenotyping of osteoarthritis. Sci Rep. 2021; 11(1): 10915. doi: 10.1038/s41598-021-90292-6.

35. Stemmer A, Shadmi R, Bregman-Amitai O, Chettrit D, Blagev D, Orlovsky M, Deutsch L, Elnekave E. Using machine learning algorithms to review computed tomography scans and assess risk for cardiovascular disease: Retrospective analysis from the National Lung Screening Trial (NLST). PLoS One. 2020; 15(8): e0236021. doi: 10.1371/journal.pone.0236021.

36. Kuo RYL, Harrison C, Curran TA, Jones B, Freethy A, Cussons D, Stewart M, Collins GS, Furniss D. Artificial Intelligence in Fracture Detection: A Systematic Review and Meta-Analysis. Radiology. 2022 Jul; 304(1): 50-62. doi: 10.1148/radiol.211785.

37. Murray NM, Unberath M, Hager GD, Hui FK. Artificial intelligence to diagnose ischemic stroke and identify large vessel occlusions: a systematic review. J Neurointerv Surg. 2020; 12(2): 156-164. doi: 10.1136/neurintsurg-2019-015135.

38. Гаврилов П.В., Гаврилова О.П., Смольникова У.А. Выявление периферических образований в легких с использованием программы автоматизированного анализа флюорографических изображений // Лучевая диагностика и терапия. — 2020. — №S1. — С.77.

39. Дрокин И.С., Еричева Е.В., Бухвалов О.Л., Пилюс П.С., Малыгина Т.С., Синицын В.Е. Опыт разработки и внедрения системы поиска онкологических образований с помощью искусственного интеллекта на примере рентгеновской компьютерной томографии легких // Врач и информационные технологии. — 2019. — №3. — С.48-57.

40. Павлович П.И., Бронов О.Ю., Капнинский А.А., Абович Ю.А., Рычагова Н.И. Сравнительное исследование результатов анализа данных цифровой маммографии системы на основе искусственного интеллекта «Цельс» и врачей-рентгенологов // Digital Diagnostics. — 2021. — Т.2. — №S2. — С.22-23

41. Комарь П.А., Дмитриев В.С., Ледяева А.М., Шадеркин И.А., Зеленский М.М. Рейтинг стартапов искусственного интеллекта: перспективы для здравоохранения России // Российский журнал телемедицины и электронного здравоохранения. — 2021. — Т.7. — №3. — С.32-41.