Опыт применения программного обеспечения на основе технологий искусственного интеллекта на данных 800 тысяч флюорографических исследований

Цель: Оценить опыт применения программного обеспечения на основе технологий искусственного интеллекта в рамках Московского эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений.

 Материал и методы: проведено ретроспективное исследование. В работу включены заключения 3 ИИ-сервисов по 822 тысячам флюорографических исследований за период с 05.01.2022 по 29.12.2022. В 28341 исследовании присутствовала патология (3,4%). Оценка проводилась с помощью метрик качества бинарных классификаторов и статистических методов. Произведена оценка метрик в зависимости от порога срабатывания ИИ-сервиса.

Результаты: Отмечается выраженный дисбаланс исследований с нормой и патологией. Получены высокие значения дисбаланс-чувствительных метрик и низкие значения дисбаланс-нечувствительных метрик, что связано с высокой долей ложноположительных и ложноотрицательных результатов. При изменении порога срабатывания можно добиться снижения количества ложноотрицательных результатов. Так, например, один из ИИ-сервисов при пороге 0,05 правильно выявил 46,8% исследований с нормой при отсутствии ложноотрицательных результатов.

 Выводы: Количество ложноотрицательных заключений для рассмотренных версий ИИ-сервисов является препятствием для автономного их внедрения в рутинную практику, что требует их доработки. Оптимизацией порога срабатывания сервиса можно добиться безошибочного определения 46,8% исследований с нормой, но ввиду закрытости ИИ-сервисов этот метод ограничен. Дальнейшие варианты оптимизации сервисов требуют дополнительного изучения.

1. World Heath Organization. Mortality and global health estimates. Available at: https://www.who.int/data/gho/data/themes/mortality-and-global-health-estimates. Accessed Mar 28. 2023.

2. Sung H, Ferlay J, Siege RL, et al. Global cancer statistics 2020: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries. CA Cancer J Clin. 2021; 71(3): 209-249. doi: 10.3322/caac.21660.

3. Федеральная служба государственной статистики. Число умерших по основным классам причин смерти. Доступно по: https://rosstat.gov.ru/storage/mediabank/demo24-1_2021.xls. Ссылка активна на 28.03.2023.

4. Состояние онкологической помощи населению России в 2021 году. / Под ред. Каприна А.Д., Старинского В.В., Шахзадовой А.О. — М.: МНИОИ им. П.А. Герцена, 2022.

5. Синицын В.Е., Тюрин И.Е., Митьков В.В. Временные согласительные методические рекомендации Российского общества рентгенологов и радиологов (РОРР) и Российской ассоциации специалистов ультразвуковой диагностики в медицине (РАСУДМ) «Методы лучевой диагностики пневмонии при новой коронавирусной инфекции COVID-19» (версия 2) // Вестник рентгенологии и радиологии. — 2020. — Т.101. — №2. — С.72-89. doi: 10.20862/0042-4676-2020-101-2-72-89

6. Colman J, Zamfir G, Sheehan F, et al. Chest radiograph characteristics in COVID-19 infection and their association with survival. Eur J Radiol Open. 2021; 8: 100360. doi: 10.1016/j.ejro.2021.100360.

7. ACR. ACR Recommendations for the use of Chest Radiography and Computed Tomography (CT) for Suspected COVID-19 Infection. Available at: https://www.acr.org/Advocacy-and-Economics/ACR-Position-Statements/Recommendations-for-Chest-Radiography-and-CT-for-Suspected-COVID19-Infection. Accessed Mar 28. 2023.

8. Wong HYF, Lam HYS, Fong AH, et al. Frequency and Distribution of Chest Radiographic Findings in Patients Positive for COVID-19. Radiology. 2020; 296(2): E72-E78. doi: 10.1148/radiol.2020201160.

9. Морозов С.П., Проценко Д.Н., Сметанина С.В. и др. Лучевая диагностика коронавирусной болезни (COVID-19): организация, методология, интерпретация результатов: методические рекомендации. — М.: ГБУЗ «НПКЦ ДиТ ДЗМ», 2020.

10. Segal B, Rubin DM, Rubin G, Pantanowitz A. Evaluating the Clinical Realism of Synthetic Chest X-Rays Generated Using Progressively Growing GANs. SN Comput Sci. 2021; 2(4): 321. doi: 10.1007/s42979-021-00720-7.

11. Rahman T, Chowdhury MEH, Khandakar A, et al. Transfer Learning with Deep Convolutional Neural Network (CNN) for Pneumonia Detection Using Chest X-ray. Applied Sciences. 2020; 10(9): 3233. doi: 10.3390/app10093233.

12. Gazda M, Plavka J, Gazda J, Drotár P. Self-Supervised Deep Convolutional Neural Network for Chest X-Ray Classification. IEEE Access. 2021; 9: 151972-151982. doi: 10.1109/ACCESS.2021.3125324.

13. Wu JT, Wong KCL, Gur Y, et al. Comparison of Chest Radiograph Interpretations by Artificial Intelligence Algorithm vs Radiology Residents. JAMA Netw Open. 2020; 3(10): e2022779. doi: 10.1001/jamanetworkopen.2020.22779.

14. Arzamasov K, Vasilev Y, Vladzymyrskyy A, et al. An International Non-Inferiority Study for the Benchmarking of AI for Routine Radiology Cases: Chest X-ray, Fluorography and Mammography. Healthcare (Basel). 2023; 11(12): 1684. doi: 10.3390/healthcare11121684.

15. Huang XM, Yang BF, Zheng WL, et al. Cost-effectiveness of artificial intelligence screening for diabetic retinopathy in rural China. BMC Health Serv Res. 2022; 22(1): 260. doi: 10.1186/s12913-022-07655-6.

16. Романовсков Ю.Ф., Коновалов В.К., Колмогоров В.Г. Заочная консультация рентгенологических исследований в Алтайском крае // Digital Diagnostics. — 2021. — Т.2. — №1S. — С.26-27. doi: 10.17816/DD20211s26.

17. Приказ Департамента здравоохранения города Москвы от 19.02.2020 №142 «Об утверждении Порядка и условий проведения эксперимента на использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы». Доступно по: https://mosmed.ai/documents/9/Приказ_департамента_здравоохранения_города_Москвы_от_19.02.202015142.pdf_lFf9_slECRah.pdf. Ссылка активна на 28.03.2023.

18. Васильев Ю.А., Владзимирский А.В., Арзамасов К.М., и др. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента: Монография. 2-е издание, переработанное и дополненное. — М.: Издательские решения, 2023.

19. Свидетельство РФ о государственной регистрации программы для ЭВМ №2022617324. Морозов С.П., Андрейченко А.Е., Четвериков С.Ф., и др.Веб-инструмент для выполнения ROC анализа результатов диагностических тестов: №2022616046/19.04.2022.

20. Luque A, Carrasco A, Martín F, Heras A. The impact of class imbalance in classification performance metrics based on the binary confusion matrix. Pattern Recognition. 2019; 91: 216-231. doi: 10.1016/j.patcog.2019.02.023.

21. Mortaz E. Imbalance accuracy metric for model selection in multi-class imbalance classification problems. Knowledge-Based Systems. 2020; 210: 106490. doi: 10.1016/j.knosys.2020.106490.

22. Sokolova M, Lapalme G. A systematic analysis of performance measures for classification tasks. Information Processing & Management. 2009; 45: 427-437. doi: 10.1016/j.ipm.2009.03.002.

23. Chicco D, Warrens MJ, Jurman G. The Matthews Correlation Coefficient (MCC) is More Informative Than Cohen’s Kappa and Brier Score in Binary Classification Assessment. IEEE Access. 2021; 9: 78368-78381. doi: 10.1109/ACCESS.2021.3084050.

24. Liz H, Huertas-Tato J, Sánchez-Montañés M, et al. Deep learning for understanding multilabel imbalanced Chest X-ray datasets. Future Generation Computer Systems. 2023; 144: 291-306. doi: 10.1016/j.future.2023.03.005.

25. Minaee S, Kafieh R, Sonka M, et al. Deep-COVID: Predicting COVID-19 from chest X-ray images using deep transfer learning. Med Image Anal. 2020; 65: 101794. doi: 10.1016/j.media.2020.101794.

26. Bharodiya AK, Atul MG. An Improved Segmentation Algorithm For X-Ray Images Based On Adaptive Thresholding Classification. International Journal of Scientific & Technology Research. 2019; 8(9): 1617-1623