Метрики оценки медицинских применений искусственного интеллекта

Клиницистам и разработчикам программного обеспечения необходимо понимать, каким образом предлагаемые модели машинного обучения (МО) могут улучшить оказание медицинской помощи пациентам. Ни одна отдельная метрика не отражает всех желательных свойств модели, поэтому для обобщения ее производительности обычно приводят несколько метрик. К сожалению, многим клиницистам трудно интерпретировать эти показатели. Кроме того, объективное сравнение моделей в разных исследованиях представляет собой сложную задачу, и не существует инструмента для сравнения моделей с использованием одинаковых показателей эффективности. В данной статье рассматриваются предыдущие исследования с применением МО в гастроэнтерологии, объясняется значение различных метрик в контексте бинарной классификации в представленных исследованиях и подробно описывается, как следует интерпретировать эти метрики. Мы также представляем веб-инструмент с открытым исходным кодом, который может использоваться для расчета наиболее релевантных метрик, рассмотренных в данной статье, чтобы другие исследователи и клиницисты могли легко применять их в своих исследованиях.