Предвзятость в медицинском искусственном интеллекте: последствия для принятия клинических решений

Bias in medical AI: Implications for clinical decision-making
John A. Onofrey, James M. Cross, Michael Andrew Choma, James L. Cross
2024-11-07

алгоритмическая предвзятостьпринятие клинических решенийдиспаритеты в здравоохранениимедицинский искусственный интеллектинтерпретируемость моделей
Предвзятость в медицинском искусственном интеллекте (ИИ) возникает и накапливается на протяжении всего жизненного цикла ИИ. Такая предвзятость может иметь значимые клинические последствия, особенно в приложениях, связанных с принятием клинических решений. При отсутствии мер по ее устранению предвзятый медицинский ИИ может приводить к решениям, не соответствующим надлежащему уровню клинической помощи, а также к сохранению и усилению давних различий в здравоохранении. Мы рассматриваем потенциальные источники предвзятости, возникающие на разных этапах разработки ИИ, и их влияние на алгоритмы ИИ и принятие клинических решений. Предвзятость может возникать в признаках и метках данных, при разработке и оценке моделей, их внедрении и публикации. Недостаточный размер выборки для отдельных групп пациентов может приводить к неоптимальной производительности, заниженной оценке алгоритма и клинически незначимым прогнозам. Отсутствующие данные о состоянии пациентов также могут обусловливать предвзятое поведение модели, включая поддающиеся регистрации, но неслучайно отсутствующие данные, такие как коды диагнозов, а также данные, которые обычно не регистрируются или трудно поддаются регистрации, например социальные детерминанты здоровья. Метки, размеченные экспертами и используемые для обучения моделей с учителем, могут отражать неявные когнитивные предубеждения или практики оказания помощи, не соответствующие надлежащему уровню. Чрезмерная опора на метрики производительности при разработке модели может скрывать предвзятость и снижать клиническую полезность модели. При применении к данным, не входящим в обучающую когорту, производительность модели может ухудшаться по сравнению с предыдущей валидацией, причем неодинаково в разных подгруппах. Взаимодействие конечных пользователей с внедренными решениями также может вносить предвзятость. Наконец, место и авторство разработки и публикации моделей влияют на направления и приоритеты будущего развития медицинского ИИ. Меры по снижению предвзятости необходимо внедрять тщательно; они включают сбор больших и разнообразных наборов данных, статистические методы устранения предвзятости, всестороннюю оценку моделей, акцент на интерпретируемости моделей, а также стандартизированные требования к отчетности о предвзятости и прозрачности. До внедрения в реальную клиническую практику необходима строгая вал...
1
Предвзятость может возникать и накапливаться на всех этапах жизненного цикла медицинского ИИ, включая данные, разметку, моделирование, оценку, внедрение и публикацию.
2
Экспертные аннотации могут отражать неявные когнитивные предубеждения или ненадлежащие практики лечения, а опора на агрегированные метрики может скрывать клинически значимую предвзятость.
3
Отсутствующие или неслучайно фиксируемые признаки, включая коды диагнозов и социальные детерминанты здоровья, могут вызывать систематически предвзятое поведение моделей.
4
При применении за пределами обучающей когорты эффективность модели может снижаться, причём неодинаково в разных подгруппах пациентов; дополнительную предвзятость могут вносить действия пользователей.
5
Для снижения предвзятости рекомендуются большие разнообразные наборы данных, статистические методы дебайасинга, тщательная оценка подгрупп, интерпретируемость и стандартизированная отчётность о предвзятости до клинического внедрения.
6
Недостаточная представленность отдельных групп пациентов может снижать производительность моделей, приводить к недооценке алгоритмами и клинически бессмысленным прогнозам.

системы искусственного интеллекта в медицине, используемые для принятия клинических решений

смещения на всех этапах жизненного цикла ИИ и их влияние на производительность алгоритмов, клиническую полезность, принятие решений и неравенство в сфере здравоохранения

Publication Details
Publication Date
2024-11-07
Journal
Publisher
ISSN
Cited by
847
Access Type
Author Information
Authors
John A. Onofrey
James M. Cross
Michael Andrew Choma
James L. Cross
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%