Система оценки предвзятости больших языковых моделей в условиях здравоохранения

Framework for bias evaluation in large language models in healthcare settings
Nasa Sinnott-Armstrong, Junier B. Oliva, Tara Templin, Sophia Fort, Prasanna S. Padmanabham, Pratyush Seshadri, Ram Rimal, Kristin Hassmiller Lich, Sean Sylvia
2025-07-07

рамочная система аудитаоценка предвзятостиподдержка клинических решениймедицинские условиябольшие языковые модели
Критически важным пробелом в использовании больших языковых моделей для поддержки принятия клинических решений с помощью искусственного интеллекта является отсутствие стандартизированной системы аудита для оценки точности и предвзятости моделей. Наша система представляет собой пятиэтапный подход, который помогает специалистам взаимодействовать с заинтересованными сторонами, адаптировать модели к конкретным популяциям пациентов и проводить строгие испытания с использованием клинически значимых сценариев. Мы предлагаем общедоступные инструменты для взаимодействия с заинтересованными сторонами и пример аудита. По мере усиления значимости регулирования моделей мы считаем, что внедрение системы аудита, проверяющей результаты работы моделей, а не регулирующей конкретные гиперпараметры или входные данные, будет способствовать ответственному использованию искусственного интеллекта в клинических условиях.
1
Предложена пятиэтапная система аудита, включающая взаимодействие с заинтересованными сторонами, калибровку под конкретные группы пациентов и тестирование на клинически значимых сценариях.
2
Авторы утверждают, что регулирование и аудит выходных данных моделей, а не предписание конкретных гиперпараметров или входных данных, лучше поддерживают ответственное использование ИИ в клинической практике.
3
Система предназначена для удовлетворения растущих регуляторных потребностей и содействия более безопасному внедрению больших языковых моделей в здравоохранении.
4
Система включает открытые инструменты для взаимодействия с заинтересованными сторонами и пример аудита, облегчающие практическое применение.
5
В статье выявлен критический пробел: отсутствует стандартизированная система для оценки точности и предвзятости больших языковых моделей в поддержке клинических решений.

большие языковые модели, используемые для принятия клинических решений с помощью ИИ в медицинских условиях

точность и предвзятость выходных данных моделей, оцениваемые с помощью стандартизированной клинической аудиторской системы для конкретных популяций пациентов и клинически значимых сценариев

Publication Details
Publication Date
2025-07-07
Journal
Publisher
ISSN
Cited by
61
Access Type
Author Information
Authors
Nasa Sinnott-Armstrong
Junier B. Oliva
Tara Templin
Sophia Fort
Prasanna S. Padmanabham
Pratyush Seshadri
Ram Rimal
Kristin Hassmiller Lich
Sean Sylvia
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%