Система оценки предвзятости больших языковых моделей в условиях здравоохранения
Framework for bias evaluation in large language models in healthcare settings
2025-07-07
SCID: 54.1/evkbyvej
Discuss with AI
рамочная система аудитаоценка предвзятостиподдержка клинических решениймедицинские условиябольшие языковые модели
Figures from the paper
Abstract (AI)
Критически важным пробелом в использовании больших языковых моделей для поддержки принятия клинических решений с помощью искусственного интеллекта является отсутствие стандартизированной системы аудита для оценки точности и предвзятости моделей. Наша система представляет собой пятиэтапный подход, который помогает специалистам взаимодействовать с заинтересованными сторонами, адаптировать модели к конкретным популяциям пациентов и проводить строгие испытания с использованием клинически значимых сценариев. Мы предлагаем общедоступные инструменты для взаимодействия с заинтересованными сторонами и пример аудита. По мере усиления значимости регулирования моделей мы считаем, что внедрение системы аудита, проверяющей результаты работы моделей, а не регулирующей конкретные гиперпараметры или входные данные, будет способствовать ответственному использованию искусственного интеллекта в клинических условиях.
Key Findings
1
Предложена пятиэтапная система аудита, включающая взаимодействие с заинтересованными сторонами, калибровку под конкретные группы пациентов и тестирование на клинически значимых сценариях.
2
Авторы утверждают, что регулирование и аудит выходных данных моделей, а не предписание конкретных гиперпараметров или входных данных, лучше поддерживают ответственное использование ИИ в клинической практике.
3
Система предназначена для удовлетворения растущих регуляторных потребностей и содействия более безопасному внедрению больших языковых моделей в здравоохранении.
4
Система включает открытые инструменты для взаимодействия с заинтересованными сторонами и пример аудита, облегчающие практическое применение.
5
В статье выявлен критический пробел: отсутствует стандартизированная система для оценки точности и предвзятости больших языковых моделей в поддержке клинических решений.
Research Object
большие языковые модели, используемые для принятия клинических решений с помощью ИИ в медицинских условиях
Research Subject
точность и предвзятость выходных данных моделей, оцениваемые с помощью стандартизированной клинической аудиторской системы для конкретных популяций пациентов и клинически значимых сценариев
Publication Details
Publication Date
2025-07-07
Journal
Publisher
ISSN
Cited by
61
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Результаты ChatGPT на экзамене USMLE: потенциал применения больших языковых моделей для медицинского образования с использованием искусственного интеллекта2023
Революция в здравоохранении: роль искусственного интеллекта в клинической практике2023
Справедливость в машинном обучении: обзор2023
Большие языковые модели могут изменить будущее поведенческого здравоохранения: предложение по ответственному развитию и оценке2024