Развитие гастроэнтерологии с помощью мультимодального обучения: роль чат-ботов на основе больших языковых моделей в диагностической эндоскопии органов пищеварения
Enhancing gastroenterology with multimodal learning: the role of large language model chatbots in digestive endoscopy
2025-05-21
SCID: 54.1/ydum37du
Discuss with AI
пищеварительная эндоскопияобучение с адаптацией к предметной областичат-боты на основе больших языковых моделейобнаружение поражениймультимодальное обучение
Figures from the paper
Abstract (AI)
Введение: Достижения в области искусственного интеллекта (ИИ) и больших языковых моделей (БЯМ) способны коренным образом изменить эндоскопию органов пищеварения за счёт повышения точности диагностики, улучшения эффективности проведения процедур и поддержки принятия клинических решений. Традиционные эндоскопические системы с поддержкой ИИ часто основываются на одномодальном анализе изображений, которому недостаёт контекстного понимания и адаптивности к сложным заболеваниям желудочно-кишечного тракта (ЖКТ). Кроме того, существующие методы испытывают трудности при изменении предметной области, неоднородности данных и обеспечении интерпретируемости, что ограничивает их клиническую применимость. Методы: Для решения этих задач мы предлагаем мультимодальную обучающую платформу, интегрирующую чат-боты на основе БЯМ с эндоскопической визуализацией и специфичными для пациента медицинскими данными. Наш подход использует самосупервизируемое обучение для извлечения клинически значимых закономерностей из неоднородных источников, обеспечивая поддержку в реальном времени и автоматизированное формирование отчётов с помощью ИИ. Мы внедряем стратегию адаптивного к предметной области обучения для повышения способности модели к обобщению при работе с различными популяциями пациентов и условиями визуализации. Результаты и обсуждение: Экспериментальные результаты, полученные на нескольких наборах данных по заболеваниям ЖКТ, демонстрируют, что предложенный метод существенно повышает эффективность выявления поражений, снижает вариабельность диагностики и улучшает взаимодействие врача с ИИ. Исследование подчёркивает потенциал мультимодальных систем на основе БЯМ для развития гастроэнтерологии за счёт предоставления интерпретируемой, контекстно-зависимой и адаптивной поддержки с использованием ИИ при эндоскопии органов пищеварения.
Key Findings
1
Мультимодальная структура объединяет чат-боты на основе больших языковых моделей, эндоскопические изображения и индивидуальные медицинские данные пациентов для поддержки пищеварительной эндоскопии.
2
Адаптация к предметной области повышает обобщающую способность модели для различных популяций пациентов и условий визуализации.
3
Эксперименты на нескольких наборах данных по желудочно-кишечному тракту показали улучшение выявления поражений, снижение диагностической вариабельности и усиление взаимодействия врача с ИИ.
4
Самообучение позволяет извлекать клинически значимые закономерности из разнородных источников данных, обеспечивая рекомендации в реальном времени и автоматизированное формирование отчётов.
5
Предложенные мультимодальные системы обеспечивают интерпретируемую, контекстно-зависимую и адаптируемую поддержку клинических решений в гастроэнтерологии.
Research Object
мультимодальные системы на основе больших языковых моделей (LLM), интегрирующие изображения пищеварительной эндоскопии и медицинские данные конкретных пациентов
Research Subject
контекстно-зависимая и адаптируемая поддержка ИИ при пищеварительной эндоскопии, включая обнаружение поражений, снижение вариабельности диагностики, наведение в реальном времени и создание отчетов с помощью ИИ
Publication Details
Publication Date
2025-05-21
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest