Развитие гастроэнтерологии с помощью мультимодального обучения: роль чат-ботов на основе больших языковых моделей в диагностической эндоскопии органов пищеварения

Enhancing gastroenterology with multimodal learning: the role of large language model chatbots in digestive endoscopy
Yuanyuan Qin, Jianming Chang, Li Li, Mianhua Wu
2025-05-21

пищеварительная эндоскопияобучение с адаптацией к предметной областичат-боты на основе больших языковых моделейобнаружение поражениймультимодальное обучение
Введение: Достижения в области искусственного интеллекта (ИИ) и больших языковых моделей (БЯМ) способны коренным образом изменить эндоскопию органов пищеварения за счёт повышения точности диагностики, улучшения эффективности проведения процедур и поддержки принятия клинических решений. Традиционные эндоскопические системы с поддержкой ИИ часто основываются на одномодальном анализе изображений, которому недостаёт контекстного понимания и адаптивности к сложным заболеваниям желудочно-кишечного тракта (ЖКТ). Кроме того, существующие методы испытывают трудности при изменении предметной области, неоднородности данных и обеспечении интерпретируемости, что ограничивает их клиническую применимость. Методы: Для решения этих задач мы предлагаем мультимодальную обучающую платформу, интегрирующую чат-боты на основе БЯМ с эндоскопической визуализацией и специфичными для пациента медицинскими данными. Наш подход использует самосупервизируемое обучение для извлечения клинически значимых закономерностей из неоднородных источников, обеспечивая поддержку в реальном времени и автоматизированное формирование отчётов с помощью ИИ. Мы внедряем стратегию адаптивного к предметной области обучения для повышения способности модели к обобщению при работе с различными популяциями пациентов и условиями визуализации. Результаты и обсуждение: Экспериментальные результаты, полученные на нескольких наборах данных по заболеваниям ЖКТ, демонстрируют, что предложенный метод существенно повышает эффективность выявления поражений, снижает вариабельность диагностики и улучшает взаимодействие врача с ИИ. Исследование подчёркивает потенциал мультимодальных систем на основе БЯМ для развития гастроэнтерологии за счёт предоставления интерпретируемой, контекстно-зависимой и адаптивной поддержки с использованием ИИ при эндоскопии органов пищеварения.
1
Мультимодальная структура объединяет чат-боты на основе больших языковых моделей, эндоскопические изображения и индивидуальные медицинские данные пациентов для поддержки пищеварительной эндоскопии.
2
Адаптация к предметной области повышает обобщающую способность модели для различных популяций пациентов и условий визуализации.
3
Эксперименты на нескольких наборах данных по желудочно-кишечному тракту показали улучшение выявления поражений, снижение диагностической вариабельности и усиление взаимодействия врача с ИИ.
4
Самообучение позволяет извлекать клинически значимые закономерности из разнородных источников данных, обеспечивая рекомендации в реальном времени и автоматизированное формирование отчётов.
5
Предложенные мультимодальные системы обеспечивают интерпретируемую, контекстно-зависимую и адаптируемую поддержку клинических решений в гастроэнтерологии.

мультимодальные системы на основе больших языковых моделей (LLM), интегрирующие изображения пищеварительной эндоскопии и медицинские данные конкретных пациентов

контекстно-зависимая и адаптируемая поддержка ИИ при пищеварительной эндоскопии, включая обнаружение поражений, снижение вариабельности диагностики, наведение в реальном времени и создание отчетов с помощью ИИ

Publication Details
Publication Date
2025-05-21
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Yuanyuan Qin
Jianming Chang
Li Li
Mianhua Wu
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%