BioGPT: генеративный предварительно обученный трансформер для генерации и интеллектуального анализа биомедицинских текстов
BioGPT: generative pre-trained transformer for biomedical text generation and mining
2022-08-25
SCID: 54.1/yz3a8ueq
Discuss with AI
BioGPTобработка естественного языка в биомедицинегенерация биомедицинских текстовсквозное извлечение отношенийгенеративная языковая модель Transformer
Figures from the paper
Abstract (AI)
Предварительно обученные языковые модели привлекают все больше внимания в биомедицинской области благодаря их выдающимся успехам в области естественного языка общего назначения. Среди двух основных направлений предварительно обученных языковых моделей в области языка общего назначения — BERT (и его варианты) и GPT (и его варианты) — первое направление широко изучалось в биомедицинской области, например в моделях BioBERT и PubMedBERT. Хотя эти модели достигли значительных успехов в решении разнообразных дискриминативных последующих задач в биомедицине, отсутствие способности к генерации ограничивает сферу их применения. В этой работе мы предлагаем BioGPT — специализированную для данной предметной области генеративную языковую модель на основе трансформера, предварительно обученную на крупномасштабном корпусе биомедицинской литературы. Мы оцениваем BioGPT на шести задачах обработки естественного языка в биомедицине и показываем, что наша модель превосходит предыдущие модели в большинстве задач. В частности, для сквозных задач извлечения отношений BC5CDR, KD-DTI и DDI она достигает соответственно 44,98%, 38,42% и 40,76% по показателю F1, а для PubMedQA — точности 78,2%, что является новым рекордом. Проведенное нами исследование генерации текста дополнительно демонстрирует преимущество BioGPT при работе с биомедицинской литературой: модель генерирует связные описания биомедицинских терминов.
Key Findings
1
Исследование генерации текста показало, что BioGPT создаёт связные описания биомедицинских терминов.
2
BioGPT достигла F1-меры 44,98% на BC5CDR, 38,42% на KD-DTI и 40,76% на задаче сквозного извлечения отношений DDI.
3
BioGPT — это специализированная генеративная трансформерная языковая модель, предварительно обученная на крупномасштабной биомедицинской литературе.
4
На наборе PubMedQA BioGPT достигла точности 78,2%, установив новый рекорд согласно аннотации.
5
BioGPT оценили на шести задачах обработки естественного языка в биомедицине; на большинстве из них модель превзошла предыдущие методы.
Research Object
BioGPT — предметно-ориентированная генеративная языковая модель Transformer, предварительно обученная на крупномасштабной биомедицинской литературе
Research Subject
Производительность и способность BioGPT к генерации при анализе биомедицинских текстов, извлечении отношений, ответах на вопросы и создании связных описаний
Publication Details
Publication Date
2022-08-25
Journal
Publisher
ISSN
Cited by
1400
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Adam: метод стохастической оптимизации2014
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
Transformers: современное состояние обработки естественного языка2020
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Материалы конференции 2021 года по эмпирическим методам обработки естественного языка2021
Новая каскадная бинарная модель разметки для извлечения реляционных троек2020
Фреймворк Aion: размерное возникновение сознания ИИ, коллапс под воздействием наблюдателя и динамика космологических порталов2023
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022
Работы, цитирующие эту статью19
Большие языковые модели кодируют клинические знания2023
ChatGPT: комплексный обзор предпосылок создания, применений, ключевых проблем, предвзятости, этических аспектов, ограничений и перспектив развития2023
BloombergGPT: большая языковая модель для финансов2023
Автономные химические исследования с использованием больших языковых моделей2023
Будущий ландшафт больших языковых моделей в медицине2023
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
Бенчмаркинг генерации с дополнением извлечённой информацией в медицине2024
ChatGPT и рост крупных языковых моделей: новая угроза инфодемии, вызванной ИИ, для общественного здоровья2023
Almanac — языковые модели с дополнением посредством поиска для клинической медицины2024
Война чат-ботов: Bard, Bing Chat, ChatGPT, Ernie и другие. Новая золотая лихорадка ИИ и её влияние на высшее образование2023
Большие языковые модели (LLM): обзор, технические основы и будущие проблемы2024
Расширение возможностей биомедицинских исследований с помощью ИИ-агентов2024
Обзор больших языковых моделей и автономных агентов в химии2024
Всеобъемлющее обзорное исследование ChatGPT: достижения, приложения, перспективы и проблемы2023
Комплексный обзор синергии мультимодальных данных и технологий ИИ в медицинской диагностике2024
Базовые метрики для оценки эффективности медицинских диалогов на основе генеративного искусственного интеллекта2024
Обзор моделей генерации с дополнением посредством поиска (RAG) для применения в здравоохранении2025
Оценка больших языковых моделей как вспомогательного инструмента для диагностики сложных медицинских случаев2024
Всесторонний обзор малых языковых моделей в эпоху больших языковых моделей: методы, усовершенствования, приложения, взаимодействие с большими языковыми моделями и надежность2025