BioGPT: генеративный предварительно обученный трансформер для генерации и интеллектуального анализа биомедицинских текстов

Предварительно обученные языковые модели привлекают все больше внимания в биомедицинской области благодаря их выдающимся успехам в области естественного языка общего назначения. Среди двух основных направлений предварительно обученных языковых моделей в области языка общего назначения — BERT (и его варианты) и GPT (и его варианты) — первое направление широко изучалось в биомедицинской области, например в моделях BioBERT и PubMedBERT. Хотя эти модели достигли значительных успехов в решении разнообразных дискриминативных последующих задач в биомедицине, отсутствие способности к генерации ограничивает сферу их применения. В этой работе мы предлагаем BioGPT — специализированную для данной предметной области генеративную языковую модель на основе трансформера, предварительно обученную на крупномасштабном корпусе биомедицинской литературы. Мы оцениваем BioGPT на шести задачах обработки естественного языка в биомедицине и показываем, что наша модель превосходит предыдущие модели в большинстве задач. В частности, для сквозных задач извлечения отношений BC5CDR, KD-DTI и DDI она достигает соответственно 44,98%, 38,42% и 40,76% по показателю F1, а для PubMedQA — точности 78,2%, что является новым рекордом. Проведенное нами исследование генерации текста дополнительно демонстрирует преимущество BioGPT при работе с биомедицинской литературой: модель генерирует связные описания биомедицинских терминов.