Обогащение контекстуализированных языковых моделей графами знаний для извлечения биомедицинской информации

Извлечение биомедицинской информации (BioIE) является важной задачей, направленной на анализ биомедицинских текстов и извлечение структурированной информации, такой как именованные сущности и семантические отношения между ними. В последние годы предварительно обученные языковые модели значительно повысили эффективность BioIE. Однако они не учитывают внешние структурные знания, которые могут предоставлять богатую фактическую информацию для поддержки глубинного понимания и рассуждений, необходимых при извлечении биомедицинской информации. В этой работе сначала оцениваются современные методы извлечения, включая обычные нейронные сети, общие языковые модели и предварительно обученные контекстуализированные языковые модели, на задачах извлечения биомедицинской информации, включая распознавание именованных сущностей, извлечение отношений и извлечение событий. Затем предлагается обогащение контекстуализированной языковой модели за счет интеграции крупномасштабных биомедицинских графов знаний, обозначаемых как BioKGLM. Для эффективного кодирования знаний исследуется трехэтапная процедура обучения и вводятся различные стратегии слияния, способствующие внедрению знаний. Экспериментальные результаты на нескольких задачах показывают, что BioKGLM стабильно превосходит современные модели извлечения. Дополнительный анализ демонстрирует, что BioKGLM способна выявлять глубинные отношения между концептами биомедицинских знаний, которые имеют решающее значение для BioIE.