Задача 11 SemEval-2021: NLPContributionGraph — структурирование научных вкладов в области обработки естественного языка для исследовательского графа знаний
SemEval-2021 Task 11: NLPContributionGraph - Structuring Scholarly NLP Contributions for a Research Knowledge Graph
2021-01-01
SCID: 54.1/e3hwju6b
Discuss with AI
граф вкладов в NLPсовместное задание SemEval-2021граф знаний исследованийнаучные вклады в NLPизвлечение научных терминов и отношений
Figures from the paper
Abstract (AI)
В настоящее время существует разрыв между представлением содержания научных публикаций на естественном языке и моделированием их структурированного семантического содержания, необходимого для интеллектуального поиска информации. Поскольку объем исследований ежегодно растет экспоненциально, поиск по семантически структурированному содержанию представляется весьма перспективным. В рамках общего задания SemEval-2021 NLPContributionGraph (также известного как задание NCG) участникам предлагалось разработать автоматизированные системы для структурирования научных вкладов в англоязычных статьях по обработке естественного языка. Это первое задание такого рода в серии SemEval; в его рамках были представлены структурированные данные из научных статей по обработке естественного языка на трех уровнях детализации: уровне предложений, уровне фраз и уровне фраз, организованных в тройки для построения графа знаний (KG). Аннотации на уровне предложений включали несколько предложений, описывающих вклад статьи. Аннотации на уровне фраз состояли из терминологических и предикатных фраз, извлеченных из предложений, описывающих вклад. Наконец, тройки формировали граф знаний, представляющий обзор исследования. В рамках общего задания от участвующих систем требовалось автоматически классифицировать предложения, описывающие вклад, извлекать из них научные термины и отношения и организовывать их в тройки графа знаний. В общей сложности задание привлекло значительное число участников: семь команд и 27 человек. Лучшая сквозная система классифицировала предложения, описывающие вклад, с показателем F1 57,27%, фразы — с показателем F1 46,41%, а тройки — с показателем F1 22,28%. Хотя абсолютная эффективность генерации троек остается низкой, в заключении статьи подчеркивается сложность получения таких данных и, как следствие, их моделирования.
Key Findings
1
Системы участников классифицировали предложения о вкладе, извлекали научные термины и отношения и организовывали их в тройки графа знаний.
2
В задаче участвовали семь команд и 27 участников; лучшая сквозная система достигла 57,27% F1 для предложений, 46,41% F1 для фраз и 22,28% F1 для троек.
3
В рамках SemEval-2021 NLPCONTRIBUTIONGRAPH была поставлена задача автоматического структурирования научных вкладов в NLP-статьях для построения исследовательского графа знаний.
4
Предоставленные аннотации охватывали три уровня детализации: предложения о вкладе, научные термины и предикатные фразы, а также организованные в тройки фразы.
5
Генерация троек оказалась значительно сложнее обработки предложений и фраз, что подчеркивает трудности создания и моделирования графов знаний о научных вкладах.
Research Object
Вклады англоязычных научных статей по обработке естественного языка
Research Subject
Автоматизированное структурирование предложений о вкладах, научных терминов, предикатов и отношений в тройки графа знаний о результатах исследований
Publication Details
Publication Date
2021-01-01
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest