Обработка естественного языка

В предыдущих главах ARIST (Haas, 1996; Warner, 1987) был описан ряд теоретических разработок, оказавших влияние на исследования в области обработки естественного языка (NLP). Новейшие теоретические разработки можно объединить в четыре класса: (i) статистические и корпусные методы в NLP; (ii) недавние попытки использовать WordNet в исследованиях NLP; (iii) возобновление интереса к конечным автоматам и другим вычислительно экономичным подходам к NLP; и (iv) начало совместных проектов по созданию крупных грамматик и инструментов NLP. Статистические методы применяются в NLP для различных целей, например для снятия лексической неоднозначности, построения грамматик и синтаксического анализа, определения стилистических признаков авторов и говорящих и т. д. Charniak (1995) отмечает, что приписывание слову части речи с использованием простых статистических показателей позволяет достичь точности 90%. Jelinek (1999) является широко цитируемым источником по применению статистических методов в NLP, особенно в обработке речи. Rosenfield (2000) рассматривает статистические языковые модели для обработки речи и обосновывает байесовский подход к интеграции лингвистических теорий и данных. Mihalcea и Moldovan (1999) отмечают, что, хотя до настоящего времени статистические подходы считались наилучшими для снятия лексической неоднозначности, они применимы лишь к небольшому набору текстов. Авторы предлагают использовать WordNet для улучшения результатов статистического анализа текстов на естественном языке. WordNet представляет собой онлайновую лексическую справочную систему, разработанную в Принстонском университете. Это эффективный инструмент NLP, содержащий английские существительные, глаголы, прилагательные и наречия, организованные в наборы синонимов, каждый из которых представляет одно базовое лексическое понятие. Подробные сведения о WordNet приведены в Fellbaum (1998) и доступны в интернете (http://www.cogsci.princeton.edu/~wn/). В настоящее время WordNet используется в многочисленных исследованиях и приложениях NLP. Одним из основных применений WordNet в NLP в Европе стало создание в 1996 году EuroWordNet. EuroWordNet представляет собой многоязычную базу данных, содержащую WordNet для семи...