RCV1: новая эталонная коллекция для исследований категоризации текстов

Reuters Corpus Volume I (RCV1) — это архив, содержащий более 800 000 новостных сообщений информационного агентства, вручную распределённых по категориям и недавно предоставленных компанией Reuters, Ltd. для исследовательских целей. Использование этих данных в исследованиях по категоризации текстов требует детального понимания ограничений реального мира, в условиях которых эти данные создавались. На основе интервью с сотрудниками Reuters и изучения документации Reuters мы описываем политику кодирования и процедуры контроля качества, применявшиеся при создании данных RCV1, предполагаемую семантику иерархических таксономий категорий, а также исправления, необходимые для удаления ошибочных данных. Исходные данные мы обозначаем как RCV1-v1, а исправленные данные — как RCV1-v2. Мы проводим сравнительное тестирование нескольких широко используемых методов обучения с учителем на RCV1-v2, демонстрируя свойства этой коллекции, предлагая новые направления исследований и предоставляя базовые результаты для будущих работ. Подробные экспериментальные результаты по каждой категории, а также исправленные версии назначений категорий и структур таксономий доступны в онлайн-приложениях.