Адаптация предобученных трансформеров для экстремальной многометочной классификации текстов

Мы рассматриваем задачу экстремальной многометочной классификации текстов (XMC): для заданного входного текста необходимо вернуть наиболее релевантные метки из большого набора меток. Например, входным текстом может быть описание товара на Amazon.com, а метками — категории товаров. XMC является важной, но сложной задачей в области обработки естественного языка (NLP). В последнее время глубокие предобученные трансформерные модели демонстрируют передовые результаты во многих задачах NLP, включая классификацию предложений, хотя в этих задачах используются небольшие наборы меток. Однако прямое применение глубоких трансформерных моделей к задаче XMC приводит к неоптимальным результатам из-за большого пространства выходов и разреженности меток. В этой статье мы предлагаем X-Transformer — первый масштабируемый подход к дообучению глубоких трансформерных моделей для задачи XMC. Предложенный метод демонстрирует новые передовые результаты на четырех эталонных наборах данных XMC. В частности, на наборе данных Wiki примерно с 0,5 млн меток значение P@1 для X-Transformer составляет 77,28%, что является существенным улучшением по сравнению с передовыми методами XMC Parabel (линейным) и AttentionXML (нейронным), для которых значения P@1 составляют соответственно 68,70% и 76,95%. Кроме того, применение X-Transformer к набору данных product2query от Amazon обеспечило относительное улучшение показателя P@1 на 10,7% по сравнению с Parabel.