Longformer: трансформер для длинных документов

Модели на основе трансформеров не в состоянии обрабатывать длинные последовательности из-за операции самовнимания, масштабируемость которой по сложности составляет квадратичную зависимость от длины последовательности. Для преодоления этого ограничения мы представляем Longformer с механизмом внимания, масштабируемость которого линейно зависит от длины последовательности, что позволяет легко обрабатывать документы величиной в тысячи токенов и более. Механизм внимания Longformer является взаимозаменяемой заменой стандартного самовнимания и сочетает локальное оконное внимание с мотивацией для задачи глобальным вниманием. Следуя предыдущим работам по трансформерам для длинных последовательностей, мы оцениваем Longformer на моделировании языка на уровне символов и достигаем передовых результатов на наборах text8 и enwik8. В отличие от большинства предыдущих работ, мы также предварительно обучаем Longformer и дообучаем его на различных прикладных задачах. Наш предварительно обученный Longformer стабильно превосходит RoBERTa в задачах с длинными документами и устанавливает новые передовые результаты на WikiHop и TriviaQA. Наконец, мы представляем Longformer-Encoder-Decoder (LED), вариант Longformer для генеративных задач sequence-to-sequence с длинными документами, и демонстрируем его эффективность на датасете суммаризации arXiv.