Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины

Трансформеры обладают потенциалом для обучения долгосрочных зависимостей, но в задаче языкового моделирования ограничены контекстом фиксированной длины. Мы предлагаем новую нейронную архитектуру Transformer-XL, которая позволяет обучать зависимости за пределами фиксированной длины без нарушения временной когерентности. Она состоит из механизма рекуррентности на уровне сегментов и новой схемы позиционного кодирования. Наш метод не только позволяет улавливать долгосрочные зависимости, но и решает проблему фрагментации контекста. В результате Transformer-XL обучает зависимости на 80% длиннее, чем РНС, и на 450% длиннее, чем обычные (vanilla) трансформеры, показывает лучшую производительность как на коротких, так и на длинных последовательностях и при оценке работает в более чем 1 800 раз быстрее, чем обычные трансформеры. В частности, мы улучшаем достижения по bits-per-character/перплексии до 0.99 на en-wiki8, 1.08 на text8, 18.3 на WikiText-103, 21.8 на One Billion Word и 54.5 на Penn Treebank (без дообучения). При обучении только на WikiText-103 Transformer-XL способен генерировать достаточно когерентные, новые текстовые статьи длиной в тысячи токенов. Наш код, предварительно обученные модели и гиперпараметры доступны как для TensorFlow, так и для PyTorch.