Эффективные трансформеры: обзор

Архитектуры моделей Transformer в последнее время вызвали большой интерес благодаря своей эффективности в различных областях, таких как обработка языка, компьютерное зрение и обучение с подкреплением. В частности, в области обработки естественного языка трансформеры стали незаменимым элементом современного стека глубокого обучения. В последнее время было предложено множество моделей «X-former» — Reformer, Linformer, Performer, Longformer и др., которые улучшают исходную архитектуру Transformer, при этом многие из них направлены на повышение вычислительной и памятьной эффективности. С целью помочь исследователям ориентироваться в этом потоке публикаций, в статье охарактеризован широкий и внимательный отбор недавних моделей «X-former», ориентированных на эффективность, и представлен организованный и всесторонний обзор существующих работ и моделей в разных областях.