Аугментация текстовых данных для глубокого обучения

Обработка естественного языка (Natural Language Processing, NLP) является одним из наиболее впечатляющих применений глубокого обучения. В этом обзоре рассматривается, каким образом стратегия обучения с аугментацией данных может способствовать развитию данной области. Сначала мы выделяем основные направления аугментации данных, сводя их к усилению локальных границ принятия решений, обучению методом грубой силы, причинности и контрфактическим примерам, а также различению смысла и формы. Затем в соответствии с этими направлениями приводится конкретный перечень фреймворков аугментации, разработанных для текстовых данных. Глубокое обучение в целом испытывает трудности с измерением способности к обобщению и характеристикой переобучения. Мы рассматриваем исследования, посвящённые тому, как методы аугментации могут использоваться для формирования тестовых наборов для оценки обобщения. По сравнению с компьютерным зрением обработка естественного языка находится на раннем этапе применения аугментации данных. Мы выделяем ключевые различия и перспективные идеи, которые ещё предстоит проверить в задачах обработки естественного языка. Для практической реализации мы описываем инструменты, облегчающие применение аугментации данных, включая регуляризацию согласованности, контроллеры, а также конвейеры офлайн- и онлайн-аугментации, чтобы назвать лишь некоторые из них. Наконец, мы обсуждаем интересные направления, связанные с аугментацией данных в обработке естественного языка, такие как аугментация, специфичная для конкретной задачи; использование априорных знаний в самообучении по сравнению с аугментацией данных; пересечения с трансферным и многозадачным обучением; а также идеи для AI-GAs (AI-Generating Algorithms, алгоритмов, генерирующих искусственный интеллект). Мы надеемся, что эта статья будет способствовать дальнейшему интересу к исследованиям в области аугментации текстовых данных.