Обзор алгоритмов с экономным использованием данных в эпоху больших данных

Ведущие подходы в машинном обучении печально известны своей «прожорливостью» к данным. К сожалению, во многих областях применения нет доступа к большим объёмам данных, поскольку их получение связано с дорогостоящими или времязатратными процедурами. Это вызвало серьёзные дискуссии в промышленной и академической среде, призывающие к созданию более экономичных по данным моделей, которые используют потенциал искусственных обучающих систем и при этом достигают хороших результатов с меньшим объёмом обучающих данных и, в частности, с меньшим объёмом ручной разметки. В свете этой дискуссии в работе исследуется проблема «прожорливости» алгоритмов к данным. Во-первых, рассматривается проблема с различных точек зрения. Затем приводится всесторонний обзор существующих методов, экономных по данным, и систематизация их в четыре категории. Конкретно, обзор охватывает стратегии решений, направленные на повышение эффективности использования данных: (i) применение не­контролируемых алгоритмов, которые по природе своей более экономны в отношении данных, (ii) искусственное увеличение объёма данных, (iii) перенос знаний из доменов с богатой выборкой в домены с ограниченными данными, и (iv) модификация «прожорливых» к данным алгоритмов с целью уменьшения их зависимости от объёма образцов так, чтобы они могли хорошо работать в условиях малых выборок. Каждая стратегия детально рассматривается и обсуждается. Дополнительно делается упор на то, как четыре стратегии взаимодействуют между собой для стимулирования разработки более надёжных и экономичных по данным алгоритмов. Наконец, обзор выделяет существующие ограничения, обсуждает исследовательские задачи и предлагает перспективы для дальнейшего развития исследований по эффективности использования данных в машинном обучении.