Обзор инструментов с открытым исходным кодом для машинного обучения на больших данных в экосистеме Hadoop

С постоянно растущим числом доступных вариантов выбор инструментов машинного обучения для работы с большими данными может быть затруднительным. Доступные инструменты имеют свои преимущества и недостатки, а области их применения во многих случаях пересекаются. Объём данных в мире быстро увеличивается, и традиционные инструменты машинного обучения становятся недостаточными по мере перехода к распределённой обработке данных и обработке в реальном времени. Эта статья предназначена для исследователей и специалистов, знакомых с машинным обучением, но не имеющих достаточного опыта работы с большими данными. Для оценки инструментов необходимо хорошо понимать, на какие характеристики следует обращать внимание. С этой целью в статье представлен перечень критериев выбора, а также анализ преимуществ и недостатков каждого инструмента. Сначала рассматривается, что именно означает термин «большие данные». Затем внимание переключается на экосистему Hadoop, где анализируется множество проектов, входящих в типичную архитектуру машинного обучения, и рассматривается, как они могут взаимодействовать. Обсуждаются преимущества и недостатки трёх различных парадигм обработки данных, а также сравниваются реализующие их вычислительные платформы, включая MapReduce, Spark, Flink, Storm и H2O. Далее рассматриваются библиотеки и фреймворки машинного обучения, включая Mahout, MLlib и SAMOA, и проводится их оценка по таким критериям, как масштабируемость, простота использования и расширяемость. Единого набора инструментов, действительно обеспечивающего универсальное решение, не существует, поэтому цель статьи — упростить принятие решений, предоставив максимально полную информацию и количественно оценив связанные с выбором компромиссы. Кроме того, на протяжении всей статьи рассматриваются современные исследования в этой области, использующие данные инструменты, и обсуждаются возможные направления дальнейшего развития обучения на основе наборов инструментов.