К масштабируемым системам аналитики больших данных: технологическое руководство

За последние два десятилетия технологические достижения привели к лавинообразному росту объема данных, поступающих из различных областей (например, здравоохранения и научных датчиков, пользовательских данных, интернет-компаний и финансовых организаций, а также систем управления цепочками поставок). Для обозначения этой формирующейся тенденции был введен термин «большие данные». Помимо огромного объема, большие данные обладают и другими уникальными характеристиками по сравнению с традиционными данными. Например, большие данные часто имеют неструктурированный характер и требуют более оперативного анализа в реальном времени. Это развитие обусловливает необходимость создания новых системных архитектур для получения, передачи и хранения данных, а также механизмов обработки данных в больших масштабах. В статье представлен обзор литературы и технологическое руководство по платформам аналитики больших данных, призванные дать целостное представление читателям-неспециалистам и сформировать у более подготовленной аудитории практический подход, позволяющий самостоятельно адаптировать решения для работы с большими данными. Сначала дается определение больших данных и обсуждаются связанные с ними проблемы. Затем предлагается систематическая структура декомпозиции систем больших данных на четыре последовательных модуля: генерация данных, получение данных, хранение данных и аналитика данных. Эти четыре модуля образуют цепочку создания ценности больших данных. Далее представлен подробный обзор многочисленных подходов и механизмов, разработанных научным и промышленным сообществами. Кроме того, рассматривается широко распространенная платформа Hadoop для решения задач, связанных с большими данными. Наконец, обозначены несколько эталонных наборов тестов для оценки и перспективных направлений исследований в области систем больших данных.