Комплексный анализ производительности Apache Hadoop и Apache Spark для наборов данных большого объёма с использованием HiBench
A comprehensive performance analysis of Apache Hadoop and Apache Spark for large scale data sets using HiBench
2020-12-01
SCID: 54.1/ec3vk75a
Discuss with AI
Apache HadoopApache SparkHiBenchTeraSortнастройка параметров
Figures from the paper
Abstract (AI)
Анализ больших данных для хранения, обработки и анализа наборов данных большого объёма стал важным инструментом для промышленности. Появление распределённых вычислительных платформ, таких как Hadoop и Spark, обеспечивает эффективные решения для анализа огромных объёмов данных. Благодаря наличию интерфейса прикладного программирования (API) и высокой производительности Spark стал очень популярным, превзойдя по популярности фреймворк MapReduce. Обе платформы имеют более 150 параметров, а сочетания этих параметров оказывают значительное влияние на производительность кластера. Параметры системы, заданные по умолчанию, позволяют системным администраторам развёртывать приложения с минимальными усилиями и измерять производительность конкретного кластера с использованием заводских настроек. Однако остаётся открытым вопрос: может ли выбор новых значений параметров повысить производительность кластера при работе с большими наборами данных? В связи с этим в исследовании рассматриваются параметры, оказывающие наибольшее влияние на использование ресурсов, разбиение входных данных и перемешивание данных, чтобы сравнить производительность Hadoop и Spark с использованием кластера, реализованного в нашей лаборатории. Для настройки этих параметров применялся метод проб и ошибок на основе большого числа экспериментов. Для сравнительного анализа платформ были выбраны две рабочие нагрузки: WordCount и TeraSort. Производительность оценивалась по трём критериям: времени выполнения, пропускной способности и ускорению. Результаты экспериментов показали, что производительность обеих систем в значительной степени зависит от размера входных данных и правильного выбора параметров. Анализ результатов продемонстрировал, что Spark превосходит Hadoop при работе с небольшими наборами данных, обеспечивая двукратное ускорение для рабочих нагрузок WordCount и ускорение до 14 раз для рабочих нагрузок TeraSort при перенастройке значений параметров, заданных по умолчанию.
Key Findings
1
Метод проб и ошибок выявляет конфигурации параметров, существенно влияющие на производительность кластера в задачах WordCount и TeraSort.
2
После перенастройки параметров по умолчанию Spark превосходит Hadoop на небольших наборах данных, достигая двукратного ускорения в WordCount и до 14-кратного ускорения в TeraSort.
3
Производительность Hadoop и Spark в значительной степени зависит от размера входных данных и корректного выбора параметров.
4
Производительность оценивается по времени выполнения, пропускной способности и ускорению на кластере, реализованном в лаборатории.
5
В исследовании сравниваются Apache Hadoop и Apache Spark с использованием HiBench, уделяя внимание параметрам использования ресурсов, входных разбиений и перемешивания данных.
Research Object
Распределённые вычислительные платформы Apache Hadoop и Apache Spark, обрабатывающие крупномасштабные наборы данных
Research Subject
Влияние выбора параметров, размера входных данных, использования ресурсов, разбиения входных данных и перемешивания данных на время выполнения, пропускную способность и ускорение в рабочих нагрузках WordCount и TeraSort
Publication Details
Publication Date
2020-12-01
Journal
Publisher
ISSN
Cited by
125
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest