Обучение алгоритмов планирования для кластеров обработки данных
Learning scheduling algorithms for data processing clusters
2019-08-14
SCID: 54.1/83v64grf
Discuss with AI
кластеры обработки данныхраспределённые вычислительные кластерымашинное обучениеалгоритмы планированияполитики планирования
Figures from the paper
Abstract (AI)
Эффективное планирование заданий обработки данных в распределённых вычислительных кластерах требует сложных алгоритмов. Современные системы используют простые обобщённые эвристики и игнорируют характеристики рабочей нагрузки, поскольку разработка и настройка политики планирования для каждой рабочей нагрузки практически невыполнимы. В этой статье мы показываем, что современные методы машинного обучения позволяют автоматически генерировать высокоэффективные политики.
Key Findings
1
Существующие планировщики в значительной степени игнорируют характеристики рабочих нагрузок, поскольку разработка и настройка политик для каждой нагрузки непрактичны.
2
Современные методы машинного обучения способны автоматически генерировать высокоэффективные политики планирования для распределённых кластеров обработки данных.
3
Планирование заданий обработки данных в распределённых кластерах требует сложных алгоритмов, тогда как современные системы используют обобщённые эвристики.
Research Object
задания обработки данных в распределённых вычислительных кластерах
Research Subject
автоматическая генерация политик планирования, адаптированных к рабочей нагрузке, и их эффективность
Publication Details
Publication Date
2019-08-14
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest