Dask: Параллельные вычисления с использованием блочных алгоритмов и планирования задач
Dask: Parallel Computation with Blocked algorithms and Task Scheduling
2015-01-01
SCID: 54.1/twgrcpaa
Discuss with AI
DaskNumPyблочные алгоритмыдинамическое планирование задачвнешняя память
Figures from the paper
Abstract (AI)
Dask обеспечивает параллельные вычисления и вычисления вне оперативной памяти. Мы объединяем блочные алгоритмы с динамическим планированием задач с учетом памяти, создавая параллельный аналог NumPy, способный работать с данными вне оперативной памяти. Мы показываем, как это расширяет эффективный масштаб современного оборудования, позволяя обрабатывать более крупные наборы данных, и обсуждаем возможность более широкого применения этих идей к другим параллельным коллекциям.
Key Findings
1
Dask объединяет блочные алгоритмы с динамическим планированием задач с учётом памяти для параллельных вычислений и обработки данных вне оперативной памяти.
2
Dask расширяет эффективный масштаб современного оборудования, позволяя работать с наборами данных, превышающими объём доступной памяти.
3
В статье утверждается, что блочные алгоритмы и планирование задач с учётом памяти могут применяться к другим типам параллельных коллекций.
4
Система предоставляет параллельную вычислительную среду вне оперативной памяти, функционирующую как клон NumPy.
Research Object
Система Dask для параллельных вычислений и вычислений вне оперативной памяти на основе блочных алгоритмов
Research Subject
Масштабируемость и эффективность выполнения, достигаемые за счёт сочетания блочных алгоритмов с динамическим планированием задач с учётом памяти
Publication Details
Publication Date
2015-01-01
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest