Подробное сравнение эффективности коммуникации при раздельном и федеративном обучении
Detailed comparison of communication efficiency of split learning and federated learning
2019-09-18
SCID: 54.1/mtapuman
Discuss with AI
эффективность коммуникациираспределённое машинное обучениефедеративное обучениеразмер модели и число клиентовразделённое обучение
Figures from the paper
Abstract (AI)
В работе сравнивается эффективность коммуникации двух перспективных подходов к распределённому машинному обучению: раздельного обучения и федеративного обучения. Определены условия, при которых каждый из методов превосходит другой с точки зрения эффективности коммуникации. Рассмотрены различные практические сценарии организации распределённого обучения, а два метода сопоставлены в различных условиях, приближенных к реальным. В частности, исследованы конфигурации с малым и большим числом клиентов, а также с малыми моделями (1–6 млн параметров), большими моделями (10–200 млн параметров) и очень большими моделями (1–100 млрд параметров). Показано, что увеличение числа клиентов или размера модели делает раздельное обучение более предпочтительным по сравнению с федеративным, тогда как увеличение числа образцов данных при сохранении небольшого числа клиентов или размера модели повышает коммуникационную эффективность федеративного обучения.
Key Findings
1
Federated learning более эффективен с точки зрения коммуникаций при увеличении числа образцов данных, если число клиентов и размер модели остаются небольшими.
2
Увеличение размера модели благоприятствует split learning для моделей от 1–6 млн до 1–100 млрд параметров.
3
Ни один из методов не является универсально лучшим: коммуникационная эффективность зависит от числа клиентов, размера модели и объёма данных.
4
При увеличении числа клиентов split learning становится более коммуникационно эффективным, чем federated learning.
5
В работе систематически сравнивается коммуникационная эффективность split learning и federated learning в практических сценариях распределённого обучения.
Research Object
Раздельное обучение и федеративное обучение в системах распределённого машинного обучения
Research Subject
Эффективность коммуникации при различном числе клиентов, размере моделей и количестве образцов данных
Publication Details
Publication Date
2019-09-18
Journal
Publisher
ISSN
Cited by
217
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Работы, цитирующие эту статью7
Достижения и открытые проблемы федеративного обучения2020
Федеративное обучение в мобильных сетях периферийных вычислений: всесторонний обзор2020
SplitFed: когда федеративное обучение встречается с разделённым обучением2022
Граничное обучение для сетей B5G с распределённой обработкой сигналов: семантическая связь, периферийные вычисления и беспроводное зондирование2023
Раздельное обучение в беспроводных сетях: параллельное проектирование и управление ресурсами2023
Сквозная оценка федеративного и разделённого обучения для Интернета вещей2020
Разделённое обучение для совместного глубокого обучения в здравоохранении2019