Подробное сравнение эффективности коммуникации при раздельном и федеративном обучении

Detailed comparison of communication efficiency of split learning and federated learning
Ramesh Raskar, Otkrist Gupta, Praneeth Vepakomma, Abhishek Singh
2019-09-18

эффективность коммуникациираспределённое машинное обучениефедеративное обучениеразмер модели и число клиентовразделённое обучение
В работе сравнивается эффективность коммуникации двух перспективных подходов к распределённому машинному обучению: раздельного обучения и федеративного обучения. Определены условия, при которых каждый из методов превосходит другой с точки зрения эффективности коммуникации. Рассмотрены различные практические сценарии организации распределённого обучения, а два метода сопоставлены в различных условиях, приближенных к реальным. В частности, исследованы конфигурации с малым и большим числом клиентов, а также с малыми моделями (1–6 млн параметров), большими моделями (10–200 млн параметров) и очень большими моделями (1–100 млрд параметров). Показано, что увеличение числа клиентов или размера модели делает раздельное обучение более предпочтительным по сравнению с федеративным, тогда как увеличение числа образцов данных при сохранении небольшого числа клиентов или размера модели повышает коммуникационную эффективность федеративного обучения.
1
Federated learning более эффективен с точки зрения коммуникаций при увеличении числа образцов данных, если число клиентов и размер модели остаются небольшими.
2
Увеличение размера модели благоприятствует split learning для моделей от 1–6 млн до 1–100 млрд параметров.
3
Ни один из методов не является универсально лучшим: коммуникационная эффективность зависит от числа клиентов, размера модели и объёма данных.
4
При увеличении числа клиентов split learning становится более коммуникационно эффективным, чем federated learning.
5
В работе систематически сравнивается коммуникационная эффективность split learning и federated learning в практических сценариях распределённого обучения.

Раздельное обучение и федеративное обучение в системах распределённого машинного обучения

Эффективность коммуникации при различном числе клиентов, размере моделей и количестве образцов данных

Publication Details
Publication Date
2019-09-18
Journal
Publisher
ISSN
Cited by
217
Access Type
Author Information
Authors
Ramesh Raskar
Otkrist Gupta
Praneeth Vepakomma
Abhishek Singh
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%