SplitFed: когда федеративное обучение встречается с разделённым обучением

SplitFed: When Federated Learning Meets Split Learning
Lichao Sun, Seyit Ahmet Camtepe, Chandra Thapa, Pathum Chamikara Mahawaga Arachchige
2022-06-28

PixelDPSplitFed-обучениедифференциальная приватностьфедеративное обучениеразделённое обучение
Федеративное обучение (FL) и разделённое обучение (SL) — два популярных подхода к распределённому машинному обучению. Оба следуют сценарию «модель к данным»: клиенты обучают и тестируют модели машинного обучения, не передавая необработанные данные. SL обеспечивает более высокий уровень конфиденциальности модели по сравнению с FL, поскольку архитектура модели машинного обучения разделена между клиентами и сервером. Кроме того, разделённая модель делает SL более подходящим вариантом для сред с ограниченными ресурсами. Однако SL работает медленнее FL из-за обучения на основе ретрансляции между несколькими клиентами. В связи с этим в статье представлен новый подход, названный разделённым федеративным обучением (SFL), который объединяет два подхода и устраняет присущие им недостатки, а также усовершенствованная архитектурная конфигурация с применением дифференциальной приватности и PixelDP для повышения конфиденциальности данных и устойчивости модели. Проведённый анализ и результаты экспериментов показывают, что чистое SFL обеспечивает точность на тестовой выборке и эффективность коммуникаций, сопоставимые с SL, одновременно значительно сокращая время вычислений на одну глобальную эпоху по сравнению с SL при работе с несколькими клиентами. Кроме того, как и в SL, его эффективность коммуникаций по сравнению с FL повышается с увеличением числа клиентов. Помимо этого, производительность SFL с мерами конфиденциальности и устойчивости дополнительно оценивается в расширенных экспериментальных условиях.
1
Как и расщеплённое обучение, SFL демонстрирует возрастающее преимущество по коммуникационной эффективности перед федеративным обучением при увеличении числа клиентов.
2
Чистый SFL обеспечивает точность тестирования и коммуникационную эффективность, сопоставимые с расщеплённым обучением, при значительном сокращении времени вычислений на глобальную эпоху для нескольких клиентов.
3
Обучение SplitFed (SFL) объединяет федеративное и расщеплённое обучение, устраняя медленное обучение SL и более слабую приватность модели FL.
4
Предложенная архитектура включает дифференциальную приватность и PixelDP для повышения приватности данных и устойчивости модели; её производительность оценена в расширенных экспериментальных условиях.

обучение SplitFed (SFL) — распределённый подход к машинному обучению, объединяющий федеративное и раздельное обучение

точность на тестовых данных, коммуникационная эффективность, время вычислений на глобальную эпоху, конфиденциальность и устойчивость SFL по сравнению с федеративным и раздельным обучением

Publication Details
Publication Date
2022-06-28
Journal
Publisher
ISSN
Cited by
1141
Access Type
Author Information
Authors
Lichao Sun
Seyit Ahmet Camtepe
Chandra Thapa
Pathum Chamikara Mahawaga Arachchige
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%