SplitFed: когда федеративное обучение встречается с разделённым обучением
SplitFed: When Federated Learning Meets Split Learning
2022-06-28
SCID: 54.1/7nauaxps
Discuss with AI
PixelDPSplitFed-обучениедифференциальная приватностьфедеративное обучениеразделённое обучение
Figures from the paper
Abstract (AI)
Федеративное обучение (FL) и разделённое обучение (SL) — два популярных подхода к распределённому машинному обучению. Оба следуют сценарию «модель к данным»: клиенты обучают и тестируют модели машинного обучения, не передавая необработанные данные. SL обеспечивает более высокий уровень конфиденциальности модели по сравнению с FL, поскольку архитектура модели машинного обучения разделена между клиентами и сервером. Кроме того, разделённая модель делает SL более подходящим вариантом для сред с ограниченными ресурсами. Однако SL работает медленнее FL из-за обучения на основе ретрансляции между несколькими клиентами. В связи с этим в статье представлен новый подход, названный разделённым федеративным обучением (SFL), который объединяет два подхода и устраняет присущие им недостатки, а также усовершенствованная архитектурная конфигурация с применением дифференциальной приватности и PixelDP для повышения конфиденциальности данных и устойчивости модели. Проведённый анализ и результаты экспериментов показывают, что чистое SFL обеспечивает точность на тестовой выборке и эффективность коммуникаций, сопоставимые с SL, одновременно значительно сокращая время вычислений на одну глобальную эпоху по сравнению с SL при работе с несколькими клиентами. Кроме того, как и в SL, его эффективность коммуникаций по сравнению с FL повышается с увеличением числа клиентов. Помимо этого, производительность SFL с мерами конфиденциальности и устойчивости дополнительно оценивается в расширенных экспериментальных условиях.
Key Findings
1
Как и расщеплённое обучение, SFL демонстрирует возрастающее преимущество по коммуникационной эффективности перед федеративным обучением при увеличении числа клиентов.
2
Чистый SFL обеспечивает точность тестирования и коммуникационную эффективность, сопоставимые с расщеплённым обучением, при значительном сокращении времени вычислений на глобальную эпоху для нескольких клиентов.
3
Обучение SplitFed (SFL) объединяет федеративное и расщеплённое обучение, устраняя медленное обучение SL и более слабую приватность модели FL.
4
Предложенная архитектура включает дифференциальную приватность и PixelDP для повышения приватности данных и устойчивости модели; её производительность оценена в расширенных экспериментальных условиях.
Research Object
обучение SplitFed (SFL) — распределённый подход к машинному обучению, объединяющий федеративное и раздельное обучение
Research Subject
точность на тестовых данных, коммуникационная эффективность, время вычислений на глобальную эпоху, конфиденциальность и устойчивость SFL по сравнению с федеративным и раздельным обучением
Publication Details
Publication Date
2022-06-28
Journal
Publisher
ISSN
Cited by
1141
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai9
Глубокое остаточное обучение для распознавания изображений2016
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Очень глубокие сверточные сети для масштабного распознавания изображений2014
Градиентное обучение для распознавания документов1998
PyTorch: библиотека глубокого обучения с императивным стилем программирования и высокой производительностью2019
Достижения и открытые проблемы федеративного обучения2020
Глубокое обучение с дифференциальной приватностью2016
Сквозная оценка федеративного и разделённого обучения для Интернета вещей2020
Подробное сравнение эффективности коммуникации при раздельном и федеративном обучении2019
Работы, цитирующие эту статью5
Раздельное обучение в беспроводных сетях: параллельное проектирование и управление ресурсами2023
Сквозная оценка федеративного и разделённого обучения для Интернета вещей2020
Разделённое обучение в периферийных сетях 6G2024
Эффективное параллельное разделённое обучение в беспроводных периферийных сетях с ограниченными ресурсами2024
UDSem: унифицированная архитектура распределённого обучения для семантических коммуникаций в беспроводных сетях2023