Сквозная оценка федеративного и разделённого обучения для Интернета вещей
End-to-End Evaluation of Federated Learning and Split Learning for Internet of Things
2020-09-01
SCID: 54.1/zj86khx2
Discuss with AI
Коммуникационные накладные расходыФедеративное обучениеИнтернет вещейНе-IID данныеРазделённые нейронные сети
Figures from the paper
Abstract (AI)
Федеративное обучение (FL) и разделённые нейронные сети (SplitNN) являются современными методами распределённого машинного обучения, позволяющими выполнять машинное обучение без непосредственного доступа к необработанным данным на клиентах или оконечных устройствах. Теоретически такие методы распределённого машинного обучения обладают значительным потенциалом для распределённых приложений, в которых данные обычно генерируются и собираются на стороне клиента, тогда как собранные данные должны обрабатываться приложением, развёрнутым на стороне сервера. Однако по-прежнему существует значительный пробел в оценке производительности этих методов с точки зрения их практической применимости в распределённых системах с поддержкой Интернета вещей (IoT), состоящих из устройств с ограниченными ресурсами. В данной работе впервые представлены эмпирические сравнения FL и SplitNN в реальных сценариях Интернета вещей по показателям эффективности обучения и накладных расходов, связанных с реализацией на устройствах. Мы рассматриваем разнообразные наборы данных, различные архитектуры моделей, несколько клиентов и разные метрики производительности. Для оценки эффективности обучения (то есть точности модели и времени сходимости) мы эмпирически исследуем FL и SplitNN при различных типах распределения данных, включая несбалансированные и не являющиеся независимыми и одинаково распределёнными (non-IID) данные. Мы показываем, что при несбалансированном распределении данных эффективность обучения SplitNN выше, чем у FL, но при экстремальном распределении non-IID — ниже. Для оценки накладных расходов при реализации мы разворачиваем FL и SplitNN на устройствах Raspberry Pi и всесторонне оцениваем эти расходы, включая время обучения, коммуникационные издержки, энергопотребление и использование памяти. Основной вывод заключается в том, что в сценариях Интернета вещей, где трафик передачи данных является главным фактором, FL, по-видимому, превосходит SplitNN, поскольку его коммуникационные издержки значительно ниже. Однако результаты экспериментов также показывают, что ни FL, ни SplitNN не могут применяться к ресурсоёмкой модели, например модели с несколькими миллионами п...
Key Findings
1
Ни федеративное обучение, ни SplitNN не могут эффективно применяться к тяжелым моделям с несколькими миллионами параметров в ресурсно-ограниченных IoT-средах.
2
На устройствах Raspberry Pi федеративное обучение имеет значительно меньшие коммуникационные накладные расходы, чем SplitNN, поэтому предпочтительно, когда связь является основным ограничением.
3
SplitNN обеспечивает лучшее качество обучения, чем федеративное обучение, при несбалансированном распределении данных, но уступает ему при экстремально не-IID распределении.
4
Оценка включает время обучения, коммуникационные накладные расходы, энергопотребление и использование памяти для различных наборов данных, архитектур моделей и числа клиентов.
5
В работе проведено эмпирическое сквозное сравнение федеративного обучения и SplitNN в реальных IoT-сценариях, включая качество обучения и накладные расходы устройств.
Research Object
Федеративное обучение и расщеплённые нейронные сети, развернутые на ресурсно-ограниченных устройствах Интернета вещей
Research Subject
Их эффективность обучения и накладные расходы реализации на устройствах при различных распределениях данных, архитектурах моделей и ресурсных ограничениях Интернета вещей
Publication Details
Publication Date
2020-09-01
Journal
Publisher
ISSN
Cited by
305
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai3
Работы, цитирующие эту статью4
SplitFed: когда федеративное обучение встречается с разделённым обучением2022
Граничное обучение для сетей B5G с распределённой обработкой сигналов: семантическая связь, периферийные вычисления и беспроводное зондирование2023
Раздельное обучение в беспроводных сетях: параллельное проектирование и управление ресурсами2023
Совместные периферийно-облачные вычисления для распределённого интеллекта и оптимизации моделей: обзор2026