Сквозная оценка федеративного и разделённого обучения для Интернета вещей

End-to-End Evaluation of Federated Learning and Split Learning for Internet of Things
‪Surya Nepal‬, Seyit Ahmet Camtepe, Chandra Thapa, Yansong Gao, Minki Kim, Hyoungshick Kim, Alsharif Abuadbba, Yeonjae Kim, Kyuyeon Kim
2020-09-01

Коммуникационные накладные расходыФедеративное обучениеИнтернет вещейНе-IID данныеРазделённые нейронные сети
Федеративное обучение (FL) и разделённые нейронные сети (SplitNN) являются современными методами распределённого машинного обучения, позволяющими выполнять машинное обучение без непосредственного доступа к необработанным данным на клиентах или оконечных устройствах. Теоретически такие методы распределённого машинного обучения обладают значительным потенциалом для распределённых приложений, в которых данные обычно генерируются и собираются на стороне клиента, тогда как собранные данные должны обрабатываться приложением, развёрнутым на стороне сервера. Однако по-прежнему существует значительный пробел в оценке производительности этих методов с точки зрения их практической применимости в распределённых системах с поддержкой Интернета вещей (IoT), состоящих из устройств с ограниченными ресурсами. В данной работе впервые представлены эмпирические сравнения FL и SplitNN в реальных сценариях Интернета вещей по показателям эффективности обучения и накладных расходов, связанных с реализацией на устройствах. Мы рассматриваем разнообразные наборы данных, различные архитектуры моделей, несколько клиентов и разные метрики производительности. Для оценки эффективности обучения (то есть точности модели и времени сходимости) мы эмпирически исследуем FL и SplitNN при различных типах распределения данных, включая несбалансированные и не являющиеся независимыми и одинаково распределёнными (non-IID) данные. Мы показываем, что при несбалансированном распределении данных эффективность обучения SplitNN выше, чем у FL, но при экстремальном распределении non-IID — ниже. Для оценки накладных расходов при реализации мы разворачиваем FL и SplitNN на устройствах Raspberry Pi и всесторонне оцениваем эти расходы, включая время обучения, коммуникационные издержки, энергопотребление и использование памяти. Основной вывод заключается в том, что в сценариях Интернета вещей, где трафик передачи данных является главным фактором, FL, по-видимому, превосходит SplitNN, поскольку его коммуникационные издержки значительно ниже. Однако результаты экспериментов также показывают, что ни FL, ни SplitNN не могут применяться к ресурсоёмкой модели, например модели с несколькими миллионами п...
1
Ни федеративное обучение, ни SplitNN не могут эффективно применяться к тяжелым моделям с несколькими миллионами параметров в ресурсно-ограниченных IoT-средах.
2
На устройствах Raspberry Pi федеративное обучение имеет значительно меньшие коммуникационные накладные расходы, чем SplitNN, поэтому предпочтительно, когда связь является основным ограничением.
3
SplitNN обеспечивает лучшее качество обучения, чем федеративное обучение, при несбалансированном распределении данных, но уступает ему при экстремально не-IID распределении.
4
Оценка включает время обучения, коммуникационные накладные расходы, энергопотребление и использование памяти для различных наборов данных, архитектур моделей и числа клиентов.
5
В работе проведено эмпирическое сквозное сравнение федеративного обучения и SplitNN в реальных IoT-сценариях, включая качество обучения и накладные расходы устройств.

Федеративное обучение и расщеплённые нейронные сети, развернутые на ресурсно-ограниченных устройствах Интернета вещей

Их эффективность обучения и накладные расходы реализации на устройствах при различных распределениях данных, архитектурах моделей и ресурсных ограничениях Интернета вещей

Publication Details
Publication Date
2020-09-01
Journal
Publisher
ISSN
Cited by
305
Access Type
Author Information
Authors
‪Surya Nepal‬
Seyit Ahmet Camtepe
Chandra Thapa
Yansong Gao
Minki Kim
Hyoungshick Kim
Alsharif Abuadbba
Yeonjae Kim
Kyuyeon Kim
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%