Эффективное параллельное разделённое обучение в беспроводных периферийных сетях с ограниченными ресурсами

Efficient Parallel Split Learning Over Resource-Constrained Wireless Edge Networks
Yue Gao, Yuguang Michael Fang, Kaibin Huang, Xianhao Chen, Yiqin Deng, Zheng Lin, Guangyu Zhu
2024-01-26

выбор слоя разделенияагрегация градиентов последнего слояпараллельное раздельное обучениераспределение подканаловбеспроводные периферийные сети
Постепенное усложнение нейронных сетей препятствует широкому внедрению распределённого обучения, повышающего конфиденциальность, например федеративного обучения (FL), на устройствах с ограниченными ресурсами. Для решения этой проблемы в статье предлагается интегрировать парадигму периферийных вычислений с параллельным разделённым обучением (PSL), что позволяет нескольким периферийным устройствам передавать значительную часть вычислительной нагрузки при обучении на периферийный сервер посредством послойного разделения модели. Учитывая, что существующие схемы PSL характеризуются чрезмерной задержкой обучения и передают большие объёмы данных, мы предлагаем инновационную структуру PSL, названную эффективным параллельным разделённым обучением (EPSL), для ускорения обучения модели. В частности, EPSL распараллеливает обучение модели на стороне клиента и уменьшает размерность градиентов активаций, необходимых для обратного распространения ошибки (BP), посредством агрегации градиентов последнего слоя, что существенно сокращает задержки обучения и передачи данных на стороне сервера. Кроме того, с учётом неоднородных условий каналов и вычислительных возможностей периферийных устройств мы совместно оптимизируем распределение подканалов, управление мощностью и выбор слоя разделения, чтобы минимизировать задержку каждого раунда. Результаты моделирования показывают, что предложенная структура EPSL значительно сокращает задержку обучения, необходимую для достижения заданной точности, по сравнению с современными базовыми методами, а специализированная стратегия управления ресурсами и разделения слоёв может существенно уменьшить задержку по сравнению с аналогичным вариантом без оптимизации.
1
EPSL совместно оптимизирует распределение подканалов, управление мощностью передачи и выбор слоя разделения модели с учётом неоднородных возможностей устройств и характеристик беспроводных каналов.
2
Агрегация градиентов последнего слоя существенно снижает задержки серверного обучения и передачи данных по сравнению с существующими схемами параллельного расщеплённого обучения.
3
Оптимизированное управление ресурсами и выбор слоя разделения заметно уменьшают задержку по сравнению с эквивалентной схемой без оптимизации.
4
Моделирование показывает, что EPSL требует значительно меньшей задержки обучения для достижения заданной точности по сравнению с современными базовыми методами.
5
Предложенная система эффективного параллельного расщеплённого обучения (EPSL) ускоряет обучение за счёт параллелизации вычислений на клиентах и агрегации градиентов последнего слоя, уменьшая объём данных для обратного распространения.

параллельное разделённое обучение в беспроводных периферийных сетях с ограниченными ресурсами, включающих несколько периферийных устройств и периферийный сервер

задержка обучения и эффективность коммуникаций при параллельном разделённом обучении, включая влияние послойного разделения модели, агрегации градиентов последнего слоя и совместной оптимизации беспроводных ресурсов и выбора слоя разделения

Publication Details
Publication Date
2024-01-26
Journal
Publisher
ISSN
Cited by
170
Access Type
Author Information
Authors
Yue Gao
Yuguang Michael Fang
Kaibin Huang
Xianhao Chen
Yiqin Deng
Zheng Lin
Guangyu Zhu
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%