Эффективное параллельное разделённое обучение в беспроводных периферийных сетях с ограниченными ресурсами
Efficient Parallel Split Learning Over Resource-Constrained Wireless Edge Networks
2024-01-26
SCID: 54.1/gpt2btps
Discuss with AI
выбор слоя разделенияагрегация градиентов последнего слояпараллельное раздельное обучениераспределение подканаловбеспроводные периферийные сети
Figures from the paper
Abstract (AI)
Постепенное усложнение нейронных сетей препятствует широкому внедрению распределённого обучения, повышающего конфиденциальность, например федеративного обучения (FL), на устройствах с ограниченными ресурсами. Для решения этой проблемы в статье предлагается интегрировать парадигму периферийных вычислений с параллельным разделённым обучением (PSL), что позволяет нескольким периферийным устройствам передавать значительную часть вычислительной нагрузки при обучении на периферийный сервер посредством послойного разделения модели. Учитывая, что существующие схемы PSL характеризуются чрезмерной задержкой обучения и передают большие объёмы данных, мы предлагаем инновационную структуру PSL, названную эффективным параллельным разделённым обучением (EPSL), для ускорения обучения модели. В частности, EPSL распараллеливает обучение модели на стороне клиента и уменьшает размерность градиентов активаций, необходимых для обратного распространения ошибки (BP), посредством агрегации градиентов последнего слоя, что существенно сокращает задержки обучения и передачи данных на стороне сервера. Кроме того, с учётом неоднородных условий каналов и вычислительных возможностей периферийных устройств мы совместно оптимизируем распределение подканалов, управление мощностью и выбор слоя разделения, чтобы минимизировать задержку каждого раунда. Результаты моделирования показывают, что предложенная структура EPSL значительно сокращает задержку обучения, необходимую для достижения заданной точности, по сравнению с современными базовыми методами, а специализированная стратегия управления ресурсами и разделения слоёв может существенно уменьшить задержку по сравнению с аналогичным вариантом без оптимизации.
Key Findings
1
EPSL совместно оптимизирует распределение подканалов, управление мощностью передачи и выбор слоя разделения модели с учётом неоднородных возможностей устройств и характеристик беспроводных каналов.
2
Агрегация градиентов последнего слоя существенно снижает задержки серверного обучения и передачи данных по сравнению с существующими схемами параллельного расщеплённого обучения.
3
Оптимизированное управление ресурсами и выбор слоя разделения заметно уменьшают задержку по сравнению с эквивалентной схемой без оптимизации.
4
Моделирование показывает, что EPSL требует значительно меньшей задержки обучения для достижения заданной точности по сравнению с современными базовыми методами.
5
Предложенная система эффективного параллельного расщеплённого обучения (EPSL) ускоряет обучение за счёт параллелизации вычислений на клиентах и агрегации градиентов последнего слоя, уменьшая объём данных для обратного распространения.
Research Object
параллельное разделённое обучение в беспроводных периферийных сетях с ограниченными ресурсами, включающих несколько периферийных устройств и периферийный сервер
Research Subject
задержка обучения и эффективность коммуникаций при параллельном разделённом обучении, включая влияние послойного разделения модели, агрегации градиентов последнего слоя и совместной оптимизации беспроводных ресурсов и выбора слоя разделения
Publication Details
Publication Date
2024-01-26
Journal
Publisher
ISSN
Cited by
170
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai7
Глубокое остаточное обучение для распознавания изображений2016
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Градиентное обучение для распознавания документов1998
SplitFed: когда федеративное обучение встречается с разделённым обучением2022
Граничный искусственный интеллект для сетей 6G: концепция, ключевые технологии и приложения2021
Раздельное обучение в беспроводных сетях: параллельное проектирование и управление ресурсами2023
Разделённое обучение в периферийных сетях 6G2024