Раздельное обучение в беспроводных сетях: параллельное проектирование и управление ресурсами
Split Learning Over Wireless Networks: Parallel Design and Resource Management
2023-02-08
SCID: 54.1/rzfk7949
Discuss with AI
кластеризация устройствпараллельное обучение моделейуправление ресурсамифрагментированное обучениебеспроводные сети
Figures from the paper
Abstract (AI)
Раздельное обучение (SL) представляет собой фреймворк коллективного обучения, в котором модель искусственного интеллекта (ИИ) обучается между устройством и периферийным сервером посредством разделения модели ИИ на модель на стороне устройства и модель на стороне сервера в точке разбиения. В существующих подходах к SL процесс обучения последовательно выполняется на устройствах, что приводит к значительной задержке обучения, особенно при большом количестве устройств. В данной работе разработана новая схема SL для сокращения задержки обучения, называемая кластерным параллельным раздельным обучением (Cluster-based Parallel SL, CPSL), в которой обучение модели выполняется по принципу «сначала параллельно, затем последовательно». В частности, CPSL распределяет устройства по нескольким кластерам, параллельно обучает модели на стороне устройств в каждом кластере и агрегирует их, после чего последовательно обучает всю модель ИИ на кластерах, обеспечивая тем самым распараллеливание процесса обучения и снижение задержки. Кроме того, предложен алгоритм управления ресурсами для минимизации задержки обучения CPSL с учетом неоднородности устройств и динамики сети в беспроводных сетях. Это достигается посредством стохастической оптимизации выбора точки разбиения, кластеризации устройств и распределения радиочастотного спектра. Предложенный двухмасштабный алгоритм совместно принимает решения о выборе точки разбиения на крупном временном масштабе, а решения о кластеризации устройств и распределении радиочастотного спектра — на малом временном масштабе. Обширные результаты моделирования на неравномерно и независимо распределенных данных демонстрируют, что предложенное решение позволяет значительно сократить задержку обучения по сравнению с существующими эталонными методами SL, одновременно адаптируясь к динамике сети.
Key Findings
1
Предложен алгоритм управления ресурсами, совместно оптимизирующий выбор точки разделения модели, кластеризацию устройств и распределение радиочастотного спектра с учетом неоднородности устройств и динамики беспроводной сети.
2
CPSL распределяет устройства по кластерам, агрегирует модели на стороне устройств внутри каждого кластера, а затем последовательно обучает полную модель по кластерам.
3
Моделирование на неидентично распределенных данных показывает, что CPSL значительно превосходит существующие методы раздельного обучения по задержке обучения и адаптируется к изменяющимся сетевым условиям.
4
Предложенное кластеризованное параллельное раздельное обучение (CPSL) сокращает задержку обучения, параллельно выполняя обучение моделей на устройствах внутри кластеров перед последовательной обработкой кластеров.
5
Предложенный двухмасштабный алгоритм выбирает точку разделения на крупном временном масштабе, а кластеризацию и распределение спектра — на малом временном масштабе.
Research Object
Обучение моделей ИИ методом разделённого обучения на гетерогенных беспроводных устройствах и периферийных серверах
Research Subject
Распараллеливание и управление ресурсами для минимизации задержки обучения при неоднородности устройств и динамических условиях беспроводной сети
Publication Details
Publication Date
2023-02-08
Journal
Publisher
ISSN
Cited by
345
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Градиентное обучение для распознавания документов1998
Обучение нескольких слоев признаков на маленьких изображениях2024
ShuffleNet: чрезвычайно эффективная сверточная нейронная сеть для мобильных устройств2018
SplitFed: когда федеративное обучение встречается с разделённым обучением2022
Беспроводные сети следующего поколения на основе сетевой нарезки с использованием искусственного интеллекта2020
Сквозная оценка федеративного и разделённого обучения для Интернета вещей2020
Подробное сравнение эффективности коммуникации при раздельном и федеративном обучении2019
Разделённое обучение для совместного глубокого обучения в здравоохранении2019