Раздельное обучение в беспроводных сетях: параллельное проектирование и управление ресурсами

Split Learning Over Wireless Networks: Parallel Design and Resource Management
Weihua Zhuang, Mushu Li, Xuemin Shen, Wen Rong Wu, Conghao Zhou, Kaige Qu, Xu Li, Weisen Shi
2023-02-08

кластеризация устройствпараллельное обучение моделейуправление ресурсамифрагментированное обучениебеспроводные сети
Раздельное обучение (SL) представляет собой фреймворк коллективного обучения, в котором модель искусственного интеллекта (ИИ) обучается между устройством и периферийным сервером посредством разделения модели ИИ на модель на стороне устройства и модель на стороне сервера в точке разбиения. В существующих подходах к SL процесс обучения последовательно выполняется на устройствах, что приводит к значительной задержке обучения, особенно при большом количестве устройств. В данной работе разработана новая схема SL для сокращения задержки обучения, называемая кластерным параллельным раздельным обучением (Cluster-based Parallel SL, CPSL), в которой обучение модели выполняется по принципу «сначала параллельно, затем последовательно». В частности, CPSL распределяет устройства по нескольким кластерам, параллельно обучает модели на стороне устройств в каждом кластере и агрегирует их, после чего последовательно обучает всю модель ИИ на кластерах, обеспечивая тем самым распараллеливание процесса обучения и снижение задержки. Кроме того, предложен алгоритм управления ресурсами для минимизации задержки обучения CPSL с учетом неоднородности устройств и динамики сети в беспроводных сетях. Это достигается посредством стохастической оптимизации выбора точки разбиения, кластеризации устройств и распределения радиочастотного спектра. Предложенный двухмасштабный алгоритм совместно принимает решения о выборе точки разбиения на крупном временном масштабе, а решения о кластеризации устройств и распределении радиочастотного спектра — на малом временном масштабе. Обширные результаты моделирования на неравномерно и независимо распределенных данных демонстрируют, что предложенное решение позволяет значительно сократить задержку обучения по сравнению с существующими эталонными методами SL, одновременно адаптируясь к динамике сети.
1
Предложен алгоритм управления ресурсами, совместно оптимизирующий выбор точки разделения модели, кластеризацию устройств и распределение радиочастотного спектра с учетом неоднородности устройств и динамики беспроводной сети.
2
CPSL распределяет устройства по кластерам, агрегирует модели на стороне устройств внутри каждого кластера, а затем последовательно обучает полную модель по кластерам.
3
Моделирование на неидентично распределенных данных показывает, что CPSL значительно превосходит существующие методы раздельного обучения по задержке обучения и адаптируется к изменяющимся сетевым условиям.
4
Предложенное кластеризованное параллельное раздельное обучение (CPSL) сокращает задержку обучения, параллельно выполняя обучение моделей на устройствах внутри кластеров перед последовательной обработкой кластеров.
5
Предложенный двухмасштабный алгоритм выбирает точку разделения на крупном временном масштабе, а кластеризацию и распределение спектра — на малом временном масштабе.

Обучение моделей ИИ методом разделённого обучения на гетерогенных беспроводных устройствах и периферийных серверах

Распараллеливание и управление ресурсами для минимизации задержки обучения при неоднородности устройств и динамических условиях беспроводной сети

Publication Details
Publication Date
2023-02-08
Journal
Publisher
ISSN
Cited by
345
Access Type
Author Information
Authors
Weihua Zhuang
Mushu Li
Xuemin Shen
Wen Rong Wu
Conghao Zhou
Kaige Qu
Xu Li
Weisen Shi
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%