UDSem: унифицированная архитектура распределённого обучения для семантических коммуникаций в беспроводных сетях
UDSem: A Unified Distributed Learning Framework for Semantic Communications Over Wireless Networks
2023-04-24
SCID: 54.1/ms7f35dw
Discuss with AI
распределенные семантические коммуникациифедеративное обучениемодульное обучение нейронных сетейсемантическая интерпретациябеспроводные сети
Figures from the paper
Abstract (AI)
Сквозные семантические коммуникации (ESC) используют глубокие нейронные сети (DNN) для повышения эффективности передачи данных за счёт передачи только их семантики. Однако для обучения миллионов параметров нейронных сетей ESC требует больших объёмов данных, тогда как загрузка значительных объёмов данных, генерируемых пользователями и устройствами, на центральный сервер обычно непрактична из-за проблем конфиденциальности, нормативных требований и перегрузки сети. Вдохновлённые федеративным обучением, при котором каждое устройство участвует в обновлении параметров, самостоятельно вычисляя градиенты на основе локальных данных, мы представляем UDSem — унифицированную архитектуру распределённого обучения для семантических коммуникаций текстов и изображений в беспроводных сетях. Ключевые компоненты UDSem включают: 1) гибкий механизм обучения, адаптируемый к каждому устройству с учётом его вычислительных возможностей; 2) эффективный подход к обучению, предусматривающий разделение системы на несколько модулей и независимое обновление параметров как на клиентах, так и на центральном сервере; 3) смешанный метод агрегации, обеспечивающий глобальное обновление нейронных параметров каждого модуля системы ESC. Благодаря этим компонентам UDSem эффективно устраняет разрыв между требуемой системам ESC эффективностью обучения и требованиями к конфиденциальности пользовательских данных. Эксперименты на двух общедоступных тестовых наборах демонстрируют превосходство UDSem по скорости сходимости и семантической интерпретации, что потенциально открывает путь к распределённым семантическим коммуникациям в будущих беспроводных сетях.
Key Findings
1
Метод смешанного агрегирования глобально обновляет нейронные параметры каждого модуля, не требуя централизованного сбора исходных пользовательских данных.
2
Эксперименты на двух общедоступных наборах данных демонстрируют более высокую скорость сходимости и качество семантической интерпретации по сравнению с оценёнными альтернативами.
3
Платформа поддерживает адаптивное к устройствам обучение, учитывая различия в вычислительных возможностях клиентов.
4
UDSem разделяет систему семантической связи на несколько модулей, параметры которых независимо обновляются на клиентах и центральном сервере.
5
UDSem представляет собой унифицированную платформу распределённого обучения систем сквозной семантической связи для передачи текстов и изображений по беспроводным сетям.
Research Object
сквозные системы семантической связи для передачи текстов и изображений по беспроводным сетям
Research Subject
эффективность распределённого обучения, сохранение конфиденциальности, скорость сходимости и семантическая интерпретация нейронных сетей семантической связи
Publication Details
Publication Date
2023-04-24
Journal
Publisher
ISSN
Cited by
19
Access Type
Author Information
Download PDF
Subscribe to digest