WITT: трансформер беспроводной передачи изображений для семантических коммуникаций

WITT: A Wireless Image Transmission Transformer for Semantic Communications
Ping Zhang, Kai Niu, Jincheng Dai, Sixian Wang, Kailin Tan, Ke Yang
2023-05-05

Swin Transformerинформация о состоянии каналасемантические коммуникациипространственная модуляциябеспроводная передача изображений
В данной работе мы ставим целью переработать зрительный трансформер (ViT) в качестве новой базовой архитектуры для семантической передачи изображений, получившей название трансформер беспроводной передачи изображений (WITT). В предыдущих работах используются сверточные нейронные сети (CNN), которые неэффективно учитывают глобальные зависимости, что приводит к снижению эффективности сквозной передачи, особенно для изображений высокого разрешения. Для решения этой проблемы в предлагаемом WITT применяются трансформеры Swin как более эффективная базовая архитектура для извлечения дальних зависимостей. В отличие от ViT, используемых в задачах классификации изображений, WITT специально оптимизирован для передачи изображений с учетом влияния беспроводного канала. В частности, мы предлагаем модуль пространственной модуляции, который масштабирует скрытые представления в соответствии с информацией о состоянии канала, повышая тем самым способность одной модели работать с различными состояниями канала. Обширные эксперименты подтверждают, что WITT обеспечивает более высокие показатели при различных разрешениях изображений, метриках искажений и состояниях канала. Исходный код доступен по адресу: https://github.com/KeYang8/WITT.
1
Модуль пространственной модуляции масштабирует латентные представления с учётом информации о состоянии канала, позволяя одной модели работать в различных условиях канала.
2
Эксперименты показывают, что WITT превосходит предыдущие подходы при разных разрешениях изображений, метриках искажений и условиях канала.
3
Модель специально оптимизирована для беспроводной передачи изображений и учитывает влияние беспроводного канала, в отличие от прямой адаптации ViT для классификации.
4
WITT перерабатывает архитектуру vision Transformer для семантической передачи изображений, используя Swin Transformer для более эффективного захвата дальних зависимостей по сравнению с CNN-подходами.

семантическая передача изображений по беспроводным каналам с использованием изображений высокого разрешения

сквозная эффективность передачи и устойчивость при различных разрешениях изображений, метриках искажений и условиях канала, включая масштабирование латентных представлений с учётом состояния канала

Publication Details
Publication Date
2023-05-05
Journal
Publisher
ISSN
Cited by
243
Access Type
Author Information
Authors
Ping Zhang
Kai Niu
Jincheng Dai
Sixian Wang
Kailin Tan
Ke Yang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%