WITT: трансформер беспроводной передачи изображений для семантических коммуникаций
WITT: A Wireless Image Transmission Transformer for Semantic Communications
2023-05-05
SCID: 54.1/qsk8ng7w
Discuss with AI
Swin Transformerинформация о состоянии каналасемантические коммуникациипространственная модуляциябеспроводная передача изображений
Figures from the paper
Abstract (AI)
В данной работе мы ставим целью переработать зрительный трансформер (ViT) в качестве новой базовой архитектуры для семантической передачи изображений, получившей название трансформер беспроводной передачи изображений (WITT). В предыдущих работах используются сверточные нейронные сети (CNN), которые неэффективно учитывают глобальные зависимости, что приводит к снижению эффективности сквозной передачи, особенно для изображений высокого разрешения. Для решения этой проблемы в предлагаемом WITT применяются трансформеры Swin как более эффективная базовая архитектура для извлечения дальних зависимостей. В отличие от ViT, используемых в задачах классификации изображений, WITT специально оптимизирован для передачи изображений с учетом влияния беспроводного канала. В частности, мы предлагаем модуль пространственной модуляции, который масштабирует скрытые представления в соответствии с информацией о состоянии канала, повышая тем самым способность одной модели работать с различными состояниями канала. Обширные эксперименты подтверждают, что WITT обеспечивает более высокие показатели при различных разрешениях изображений, метриках искажений и состояниях канала. Исходный код доступен по адресу: https://github.com/KeYang8/WITT.
Key Findings
1
Модуль пространственной модуляции масштабирует латентные представления с учётом информации о состоянии канала, позволяя одной модели работать в различных условиях канала.
2
Эксперименты показывают, что WITT превосходит предыдущие подходы при разных разрешениях изображений, метриках искажений и условиях канала.
3
Модель специально оптимизирована для беспроводной передачи изображений и учитывает влияние беспроводного канала, в отличие от прямой адаптации ViT для классификации.
4
WITT перерабатывает архитектуру vision Transformer для семантической передачи изображений, используя Swin Transformer для более эффективного захвата дальних зависимостей по сравнению с CNN-подходами.
Research Object
семантическая передача изображений по беспроводным каналам с использованием изображений высокого разрешения
Research Subject
сквозная эффективность передачи и устойчивость при различных разрешениях изображений, метриках искажений и условиях канала, включая масштабирование латентных представлений с учётом состояния канала
Publication Details
Publication Date
2023-05-05
Journal
Publisher
ISSN
Cited by
243
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Изображение стоит 16×16 слов: трансформеры для распознавания изображений в масштабе2020
Системы семантической связи на основе глубокого обучения2021
К более мудро-эволюционному и примитивно-лаконічному 6G: новая парадигма семантических коммуникационных сетей2021