Беспроводные семантические коммуникации для видеоконференций

Wireless Semantic Communications for Video Conferencing
Peiwen Jiang, Chao-Kai Wen, Shi Jin, Geoffrey Ye Li
2022-11-21

информация о состоянии каналагибридный автоматический запрос повторной передачипередача ключевых точексемантический детектор ошибоксемантическая видеоконференцсвязь
Видеоконференции стали популярным форматом совещаний, несмотря на значительное потребление коммуникационных ресурсов. При ограниченной пропускной способности традиционное сжатие видео приводит к снижению разрешения. Семантическая видеоконференцсвязь (SVC) позволяет сохранять высокое разрешение за счёт передачи выбранных ключевых точек, представляющих движение, поскольку фон практически статичен, а говорящие меняются нечасто. Однако влияние ошибок передачи на ключевые точки изучено недостаточно. В данной работе построена сеть семантической видеоконференцсвязи на основе передачи ключевых точек, что позволяет значительно сократить объём передаваемых ресурсов при потере лишь деталей мимики. Ошибки передачи в SVC приводят только к изменению выражения лица, тогда как ошибки в традиционных методах непосредственно разрушают пиксели. Однако традиционные средства обнаружения ошибок, такие как проверка циклическим избыточным кодом, не позволяют оценить степень изменения мимики. Для решения этой проблемы разработан фреймворк гибридного автоматического запроса повторной передачи с инкрементальной избыточностью для каналов с переменными характеристиками (SVC-HARQ), включающий новый детектор семантических ошибок. SVC-HARQ обеспечивает гибкость в расходовании битов и демонстрирует высокую эффективность. Кроме того, разработана семантическая информация о состоянии канала (SVC-CSI) для обратной связи по CSI, распределения ресурсов передачи ключевых точек и существенного повышения производительности. Моделирование показывает, что предложенная система беспроводной семантической связи может значительно повысить эффективность передачи.
1
Сетевая система семантической видеоконференцсвязи на основе передачи ключевых точек значительно сокращает объём передаваемых ресурсов, сохраняя высокое разрешение и главным образом жертвуя детализацией выражений лица.
2
Информация о состоянии канала SVC обеспечивает обратную связь для распределения передач ключевых точек и существенно повышает производительность системы.
3
Симуляции показывают, что предложенная система беспроводной семантической связи существенно повышает эффективность передачи видео.
4
Предложенная система SVC-HARQ использует инкрементальную избыточность для изменяющихся каналов и семантический детектор ошибок, оценивающий изменения выражения лица за пределами возможностей обычной CRC-проверки.
5
Ошибки передачи в семантической видеоконференцсвязи изменяют выражения лица, тогда как ошибки в традиционной видеопередаче непосредственно повреждают пиксели изображения.

система беспроводной семантической видеоконференцсвязи на основе передачи ключевых точек

влияние ошибок передачи на семантическую видеосвязь на основе ключевых точек, а также эффективность передачи, обнаружение ошибок и адаптивное распределение ресурсов

Publication Details
Publication Date
2022-11-21
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Peiwen Jiang
Chao-Kai Wen
Shi Jin
Geoffrey Ye Li
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%