Снижение сложности нейронного безпотерьного сжатия данных посредством каскадного моделирования вероятностей

В работе рассматривается вычислительная неэффективность нейронных методов безпотерьного сжатия данных, которые обычно страдают от двух фундаментальных ограничений: низкой скорости кодирования и декодирования и фиксированных вычислительных затрат независимо от сложности сжимаемых данных. Мы предлагаем новый нейронный адаптивный к сложности каскадный подход, который обучает компактные модели, специфичные для данных, и передаёт их параметры вместе с кодированным битовым потоком, что исключает необходимость дообучения при декодировании. Предлагаемая каскадная архитектура включает несколько относительно простых подсетей, называемых уровнями, при этом каждый уровень уточняет предсказания предыдущих уровней. Основная идея заключается в том, что для источника с более высокой порядковой памятью требуется больше уровней и наоборот. Для определения числа уровней, необходимых для кодирования, предлагается критерий остановки, который прекращает дальнейшую обработку, когда дополнительные выигрыши в сжатии не оправдывают вычислительные затраты. Экспериментальные результаты показывают, что при сохранении конкурентоспособного качества сжатия с средним снижением производительности всего на 6.7% на различных наборах данных, наш подход обеспечивает значительные улучшения скорости: на 12–130% более быстрое сжатие и на 64.8–266.7% более быстрое распаковку на разных типах данных. Наибольшее ускорение наблюдается для плохо сжимаемых данных, таких как числа с плавающей запятой, где метод демонстрирует наибольшие преимущества по эффективности.