Более быстрое и эффективное сжатие без потерь с оптимизированной авторегрессионной архитектурой

Нейронные авторегрессионные (AR) архитектуры недавно начали применяться для универсального сжатия без потерь с целью повышения эффективности сжатия. Однако в данной работе показано, что непосредственное применение исходной AR-архитектуры приводит к дублированию обработки и вариации распределений внутри пакета, что ухудшает эффективность сжатия. Ключом к устранению проблемы дублирования обработки является разделение обработки множества исторических символов на входной стороне. Предложены два новых типа нейронных блоков. Индивидуальный блок выполняет раздельное извлечение признаков для каждого исторического символа, тогда как блок смешивания моделирует корреляции между извлечёнными признаками и оценивает вероятность. Затем предложена прогрессивная AR-архитектура сжатия (PAC), которой в каждый момент требуется только один исторический символ от исходного сообщения, а не всё множество исторических символов. Кроме того, для моделирования упорядоченной важности введено обучаемое матричное умножение, заменяющее ранее использовавшуюся неэффективную для аппаратной реализации выборку Gumbel–Softmax. Проблема вариации распределений внутри пакета обусловлена структурированным формированием пакетов при AR-сжатии. На основе этого наблюдения предложен индивидуальный блок, учитывающий положение в пакете, который позволяет точно учитывать неоднородные распределения внутри пакета и повышать эффективность без потери производительности. Экспериментальные результаты показывают, что предложенная архитектура обеспечивает в среднем 130%-ное ускорение и средний прирост коэффициента сжатия на 3% для различных предметных областей по сравнению с современными передовыми методами.