FibQuant: универсальное векторное квантование для сжатия KV-кеша с произвольным доступом

Инференс с длинным контекстом всё чаще становится проблемой пропускной способности памяти. Виной тому кеш ключей и значений (KV): он растёт с длиной контекста, размером батча, числом слоёв и голов, и читается на каждом шаге декодирования. Скаляpные кодеки на основе вращений удовлетворяют этому системному ограничению, сохраняя норму, применяя общую случайную ротацию и квантируя по одной координате за раз. Они универсальны и обеспечивают произвольный доступ, но игнорируют геометрию, вводимую шагом нормализации. После ротации Харра блок из k последовательных координат не является произведением независимых источников; это сферо-Beta источник на единичном шаре. Мы представляем FibQuant — универсальный векторный квантайзер с фиксированной скоростью, который сохраняет интерфейс нормализовать–вращать–сохранять, заменяя скалярные таблицы общей радиально-угловой кодовой книгой, согласованной с этим каноническим источником. Кодовая книга сочетает радиусы по квантилям бета-распределения, квазирaвномерные направления Фибоначчи/Робертс–Кронекера и многократную инициализацию с доработкой по алгоритму Ллойда–Макса. Мы доказываем, что полученный векторный код строго превосходит свою скалярную специализацию при одинаковой скорости, при этом выигрыш в высоких скоростях раскладывается на фактор формирования ячеек и фактор соответствия плотности. Та же конструкция обеспечивает плотную ось скоростей, включая дробно-битные и меньшие одного бита рабочие точки, без калибровки и адресов переменной длины. На KV-кешах GPT-2 small FibQuant прослеживает границу память–качество от 5× сжатия при косинусном сходстве внимания 0.99 до 34× при 0.95. В end-to-end экспериментах на TinyLlama-1.1B он отстаёт от fp16 по перплексии всего на 0.10 при 4× сжатии и даёт в 3.6× меньшую перплексию, чем скалярный TurboQuant при b = 2 (8× сжатие), где скалярное квантование с произвольным доступом начинает давать сбои.