В работе TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate предложен метод векторного квантования, который решает задачу сжатия высокоразмерных векторов с минимизацией искажения их геометрической структуры. Это ключевая проблема, исходящая из теории источников Шеннона, и важная для обработки и хранения данных в машинном обучении и информационных системах.

Авторы разработали алгоритм TurboQuant, который работает онлайн и не зависит от конкретных данных (data-oblivious), что позволяет применять его в динамичных системах и потоковых задачах. Главное отличие — достижение близких к теоретически оптимальным показателям искажения (distortion rate) по среднеквадратичной ошибке (MSE) и внутреннему произведению, что ранее не удавалось у существующих методов.

Техническая основа метода — случайное вращение входных векторов, формирующее распределение координат, близкое к Beta-распределению, слабо коррелированным между собой. Благодаря этому каждый элемент можно квантовать с помощью оптимальных скалярных квантайзеров, что существенно упрощает вычисления и снижает ошибки.

Для устранения систематического смещения при оценке внутреннего произведения предложена двухэтапная схема: сначала применяется MSE-оптимальный квантайзер, затем остаток корректируется с помощью однобитного квантизатора на основе преобразования Джонсона-Линденштрауса (QJL), что обеспечивает несмещённую оценку.

Авторы также представили формальное доказательство информационно-теоретического нижнего предела на искажение, показав, что TurboQuant превышает его лишь на постоянный множитель около 2.7. Эксперименты подтвердили эффективность: при квантовании KV-кэша с 3.5 битами на канал качество осталось без потерь, а при 2.5 битах качество снизилось минимально. В задачах поиска ближайших соседей метод превзошёл существующие продуктовые квантайзеры по точности и почти занул время индексации.

Таким образом, TurboQuant сочетает теоретическую строгость с практической применимостью, предлагая сбалансированное решение для онлайн-компрессии и