E-VRAG: Повышение качества понимания длинных видео с помощью ресурсоэффективной генерации с поддержкой поиска

Модели для работы с визуальной информацией и текстом (vision-language models, VLMs) обеспечили существенный прогресс в понимании видео благодаря возможностям межмодального рассуждения. Однако их эффективность ограничена узким окном контекста и высоким вычислительным расходом при обработке длинных видео, содержащих тысячи кадров. Генерация с поддержкой поиска (retrieval-augmented generation, RAG) решает эту проблему путем выбора только наиболее релевантных кадров в качестве входных данных, что уменьшает вычислительную нагрузку. Тем не менее существующие методы видео RAG испытывают трудности при балансировке эффективности поиска и точности, особенно при работе с разнообразным и сложным видеоконтентом. Для преодоления этих ограничений мы предлагаем E-VRAG — новую и эффективную схему видео RAG для понимания видео. Сначала мы применяем предварительную фильтрацию кадров на основе иерархического разложения запросов, чтобы устранить нерелевантные кадры и сократить вычислительные затраты на уровне данных. Затем мы используем легковесную VLM для ранжирования кадров, что дополнительно снижает вычислительные затраты на уровне модели. Кроме того, мы предлагаем стратегию поиска кадров, использующую глобальное статистическое распределение межкадровых оценок для смягчения потенциального снижения производительности при использовании легковесной VLM. Наконец, мы вводим схему многовидового вопросно-ответного анализа для извлеченных кадров, повышающую способность VLM извлекать и понимать информацию из длинных видеоконтекстов. Эксперименты на четырех публичных бенчмарках показывают, что E-VRAG обеспечивает примерно 70% сокращение вычислительных затрат и более высокую точность по сравнению с базовыми методами, при этом дополнительное обучение не требуется. Эти результаты демонстрируют эффективность E-VRAG в повышении как эффективности, так и точности задач видео RAG.