Диагностика реранкеров на базе cross-encoder в условиях «холодного старта» рекомендаций: покрытие, сигналы оценки и эффекты экспозиции

Реранкинг с использованием cross-encoder (включая реранкеры, полученные с помощью больших языковых моделей) является популярной схемой для рекомендательных систем на основе извлечения, однако строгий холодный старт выявляет ключевое ограничение: реранкеры могут лишь переупорядочивать извлечённых кандидатов. Мы представляем эмпирическую диагностику cross-encoder реранкера в конвейере рекомендований фильмов в задаче холодного старта на наборе Serendipity-2018. В обновлённой оценке на 500 пользователей в холодном старте (3 семени) базовый подход на основе популярности значительно превосходит реранкинг (HR@10: 0.268 против 0.008; nDCG@10: 0.224 против 0.005). Диагностика показывает, что (i) истинные элементы часто находятся глубоко в пуле кандидатов (медианный ранг 6717), (ii) гибридная генерация кандидатов даёт низкий recall@K по сравнению с ANN-базами, и (iii) оценки реранкера едва коррелируют с релевантностью (критерий Спирмена r ≈ 0), тогда как экспозиция концентрируется на небольшом числе элементов. Чтобы отразить изменение алгоритма, приведшее к новым результатам, мы также включаем компактное сравнение с ранним пилотным прогоном (30 пользователей/семя), чтобы показать, как масштабирование и логика извлечения/выбора кандидатов изменяют наблюдаемое качество. В заключение предлагаем практические шаги по смягчению проблемы: в первую очередь усилить компонент извлечения, настроить размер пула кандидатов, калибровать оценки и применить постобработку с учётом экспозиции.