Диагностика повторной сортировки Cross-Encoder в колд-старт рекомендациях: охват, сигналы оценок и эффекты экспозиции

Повторная сортировка с помощью cross-encoders (включая ранжировщики, полученные от больших языковых моделей) является популярной схемой для рекомендателей на основе поиска, но строгий колд-старт выявляет ключевое ограничение: ранжировщики могут только перенастраивать порядок извлечённых кандидатов. Мы представляем эмпирическую диагностику CrossEncoder-ранжировщика в конвейере колд-старт рекомендательной системы фильмов на наборе Serendipity-2018. В обновённой оценке по 500 колд-старт пользователям (3 сида) базовый метод на основе популярности значительно превосходит повторную сортировку (HR@10: 0.268 vs. 0.008; nDCG@10: 0.224 vs. 0.005). Диагностика показывает, что (i) эталонные элементы часто находятся глубоко в пуле кандидатов (медианный ранг 6717), (ii) гибридная генерация кандидатов даёт низкий recall@K по сравнению с ANN-базами, и (iii) оценки ранжировщика едва коррелируют с релевантностью (коэффициент Спирмена r ≈ 0), тогда как экспозиция концентрируется на горстке элементов. Чтобы отразить изменение алгоритма, приведшее к новым результатам, мы также включаем компактное сравнение с более ранним пилотным прогоном (30 пользователей/сид) для иллюстрации того, как масштабирование и логика извлечения/кандидатов изменяют наблюдаемое качество. В заключение предложены практические шаги смягчения: сначала усилить этап извлечения, настроить размер пула кандидатов, калибровать оценки и применить постобработку с учётом экспозиции.