Ранжировщики, судьи и ассистенты: к пониманию взаимодействия больших языковых моделей при оценке информационного поиска

Rankers, Judges, and Assistants: Towards Understanding the Interplay of LLMs in Information Retrieval Evaluation
Donald Metzler, Krisztian Balog, Zhen Qin
2025-07-13

контент, сгенерированный ИИсмещение больших языковых моделейсудьи на основе больших языковых моделейранжировщики на основе больших языковых моделейоценка информационного поиска
Большие языковые модели (LLM) играют всё более важную роль в информационном поиске (IR), обеспечивая ранжирование, оценивание и создание контента с помощью искусственного интеллекта. Столь широкое внедрение требует критического анализа потенциальных смещений, возникающих вследствие взаимодействия между этими компонентами на основе LLM. В статье обобщаются существующие исследования и представлены новые схемы экспериментов, направленные на изучение того, как ранжировщики и ассистенты на основе LLM влияют на судей на основе LLM. Мы впервые получаем эмпирические свидетельства того, что судьи на основе LLM демонстрируют значимое смещение в пользу ранжировщиков на основе LLM. Кроме того, мы выявляем ограничения способности судей на основе LLM различать тонкие различия в эффективности систем. В отличие от некоторых предыдущих результатов, наше предварительное исследование не обнаруживает свидетельств смещения против контента, созданного искусственным интеллектом. Эти результаты подчёркивают необходимость более целостного взгляда на информационную экосистему, управляемую LLM. В связи с этим мы предлагаем первоначальные рекомендации и программу исследований, направленные на обеспечение надёжного использования LLM при оценке информационного поиска.
1
Предварительное исследование не выявило предвзятости LLM-судей против контента, созданного ИИ, что расходится с некоторыми предыдущими результатами.
2
Получены первые эмпирические свидетельства того, что LLM-судьи проявляют значимую предвзятость в пользу LLM-ранжировщиков.
3
LLM-судьи обладают ограниченной способностью различать небольшие различия в производительности систем.
4
В статье исследуется взаимодействие LLM-ранжировщиков, LLM-судей и LLM-ассистентов в оценивании информационного поиска.
5
Предложены начальные рекомендации и исследовательская программа для надежного применения LLM в оценивании информационного поиска.

экосистема оценки информационного поиска на основе LLM, включающая ранжировщики, судей и ИИ-ассистентов

обусловленные взаимодействием смещения судей на основе LLM и ограничения их способности различать эффективность систем, особенно смещение в пользу ранжировщиков на основе LLM

Publication Details
Publication Date
2025-07-13
Journal
Publisher
ISSN
Cited by
23
Access Type
Author Information
Authors
Donald Metzler
Krisztian Balog
Zhen Qin
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%