Ранжировщики, судьи и ассистенты: к пониманию взаимодействия больших языковых моделей при оценке информационного поиска
Rankers, Judges, and Assistants: Towards Understanding the Interplay of LLMs in Information Retrieval Evaluation
2025-07-13
SCID: 54.1/b3pnyak6
Discuss with AI
контент, сгенерированный ИИсмещение больших языковых моделейсудьи на основе больших языковых моделейранжировщики на основе больших языковых моделейоценка информационного поиска
Figures from the paper
Abstract (AI)
Большие языковые модели (LLM) играют всё более важную роль в информационном поиске (IR), обеспечивая ранжирование, оценивание и создание контента с помощью искусственного интеллекта. Столь широкое внедрение требует критического анализа потенциальных смещений, возникающих вследствие взаимодействия между этими компонентами на основе LLM. В статье обобщаются существующие исследования и представлены новые схемы экспериментов, направленные на изучение того, как ранжировщики и ассистенты на основе LLM влияют на судей на основе LLM. Мы впервые получаем эмпирические свидетельства того, что судьи на основе LLM демонстрируют значимое смещение в пользу ранжировщиков на основе LLM. Кроме того, мы выявляем ограничения способности судей на основе LLM различать тонкие различия в эффективности систем. В отличие от некоторых предыдущих результатов, наше предварительное исследование не обнаруживает свидетельств смещения против контента, созданного искусственным интеллектом. Эти результаты подчёркивают необходимость более целостного взгляда на информационную экосистему, управляемую LLM. В связи с этим мы предлагаем первоначальные рекомендации и программу исследований, направленные на обеспечение надёжного использования LLM при оценке информационного поиска.
Key Findings
1
Предварительное исследование не выявило предвзятости LLM-судей против контента, созданного ИИ, что расходится с некоторыми предыдущими результатами.
2
Получены первые эмпирические свидетельства того, что LLM-судьи проявляют значимую предвзятость в пользу LLM-ранжировщиков.
3
LLM-судьи обладают ограниченной способностью различать небольшие различия в производительности систем.
4
В статье исследуется взаимодействие LLM-ранжировщиков, LLM-судей и LLM-ассистентов в оценивании информационного поиска.
5
Предложены начальные рекомендации и исследовательская программа для надежного применения LLM в оценивании информационного поиска.
Research Object
экосистема оценки информационного поиска на основе LLM, включающая ранжировщики, судей и ИИ-ассистентов
Research Subject
обусловленные взаимодействием смещения судей на основе LLM и ограничения их способности различать эффективность систем, особенно смещение в пользу ранжировщиков на основе LLM
Publication Details
Publication Date
2025-07-13
Journal
Publisher
ISSN
Cited by
23
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest