Системы рекомендаций в эпоху больших языковых моделей (LLMs)
Recommender Systems in the Era of Large Language Models (LLMs)
2024-04-22
SCID: 54.1/eqhgjh9h
Discuss with AI
рекоммендационные системы с поддержкой LLMLLM как энкодер признаковдообучениепредобучениепромптинг
Figures from the paper
Abstract (AI)
С развитием электронной коммерции и веб-приложений системы рекомендаций (RecSys) стали неотъемлемой частью повседневной жизни, предоставляя персонализированные предложения, соответствующие предпочтениям пользователей. Хотя глубокие нейронные сети (DNN) достигли значительного прогресса в улучшении систем рекомендаций за счёт моделирования взаимодействий «пользователь–объект» и учёта текстовой побочной информации, эти методы на основе DNN по-прежнему имеют ограничения, такие как трудности с эффективным пониманием интересов пользователей и захватом текстовой побочной информации, неспособность обобщаться на различные видимые/невидимые сценарии рекомендаций и ограниченные возможности рассуждения о своих предсказаниях. Между тем появление больших языковых моделей (LLMs), таких как ChatGPT и GPT-4, революционизировало области обработки естественного языка (NLP) и искусственного интеллекта (AI) благодаря выдающимся способностям в понимании и генерации языка, а также впечатляющим возможностям обобщения и рассуждения. В результате недавние исследования активно стремятся использовать мощь LLM для улучшения систем рекомендаций. Учитывая быстрый рост этого направления, существует острая необходимость в систематическом обзоре, суммирующем существующие системы рекомендаций с поддержкой LLM, чтобы обеспечить исследователей и практиков глубинным пониманием. В данном обзоре мы проводим всесторонний анализ систем рекомендаций, использующих LLM, по различным аспектам, включая предобучение, дообучение и подходы с подсказками (prompting). В частности, мы сначала представляем представительные методы использования LLM в качестве кодировщика признаков для обучения представлений пользователей и объектов. Затем мы систематически рассматриваем возникающие продвинутые техники применения LLM для улучшения систем рекомендаций в трёх парадигмах: предобучение, дообучение и prompting. Наконец, мы обсуждаем перспективные направления в этой развивающейся области.
Key Findings
1
Предоставлен систематический обзор, суммирующий существующие методы с LLM и обсуждающий перспективные направления в этой новой области.
2
Реконмендационные системы на базе DNN испытывают трудности с эффективным пониманием интересов пользователей, обработкой текстовой побочной информации, обобщением на виденные/невиденные сценарии и объяснением предсказаний.
3
Исследования LLM-включённых рекоммендательных систем можно систематизировать по трем парадигмам: предобучение, дообучение (fine-tuning) и prompting.
4
Большие языковые модели (LLM), такие как ChatGPT и GPT-4, обладают сильными способностями к пониманию и генерации языка, обобщению и рассуждению, что может компенсировать ограничения DNN в рекоммендательных системах.
5
Недавние исследования активно используют LLM для улучшения рекоммендательных систем, применяя LLM в качестве кодировщика признаков для обучения представлений пользователей и элементов.
Research Object
Рекомендательные системы с использованием больших языковых моделей (рекомендательные системы, усиленные LLM)
Research Subject
Методы и приёмы (предобучение, дообучение, промптинг и использование LLM в роли кодировщика признаков) для улучшения представлений пользователей/товаров, обобщающей способности, способности к рассуждению и качества рекомендаций
Publication Details
Publication Date
2024-04-22
Journal
Publisher
ISSN
Cited by
1043
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai10
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Обзор больших языковых моделей2026
Графовые сверточные нейронные сети для рекомендательных систем веб‑масштаба2018
PaLM: Масштабирование языкового моделирования с помощью Pathways2022
BloombergGPT: большая языковая модель для финансов2023
Технический отчет о GPT-42023
Последние достижения в области обработки естественного языка с использованием крупномасштабных предварительно обученных языковых моделей: обзор2023
Графовые нейронные сети в рекомендательных системах: обзор2022
Обзор графовых нейронных сетей для рекомендательных систем: проблемы, методы и направления развития2023
Рекомендательный ИИ-агент: интеграция больших языковых моделей для интерактивных рекомендаций2025
Работы, цитирующие эту статью4
Обзор методов оценки больших языковых моделей2024
Большие языковые модели для программной инженерии: систематический обзор литературы2024
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
Обзор взаимодействия RAG и LLM: к большим языковым моделям с дополнением извлечённой информацией2024