Затерянные в середине: как языковые модели используют длинные контексты
Lost in the Middle: How Language Models Use Long Contexts
2024-01-01
SCID: 54.1/mh3r4y94
Discuss with AI
извлечение по ключу-значениюоценка длинного контекстаязыковые модели с длинным контекстомвопросно-ответная система по нескольким документамзависимость производительности от позиции
Figures from the paper
Abstract (AI)
Хотя современные языковые модели способны принимать на вход длинные контексты, относительно мало известно о том, насколько эффективно они используют контексты большой длины. Мы анализируем эффективность языковых моделей в выполнении двух задач, требующих выявления релевантной информации во входных контекстах: ответов на вопросы по нескольким документам и поиска по ключу и значению. Мы обнаружили, что эффективность может значительно снижаться при изменении положения релевантной информации, что указывает на неспособность современных языковых моделей надежно использовать информацию в длинных входных контекстах. В частности, мы наблюдаем, что эффективность часто максимальна, когда релевантная информация находится в начале или в конце входного контекста, и значительно снижается, когда модели должны обращаться к релевантной информации в середине длинных контекстов, даже если речь идет о моделях, специально разработанных для работы с длинными контекстами. Наш анализ позволяет лучше понять, как языковые модели используют входной контекст, и предлагает новые протоколы оценки для будущих языковых моделей, работающих с длинными контекстами.
Key Findings
1
Доступ к релевантной информации в середине длинного контекста вызывает значительное падение производительности, включая модели, специально разработанные для длинных контекстов.
2
Производительность моделей может существенно снижаться при изменении положения релевантной информации во входном контексте.
3
Модели обычно работают лучше всего, когда релевантная информация находится в начале или конце длинного контекста.
4
Предложенный анализ предоставляет протоколы оценки устойчивости использования длинных входных контекстов будущими языковыми моделями.
5
Исследование оценивает языковые модели с длинным контекстом на задачах ответов на вопросы по нескольким документам и извлечения значений по ключам.
Research Object
языковые модели, обрабатывающие длинные входные контексты
Research Subject
зависимость извлечения релевантной информации и эффективности выполнения задач от положения информации в длинном контексте, включая снижение эффективности при размещении информации в его середине
Publication Details
Publication Date
2024-01-01
Journal
Publisher
ISSN
Cited by
3476
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai6
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
LLaMA: открытые и эффективные базовые языковые модели2023
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Longformer: трансформер для длинных документов2020
Использование поиска фрагментов текста с генеративными моделями для ответов на вопросы в открытом домене2021
Языковые модели с дополнением извлечённой информацией в контексте2023
Работы, цитирующие эту статью19
Обзор больших языковых моделей2026
Генерация с дополнением извлечённой информацией для больших языковых моделей: обзор2023
🧜Песнь сирены в океане ИИ: обзор галлюцинаций в больших языковых моделях2025
Осмысление будущего искусственного интеллекта в учебной аудитории: значение грамотности в области ИИ, инженерии запросов и критического мышления в современном образовании2024
Генерация с дополнением извлечённой информацией для контента, создаваемого искусственным интеллектом: обзор2026
Бенчмаркинг генерации с дополнением извлечённой информацией в медицине2024
Объяснимость больших языковых моделей: обзор2024
Генерация с дополнением извлечением на основе графов: обзор2025
Генерация с дополнением извлечённой информации под руководством графа знаний2025
Исследование интеллектуальных агентов на основе больших языковых моделей: определения, методы и перспективы2026
Семь критических точек отказа при разработке системы генерации с дополнением извлечённой информацией2024
Mathemyths: использование больших языковых моделей для обучения математическому языку посредством совместного творчества детей и искусственного интеллекта при создании историй2024
Извлечение с расширением клиническими сущностями для извлечения клинической информации2025
Сохранение целостности исследований в эпоху GenAI: анализ этических проблем и рекомендации для исследователей2025
BioMaster: мультиагентная система для автоматизированного рабочего процесса биоинформатического анализа2026
Перегруженные сознание и машины: когнитивно-нагрузочная модель симбиоза человека и ИИ2026
Ранжировщики, судьи и ассистенты: к пониманию взаимодействия больших языковых моделей при оценке информационного поиска2025
Бенчмаркинг агентов на основе больших языковых моделей для анализа одноклеточных омиксных данных2026
На пути к устойчивым агентным системам искусственного интеллекта: обзор архитектур и методологий2026