Обзор больших языковых моделей
A Survey of Large Language Models
2026-05-09
SCID: 54.1/c3gnfpzn
Discuss with AI
обучение в контекстебольшие языковые моделиоценивание моделейпостобучениепредобучение
Figures from the paper
Abstract (AI)
Стремительное развитие больших языковых моделей (LLM) обусловило трансформационный сдвиг в области искусственного интеллекта (ИИ), изменив как исследовательские парадигмы, так и практические приложения. Отличаясь от своих предшественников беспрецедентным масштабом и расширенными возможностями, LLM требуют новых подходов к пониманию их развития, поведения и воздействия на общество. В настоящем обзоре систематически рассматриваются последние достижения в области методов LLM по четырём ключевым направлениям: (1) методологии предварительного обучения, формирующие базовые возможности моделей посредством крупномасштабного обучения с самоконтролем, архитектурных инноваций и стратегий курирования данных; (2) методы последующего обучения, включая обучение с учителем и обучение с подкреплением, которые адаптируют базовые модели к последующим задачам и повышают их согласованность с заданными целями и безопасность; (3) стратегии применения, такие как обучение в контексте, проектирование запросов и агентное рассуждение, оптимизирующие развёртывание в реальных условиях и обеспечивающие эффективное взаимодействие с внешней средой; и (4) методы оценки, включающие бенчмарки для ключевых измерений способностей, таких как базовые языковые возможности, рассуждение и безопасность, которые поддерживают всестороннюю и надёжную оценку производительности моделей. Кроме того, мы выделяем важнейшие исследовательские вопросы, связанные, в частности, с теоретическими основами, эффективным масштабированием, согласованием и агентными возможностями, а также освещаем открытые проблемы, которые они порождают. Обобщая современные научные результаты и формирующиеся тенденции, данный обзор призван предложить систематическую и всеобъемлющую основу для понимания траектории развития LLM, их текущих ограничений и будущих направлений прогресса.
Key Findings
1
Методы постобучения, включая обучение с учителем и обучение с подкреплением, адаптируют базовые модели и улучшают их согласованность с требованиями и безопасность.
2
Развитие предобучения опирается на крупномасштабное самосупервизированное обучение, архитектурные инновации и отбор данных для формирования базовых возможностей моделей.
3
Обзор выделяет нерешённые проблемы теоретических основ, эффективного масштабирования, согласования, агентных возможностей и надёжной оценки больших языковых моделей.
4
Обзор систематизирует исследования больших языковых моделей по четырём направлениям: предобучение, постобучение, использование и оценка.
5
Стратегии использования, такие как обучение в контексте, проектирование промптов и агентное рассуждение, обеспечивают эффективное развертывание и взаимодействие с внешней средой.
Research Object
Большие языковые модели (LLM)
Research Subject
развитие, поведение, возможности, оценка, согласование, безопасность и общественное воздействие LLM в рамках предварительного обучения, дообучения, использования и оценки
Publication Details
Publication Date
2026-05-09
Journal
Publisher
ISSN
Cited by
8718
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai20
Глубокое остаточное обучение для распознавания изображений2016
PyTorch: библиотека глубокого обучения с императивным стилем программирования и высокой производительностью2019
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Распределённые представления слов и фраз и их композиционность2013
LLaMA: открытые и эффективные базовые языковые модели2023
WordNet1995
Transformers: современное состояние обработки естественного языка2020
Генерация с дополнением извлечённой информацией для больших языковых моделей: обзор2023
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Модель языка на основе рекуррентной нейронной сети2010
Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом2016
Большие языковые модели кодируют клинические знания2023
Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека2022
Затерянные в середине: как языковые модели используют длинные контексты2024
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Обзор автономных агентов на основе больших языковых моделей2024
Генеративные агенты: интерактивные симулякры человеческого поведения2023
PaLM: Масштабирование языкового моделирования с помощью Pathways2022
Механизм самовнимания с представлениями относительных позиций2018
Сверточные двумерные встраивания для графов знаний2018
Работы, цитирующие эту статью20
Обзор методов оценки больших языковых моделей2024
Обзор автономных агентов на основе больших языковых моделей2024
Всесторонний обзор больших языковых моделей2025
Объединение больших языковых моделей и графов знаний: дорожная карта2024
🧜Песнь сирены в океане ИИ: обзор галлюцинаций в больших языковых моделях2025
Обзор безопасности и конфиденциальности больших языковых моделей (LLM): хорошее, плохое и ужасное2024
Системы рекомендаций в эпоху больших языковых моделей (LLMs)2024
Генерация с активным дополнением посредством поиска2023
Большие языковые модели для программной инженерии: систематический обзор литературы2024
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
Обзор взаимодействия RAG и LLM: к большим языковым моделям с дополнением извлечённой информацией2024
MM-LLMs: последние достижения в области мультимодальных больших языковых моделей2024
Обзор больших языковых моделей: приложения, проблемы, ограничения и практическое применение2023
Тестирование программного обеспечения с помощью больших языковых моделей: обзор, ландшафт и видение2024
Обзор графовых нейронных сетей для временных рядов: прогнозирование, классификация, импутация и обнаружение аномалий2024
Большие языковые модели для кибербезопасности: систематический обзор литературы2025
Исследование интеллектуальных агентов на основе больших языковых моделей: определения, методы и перспективы2026
Большие языковые модели в медицине и здравоохранении: приложения, достижения и проблемы2024
Всеобъемлющее обзорное исследование ChatGPT: достижения, приложения, перспективы и проблемы2023
Обзор больших языковых моделей для генерации кода2025