Всесторонний обзор больших языковых моделей
A Comprehensive Overview of Large Language Models
2025-06-18
SCID: 54.1/cgpzd23n
Discuss with AI
бенчмаркинг больших языковых моделейдообучениебольшие языковые моделимультимодальные большие языковые моделиобработка естественного языка
Figures from the paper
Abstract (AI)
В последние годы большие языковые модели (LLM) продемонстрировали выдающиеся возможности в задачах обработки естественного языка и за их пределами. Этот успех LLM привёл к значительному увеличению числа научных работ в данном направлении. Эти исследования охватывают широкий спектр тем, включая архитектурные инновации, совершенствование стратегий обучения, увеличение длины контекста, дообучение, мультимодальные LLM, робототехнику, наборы данных, сравнительный анализ, повышение эффективности и многое другое. В условиях стремительного развития методов и регулярных прорывов в исследованиях LLM становится всё сложнее воспринимать общую картину достижений в этой области. С учётом быстро растущего объёма литературы по LLM крайне важно, чтобы научное сообщество могло пользоваться кратким, но всесторонним обзором последних разработок в данной сфере. В статье представлен обзор литературы, посвящённой широкому спектру концепций, связанных с LLM. Наш самодостаточный всесторонний обзор LLM рассматривает соответствующие базовые понятия, а также передовые темы, находящиеся на переднем крае исследований больших языковых моделей. Эта обзорная статья призвана служить не только систематическим анализом, но и быстрым, исчерпывающим справочным источником, который позволит исследователям и практикам извлекать полезные сведения из содержательных и информативных обобщений существующих работ для дальнейшего развития исследований в области LLM.
Key Findings
1
В обзоре систематически рассматриваются архитектуры LLM, стратегии обучения, увеличение длины контекста, дообучение, мультимодальные модели, робототехника, наборы данных, бенчмаркинг и эффективность.
2
Статья представляет самостоятельный и comprehensive обзор исследований больших языковых моделей и последних разработок в этой области.
3
Обзор объединяет базовые концепции с передовыми направлениями исследований, предоставляя краткий справочный ресурс для исследователей и практиков.
4
Работа помогает решить проблему понимания быстро расширяющейся и разнообразной литературы по LLM, систематизируя существующие исследования в информативные сводки.
Research Object
Большие языковые модели (LLM)
Research Subject
Современные разработки и исследовательские направления, охватывающие архитектуры LLM, обучение, длину контекста, дообучение, мультимодальность, робототехнику, наборы данных, бенчмаркинг и эффективность
Publication Details
Publication Date
2025-06-18
Journal
Publisher
ISSN
Cited by
3289
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai20
PyTorch: библиотека глубокого обучения с императивным стилем программирования и высокой производительностью2019
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
LLaMA: открытые и эффективные базовые языковые модели2023
Изображение стоит 16×16 слов: трансформеры для распознавания изображений в масштабе2020
Transformers: современное состояние обработки естественного языка2020
Обзор больших языковых моделей2026
Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека2022
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Обзор автономных агентов на основе больших языковых моделей2024
PaLM: Масштабирование языкового моделирования с помощью Pathways2022
BloombergGPT: большая языковая модель для финансов2023
Технический отчет о GPT-42023
🧜Песнь сирены в океане ИИ: обзор галлюцинаций в больших языковых моделях2025
Законы масштабирования нейронных языковых моделей2020
Материалы конференции 2021 года по эмпирическим методам обработки естественного языка2021
Flamingo: визуальная языковая модель для обучения по малому числу примеров2022
Оценка больших языковых моделей, обученных на коде2021
Последние достижения в области обработки естественного языка с использованием крупномасштабных предварительно обученных языковых моделей: обзор2023
Автономные химические исследования с использованием больших языковых моделей2023
Visual ChatGPT: общение, рисование и редактирование с использованием визуальных базовых моделей2023
Работы, цитирующие эту статью12
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
MM-LLMs: последние достижения в области мультимодальных больших языковых моделей2024
Rag-Fusion: новый подход к генерации с дополнением поиска2024
Большие языковые модели: всесторонний обзор их приложений, проблем, ограничений и перспектив развития2023
Безопасность агентного искусственного интеллекта: угрозы, методы защиты, оценка и открытые проблемы2026
Большие языковые модели: структурированная таксономия и обзор проблем, ограничений, решений и перспективных направлений2025
Руководство по разработке промптов: основы и применение для специалистов по медицинской симуляции2025
LLM-Commentator: Новые стратегии дообучения больших языковых моделей для автоматической генерации комментариев с использованием данных о событиях футбольных матчей2024
Бенчмаркинговая оценка, приложения и проблемы больших зрительно-языковых моделей: обзор2025
Доверие к ИИ возникает из недоверия к людям: исследование принятия решений и рекомендаций с использованием методов машинного обучения2026
Мультиагентные системы на основе больших языковых моделей: эмпирическая оценка и анализ формирующихся шаблонов и парадигм проектирования2026
Агентный искусственный интеллект в радиологии: эволюция от больших языковых моделей к будущей клинической интеграции2026