Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы
A Review on Large Language Models: Architectures, Applications, Taxonomies, Open Issues and Challenges
2024-01-01
SCID: 54.1/79w6whgx
Discuss with AI
Применения LLMМетоды обучения LLMБольшие языковые моделиОбработка естественного языкаАрхитектуры трансформеров
Figures from the paper
Abstract (AI)
Большие языковые модели (LLM) недавно продемонстрировали выдающиеся возможности в обработке естественного языка (NLP), машинном переводе, генерации текста, ответах на вопросы и других задачах. Кроме того, LLM стали новым и важным компонентом компьютерной обработки языка, способным понимать сложные языковые закономерности и генерировать связные ответы, соответствующие контексту. Хотя успех LLM вызвал значительный рост числа научных публикаций, их стремительное развитие затрудняет оценку общего воздействия этих достижений. Поскольку новые исследования в области LLM появляются очень быстро, становится всё сложнее получить в краткой публикации обзор всех разработок. Поэтому научному сообществу был бы полезен краткий, но всесторонний обзор последних достижений в этой области. В статье представлен подробный обзор LLM, включая их историю, архитектуры, трансформеры, ресурсы, методы обучения, приложения, влияние и проблемы. Сначала рассматриваются фундаментальные понятия, связанные с LLM, и традиционный конвейер этапа их обучения. Затем обобщаются существующие исследования, история LLM, их эволюция во времени, архитектура трансформеров в LLM, различные ресурсы LLM и методы обучения, применяемые для их обучения. Также рассматриваются наборы данных, использованные в этих исследованиях. Далее анализируется широкий спектр приложений LLM, включая биомедицину и здравоохранение, образование, социальную сферу, бизнес и сельское хозяйство. Кроме того, показано влияние LLM на общество, их роль в формировании будущего искусственного интеллекта и возможности их применения для решения практических задач. Наконец, рассматриваются нерешённые вопросы и проблемы, связанные с внедрением LLM в реальных сценариях. Цель данного обзора — помочь практикам, исследователям и экспертам получить всестороннее представление об эволюции LLM, предварительно обученных архитектурах, приложениях, проблемах и будущих направлениях развития.
Key Findings
1
В статье классифицируются применения LLM в биомедицине и здравоохранении, образовании, социальной сфере, бизнесе и сельском хозяйстве, включая их потенциал для решения практических задач.
2
Рассматривается влияние LLM на общество и их роль в формировании будущего искусственного интеллекта.
3
Обзор выявляет открытые вопросы и проблемы, связанные с внедрением LLM в реальные сценарии.
4
Обзор систематизирует развитие больших языковых моделей, охватывая их историю, архитектуры, основы трансформеров, ресурсы, методы обучения и используемые наборы данных.
5
Работа служит обобщённым справочным материалом для понимания развития LLM, их применений, ограничений и будущих направлений.
Research Object
Большие языковые модели (LLMs)
Research Subject
Эволюция, архитектуры, методы обучения, области применения, социальное воздействие, нерешённые вопросы и проблемы внедрения больших языковых моделей
Publication Details
Publication Date
2024-01-01
Journal
Publisher
ISSN
Cited by
1003
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai20
Заявление PRISMA 2020: обновлённое руководство по представлению систематических обзоров2021
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
LLaMA: открытые и эффективные базовые языковые модели2023
Transformers: современное состояние обработки естественного языка2020
Обзор больших языковых моделей2026
Дискуссионная статья: «Ну и что, если это написал ChatGPT?» Междисциплинарные взгляды на возможности, проблемы и последствия применения генеративного разговорного искусственного интеллекта в исследованиях, практике и политике2023
Обзор методов оценки больших языковых моделей2024
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Модель языка на основе рекуррентной нейронной сети2010
Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом2016
Результаты ChatGPT на экзамене USMLE: потенциал применения больших языковых моделей для медицинского образования с использованием искусственного интеллекта2023
Всесторонний обзор больших языковых моделей2025
Полезность ChatGPT в образовании, исследованиях и практике здравоохранения: систематический обзор перспективных возможностей и обоснованных опасений2023
GPT-3: его природа, масштабы, ограничения и последствия2020
PaLM: Масштабирование языкового моделирования с помощью Pathways2022
ChatGPT: комплексный обзор предпосылок создания, применений, ключевых проблем, предвзятости, этических аспектов, ограничений и перспектив развития2023
BioGPT: генеративный предварительно обученный трансформер для генерации и интеллектуального анализа биомедицинских текстов2022
Оценка применимости ChatGPT в здравоохранении: анализ различных клинических и исследовательских сценариев2023
Управление человеческими ресурсами в эпоху генеративного искусственного интеллекта: перспективы и направления исследований ChatGPT2023
Системы рекомендаций в эпоху больших языковых моделей (LLMs)2024
Работы, цитирующие эту статью6
Управление генеративным искусственным интеллектом2025
Улучшение применения больших языковых моделей в биомедицине с помощью генерации с дополнением извлечённой информацией: систематический обзор, метаанализ и рекомендации по клинической разработке2025
Большие языковые модели: структурированная таксономия и обзор проблем, ограничений, решений и перспективных направлений2025
Исследование агентного искусственного интеллекта в здравоохранении: изучение механизма его работы2026
Адаптация больших языковых моделей к задачам геотехники2026
LearnRAG: реализация генерации с дополнением извлечённой информацией для адаптивных систем обучения2025