Большие языковые модели: всесторонний обзор их приложений, проблем, ограничений и перспектив развития
Large Language Models: A Comprehensive Survey of its Applications, Challenges, Limitations, and Future Prospects
2023-11-15
SCID: 54.1/42rp2hzq
Discuss with AI
генеративно предварительно обученные трансформерыбольшие языковые моделимашинный переводсмещение моделейобработка естественного языка
Figures from the paper
Abstract (AI)
В обширной области компьютерной обработки языка появился новый революционный класс систем — большие языковые модели (LLM), демонстрирующие впечатляющую способность понимать сложные языковые закономерности и генерировать связные, контекстуально уместные ответы. Большие языковые модели (LLM) представляют собой разновидность искусственного интеллекта (ИИ), ставшую мощным инструментом для решения широкого спектра задач, включая обработку естественного языка (NLP), машинный перевод и ответы на вопросы. В данном обзорном исследовании представлен всесторонний анализ LLM, включая их историю, архитектуру, методы обучения, области применения и проблемы. Сначала рассматриваются фундаментальные концепции генеративного искусственного интеллекта и архитектура генеративных предварительно обученных трансформеров (GPT). Затем приводится обзор истории LLM, их эволюции и различных методов, применявшихся для их обучения. Далее рассматривается широкий спектр применений LLM в медицине, образовании, финансах и инженерии. Также обсуждается, как LLM формируют будущее ИИ и каким образом могут использоваться для решения практических задач. Затем анализируются проблемы, связанные с внедрением LLM в реальных сценариях, включая этические аспекты, смещения моделей, интерпретируемость и требования к вычислительным ресурсам. Кроме того, освещаются методы повышения устойчивости и управляемости LLM, а также способы решения проблем смещения, справедливости и качества генерации. В заключение обозначаются перспективы исследований LLM и проблемы, которые необходимо решить, чтобы сделать эти модели более надёжными и полезными. Этот обзор предназначен для предоставления исследователям, практикам и энтузиастам целостного понимания LLM, их эволюции, приложений и проблем. Обобщая современные знания в данной области, обзор служит ценным ресурсом для дальнейшего развития направления...
Key Findings
1
LLM обладают широким потенциалом применения в медицине, образовании, финансах и инженерии, включая решение практических задач.
2
Большие языковые модели стали мощными универсальными инструментами ИИ для обработки естественного языка, машинного перевода и ответов на вопросы.
3
Практическое внедрение LLM ограничивается этическими проблемами, смещённостью моделей, низкой интерпретируемостью, вычислительными требованиями и проблемами качества генерации.
4
Повышение робастности и управляемости, снижение смещённости, обеспечение справедливости и улучшение качества генерации обозначены как важные направления для повышения надёжности и полезности LLM.
5
В обзоре систематизированы история LLM, архитектуры на основе GPT, их эволюция и методы обучения, что обеспечивает целостное представление об области.
Research Object
большие языковые модели (LLM)
Research Subject
их архитектуры, методы обучения, применения, проблемы развёртывания, ограничения, устойчивость, управляемость, смещение, справедливость, интерпретируемость и качество генерации
Publication Details
Publication Date
2023-11-15
Journal
Publisher
ISSN
Cited by
193
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai20
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
LLaMA: открытые и эффективные базовые языковые модели2023
Генеративно-состязательные сети2020
Transformers: современное состояние обработки естественного языка2020
Обзор больших языковых моделей2026
Обнаружение объектов с помощью глубокого обучения: обзор2019
Модель языка на основе рекуррентной нейронной сети2010
Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом2016
Большие языковые модели кодируют клинические знания2023
Глубокое обучение с подкреплением: краткий обзор2017
Генеративные состязательные сети: обзор2018
Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека2022
Результаты ChatGPT на экзамене USMLE: потенциал применения больших языковых моделей для медицинского образования с использованием искусственного интеллекта2023
Устойчивое распознавание речи с помощью масштабного слабого обучения2022
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Обзор автономных агентов на основе больших языковых моделей2024
Всесторонний обзор больших языковых моделей2025
Полезность ChatGPT в образовании, исследованиях и практике здравоохранения: систематический обзор перспективных возможностей и обоснованных опасений2023
Transformers от HuggingFace: современные методы обработки естественного языка2019
GPT-3: его природа, масштабы, ограничения и последствия2020
Работы, цитирующие эту статью5
Всесторонний обзор больших языковых моделей2025
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
Большие языковые модели: структурированная таксономия и обзор проблем, ограничений, решений и перспективных направлений2025
Роль агентного искусственного интеллекта в здравоохранении: обзор области исследований2026
LearnRAG: реализация генерации с дополнением извлечённой информацией для адаптивных систем обучения2025