Обзор больших языковых моделей: приложения, проблемы, ограничения и практическое применение
A Survey on Large Language Models: Applications, Challenges, Limitations, and Practical Usage
2023-07-10
SCID: 54.1/39ysyvse
Discuss with AI
генеративные предварительно обученные трансформерыбольшие языковые моделимашинный переводсмещение моделейобработка естественного языка
Figures from the paper
Abstract (AI)
В обширной области компьютерной обработки языка появилась революционная технология, известная как большие языковые модели (LLM), продемонстрировавшая исключительные возможности в понимании сложных лингвистических закономерностей и формировании связных, соответствующих контексту ответов. Большие языковые модели (LLM) представляют собой разновидность искусственного интеллекта (ИИ), ставшую мощным инструментом для решения широкого спектра задач, включая обработку естественного языка (NLP), машинный перевод и ответы на вопросы. В настоящем обзорном исследовании представлен всесторонний анализ LLM, включая их историю, архитектуру, методы обучения, области применения и связанные с ними проблемы. Сначала рассматриваются фундаментальные концепции генеративного ИИ и архитектура генеративных предварительно обученных трансформеров (GPT). Затем приводится обзор истории LLM, их эволюции и различных методов обучения, применявшихся для их разработки. Далее обсуждается широкий спектр применений LLM, включая медицину, образование, финансы и инженерное дело. Кроме того, рассматривается, как LLM формируют будущее ИИ и каким образом их можно использовать для решения реальных задач. Затем анализируются проблемы, связанные с внедрением LLM в реальных сценариях, включая этические аспекты, смещения моделей, интерпретируемость и требования к вычислительным ресурсам. Также освещаются методы повышения устойчивости и управляемости LLM, а также устранения проблем, связанных со смещением, справедливостью и качеством генерации. В заключение обозначаются перспективы исследований LLM и проблемы, которые необходимо решить, чтобы сделать эти модели более надёжными и полезными. Настоящий обзор предназначен для предоставления исследователям, практикам и энтузиастам всестороннего понимания LLM, их эволюции, применений и проблем. Обобщая современные знания в этой области, обзор служит ценным ресурсом для дальнейшего развития исследований...
Key Findings
1
Для более широкого решения практических задач будущие исследования должны повысить надежность и полезность больших языковых моделей.
2
Большие языковые модели применяются в различных областях: обработке естественного языка, машинном переводе, ответах на вопросы, медицине, образовании, финансах и инженерии.
3
Внедрение больших языковых моделей в реальные системы сталкивается с этическими проблемами, смещениями, недостаточной интерпретируемостью и высокими требованиями к вычислительным ресурсам.
4
В обзоре выделены методы повышения устойчивости и управляемости моделей, обеспечения справедливости, уменьшения смещений и улучшения качества генерации.
5
В обзоре рассматриваются история, архитектуры и методы обучения больших языковых моделей, включая генеративный ИИ и трансформеры GPT.
Research Object
Большие языковые модели (LLM)
Research Subject
История, архитектуры, методы обучения, области применения, проблемы внедрения и ограничения больших языковых моделей, а также методы повышения их устойчивости, управляемости, справедливости, интерпретируемости и качества генерации
Publication Details
Publication Date
2023-07-10
Journal
Publisher
ISSN
Cited by
785
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai20
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
LLaMA: открытые и эффективные базовые языковые модели2023
Transformers: современное состояние обработки естественного языка2020
Обзор больших языковых моделей2026
Дискуссионная статья: «Ну и что, если это написал ChatGPT?» Междисциплинарные взгляды на возможности, проблемы и последствия применения генеративного разговорного искусственного интеллекта в исследованиях, практике и политике2023
Модель языка на основе рекуррентной нейронной сети2010
Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом2016
Генеративные состязательные сети: обзор2018
Результаты ChatGPT на экзамене USMLE: потенциал применения больших языковых моделей для медицинского образования с использованием искусственного интеллекта2023
Полезность ChatGPT в образовании, исследованиях и практике здравоохранения: систематический обзор перспективных возможностей и обоснованных опасений2023
GPT-3: его природа, масштабы, ограничения и последствия2020
PaLM: Масштабирование языкового моделирования с помощью Pathways2022
ChatGPT: комплексный обзор предпосылок создания, применений, ключевых проблем, предвзятости, этических аспектов, ограничений и перспектив развития2023
BloombergGPT: большая языковая модель для финансов2023
Как ChatGPT показывает себя на экзамене для получения медицинской лицензии в США (USMLE)? Последствия использования крупных языковых моделей для медицинского образования и оценки знаний2023
Искусственный интеллект в высшем образовании: состояние области исследований2023
Искры искусственного общего интеллекта: ранние эксперименты с GPT-42023
Оценка больших языковых моделей, обученных на коде2021
Изучение естественно-научного образования с помощью ChatGPT: поисковое исследование генеративного искусственного интеллекта2023
ChatGPT и новая академическая реальность: научные статьи, написанные искусственным интеллектом, и этика больших языковых моделей в научном публицировании2023
Работы, цитирующие эту статью3
Обзор безопасности и конфиденциальности больших языковых моделей (LLM): хорошее, плохое и ужасное2024
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
Трансформация образования: комплексный обзор генеративного искусственного интеллекта в образовательной среде на основе библиометрического анализа и контент-анализа2023