Обзор больших языковых моделей: приложения, проблемы, ограничения и практическое применение

A Survey on Large Language Models: Applications, Challenges, Limitations, and Practical Usage
Seyedali Mirjalili, Mubarak Shah, Amgad Muneer, Rizwan Qureshi, Muhammad Usman Hadi, Syed Zohaib Hassan, Maged Shoman, Jia Wu, Abbas Shah, Qasem Al-Tashi, Naveed Akhtar, qasem al tashi, Muhammad Bilal Shaikh, Muhammad Irfan, Anas Zafar, Syed Zohaib Hassan, Maged Shoman
2023-07-10

генеративные предварительно обученные трансформерыбольшие языковые моделимашинный переводсмещение моделейобработка естественного языка
В обширной области компьютерной обработки языка появилась революционная технология, известная как большие языковые модели (LLM), продемонстрировавшая исключительные возможности в понимании сложных лингвистических закономерностей и формировании связных, соответствующих контексту ответов. Большие языковые модели (LLM) представляют собой разновидность искусственного интеллекта (ИИ), ставшую мощным инструментом для решения широкого спектра задач, включая обработку естественного языка (NLP), машинный перевод и ответы на вопросы. В настоящем обзорном исследовании представлен всесторонний анализ LLM, включая их историю, архитектуру, методы обучения, области применения и связанные с ними проблемы. Сначала рассматриваются фундаментальные концепции генеративного ИИ и архитектура генеративных предварительно обученных трансформеров (GPT). Затем приводится обзор истории LLM, их эволюции и различных методов обучения, применявшихся для их разработки. Далее обсуждается широкий спектр применений LLM, включая медицину, образование, финансы и инженерное дело. Кроме того, рассматривается, как LLM формируют будущее ИИ и каким образом их можно использовать для решения реальных задач. Затем анализируются проблемы, связанные с внедрением LLM в реальных сценариях, включая этические аспекты, смещения моделей, интерпретируемость и требования к вычислительным ресурсам. Также освещаются методы повышения устойчивости и управляемости LLM, а также устранения проблем, связанных со смещением, справедливостью и качеством генерации. В заключение обозначаются перспективы исследований LLM и проблемы, которые необходимо решить, чтобы сделать эти модели более надёжными и полезными. Настоящий обзор предназначен для предоставления исследователям, практикам и энтузиастам всестороннего понимания LLM, их эволюции, применений и проблем. Обобщая современные знания в этой области, обзор служит ценным ресурсом для дальнейшего развития исследований...
1
Для более широкого решения практических задач будущие исследования должны повысить надежность и полезность больших языковых моделей.
2
Большие языковые модели применяются в различных областях: обработке естественного языка, машинном переводе, ответах на вопросы, медицине, образовании, финансах и инженерии.
3
Внедрение больших языковых моделей в реальные системы сталкивается с этическими проблемами, смещениями, недостаточной интерпретируемостью и высокими требованиями к вычислительным ресурсам.
4
В обзоре выделены методы повышения устойчивости и управляемости моделей, обеспечения справедливости, уменьшения смещений и улучшения качества генерации.
5
В обзоре рассматриваются история, архитектуры и методы обучения больших языковых моделей, включая генеративный ИИ и трансформеры GPT.

Большие языковые модели (LLM)

История, архитектуры, методы обучения, области применения, проблемы внедрения и ограничения больших языковых моделей, а также методы повышения их устойчивости, управляемости, справедливости, интерпретируемости и качества генерации

Publication Details
Publication Date
2023-07-10
Journal
Publisher
ISSN
Cited by
785
Access Type
Author Information
Authors
Seyedali Mirjalili
Mubarak Shah
Amgad Muneer
Rizwan Qureshi
Muhammad Usman Hadi
Syed Zohaib Hassan
Maged Shoman
Jia Wu
Abbas Shah
Qasem Al-Tashi
Naveed Akhtar
qasem al tashi
Muhammad Bilal Shaikh
Muhammad Irfan
Anas Zafar
Syed Zohaib Hassan
Maged Shoman
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%