Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы

Большие языковые модели (LLM) недавно продемонстрировали выдающиеся возможности в обработке естественного языка (NLP), машинном переводе, генерации текста, ответах на вопросы и других задачах. Кроме того, LLM стали новым и важным компонентом компьютерной обработки языка, способным понимать сложные языковые закономерности и генерировать связные ответы, соответствующие контексту. Хотя успех LLM вызвал значительный рост числа научных публикаций, их стремительное развитие затрудняет оценку общего воздействия этих достижений. Поскольку новые исследования в области LLM появляются очень быстро, становится всё сложнее получить в краткой публикации обзор всех разработок. Поэтому научному сообществу был бы полезен краткий, но всесторонний обзор последних достижений в этой области. В статье представлен подробный обзор LLM, включая их историю, архитектуры, трансформеры, ресурсы, методы обучения, приложения, влияние и проблемы. Сначала рассматриваются фундаментальные понятия, связанные с LLM, и традиционный конвейер этапа их обучения. Затем обобщаются существующие исследования, история LLM, их эволюция во времени, архитектура трансформеров в LLM, различные ресурсы LLM и методы обучения, применяемые для их обучения. Также рассматриваются наборы данных, использованные в этих исследованиях. Далее анализируется широкий спектр приложений LLM, включая биомедицину и здравоохранение, образование, социальную сферу, бизнес и сельское хозяйство. Кроме того, показано влияние LLM на общество, их роль в формировании будущего искусственного интеллекта и возможности их применения для решения практических задач. Наконец, рассматриваются нерешённые вопросы и проблемы, связанные с внедрением LLM в реальных сценариях. Цель данного обзора — помочь практикам, исследователям и экспертам получить всестороннее представление об эволюции LLM, предварительно обученных архитектурах, приложениях, проблемах и будущих направлениях развития.