Всесторонний обзор малых языковых моделей в эпоху больших языковых моделей: методы, усовершенствования, приложения, взаимодействие с большими языковыми моделями и надежность
A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness
2025-09-18
SCID: 54.1/epd8sncw
Discuss with AI
Большие языковые моделиЛёгкая тонкая настройкаРесурсно-ограниченные средыМалые языковые моделиНадёжность
Figures from the paper
Abstract (AI)
Большие языковые модели (LLM) продемонстрировали эмерджентные способности к генерации текста, ответам на вопросы и рассуждению, что способствует решению различных задач в разных предметных областях. Несмотря на высокую эффективность при выполнении многих задач, LLM, такие как PaLM 540B и Llama-3.1 405B, сталкиваются с ограничениями, обусловленными большим числом параметров и высокими вычислительными требованиями; они часто требуют использования облачных API, что вызывает опасения относительно конфиденциальности, ограничивает применение в реальном времени на периферийных устройствах и повышает стоимость дообучения. Кроме того, LLM часто демонстрируют недостаточную эффективность в специализированных областях, таких как здравоохранение и право, из-за нехватки предметно-специфических знаний, что обусловливает необходимость специализированных моделей. Поэтому малые языковые модели (SLM) получают все большее распространение благодаря низкой задержке вывода, экономичности, эффективной разработке, а также простоте настройки и адаптации. Эти модели особенно хорошо подходят для сред с ограниченными ресурсами и получения предметных знаний, позволяя преодолеть проблемы LLM и являясь оптимальным решением для приложений, требующих локальной обработки данных для обеспечения конфиденциальности, минимальной задержки вывода для повышения эффективности и получения предметных знаний посредством облегченного дообучения. Растущий спрос на SLM стимулировал активные исследования и разработки. Однако всеобъемлющий обзор вопросов, связанных с определением, получением, применением, совершенствованием и надежностью SLM, по-прежнему отсутствует, что побудило нас провести подробное исследование этих аспектов. Определения SLM существенно различаются; поэтому для стандартизации мы предлагаем определять SLM на основе их способности выполнять специализированные задачи и пригодности для сред с ограниченными ресурсами, устанавливая границы по минимальному размеру, необходимому для проявления эмерджентных способностей, и максимальному размеру, поддерживаемому при заданных ресурсных ограничениях. Для остальных аспектов мы предлагаем таксономию соответствующих моделей и методов, а также разрабатываем общие рамочные подходы для каждой категории с целью эффективного совершенствования и использования SLM. Собранные модели SLM и связанные с ними методы представлены нами на GitHub: https://github.com...
Key Findings
1
Малые языковые модели обеспечивают меньшую задержку вывода, более низкую стоимость, упрощённую адаптацию и лучшую пригодность для ресурсоограниченных, чувствительных к конфиденциальности и специализированных приложений.
2
Авторы собрали малые языковые модели и связанные методы в общедоступном репозитории GitHub.
3
Авторы предлагают определять малые языковые модели по способности выполнять специализированные задачи и пригодности для ресурсоограниченных условий, устанавливая границы на основе минимального размера для возникновения новых способностей и максимального размера, поддерживаемого ресурсами.
4
В обзоре разработаны таксономии и общие фреймворки, охватывающие определение, получение, улучшение, применение, взаимодействие с большими языковыми моделями и надёжность малых языковых моделей.
5
В обзоре выделены вычислительные затраты, риски для конфиденциальности, ограничения периферийных устройств, высокая стоимость дообучения и слабая специализация на предметных областях как ключевые недостатки больших языковых моделей.
Research Object
малые языковые модели (SLM)
Research Subject
их определение, получение, применение, совершенствование, взаимодействие с большими языковыми моделями и надёжность, особенно для специализированных задач и условий ограниченных ресурсов
Publication Details
Publication Date
2025-09-18
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai3
Материалы конференции 2021 года по эмпирическим методам обработки естественного языка2021
BioGPT: генеративный предварительно обученный трансформер для генерации и интеллектуального анализа биомедицинских текстов2022
Малые большие языковые модели плохо обучаются работе с инструментами: агент на основе нескольких БЯМ2024