Всесторонний обзор малых языковых моделей в эпоху больших языковых моделей: методы, усовершенствования, приложения, взаимодействие с большими языковыми моделями и надежность

A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness
Fali Wang, Zhiwei Zhang, Xianren Zhang, Zongyu Wu, Tzuhao Mo, Qiuhao Lu, Wanjing Wang, Rui Li, Junjie Xu, Xianfeng Tang, Qi He, Yao Ma, Ming S. Huang, Suhang Wang
2025-09-18

Большие языковые моделиЛёгкая тонкая настройкаРесурсно-ограниченные средыМалые языковые моделиНадёжность
Большие языковые модели (LLM) продемонстрировали эмерджентные способности к генерации текста, ответам на вопросы и рассуждению, что способствует решению различных задач в разных предметных областях. Несмотря на высокую эффективность при выполнении многих задач, LLM, такие как PaLM 540B и Llama-3.1 405B, сталкиваются с ограничениями, обусловленными большим числом параметров и высокими вычислительными требованиями; они часто требуют использования облачных API, что вызывает опасения относительно конфиденциальности, ограничивает применение в реальном времени на периферийных устройствах и повышает стоимость дообучения. Кроме того, LLM часто демонстрируют недостаточную эффективность в специализированных областях, таких как здравоохранение и право, из-за нехватки предметно-специфических знаний, что обусловливает необходимость специализированных моделей. Поэтому малые языковые модели (SLM) получают все большее распространение благодаря низкой задержке вывода, экономичности, эффективной разработке, а также простоте настройки и адаптации. Эти модели особенно хорошо подходят для сред с ограниченными ресурсами и получения предметных знаний, позволяя преодолеть проблемы LLM и являясь оптимальным решением для приложений, требующих локальной обработки данных для обеспечения конфиденциальности, минимальной задержки вывода для повышения эффективности и получения предметных знаний посредством облегченного дообучения. Растущий спрос на SLM стимулировал активные исследования и разработки. Однако всеобъемлющий обзор вопросов, связанных с определением, получением, применением, совершенствованием и надежностью SLM, по-прежнему отсутствует, что побудило нас провести подробное исследование этих аспектов. Определения SLM существенно различаются; поэтому для стандартизации мы предлагаем определять SLM на основе их способности выполнять специализированные задачи и пригодности для сред с ограниченными ресурсами, устанавливая границы по минимальному размеру, необходимому для проявления эмерджентных способностей, и максимальному размеру, поддерживаемому при заданных ресурсных ограничениях. Для остальных аспектов мы предлагаем таксономию соответствующих моделей и методов, а также разрабатываем общие рамочные подходы для каждой категории с целью эффективного совершенствования и использования SLM. Собранные модели SLM и связанные с ними методы представлены нами на GitHub: https://github.com...
1
Малые языковые модели обеспечивают меньшую задержку вывода, более низкую стоимость, упрощённую адаптацию и лучшую пригодность для ресурсоограниченных, чувствительных к конфиденциальности и специализированных приложений.
2
Авторы собрали малые языковые модели и связанные методы в общедоступном репозитории GitHub.
3
Авторы предлагают определять малые языковые модели по способности выполнять специализированные задачи и пригодности для ресурсоограниченных условий, устанавливая границы на основе минимального размера для возникновения новых способностей и максимального размера, поддерживаемого ресурсами.
4
В обзоре разработаны таксономии и общие фреймворки, охватывающие определение, получение, улучшение, применение, взаимодействие с большими языковыми моделями и надёжность малых языковых моделей.
5
В обзоре выделены вычислительные затраты, риски для конфиденциальности, ограничения периферийных устройств, высокая стоимость дообучения и слабая специализация на предметных областях как ключевые недостатки больших языковых моделей.

малые языковые модели (SLM)

их определение, получение, применение, совершенствование, взаимодействие с большими языковыми моделями и надёжность, особенно для специализированных задач и условий ограниченных ресурсов

Publication Details
Publication Date
2025-09-18
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Fali Wang
Zhiwei Zhang
Xianren Zhang
Zongyu Wu
Tzuhao Mo
Qiuhao Lu
Wanjing Wang
Rui Li
Junjie Xu
Xianfeng Tang
Qi He
Yao Ma
Ming S. Huang
Suhang Wang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%