Параметроэффективная тонкая настройка больших языковых моделей: обзор методологий
Parameter-efficient fine-tuning in large language models: a survey of methodologies
2025-05-02
SCID: 54.1/fanzcu28
Discuss with AI
память GPUадаптация к последующим задачамбольшие языковые моделипараметро-эффективная тонкая настройкапредварительно обученные модели
Figures from the paper
Abstract (AI)
Как и предсказывается законами масштабирования, большие модели продемонстрировали значительный прогресс во многих областях, особенно в задачах генерации естественного языка, где они приблизились к уровню человека или даже превзошли его. Однако беспрецедентный масштаб числа их параметров влечёт за собой существенные вычислительные и затраты на хранение. Для работы эти модели требуют значительных вычислительных ресурсов и большого объёма памяти графического процессора (GPU). При адаптации больших моделей к конкретным последующим задачам огромный масштаб параметров создаёт серьёзные трудности для тонкой настройки на аппаратных платформах с ограниченной вычислительной мощностью и памятью GPU. Для решения этой проблемы параметроэффективная тонкая настройка (PEFT) предлагает практическое решение, позволяющее эффективно адаптировать параметры предварительно обученных больших моделей к различным последующим задачам. В частности, PEFT адаптирует предварительно обученные большие модели к конкретным задачам или предметным областям, сводя к минимуму количество добавляемых параметров и необходимые вычислительные ресурсы. В этом обзоре главным образом рассматриваются базовые сведения о PEFT, ключевые идеи и принципы различных алгоритмов PEFT, применения PEFT и потенциальные направления будущих исследований. Мы полагаем, что этот обзор позволит заинтересованным читателям быстро освоить методологию PEFT и тем самым ускорит её развитие и инновации.
Key Findings
1
Большие языковые модели демонстрируют выдающиеся результаты в генерации естественного языка, приближаясь к человеческому уровню или превосходя его в некоторых задачах.
2
PEFT предоставляет практический подход к адаптации больших моделей на аппаратных платформах с ограниченными вычислительными ресурсами и памятью GPU.
3
Параметроэффективное дообучение адаптирует предварительно обученные большие модели к конкретным задачам или предметным областям, минимизируя добавляемые параметры и вычислительные затраты.
4
Обзор рассматривает основы PEFT, принципы различных алгоритмов, области применения и перспективные направления исследований для дальнейшего развития методологии.
5
Беспрецедентный масштаб параметров больших моделей приводит к значительным затратам вычислительных ресурсов, памяти GPU и хранения данных, усложняя дообучение.
Research Object
крупные предварительно обученные языковые модели, адаптируемые к последующим задачам
Research Subject
методологии параметроэффективной тонкой настройки, включая их принципы, применения, а также эффективность использования вычислительных ресурсов и хранилища
Publication Details
Publication Date
2025-05-02
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest