Эффективное ускорение вывода моделей глубокого обучения на периферийных устройствах с ограниченными ресурсами: обзор
Efficient Acceleration of Deep Learning Inference on Resource-Constrained Edge Devices: A Review
2022-12-14
SCID: 54.1/xttwfbdw
Discuss with AI
совместное проектирование алгоритмов и аппаратурыускорители глубокого обучениявывод глубокого обученияграничные вычисленияграничные устройства с ограниченными ресурсами
Figures from the paper
Abstract (AI)
Успешная интеграция глубоких нейронных сетей (DNN) и глубокого обучения (DL) привела к прорывам во многих областях. Однако развертывание этих высокоточных моделей для создания управляемых данными, обучаемых, автоматизированных и практически применимых решений машинного обучения (ML) в пользовательских приложениях по-прежнему остается сложной задачей. Алгоритмы DL часто требуют значительных вычислительных ресурсов и энергозатрат, а также большого объема памяти для обработки сложных итеративных операций с миллионами параметров. Поэтому обучение и вывод моделей DL обычно выполняются в облачных кластерах высокопроизводительных вычислений (HPC). Передача данных в облако приводит к высокой задержке и задержке прохождения туда и обратно, вызывает проблемы безопасности и конфиденциальности и не позволяет принимать решения в реальном времени. Таким образом, обработка данных на периферийных устройствах может существенно снизить затраты на передачу данных в облако. Периферийные устройства представляют собой оконечные устройства, расположенные ближе всего к пользователю, включая мобильные телефоны, киберфизические системы (CPS), носимые устройства, Интернет вещей (IoT), встроенные и автономные системы, а также интеллектуальные датчики. Эти устройства обладают ограниченными объемом памяти, вычислительными ресурсами и возможностями управления энергопотреблением. Поэтому для эффективного развертывания DL на периферии были разработаны методы оптимизации на аппаратном и программном уровнях. Понимание существующих исследований, проблем и возможностей имеет фундаментальное значение для использования следующего поколения периферийных устройств с возможностями искусственного интеллекта (AI). Для эффективного вывода моделей DL на периферийных устройствах в основном развиваются четыре направления исследований: (1) разработка новых архитектур и алгоритмов DL; (2) оптимизация существующих методов DL; (3) разработка совместного проектирования алгоритмов и аппаратуры; и (4) разработка эффективных ускорителей для развертывания DL. В статье рассматривается каждое из этих четырех направлений и представлен comprehensive обзор современных инструментов и методов эффективного вывода моделей на периферии.
Key Findings
1
Вывод моделей в облаке приводит к задержкам, задержкам кругового обмена, проблемам безопасности и конфиденциальности, а также ограничивает принятие решений в реальном времени.
2
Развертывание глубокого обучения на периферийных устройствах затруднено высокой вычислительной сложностью, энергозатратностью и большими требованиями моделей к памяти.
3
Обработка данных на периферии может снизить затраты на передачу в облако и обеспечить более быстрый и ориентированный на конфиденциальность вывод рядом с конечными пользователями.
4
Исследования эффективного вывода на периферии в основном развиваются по четырем направлениям: новые архитектуры и алгоритмы, оптимизация существующих методов, совместное проектирование алгоритмов и аппаратуры, а также специализированные ускорители.
5
Обзор систематизирует современные инструменты, методы, проблемы и перспективы этих четырех направлений для устройств периферии с ограниченными ресурсами.
Research Object
Вывод результатов глубокого обучения на периферийных устройствах с ограниченными ресурсами
Research Subject
Оптимизация эффективности периферийного вывода моделей глубокого обучения посредством совершенствования архитектур и алгоритмов, аппаратно-программного совместного проектирования и разработки ускорителей
Publication Details
Publication Date
2022-12-14
Journal
Publisher
ISSN
Cited by
433
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai19
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Очень глубокие сверточные сети для масштабного распознавания изображений2014
Градиентное обучение для распознавания документов1998
Сети Squeeze-and-Excitation2018
Переосмысление архитектуры Inception для компьютерного зрения2016
PyTorch: библиотека глубокого обучения с императивным стилем программирования и высокой производительностью2019
Дистилляция знаний в нейронной сети2015
Обучение представлений: обзор и новые перспективы2013
ShuffleNet: чрезвычайно эффективная сверточная нейронная сеть для мобильных устройств2018
Обучение с подкреплением: обзор1996
Transformers: современное состояние обработки естественного языка2020
Заглядывая в «черный ящик»: обзор объяснимого искусственного интеллекта (XAI)2018
Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом2016
Пограничный интеллект: прокладывая последний участок пути для искусственного интеллекта с помощью периферийных вычислений2019
Обзор обучения с полуучителем2019
TinyBERT: дистилляция BERT для задач понимания естественного языка2020
Власть народу: роль человека в интерактивном машинном обучении2014
Фреймворк Aion: размерное возникновение сознания ИИ, коллапс под воздействием наблюдателя и динамика космологических порталов2023
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022