Эффективное ускорение вывода моделей глубокого обучения на периферийных устройствах с ограниченными ресурсами: обзор

Успешная интеграция глубоких нейронных сетей (DNN) и глубокого обучения (DL) привела к прорывам во многих областях. Однако развертывание этих высокоточных моделей для создания управляемых данными, обучаемых, автоматизированных и практически применимых решений машинного обучения (ML) в пользовательских приложениях по-прежнему остается сложной задачей. Алгоритмы DL часто требуют значительных вычислительных ресурсов и энергозатрат, а также большого объема памяти для обработки сложных итеративных операций с миллионами параметров. Поэтому обучение и вывод моделей DL обычно выполняются в облачных кластерах высокопроизводительных вычислений (HPC). Передача данных в облако приводит к высокой задержке и задержке прохождения туда и обратно, вызывает проблемы безопасности и конфиденциальности и не позволяет принимать решения в реальном времени. Таким образом, обработка данных на периферийных устройствах может существенно снизить затраты на передачу данных в облако. Периферийные устройства представляют собой оконечные устройства, расположенные ближе всего к пользователю, включая мобильные телефоны, киберфизические системы (CPS), носимые устройства, Интернет вещей (IoT), встроенные и автономные системы, а также интеллектуальные датчики. Эти устройства обладают ограниченными объемом памяти, вычислительными ресурсами и возможностями управления энергопотреблением. Поэтому для эффективного развертывания DL на периферии были разработаны методы оптимизации на аппаратном и программном уровнях. Понимание существующих исследований, проблем и возможностей имеет фундаментальное значение для использования следующего поколения периферийных устройств с возможностями искусственного интеллекта (AI). Для эффективного вывода моделей DL на периферийных устройствах в основном развиваются четыре направления исследований: (1) разработка новых архитектур и алгоритмов DL; (2) оптимизация существующих методов DL; (3) разработка совместного проектирования алгоритмов и аппаратуры; и (4) разработка эффективных ускорителей для развертывания DL. В статье рассматривается каждое из этих четырех направлений и представлен comprehensive обзор современных инструментов и методов эффективного вывода моделей на периферии.