Система онлайн-обучения и вывода на FPGA на периферии с использованием резервоара с задержанной обратной связью

Резервуар с задержанной обратной связью (DFR) — аппаратно-дружественная система вычислений на основе резервуарных сетей. Реализация DFR в встраиваемом оборудовании требует эффективного онлайн-обучения. Однако этому препятствуют два основных вызова: (1) выбор гиперпараметров, который обычно выполняется офлайн методом перебора по сетке, и (2) обучение линейного выходного слоя, требующее большого объема памяти. В статье представлен быстрый и точный метод оптимизации параметров для слоя резервуара, использующий обратное распространение ошибки и градиентный спуск при принятии модульной модели DFR. Предложена стратегия усечённого обратного распространения для уменьшения потребления памяти, связанного с разрастанием рекурсивной структуры, при сохранении точности. Время расчёта существенно сокращается по сравнению с перебором по сетке. Кроме того, предложена выполнение Ridge-регрессии для выходного слоя на месте с использованием одномерного разложения Холецкого, что уменьшает объём памяти до одной четверти. Эти методы позволяют реализовать систему онлайн-обучения и вывода DFR на FPGA на периферии, сокращая время вычислений примерно в 13 раз и потребление энергии примерно в 27 раз по сравнению с программной реализацией на той же плате.