Стохастические нейронные вычисления. I. Вычислительные элементы
Stochastic neural computation. I. Computational elements
2001-01-01
SCID: 54.1/c8tf2vxs
Discuss with AI
СБИС для искусственных нейронных сетейнелинейности на основе конечных автоматовстохастические вычислительные элементыстохастические нейронные вычисленияпреобразование стохастических сигналов в детерминированные
Figures from the paper
Abstract (AI)
В статье рассматривается ряд стохастических вычислительных элементов, используемых в искусственных нейронных сетях, некоторые из которых предложены впервые, а также анализируется принцип их работы. Кратко представлены схемы умножения, возведения в квадрат, сложения, вычитания и деления в униполярном и биполярном форматах; соответствующие принципы хорошо известны, по крайней мере для униполярных сигналов. Для повышения скорости операции деления предложено несколько модификаций. Однако основной вклад статьи состоит во введении нескольких вычислительных элементов на основе конечных автоматов для реализации отображений сигмоидальной нелинейности, линейного усиления и функций возведения в степень. Также описан эффективный метод генерации стохастических и детерминированных двоичных сигналов и преобразования между ними. Корректность предлагаемого подхода продемонстрирована в сопутствующей статье на примере распознавания зашумлённых оптических символов с использованием мягкого конкурентного обучения. Способность стохастической сети к обобщению позволяет сохранять среднеквадратичную ошибку в пределах 10 процентов от ошибки реализации с плавающей точкой при широком диапазоне уровней шума. Хотя точность стохастических вычислений может уступать более традиционным вычислениям на основе двоичной системы счисления, низкие площадь схемы и энергопотребление, а также высокая скорость могут в определённых ситуациях сделать их привлекательными для реализации искусственных нейронных сетей в технологии сверхбольших интегральных схем (VLSI).
Key Findings
1
Описан эффективный метод генерации стохастических сигналов и преобразования между стохастическими и детерминированными двоичными представлениями.
2
Предложено несколько модификаций операции деления для повышения скорости вычислений.
3
Введены элементы на основе конечных автоматов для реализации сигмоидальных нелинейностей, линейного усиления и возведения в степень.
4
Несмотря на более низкую точность по сравнению с обычными двоично-разрядными вычислениями, стохастические схемы могут обеспечивать малую площадь и энергопотребление в VLSI-реализациях нейронных сетей; в сопутствующем применении среднеквадратичная ошибка оставалась в пределах 10% от реализации с плавающей точкой при широком диапазоне уровней шума.
5
В статье анализируются стохастические вычислительные элементы для нейронных сетей, включая умножение, возведение в квадрат, сложение, вычитание и деление в униполярном и биполярном форматах.
Research Object
Стохастические вычислительные элементы для искусственных нейронных сетей
Research Subject
Принцип действия и реализация вычислительных элементов для арифметических и нелинейных функций, включая умножение, деление, сигмоидные отображения, линейное усиление, возведение в степень и преобразование между стохастическими и детерминированными сигналами
Publication Details
Publication Date
2001-01-01
Journal
Publisher
ISSN
Cited by
553
Access Type
Author Information
Download PDF
Subscribe to digest