Стохастические нейронные вычисления. I. Вычислительные элементы

Stochastic neural computation. I. Computational elements
Bryce Brown, HOWARD C. CARD
2001-01-01

СБИС для искусственных нейронных сетейнелинейности на основе конечных автоматовстохастические вычислительные элементыстохастические нейронные вычисленияпреобразование стохастических сигналов в детерминированные
В статье рассматривается ряд стохастических вычислительных элементов, используемых в искусственных нейронных сетях, некоторые из которых предложены впервые, а также анализируется принцип их работы. Кратко представлены схемы умножения, возведения в квадрат, сложения, вычитания и деления в униполярном и биполярном форматах; соответствующие принципы хорошо известны, по крайней мере для униполярных сигналов. Для повышения скорости операции деления предложено несколько модификаций. Однако основной вклад статьи состоит во введении нескольких вычислительных элементов на основе конечных автоматов для реализации отображений сигмоидальной нелинейности, линейного усиления и функций возведения в степень. Также описан эффективный метод генерации стохастических и детерминированных двоичных сигналов и преобразования между ними. Корректность предлагаемого подхода продемонстрирована в сопутствующей статье на примере распознавания зашумлённых оптических символов с использованием мягкого конкурентного обучения. Способность стохастической сети к обобщению позволяет сохранять среднеквадратичную ошибку в пределах 10 процентов от ошибки реализации с плавающей точкой при широком диапазоне уровней шума. Хотя точность стохастических вычислений может уступать более традиционным вычислениям на основе двоичной системы счисления, низкие площадь схемы и энергопотребление, а также высокая скорость могут в определённых ситуациях сделать их привлекательными для реализации искусственных нейронных сетей в технологии сверхбольших интегральных схем (VLSI).
1
Описан эффективный метод генерации стохастических сигналов и преобразования между стохастическими и детерминированными двоичными представлениями.
2
Предложено несколько модификаций операции деления для повышения скорости вычислений.
3
Введены элементы на основе конечных автоматов для реализации сигмоидальных нелинейностей, линейного усиления и возведения в степень.
4
Несмотря на более низкую точность по сравнению с обычными двоично-разрядными вычислениями, стохастические схемы могут обеспечивать малую площадь и энергопотребление в VLSI-реализациях нейронных сетей; в сопутствующем применении среднеквадратичная ошибка оставалась в пределах 10% от реализации с плавающей точкой при широком диапазоне уровней шума.
5
В статье анализируются стохастические вычислительные элементы для нейронных сетей, включая умножение, возведение в квадрат, сложение, вычитание и деление в униполярном и биполярном форматах.

Стохастические вычислительные элементы для искусственных нейронных сетей

Принцип действия и реализация вычислительных элементов для арифметических и нелинейных функций, включая умножение, деление, сигмоидные отображения, линейное усиление, возведение в степень и преобразование между стохастическими и детерминированными сигналами

Publication Details
Publication Date
2001-01-01
Journal
Publisher
ISSN
Cited by
553
Access Type
Author Information
Authors
Bryce Brown
HOWARD C. CARD
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%