Нейронные сети и дилемма смещения/дисперсии

Прямые (feedforward) нейронные сети, обучаемые методом обратного распространения ошибки, являются примерами непараметрических оценок регрессии. Мы представляем учебное пособие по непараметрическом выводе и его связи с нейронными сетями и используем статистическую точку зрения для выделения сильных и слабых сторон нейронных моделей. Основные положения иллюстрируются рядом экспериментов по распознаванию с использованием искусственных данных и рукописных цифр. В заключение мы утверждаем, что нейронные сети текущего поколения с прямой связью в значительной степени недостаточны для сложных задач машинного восприятия и машинного обучения, независимо от вопроса параллельного или последовательного аппаратного исполнения и других вопросов реализации. Кроме того, мы полагаем, что фундаментальные проблемы в моделировании нейронных сетей связаны с представлением, а не с обучением как таковым. Этот последний вывод подтверждается дополнительными экспериментами с рукописными цифрами.