Градиентное обучение для распознавания документов

Многослойные нейронные сети, обучаемые с помощью алгоритма обратного распространения ошибки, представляют собой наиболее яркий пример успешного применения метода градиентного обучения. При соответствующей архитектуре сети алгоритмы градиентного обучения позволяют синтезировать сложную разделяющую поверхность, способную классифицировать многомерные образы, такие как рукописные символы, при минимальной предварительной обработке. В статье рассматриваются различные методы, применяемые для распознавания рукописных символов, и проводится их сравнение на стандартной задаче распознавания рукописных цифр. Показано, что сверточные нейронные сети, специально разработанные для работы с вариативностью двумерных форм, превосходят все остальные методы. Практические системы распознавания документов состоят из множества модулей, включая извлечение полей, распознавание сегментов и языковое моделирование. Новая парадигма обучения, называемая сетями графовых преобразований (graph transformer networks, GTN), позволяет глобально обучать такие многомодульные системы с использованием градиентных методов, минимизируя общий показатель качества. Описаны две системы распознавания рукописного текста в режиме онлайн. Эксперименты демонстрируют преимущества глобального обучения и гибкость сетей графовых преобразований. Также описана сеть графовых преобразований для чтения банковских чеков. Она использует распознаватели символов на основе сверточных нейронных сетей в сочетании с методами глобального обучения, обеспечивая рекордную точность распознавания коммерческих и личных чеков. Система внедрена в коммерческую эксплуатацию и ежедневно обрабатывает несколько миллионов чеков.