Градиентное обучение для распознавания документов
Gradient-based learning applied to document recognition
1998-01-01
SCID: 54.1/sse9wjec
Discuss with AI
сверточные нейронные сетираспознавание документовградиентное обучениеграфовые трансформаторные сетираспознавание рукописных символов
Figures from the paper
Abstract (AI)
Многослойные нейронные сети, обучаемые с помощью алгоритма обратного распространения ошибки, представляют собой наиболее яркий пример успешного применения метода градиентного обучения. При соответствующей архитектуре сети алгоритмы градиентного обучения позволяют синтезировать сложную разделяющую поверхность, способную классифицировать многомерные образы, такие как рукописные символы, при минимальной предварительной обработке. В статье рассматриваются различные методы, применяемые для распознавания рукописных символов, и проводится их сравнение на стандартной задаче распознавания рукописных цифр. Показано, что сверточные нейронные сети, специально разработанные для работы с вариативностью двумерных форм, превосходят все остальные методы. Практические системы распознавания документов состоят из множества модулей, включая извлечение полей, распознавание сегментов и языковое моделирование. Новая парадигма обучения, называемая сетями графовых преобразований (graph transformer networks, GTN), позволяет глобально обучать такие многомодульные системы с использованием градиентных методов, минимизируя общий показатель качества. Описаны две системы распознавания рукописного текста в режиме онлайн. Эксперименты демонстрируют преимущества глобального обучения и гибкость сетей графовых преобразований. Также описана сеть графовых преобразований для чтения банковских чеков. Она использует распознаватели символов на основе сверточных нейронных сетей в сочетании с методами глобального обучения, обеспечивая рекордную точность распознавания коммерческих и личных чеков. Система внедрена в коммерческую эксплуатацию и ежедневно обрабатывает несколько миллионов чеков.
Key Findings
1
Графовая трансформаторная сеть со свёрточными распознавателями символов достигла рекордной точности при чтении деловых и личных чеков и была коммерчески внедрена для обработки нескольких миллионов чеков в день.
2
Свёрточные нейронные сети превзошли другие рассмотренные методы в стандартной задаче распознавания рукописных цифр, поскольку учитывают вариативность двумерных форм.
3
Эксперименты по распознаванию рукописного текста в реальном времени продемонстрировали преимущества глобального обучения и гибкость графовых трансформаторных сетей.
4
Градиентное обучение многослойных нейронных сетей позволяет формировать сложные поверхности решений для классификации высокоразмерных рукописных символов при минимальной предварительной обработке.
5
Графовые трансформаторные сети позволяют глобально обучать многомодульные системы распознавания документов с помощью градиентной оптимизации общей меры качества.
Research Object
Системы распознавания рукописных символов (включая сверточные нейронные сети и мультимодульные системы на базе графов-трансформеров), применяемые для распознавания документов
Research Subject
точность распознавания и эффективность глобального сквозного обучения для вариативных двумерных рукописных образов и многомодульных систем чтения документов
Publication Details
Publication Date
1998-01-01
Journal
Publisher
ISSN
Cited by
61757
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai1
Работы, цитирующие эту статью20
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Обучение «последовательность-в-последовательность» с помощью нейронных сетей2014
Обучение представлений: обзор и новые перспективы2013
Обзор методов аугментации изображений для глубокого обучения2019
Сверточные нейронные сети для классификации предложений2014
Всеобъемлющий обзор графовых нейронных сетей2020
Улучшение нейронных сетей путем предотвращения соадаптации детекторов признаков2012
Графовые нейронные сети: обзор методов и приложений2020
Глубокое обучение с дифференциальной приватностью2016
Обзор рекуррентных нейронных сетей: LSTM‑ячейки и архитектуры сетей2019
Глубокие сверточные нейронные сети для автоматизированного обнаружения: архитектуры CNN, характеристики наборов данных и перенос обучения2016
Глубокое обучение в анализе медицинских изображений2017
Обзор сверточных нейронных сетей: анализ, применения и перспективы2021
Pyramid Vision Transformer: универсальный бэкоун для плотного предсказания без свёрток2021
Пространственно-временные графовые сверточные сети: платформа глубокого обучения для прогнозирования трафика2018
Иерархические сети внимания для классификации документов2016
Искусственный интеллект в здравоохранении: прошлое, настоящее и будущее2017
Сверточные нейронные сети для анализа медицинских изображений: полная тренировка или дообучение?2016
Глубокое обучение для компьютерного зрения: краткий обзор2018
Обнаружение трещин и повреждений с использованием глубокого обучения и сверточных нейронных сетей2017