Обучение представлений: обзор и новые перспективы
Representation Learning: A Review and New Perspectives
2013-05-31
SCID: 54.1/x2j26dse
Discuss with AI
автоэнкодерыглубокое обучениеобучение многообразияобучение представленийобучение признаков без учителя
Figures from the paper
Abstract (AI)
Успех алгоритмов машинного обучения в целом зависит от представления данных, и мы выдвигаем гипотезу, что это связано с тем, что разные представления могут в той или иной степени переплетать и скрывать различные объясняющие факторы вариации, лежащие в основе данных. Хотя специфические знания предметной области могут использоваться для проектирования представлений, возможно также обучение с общими априорными предположениями, и стремление к развитию искусственного интеллекта стимулирует разработку более мощных алгоритмов обучения представлений, реализующих такие априоры. В статье рассматриваются недавние работы в области обучения признаков без учителя и глубокого обучения, охватывающие достижения в вероятностных моделях, автокодировщиках, изучении многообразий и глубоких сетях. Это побуждает к постановке долгосрочных невыясненных вопросов о подходящих целевых функциях для обучения хороших представлений, об алгоритмах вычисления представлений (т. е. выводе) и о геометрических связях между обучением представлений, оценкой плотности и изучением многообразий.
Key Findings
1
Качество представления данных существенно влияет на успех машинного обучения, поскольку представления могут запутывать или выявлять объясняющие факторы вариации.
2
Знание предметной области может помочь в проектировании представлений, но обучение с общими априорными предположениями также является жизнеспособной альтернативой.
3
Недавние достижения в области обучения признаков без учителя и глубокого обучения включают прогресс в вероятностных моделях, автокодировщиках, изучении многообразий и глубоких сетях.
4
Существуют важные геометрические связи между обучением представлений, оценкой плотности и изучением многообразий, требующие дальнейших исследований.
5
Остаются открытые вопросы о подходящих целевых функциях для обучения хороших представлений и методах вывода (инференса) для их вычисления.
Research Object
Представления данных, выученные алгоритмами машинного обучения
Research Subject
Принципы, целевые функции, методы вывода и геометрические связи для обучения качественных представлений (включая обучение неконтролируемых признаков, вероятностные модели, автоэнкодеры, обучение на многообразиях и глубокие сети)
Publication Details
Publication Date
2013-05-31
Journal
Publisher
ISSN
Cited by
17143
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai6
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Градиентное обучение для распознавания документов1998
Обучение нескольких слоев признаков на маленьких изображениях2024
Снижение размерности данных с помощью нейронных сетей2006
Глубокие нейронные сети для акустического моделирования в распознавании речи: общее мнение четырёх исследовательских групп2012
Сверточные глубокие сети убеждений для масштабируемого обучения без учителя иерархических представлений2009
Работы, цитирующие эту статью20
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Глубокое обучение с подкреплением: краткий обзор2017
Глубокое обучение для компьютерного зрения: краткий обзор2018
Глубокое обучение для обнаружения аномалий2021
Масштабируемое и точное глубокое обучение с использованием электронных медицинских карт2018
Глубокое обучение в здравоохранении: обзор, возможности и проблемы2017
Извлечение глубоких признаков и классификация гиперспектральных изображений на основе сверточных нейронных сетей2016
Приложения и проблемы глубокого обучения в аналитике больших данных2015
Глубокое обучение для универсального обнаружения объектов: обзор2019
Последние достижения и применения машинного обучения в физике и материаловедении твёрдого тела2019
Причинная объяснимость и объяснимость искусственного интеллекта в медицине2019
Прогнозирование временных рядов с использованием глубокого обучения: обзор2021
DNABERT: предварительно обученная двунаправленная модель представлений энкодера на основе Transformers для языка ДНК в геноме2021
Автоматизированное машинное обучение2019
Методы моделирования глубокого обучения: современный прогресс, применения, преимущества и проблемы2023
Этические и нормативно-правовые проблемы технологий искусственного интеллекта в здравоохранении: нарративный обзор2024
К стремлению к обучению причинных представлений2021
Унифицирующий обзор глубоких и поверхностных методов обнаружения аномалий2021
Разрывы в применении и теории в период роста искусственного интеллекта в образовании2020
Интерпретируемое машинное обучение: основные принципы и 10 крупных задач2022