Автоматическая обработка данных и конструирование признаков для приложений глубокого обучения и больших данных: обзор

Automated data processing and feature engineering for deep learning and big data applications: A survey
Alhassan Mumuni, Fuseini Mumuni
2024-01-08

автоматизированная обработка данныхавтоматизированное машинное обучениеувеличение данныхконвейеры глубокого обученияинженерия признаков
Современные подходы к искусственному интеллекту (ИИ) направлены на разработку алгоритмов, которые обучаются непосредственно на данных. Этот подход продемонстрировал впечатляющие результаты и внес значительный вклад в развитие ИИ, особенно в области обучения с учителем на основе глубокого обучения. Он также упростил разработку систем машинного обучения, поскольку процесс обучения в значительной степени автоматизирован. Однако не все задачи обработки данных в традиционных конвейерах глубокого обучения автоматизированы. В большинстве случаев данные необходимо собирать и предварительно обрабатывать вручную, а затем дополнительно расширять с помощью аугментации данных, прежде чем их можно будет эффективно использовать для обучения. В последнее время появились специальные методы автоматизации этих задач. Автоматизация задач обработки данных обусловлена необходимостью использовать большие объемы сложных, неоднородных данных в приложениях машинного обучения и работы с большими данными. Сегодня сквозные автоматизированные системы обработки данных, основанные на методах автоматизированного машинного обучения (AutoML), способны преобразовывать исходные данные в полезные признаки для задач работы с большими данными, автоматизируя все промежуточные этапы обработки. В этой работе представлен подробный обзор подходов к автоматизации задач обработки данных в конвейерах глубокого обучения, включая автоматизированную предварительную обработку данных — например, очистку данных, разметку, импутацию пропущенных данных и кодирование категориальных данных, — а также аугментацию данных, включая генерацию синтетических данных с использованием методов генеративного искусственного интеллекта, и конструирование признаков, в частности автоматизированное извлечение, создание и отбор признаков. Помимо автоматизации отдельных задач обработки данных, мы рассматриваем применение методов и инструментов AutoML для одновременной оптимизации всех этапов конвейера машинного обучения.
1
Системы AutoML могут преобразовывать необработанные данные в полезные признаки для задач больших данных, совместно оптимизируя все этапы конвейера машинного обучения.
2
Автоматизированное конструирование признаков классифицируется на извлечение, построение и отбор признаков.
3
Обзор охватывает автоматизированную очистку данных, разметку, заполнение пропусков и кодирование категориальных данных.
4
Рассматриваются методы аугментации данных, включая генерацию синтетических данных с помощью генеративного ИИ, для сложных и гетерогенных наборов данных.
5
В обзоре рассматривается автоматизация ранее выполнявшихся вручную этапов обработки данных для глубокого обучения, включая сбор, предобработку, аугментацию и конструирование признаков.

системы автоматизированной обработки данных и конвейеры глубокого обучения для приложений Big Data

автоматизация и совместная оптимизация предварительной обработки данных, расширения данных и конструирования признаков на этапах конвейеров машинного обучения

Publication Details
Publication Date
2024-01-08
Journal
Publisher
ISSN
Cited by
163
Access Type
Author Information
Authors
Alhassan Mumuni
Fuseini Mumuni
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%