Понимание принципов работы методов снижения размерности: эмпирический подход к интерпретации t-SNE, UMAP, TriMAP и PaCMAP для визуализации данных
Understanding How Dimension Reduction Tools Work: An Empirical Approach to Deciphering t-SNE, UMAP, TriMAP, and PaCMAP for Data Visualization
2020-12-08
SCID: 54.1/xtkxfzny
Discuss with AI
PaCMAPUMAPвизуализация данныхснижение размерностиt-SNE
Figures from the paper
Abstract (AI)
Методы снижения размерности (DR), такие как t-SNE, UMAP и TriMAP, продемонстрировали впечатляющие результаты визуализации на множестве реальных наборов данных. Эти методы неизменно сталкиваются с компромиссом между сохранением глобальной и локальной структуры: они могут эффективно сохранять либо одну, либо другую, но не обе одновременно. В данной работе наша основная цель — понять, какие аспекты методов снижения размерности важны для сохранения как локальной, так и глобальной структуры: невозможно разработать более совершенный метод без глубокого понимания решений, принимаемых при создании алгоритмов, и их эмпирического влияния на формируемые ими вложения в пространство меньшей размерности. Для сохранения локальной структуры мы предлагаем несколько полезных принципов проектирования функций потерь для методов снижения размерности, основанных на новом понимании механизмов, лежащих в основе успешных методов. Для сохранения глобальной структуры наш анализ показывает, что важен выбор компонентов, подлежащих сохранению. Используя эти результаты, мы разработали новый алгоритм снижения размерности под названием Pairwise Controlled Manifold Approximation Projection (PaCMAP), который сохраняет как локальную, так и глобальную структуру. Наша работа дает ряд неожиданных представлений о том, какие проектировочные решения следует принимать, а каких следует избегать при создании алгоритмов снижения размерности.
Key Findings
1
Авторы выявляют принципы проектирования функций потерь для снижения размерности, улучшающие сохранение локальной структуры.
2
Анализ показывает, что выбор компонентов данных для сохранения критически важен для поддержания глобальной структуры.
3
Авторы представляют PaCMAP — алгоритм снижения размерности, предназначенный для одновременного сохранения локальной и глобальной структуры.
4
Исследование эмпирически анализирует, как решения в t-SNE, UMAP и TriMAP влияют на сохранение локальной и глобальной структуры в низкоразмерных представлениях.
5
Работа выявляет неожиданные удачные и неудачные проектные решения, важные для разработки будущих методов снижения размерности.
Research Object
методы снижения размерности и получаемые с их помощью низкоразмерные представления данных, включая t-SNE, UMAP, TriMAP и PaCMAP
Research Subject
эмпирические механизмы и проектные решения, определяющие сохранение локальной и глобальной структуры в низкоразмерных представлениях при снижении размерности
Publication Details
Publication Date
2020-12-08
Journal
Publisher
ISSN
Cited by
252
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest