Понимание принципов работы методов снижения размерности: эмпирический подход к интерпретации t-SNE, UMAP, TriMAP и PaCMAP для визуализации данных

Understanding How Dimension Reduction Tools Work: An Empirical Approach to Deciphering t-SNE, UMAP, TriMAP, and PaCMAP for Data Visualization
Cynthia D Rudin, Haiyang Huang, Yaron Shaposhnik, Yingfan Wang
2020-12-08

PaCMAPUMAPвизуализация данныхснижение размерностиt-SNE
Методы снижения размерности (DR), такие как t-SNE, UMAP и TriMAP, продемонстрировали впечатляющие результаты визуализации на множестве реальных наборов данных. Эти методы неизменно сталкиваются с компромиссом между сохранением глобальной и локальной структуры: они могут эффективно сохранять либо одну, либо другую, но не обе одновременно. В данной работе наша основная цель — понять, какие аспекты методов снижения размерности важны для сохранения как локальной, так и глобальной структуры: невозможно разработать более совершенный метод без глубокого понимания решений, принимаемых при создании алгоритмов, и их эмпирического влияния на формируемые ими вложения в пространство меньшей размерности. Для сохранения локальной структуры мы предлагаем несколько полезных принципов проектирования функций потерь для методов снижения размерности, основанных на новом понимании механизмов, лежащих в основе успешных методов. Для сохранения глобальной структуры наш анализ показывает, что важен выбор компонентов, подлежащих сохранению. Используя эти результаты, мы разработали новый алгоритм снижения размерности под названием Pairwise Controlled Manifold Approximation Projection (PaCMAP), который сохраняет как локальную, так и глобальную структуру. Наша работа дает ряд неожиданных представлений о том, какие проектировочные решения следует принимать, а каких следует избегать при создании алгоритмов снижения размерности.
1
Авторы выявляют принципы проектирования функций потерь для снижения размерности, улучшающие сохранение локальной структуры.
2
Анализ показывает, что выбор компонентов данных для сохранения критически важен для поддержания глобальной структуры.
3
Авторы представляют PaCMAP — алгоритм снижения размерности, предназначенный для одновременного сохранения локальной и глобальной структуры.
4
Исследование эмпирически анализирует, как решения в t-SNE, UMAP и TriMAP влияют на сохранение локальной и глобальной структуры в низкоразмерных представлениях.
5
Работа выявляет неожиданные удачные и неудачные проектные решения, важные для разработки будущих методов снижения размерности.

методы снижения размерности и получаемые с их помощью низкоразмерные представления данных, включая t-SNE, UMAP, TriMAP и PaCMAP

эмпирические механизмы и проектные решения, определяющие сохранение локальной и глобальной структуры в низкоразмерных представлениях при снижении размерности

Publication Details
Publication Date
2020-12-08
Journal
Publisher
ISSN
Cited by
252
Access Type
Author Information
Authors
Cynthia D Rudin
Haiyang Huang
Yaron Shaposhnik
Yingfan Wang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%