Теоретические основы t-SNE для визуализации кластеризованных данных высокой размерности
Theoretical Foundations of t-SNE for Visualizing High-Dimensional Clustered Data
2021-05-16
SCID: 54.1/qkfvw2v3
Discuss with AI
спектральная кластеризация Лапласианараннее преувеличениенеявная регуляризациянелинейное снижение размерностиt-SNE
Figures from the paper
Abstract (AI)
В статье исследуются теоретические основы алгоритма стохастического вложения соседей с распределением Стьюдента (t-SNE), широко используемого метода нелинейного снижения размерности и визуализации данных. Представлена новая теоретическая основа анализа t-SNE, основанная на подходе градиентного спуска. Для стадии раннего усиления t-SNE показана ее асимптотическая эквивалентность степенным итерациям, основанным на соответствующем лаплассиане графа; охарактеризовано предельное поведение и выявлена глубокая связь со спектральной кластеризацией по Лапласу и фундаментальными принципами, включая раннюю остановку как неявную регуляризацию. Полученные результаты объясняют внутренний механизм и эмпирические преимущества такой вычислительной стратегии. Для стадии построения вложения t-SNE охарактеризована кинематика отображения в пространство малой размерности на протяжении итераций, а также выявлены фаза усиления, характеризующаяся межкластерным отталкиванием и расширяющимся поведением отображения в пространство малой размерности, и фаза стабилизации. Общая теория объясняет высокую скорость сходимости и исключительную эмпирическую эффективность t-SNE при визуализации кластеризованных данных, предлагает интерпретации визуализаций t-SNE и дает теоретические рекомендации по применению t-SNE и выбору его параметров настройки в различных приложениях.
Key Findings
1
Разработана теоретическая framework на основе градиентного спуска для анализа t-SNE и объяснения его поведения на кластеризованных многомерных данных.
2
На стадии построения embedding t-SNE проходит фазу усиления с межкластерным отталкиванием и расширением отображения, за которой следует фаза стабилизации.
3
Ранняя остановка на стадии раннего усиления действует как неявная регуляризация и помогает объяснить эмпирические преимущества метода.
4
Стадия раннего усиления асимптотически эквивалентна степенным итерациям для графового лапласиана, связывая t-SNE со спектральной кластеризацией Лапласа.
5
Теория объясняет быструю сходимость и высокую эффективность t-SNE при визуализации, а также дает рекомендации по интерпретации embedding и выбору параметров настройки.
Research Object
алгоритм t-SNE и его низкоразмерное представление многомерных кластеризованных данных
Research Subject
теоретические механизмы и поведение сходимости t-SNE, включая динамику этапа раннего усиления, эквивалентность спектральной кластеризации по лаплассиану, межкластерное отталкивание, расширение отображения, стабилизацию и неявную регуляризацию
Publication Details
Publication Date
2021-05-16
Journal
Publisher
ISSN
Cited by
107
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai5
Ускорение t-SNE с использованием алгоритмов на основе деревьев2014
Искусство применения t-SNE для транскриптомики отдельных клеток2019
Кластеризация с помощью t-SNE: строгое обоснование2019
Понимание принципов работы методов снижения размерности: эмпирический подход к интерпретации t-SNE, UMAP, TriMAP и PaCMAP для визуализации данных2020
t-viSNE: интерактивная оценка и интерпретация проекций t-SNE2020