Теоретические основы t-SNE для визуализации кластеризованных данных высокой размерности

Theoretical Foundations of t-SNE for Visualizing High-Dimensional Clustered Data
T. Tony Cai, Rong Ma
2021-05-16

спектральная кластеризация Лапласианараннее преувеличениенеявная регуляризациянелинейное снижение размерностиt-SNE
В статье исследуются теоретические основы алгоритма стохастического вложения соседей с распределением Стьюдента (t-SNE), широко используемого метода нелинейного снижения размерности и визуализации данных. Представлена новая теоретическая основа анализа t-SNE, основанная на подходе градиентного спуска. Для стадии раннего усиления t-SNE показана ее асимптотическая эквивалентность степенным итерациям, основанным на соответствующем лаплассиане графа; охарактеризовано предельное поведение и выявлена глубокая связь со спектральной кластеризацией по Лапласу и фундаментальными принципами, включая раннюю остановку как неявную регуляризацию. Полученные результаты объясняют внутренний механизм и эмпирические преимущества такой вычислительной стратегии. Для стадии построения вложения t-SNE охарактеризована кинематика отображения в пространство малой размерности на протяжении итераций, а также выявлены фаза усиления, характеризующаяся межкластерным отталкиванием и расширяющимся поведением отображения в пространство малой размерности, и фаза стабилизации. Общая теория объясняет высокую скорость сходимости и исключительную эмпирическую эффективность t-SNE при визуализации кластеризованных данных, предлагает интерпретации визуализаций t-SNE и дает теоретические рекомендации по применению t-SNE и выбору его параметров настройки в различных приложениях.
1
Разработана теоретическая framework на основе градиентного спуска для анализа t-SNE и объяснения его поведения на кластеризованных многомерных данных.
2
На стадии построения embedding t-SNE проходит фазу усиления с межкластерным отталкиванием и расширением отображения, за которой следует фаза стабилизации.
3
Ранняя остановка на стадии раннего усиления действует как неявная регуляризация и помогает объяснить эмпирические преимущества метода.
4
Стадия раннего усиления асимптотически эквивалентна степенным итерациям для графового лапласиана, связывая t-SNE со спектральной кластеризацией Лапласа.
5
Теория объясняет быструю сходимость и высокую эффективность t-SNE при визуализации, а также дает рекомендации по интерпретации embedding и выбору параметров настройки.

алгоритм t-SNE и его низкоразмерное представление многомерных кластеризованных данных

теоретические механизмы и поведение сходимости t-SNE, включая динамику этапа раннего усиления, эквивалентность спектральной кластеризации по лаплассиану, межкластерное отталкивание, расширение отображения, стабилизацию и неявную регуляризацию

Publication Details
Publication Date
2021-05-16
Journal
Publisher
ISSN
Cited by
107
Access Type
Author Information
Authors
T. Tony Cai
Rong Ma
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%