Кластеризация с помощью t-SNE: строгое обоснование

Clustering with t-SNE, Provably
George C. Linderman, Stefan Steinerberger
2019-01-01

восстановление кластеровраннее усилениеспектральная кластеризацияшвейцарский рулонt-SNE
Стохастическое вложение соседей с t-распределением (t-SNE) — метод кластеризации и визуализации, предложенный ван дер Маатеном и Хинтоном в 2008 году, — быстро стало стандартным инструментом в ряде естественно-научных дисциплин. Несмотря на его огромный успех, математические основы метода разработаны недостаточно, а внутренние принципы работы алгоритма остаются недостаточно изученными. Цель настоящей статьи — доказать, что t-SNE способен восстанавливать хорошо разделённые кластеры; более точно, мы доказываем, что фазу «раннего усиления» t-SNE — метод оптимизации, предложенный ван дер Маатеном и Хинтоном [J. Mach. Learn. Res., 9 (2008), с. 2579–2605] и ван дер Маатеном [J. Mach. Learn. Res., 15 (2014), с. 3221–3245], — можно строго анализировать. В качестве побочного результата доказательство предлагает новые способы выбора параметра усиления α и шага h. Численные примеры иллюстрируют эффективность этих правил: в частности, улучшается качество вложения топологических структур (например, «швейцарского рулона»). Также обсуждается связь с методами спектральной кластеризации.
1
Численные примеры показывают, что предложенные правила настройки улучшают встраивание топологических структур, например свёрнутой ленты.
2
Анализ устанавливает условия, при которых t-SNE с ранним усилением способен разделять хорошо разделённые кластеры.
3
В работе выявлена связь между t-SNE с ранним усилением и методами спектральной кластеризации.
4
В работе представлено строгое математическое исследование фазы раннего усиления t-SNE для восстановления хорошо разделённых кластеров.
5
Доказательство предлагает новые правила выбора параметра усиления α и шага оптимизации h.

метод t-SNE на этапе раннего усиления, применяемый к хорошо разделённым кластерам и топологическим структурам данных

теоретические гарантии восстановления кластеров и поведение вложения метода t-SNE, включая влияние параметра усиления и размера шага

Publication Details
Publication Date
2019-01-01
Journal
Publisher
ISSN
Cited by
315
Access Type
Author Information
Authors
George C. Linderman
Stefan Steinerberger
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%