Детерминированный отжиг для кластеризации, сжатия, классификации, регрессии и связанных задач оптимизации

Подход детерминированного отжига к кластеризации и его расширения продемонстрировал существенное улучшение качества по сравнению со стандартными методами контролируемого и неконтролируемого обучения в ряде важных приложений, включая сжатие, оценивание, распознавание образов и классификацию, а также статистическую регрессию. Специфичная для приложения функция стоимости минимизируется при ограничении на случайность решения, которое постепенно уменьшается. Мы подчеркиваем интуицию, получаемую по аналогии со статистической физикой. Альтернативно метод выводится в рамках теории скорости и искажения (rate-distortion theory), где процесс отжига эквивалентен вычислению функции Шеннона rate-distortion, а температура отжига обратно пропорциональна наклону этой кривой. Базовый алгоритм расширяется посредством введения структурных ограничений для оптимизации множества популярных структур, включая векторные квантайзеры, деревья решений, многослойные персептроны, радиальные базисные функции и смеси экспертов.