Теория обучения на данных из различных областей
A theory of learning from different domains
2009-10-22
SCID: 54.1/t9rqx99w
Discuss with AI
расходимость, индуцированная классификаторомадаптация доменаэмпирические ошибки на исходном и целевом доменахисходный и целевой доменыграницы ошибки на целевом домене
Figures from the paper
Abstract (AI)
Дискриминативные методы обучения для классификации хорошо работают, когда обучающие и тестовые данные имеют одно и то же распределение. Однако часто имеется большое количество размеченных обучающих данных из исходной области, тогда как требуется обучить классификатор, который будет хорошо работать в целевой области с иным распределением и малым или нулевым количеством размеченных обучающих данных. В данной работе исследуются два вопроса. Во-первых, при каких условиях можно ожидать, что классификатор, обученный на данных исходной области, будет хорошо работать на данных целевой области? Во-вторых, если имеется небольшое количество размеченных данных целевой области, как следует использовать их при обучении вместе с большим количеством размеченных данных исходной области, чтобы минимизировать ошибку в целевой области на этапе тестирования? На первый вопрос мы отвечаем, ограничивая ошибку классификатора в целевой области через его ошибку в исходной области и расхождение между двумя областями. Мы вводим меру расхождения, индуцированную классификатором, которую можно оценить по конечным неразмеченным выборкам из этих областей. В предположении, что существует гипотеза, хорошо работающая в обеих областях, мы показываем, что эта величина вместе с эмпирической ошибкой в исходной области характеризует ошибку классификатора, обученного на данных исходной области, в целевой области. На второй вопрос мы отвечаем, ограничивая ошибку в целевой области модели, минимизирующей выпуклую комбинацию эмпирических ошибок в исходной и целевой областях. В предыдущих теоретических работах рассматривалась минимизация только ошибки в исходной области, только ошибки в целевой области либо одинаковое взвешивание объектов из обеих областей. Мы показываем, как выбрать оптимальную комбинацию ошибок в исходной и целевой областях в зависимости от расхождения, объемов выборок обеих областей и сложности класса гипотез. Полученная оценка обобщает ранее изученные случаи и всегда является не менее точной, чем оценка, основанная на минимизации только ошибки в целевой области или на одинаковом взвешивании ошибок в исходной и целевой областях.
Key Findings
1
При наличии гипотезы, хорошо работающей в обеих областях, эмпирическая ошибка в исходной области вместе с расхождением характеризует ошибку классификатора, обученного на исходных данных.
2
Для случая небольшого числа размеченных целевых данных получены границы для минимизации выпуклой комбинации эмпирических ошибок в исходной и целевой областях.
3
Предложено индуцированное классификатором расхождение, которое можно оценивать по конечным неразмеченным выборкам из обеих областей.
4
Оптимальный вес исходных и целевых данных зависит от расхождения областей, размеров выборок и сложности класса гипотез; полученная граница не хуже границ для обучения только на целевых данных или при равных весах.
5
В статье получена верхняя граница ошибки классификации в целевой области через ошибку в исходной области и расхождение между распределениями областей.
Research Object
обучение классификации в исходной и целевой предметных областях с различными распределениями данных
Research Subject
условия и оптимальное взвешивание ошибок на исходных и целевых данных, определяющие обобщающую способность в целевой области
Publication Details
Publication Date
2009-10-22
Journal
Publisher
ISSN
Cited by
3711
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest