Теория обучения на данных из различных областей

A theory of learning from different domains
Jennifer Wortman Vaughan, Fernando M. B. Pereira, Shai Ben-David, John C. Blitzer, Koby Crammer, Alex Kulesza
2009-10-22

расходимость, индуцированная классификаторомадаптация доменаэмпирические ошибки на исходном и целевом доменахисходный и целевой доменыграницы ошибки на целевом домене
Дискриминативные методы обучения для классификации хорошо работают, когда обучающие и тестовые данные имеют одно и то же распределение. Однако часто имеется большое количество размеченных обучающих данных из исходной области, тогда как требуется обучить классификатор, который будет хорошо работать в целевой области с иным распределением и малым или нулевым количеством размеченных обучающих данных. В данной работе исследуются два вопроса. Во-первых, при каких условиях можно ожидать, что классификатор, обученный на данных исходной области, будет хорошо работать на данных целевой области? Во-вторых, если имеется небольшое количество размеченных данных целевой области, как следует использовать их при обучении вместе с большим количеством размеченных данных исходной области, чтобы минимизировать ошибку в целевой области на этапе тестирования? На первый вопрос мы отвечаем, ограничивая ошибку классификатора в целевой области через его ошибку в исходной области и расхождение между двумя областями. Мы вводим меру расхождения, индуцированную классификатором, которую можно оценить по конечным неразмеченным выборкам из этих областей. В предположении, что существует гипотеза, хорошо работающая в обеих областях, мы показываем, что эта величина вместе с эмпирической ошибкой в исходной области характеризует ошибку классификатора, обученного на данных исходной области, в целевой области. На второй вопрос мы отвечаем, ограничивая ошибку в целевой области модели, минимизирующей выпуклую комбинацию эмпирических ошибок в исходной и целевой областях. В предыдущих теоретических работах рассматривалась минимизация только ошибки в исходной области, только ошибки в целевой области либо одинаковое взвешивание объектов из обеих областей. Мы показываем, как выбрать оптимальную комбинацию ошибок в исходной и целевой областях в зависимости от расхождения, объемов выборок обеих областей и сложности класса гипотез. Полученная оценка обобщает ранее изученные случаи и всегда является не менее точной, чем оценка, основанная на минимизации только ошибки в целевой области или на одинаковом взвешивании ошибок в исходной и целевой областях.
1
При наличии гипотезы, хорошо работающей в обеих областях, эмпирическая ошибка в исходной области вместе с расхождением характеризует ошибку классификатора, обученного на исходных данных.
2
Для случая небольшого числа размеченных целевых данных получены границы для минимизации выпуклой комбинации эмпирических ошибок в исходной и целевой областях.
3
Предложено индуцированное классификатором расхождение, которое можно оценивать по конечным неразмеченным выборкам из обеих областей.
4
Оптимальный вес исходных и целевых данных зависит от расхождения областей, размеров выборок и сложности класса гипотез; полученная граница не хуже границ для обучения только на целевых данных или при равных весах.
5
В статье получена верхняя граница ошибки классификации в целевой области через ошибку в исходной области и расхождение между распределениями областей.

обучение классификации в исходной и целевой предметных областях с различными распределениями данных

условия и оптимальное взвешивание ошибок на исходных и целевых данных, определяющие обобщающую способность в целевой области

Publication Details
Publication Date
2009-10-22
Journal
Publisher
ISSN
Cited by
3711
Access Type
Author Information
Authors
Jennifer Wortman Vaughan
Fernando M. B. Pereira
Shai Ben-David
John C. Blitzer
Koby Crammer
Alex Kulesza
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%