Оценка: от precision, recall и F-меры к ROC, informedness, markedness и корреляции
Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation
2020-10-11
SCID: 54.1/hm3npwer
Discuss with AI
КорреляцияF-мераОсведомлённость (Informedness)Отметочность (Markedness)Точность (Precision)ROCRand AccuracyПолнота (Recall)Значимостьоценивание с учётом случайностирасширение от дихотомии к многоклассовой задаче
Figures from the paper
Abstract (AI)
Широко используемые показатели оценки, включая recall (полноту), precision (точность), F-меру и Rand accuracy, имеют смещение и не должны применяться без четкого понимания этих смещений и соответствующего определения уровней случайности или базового уровня статистики. При использовании этих показателей система, которая объективно демонстрирует худшую информированность (informedness), может выглядеть лучше по любому из этих широко применяемых показателей. Мы обсуждаем несколько концепций и метрик, отражающих вероятность того, что предсказание информированно в отличие от случая, вводим informedness и markedness как двойные меры вероятности того, что предсказание информировано или отмечено (marked) по сравнению со случайностью, и демонстрируем элегантные связи между понятиями informedness, markedness, корреляции и значимости, а также их интуитивные отношения с recall и precision. Также мы описываем распространение подхода от дихотомического случая к общему многоклассовому случаю.
Key Findings
1
Система может показывать лучшие значения Precision/Recall/F-measure, но при этом хуже по объективной мере Informedness.
2
Такие метрики оценки, как Recall, Precision, F-measure и Rand Accuracy, смещены и могут вводить в заблуждение без учета случайности или базовых частот.
3
Предложена Markedness как двойная мера, оценивающая вероятность того, что предсказание отмечено по сравнению со случайностью.
4
Авторы демонстрируют формальные связи между Informedness, Markedness, корреляцией, значимостью и их отношениями с Recall и Precision, а также расширение на многоклассовый случай.
5
В статье продвигаются метрики, отражающие вероятность того, что предсказание информативно по сравнению со случайностью, в частности Informedness.
Research Object
Метрики оценивания для бинарных и многоклассовых предсказательных систем (Recall, Precision, F‑Measure, Rand Accuracy, связанные с ROC меры, Informedness, Markedness, Correlation)
Research Subject
Смещения и эффекты вероятности/базовой частоты в метриках оценивания и взаимоотношения между ними; свойства Informedness, Markedness и Correlation (и их связи с Recall, Precision, ROC и значимостью), включая расширение от дихотомического случая к многоклассовому
Publication Details
Publication Date
2020-10-11
Journal
arXiv (Cornell University)
Publisher
Cornell University
ISSN
2331-8422
Cited by
7710
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Работы, цитирующие эту статью6
Преимущества коэффициента корреляции Мэттьюза (MCC) перед F1 и точностью при оценке бинарной классификации2020
U-Net и его варианты для сегментации медицинских изображений: обзор теории и приложений2021
Автоматизированное выявление очаговых поражений молочной железы на ультразвуковых изображениях с использованием сверточных нейронных сетей2017
Прогнозирование увольнения сотрудников с использованием машинного обучения2018
Картирование пространственно-временной динамики заброшенности и повторного освоения сельскохозяйственных угодий в бассейне реки Янцзы2024
Мониторинг заброшенных сельскохозяйственных угодий во фрагментированных горных ландшафтах на основе платформы ML-LandTrendr2026