Оценка: от precision, recall и F-меры к ROC, informedness, markedness и корреляции

Широко используемые показатели оценки, включая recall (полноту), precision (точность), F-меру и Rand accuracy, имеют смещение и не должны применяться без четкого понимания этих смещений и соответствующего определения уровней случайности или базового уровня статистики. При использовании этих показателей система, которая объективно демонстрирует худшую информированность (informedness), может выглядеть лучше по любому из этих широко применяемых показателей. Мы обсуждаем несколько концепций и метрик, отражающих вероятность того, что предсказание информированно в отличие от случая, вводим informedness и markedness как двойные меры вероятности того, что предсказание информировано или отмечено (marked) по сравнению со случайностью, и демонстрируем элегантные связи между понятиями informedness, markedness, корреляции и значимости, а также их интуитивные отношения с recall и precision. Также мы описываем распространение подхода от дихотомического случая к общему многоклассовому случаю.