分类模型评价指标

2021年09月15日 阅读数:1
这篇文章主要向大家介绍分类模型评价指标,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

分类模型评价指标

上图矩阵中1是正例,0是只负例markdown

对于二分类问题,能够将真实类别和分类器预测类别组合为:ide

真正例(true positive TP):真实类别为正例,预测类别为正例;学习

假正例(false positive FP): 真实类别为负例,预测类别为正例;blog

假负例(false negative FN):真实类别为正例,预测类别为负例;排序

真负例(true negative TN):真实类别为负例,预测类别为负例;it

分类模型评价指标有:class

1.错误率和精度im

错误率(error_rate)和精度(accuracy)是分类任务中最经常使用的两个指标,既适用于二分类任务也适用于多分类任务;d3

error_rate = (FP+FN)/(P+N)error

accuracy = (TP+TN)/(P+N)

accuracy = 1-error_rate

错误率是分类错误的样本数占样本总数的比例,精度则是分类正确的样本数占样本总数的比例;

error_rate =

2.查准率、查全率和F1

查准率(准确率)P = TP/(TP+FP)

查全率(召回率)R = TP/(TP+FN)

F1值:F1 = 2/(1/R + 1/P) = 2PR/(P+R)

查准率和查全率是一对矛盾的指标,通常来讲,查准率高时,查全率每每偏低,而查全率高时,查准率每每偏低;平衡点BEP是查准率= 查全率时的取值,当一个学习期的BEP高于另外一个学习器的,则能够认为该学习器优于另外一个;

但BEP过于简化,更经常使用的是F1值;另外再一些应用中可能对查准率和查全率的重视程度不一样,能够对它们施加不一样的偏好,定义为:

分类模型评价指标

3.ROC和AUC

ROC曲线的纵轴是“真正例率”(TPR),横轴是假正例率(FPR),

其中TPR = TP/(TP+FN), FPR = FP/(TN+FP)

分类模型评价指标

绘图过程:给定m+个正例率和m-个负例率,根据学习器的预测结果对样例进行排序,而后把分类阈值设为最大,即把全部样本都预测为反例,此时TPR和FPR都为0,在坐标(0,0)处标记一个点,而后,将分类阈值依次设为每一个样例的预测值,即依次将每一个样例预测为正例;

若一个分类器的ROC曲线将另外一个分类器的曲线彻底包住,则可认为该分类器优于另外一个分类器;若两个分类器之间有交叉,则比较难比较优劣,此时较为合理的判断指标是AUC,即ROC曲线下的面积。