模型的评价指标和质量

2021年09月15日 阅读数:3
这篇文章主要向大家介绍模型的评价指标和质量,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

四 模型的评价指标和质量

分类模型评判指标: Precision、Recall 和 F1Score
对于分类而言,最简单也是最多见的验证指标:精准率(Precision)和召回率(Recall),为了综合这两个指标并得出量化结果,又发明了 F1Score。机器学习

当一个测试集所有被预测完以后,相对于 Class_A,会有一些实际是 Class_A 的数据被预测为其余类,也会有一些其实不是 Class_A 的,被预测成 Class_A,这样的话就致使了下面这个结果:
模型的评价指标和质量_过拟合
精准率:Precision=TP/(TP+FP),即在全部被预测为 Class_A 的测试数据中,预测正确的比率。ide

召回率:Recall=TP/(TP+FN),即在全部实际为 Class_A 的测试数据中,预测正确的比率。学习

F1Score = 2*(Precision * Recall)/(Precision + Recall)测试

显然上面三个值都是越大越好,但每每在实际当中 P 和 R 是矛盾的,很难保证双高。blog

此处须要注意,P、R、F1Score 在分类问题中都是对某一个类而言的ci

假设这个模型总共能够分10个类,那么对于每个类都有一套独立的 P、R、F1Score 的值。衡量模型总体质量,要综合看全部10套指标,而不是只看一套。it

这套指标还和测试数据有关。一样的模型,换一套测试数据后,极可能 P、R、F1Score 会有变化,若是这种变化超过了必定幅度,就要考虑是否存在 bias 或者 overfitting 的状况io

欠拟合仍是过拟合

一个机器学习模型的质量问题,从对训练集样本拟合程度的角度,能够分为两类:欠拟合(Underfitting)和过拟合 (Overfitting)。class

如何严格定义欠拟合仍是过拟合,还要涉及几个概念:bias、error 和 variance方法

如下是感性认识:
模型的评价指标和质量_过拟合_02

若是一个模型,在训练集上的预测结果就不佳,指标偏低,那通常是欠拟合的问题。

若是在训练集上指标很好,而在验证/测试集上指标偏低,则极可能是过拟合问题。

甚至有时候,在训练集和验证/测试集上效果都不错,一到真实环境却预测偏差较大,这种状况也是过拟合。

对于两种不一样的问题,解决方法各不相同。

欠拟合多数状况下是由于选定模型类型太过简单,特征选取不够致使的。而过拟合则相反,多是模型太过复杂,特征选择不当(过多或组合不当)形成的。

相应的解法,固然是有针对性地选择更复杂/简单的模型类型;增长/减小特征;或者减少/增大正则项比重等。

但有一点,不管哪一种问题,增大训练数据量均可能会有所帮助。