机器学习基础笔记 | 12 – 过拟合问题

什么是过拟合?

假设我们想出了三种算法来模拟这个房子面积和房价的问题

第一种很显然偏差过大(high bias)就像故意弯曲一样

第二个模型可能契合的就不错

第三种,很可能契合了所有点,但是可能是这样的…

第三种情况即为过拟合,一般就是在多变量的情况出现的

在逻辑回归中也有类似的现象

结果大概是这样的,很显然最后一个模型用力过猛了(Doge)

如何解决过拟合?

最简单的方法,画出这个函数图形,一看就知道了

然后下降维度就行了

但是有时候,特征太多了,画图其实非常难

这个时候,可能需要人工检测特征量,并且进行舍弃

或者,用算法来进行舍弃(但是这势必将下降算法的精度)

第二种方法是(正则化)进行降维,努力使每个变量都被约束。

发表评论