机器学习基础笔记 | 13 – 正则化

我们常常会遇到这种情况:虽然每个点拟合的都没什么问题,但是整体曲线看起来非常混乱与奇怪,如何避免这种问题?

这时候我们会直接进行代价函数的计算,不过我们会增加后两项的系数,比如每个给予1000的权重,此时θ3、θ4就会非常小,接近于0

此时我们的曲线就会看起来像这样

这就使得我们的参数虽然多,但是每个的影响就会小很多,使得函数相当平滑,这就让某个参数得以“正则化”。

正则化的意义,即去限制某个参数在拟合时发挥的作用,也就相当于一个“惩罚”。

这个方法的难点在于,如何选出该“惩罚”的参数

有时候我们会选择为所有参数施加惩罚

值得一提的是,对所有参数正则化,并不表示对最终结果不产生影响,实际上,这回对所有参数的权重进行调整(注意参数的平方,这会使得偏离较大的参数受到的惩罚更严重),可以自己尝试一下,会很直观。

但是如果我们对这个正则参数赋值过大,很可能所有的除了θ0的参数都接近于0,这会产生欠拟合的情况

正则化线性回归

首先是梯度下降

这里单独分离了θ0,这是因为正则化的惩罚的对象不限于第一项

然后式子变化如下

这个影响很奇特,相当于把θj乘以某个比1小的数,然后进行梯度下降操作,也就是每步向最优值的收敛稍微变小了点

正规方程法使用如下方程

逻辑回归问题

可以使用梯度下降,此时这个式子看起来和上面的一样,不过由于我们的假设不一样,所以实际上这个梯度下降是不同的。

然后,庆祝一下!

发表评论