机器学习基础笔记 | 7 – 正规方程法

这种方法能够直接解决我们之前需要慢慢迭代的梯度下降问题,一步到位

比如对于这个函数

直接进行求导,使其导数 = 0,是我们一般的求最小值的做法

推广到多维,会成为这样

看一个实例,之前的房产数据如下(其中第一列的X0是1,因为我们默认X0是等于1的)

首先把所有的特征数值转换成矩阵,另外y也应该转化成矩阵

然后用以下式子即可

上述的X矩阵又称为设计矩阵(design matrix)

设计矩阵的方法是把每个训练样本的特征的转置累积加在设计矩阵的每一行上,具体流程如下

如果看不懂的话可能是对这个的定义出现了问题,建议转回《多元线性回归与梯度下降》去看一下每个训练样本的定义。

值得一提的是,用了正规方程法就没有必要使用特征缩放了

以下是正规方程法和梯度下降法的优劣之处

所以如果N非常大,梯度下降法会比较香,结论就是这个

但是 一般来说n>10000,就需要考虑梯度下降法

另外,对于复杂的机器学习算法(分类算法等)来说,正规方程法也不适用,只能使用梯度下降

(正规方程法有可能出现不可逆的情况,这种情况需要额外的工作,这里其实和主线不太相关,就不去讲了)

发表评论