机器学习基础笔记 | 5 – 梯度下降优化之学习率

上述图表示的是代价函数的值随着迭代次数变化逐渐变小的过程

一般来说，这条曲线有以下特征：

• 每次迭代都应该使代价函数下降一段距离
• 并且下降的程度会逐渐变缓（也就是应该逐渐收敛）

那么令人感兴趣的是，如何判断在一定迭代次数后，函数已经收敛呢？

（咳，视频告诉我们可以用自动收敛测试，但是最好还算画这个图）

学习率过大的话可能产生这个情况

也就是每次都会僭越过应该到达的最小值

这个时候应该使α小一点，可以产生如下效果

总结↓：

但是吴恩达推荐的是大概三倍进行一次尝试