机器学习基础笔记 | 5 – 梯度下降优化之学习率

上述图表示的是代价函数的值随着迭代次数变化逐渐变小的过程

一般来说,这条曲线有以下特征:

  • 每次迭代都应该使代价函数下降一段距离
  • 并且下降的程度会逐渐变缓(也就是应该逐渐收敛)

那么令人感兴趣的是,如何判断在一定迭代次数后,函数已经收敛呢?

(咳,视频告诉我们可以用自动收敛测试,但是最好还算画这个图)

学习率过大的话可能产生这个情况

也就是每次都会僭越过应该到达的最小值

这个时候应该使α小一点,可以产生如下效果

总结↓:

但是吴恩达推荐的是大概三倍进行一次尝试

发表评论