机器学习(四) 本文(2万字) | 梯度下降GD原理 | Python复现 |

第四章 梯度下降

    • 一 引入梯度
    • 二 从一元到多元
      • 2.1 一元函数
        • 2.1.1 引入梯度下降
        • 2.1.2 学习率
        • 2.1.3 继续更新迭代
      • 2.2 二元函数
      • 2.3 多元函数
    • 三 多种梯度方法
      • 3.1 批量梯度下降(Batch Gradient Descent,BGD)
        • 3.1.1 对目标函数求偏导
        • 3.1.2 每次迭代对参数进行更新
        • 3.1.3优缺点
      • 3.2 随机梯度下降(Stochastic Gradient Descent,SGD)
        • 3.2.1 对目标函数求偏导
        • 3.2.2 每次迭代对参数进行更新
        • 3.2.3 优缺点
      • 3.3 小批量梯度下降(Mini-Batch Gradient Descent, MBGD)
        • 3.3.1 优缺点
        • 3.3.2 batcha_size的选择带来的影响
    • 四 三种梯度下降算法的收敛过程
    • 五 调优策略
    • 六 梯度下降再理解
    • 七 代码复现
    • 1. 机器学习
    • 2. 深度学习与目标检测
    • 3. YOLOv5
    • 4. YOLOv5改进
    • 5. YOLOv8及其改进
    • 6. Python与PyTorch
    • 7. 工具
    • 8. 小知识点
    • 9. 杂记

一 引入梯度


梯度的概念:梯度就是函数对它的各个自变量求偏导后,由偏导数组成的一个向量
作用:梯度下降法(Gradient Descent,GD)常用于求解无约束情况下凸函数(Convex Function)的极小值,是一种迭代类型的算法,因为凸函数只有一个极值点,故求解出来的极小值点就是函数的最小值点。对凸函数进行优化的方法,梯度下降采用无限逼近的方式逼近参数

待处理问题:

你可能感兴趣的:(机器学习,人工智能,深度学习,目标检测,python,pytorch)