梯度下降（Gradient Descent）

1. 梯度下降的基本概念

• 梯度（Gradient）：梯度是一个向量,表示函数在某一点处变化最快的方向。对于一元函数 f(x),梯度就是导数 f′(x)；对于多元函数 f(x1​,x2​,…,xn​),梯度是一个向量 ∇f=(∂x1​∂f​,∂x2​∂f​,…,∂xn​∂f​)。
• 下降方向：梯度指向函数增长最快的方向,因此梯度的反方向（即 −∇f）是函数下降最快的方向。

2. 梯度下降的迭代过程

• xk​ 是当前迭代点。
• α 是学习率（Learning Rate）,即每一步的步长,决定了每次迭代移动的距离。
• ∇f(xk​) 是函数在 xk​ 处的梯度。

3. 学习率的选择

• 如果学习率过大,可能会导致算法越过极小值点,甚至发散。
• 如果学习率过小,算法收敛速度会很慢,可能需要很多次迭代才能找到最小值。

• 固定学习率：在整个优化过程中保持学习率不变。
• 动态学习率：根据迭代次数或梯度的变化动态调整学习率,例如学习率衰减（Learning Rate Decay）。
• 自适应学习率：如 AdaGrad、RMSProp、Adam 等优化算法,会根据梯度的历史信息自动调整学习率。

4. 梯度下降的变体

• 批量梯度下降（Batch Gradient Descent）：每次迭代使用整个数据集计算梯度,更新参数。它的优点是收敛稳定,但计算成本高。
• 随机梯度下降（Stochastic Gradient Descent, SGD）：每次迭代只使用一个样本计算梯度,更新参数。它的优点是计算速度快,但收敛过程可能比较“嘈杂”。
• 小批量梯度下降（Mini-batch Gradient Descent）：每次迭代使用一个小批量数据计算梯度,更新参数。它结合了批量梯度下降和随机梯度下降的优点,是实际应用中最常用的方法。

5. 梯度下降的局限性

• 局部最小值：梯度下降可能会收敛到局部最小值,而不是全局最小值。
• 鞍点（Saddle Point）：在高维空间中,梯度下降可能会陷入鞍点,即梯度为零但不是极小值点的位置。
• 梯度消失或爆炸：在深度学习中,梯度可能会变得非常小（梯度消失）或非常大（梯度爆炸）,导致优化过程失效。

6. 梯度下降的应用

• 线性回归：通过梯度下降最小化均方误差（MSE）。
• 逻辑回归：通过梯度下降最小化交叉熵损失。
• 神经网络：通过梯度下降（及其变体）最小化损失函数,调整网络权重。

7. 示例

1. 初始点 x0​=10。
2. 梯度 f′(x)=2x。
3. 学习率 α=0.1。
4. 迭代更新：
   • 第一次迭代：x1​=x0​−αf′(x0​)=10−0.1×20=8
   • 第二次迭代：x2​=x1​−αf′(x1​)=8−0.1×16=6.4
   • 重复迭代,直到 x 接近 0。