随机梯度下降

1. 基本概念：从梯度下降说起
   想象你身处一座被浓雾笼罩的山中，你的目标是找到最低的谷底（即一个函数的最小值点）。梯度下降法就像是在黑暗中，每走一步前，都用脚感受一下周围最陡的下坡方向（这个方向就是函数在该点的“梯度”的负方向），然后朝这个方向迈出一小步。通过不断重复这个过程，你最终会到达一个局部的最低点。在机器学习中，这座“山”就是我们要最小化的“损失函数”，它衡量了模型预测值与真实值之间的差距。我们的目标就是找到一组模型参数，让这个损失函数的值最小。

2. 梯度下降的计算瓶颈
   在标准的梯度下降（常称为“批量梯度下降”）中，要确定每一步的“最陡方向”（即梯度），你需要计算整个训练数据集中每一个样本的损失，然后求平均。如果你的数据集非常大（例如有数百万张图片），那么每走一小步的计算成本（时间和计算资源）都会非常高，因为你需要处理完所有数据才能更新一次参数。

3. 随机梯度下降的核心思想
   为了解决批量梯度下降的计算瓶颈，随机梯度下降被提出。它的核心思想非常直观：何必为了一个大致正确的方向而检阅全军（所有数据）？找一个士兵（一个随机样本）问一下大致方向就够了。

   • 具体做法：在每一步参数更新时，我们不再计算所有样本的损失梯度，而是随机地从数据集中挑选一个样本，计算这个单一样本的损失梯度，并沿着这个梯度的方向对参数进行更新。
   • 优势：计算速度极快，每一步的成本是常数级别的，与数据集大小无关。这使得它能够快速开始迭代，并处理海量数据集。
   • 代价：由于每一步的方向仅基于一个样本，这个方向并不是指向整体损失函数最低点的“最陡方向”，而是一个带有大量“噪声”的、大致正确的方向。因此，SGD的优化路径会非常曲折，像醉汉下山一样，而不是一条平滑的路径。

4. 从SGD到小批量梯度下降
   纯粹的SGD（一次一个样本）由于噪声太大，可能导致收敛过程非常不稳定。为了在计算效率和稳定性之间取得平衡，实践中最常用的是它的一个变体——小批量梯度下降。

   • 做法：在每一步，我们随机抽取一小批样本（例如32、64、128个，这个数量称为“批量大小”），计算这一小批样本损失梯度的平均值，然后用这个平均梯度来更新参数。
   • 优势：
     • 相比批量梯度下降：计算量小，更新频率高，能更快收敛，且能跳出一些局部极小点。
     • 相比纯SGD：通过一小批样本求平均，降低了梯度估计的方差，使得优化路径更稳定，收敛性更好。同时也能利用现代计算库（如NumPy, PyTorch）的并行计算优势。

5. 关键超参数与优化器
   为了实现SGD的良好性能，需要仔细设置几个关键因素：

   • 学习率：这是你“每一步迈出的长度”。如果学习率太大，可能会在谷底附近来回震荡，无法收敛；如果太小，下山速度会非常缓慢。学习率的选择至关重要。
   • 批量大小：决定了梯度估计的准确性和噪声水平。
   • 优化器：为了进一步提升SGD的性能，研究者们提出了许多改进的优化算法，如动量法、AdaGrad、RMSprop、Adam等。这些优化器可以自适应地调整学习率，或引入“动量”概念来加速收敛并减少震荡，可以看作是SGD的“智能”升级版。

6. 总结与应用
   随机梯度下降及其变体是现代机器学习和深度学习最核心、最基础的优化算法。它的价值在于其卓越的“性价比”——用较小的计算代价实现了在大规模问题上的有效优化。几乎所有深度神经网络的训练都依赖于某种形式的SGD。理解SGD，是理解现代人工智能模型如何从数据中“学习”的关键一步。