📁 Optimization · 最优化

机器学习里的”训练”，本质就是一句话：定义一个损失函数，然后把它最小化。最优化就是研究”怎么找到函数最小值”的学科——它是连接”模型设计”和”模型能跑起来”之间的那座桥。理解了它，你才明白为什么 SVM 要转对偶、为什么神经网络靠梯度下降、为什么会卡在局部最优。

一条主线：凸优化基础 → 约束优化（拉格朗日 / KKT）→ 迭代算法（梯度下降族）。前半段给”最优解长什么样”的理论刻画，后半段给”工程上怎么一步步逼近它”的算法。

TODO

• 凸集、凸函数与凸优化为什么”好解”
• 无约束优化的最优性条件（梯度 / Hessian）
• 拉格朗日乘子法与等式约束
• KKT 条件与不等式约束
• 对偶问题与强对偶（SVM 对偶的来源）
• 梯度下降 / 随机梯度下降 SGD
• 动量、Adam 等现代优化器
• EM 算法作为一种迭代优化