机器学习：支持向量机（SVM）的进阶理解

1. 数学基础：硬间隔SVM的优化问题

2. 拉格朗日对偶与支持向量

3. 软间隔SVM：处理噪声与重叠

其中  是惩罚参数，控制对误分类的容忍度：

• 越大，分类越严格（间隔越小，可能过拟合）。
• 越小，允许更多错误（间隔越大，可能欠拟合）。

对偶问题
软间隔的对偶形式与硬间隔类似，但约束变为：0  ≤    ≤ 

4. 核技巧（Kernel Trick）

5. SVM的优化算法

6. SVM的扩展与变种

• 多类SVM：通过“一对多”（One-vs-Rest）或“一对一”（One-vs-One）策略扩展。

• 支持向量回归（SVR）：用于回归问题，目标是让预测值落在间隔带内。

• 结构化SVM：处理结构化输出（如序列、树形结构）。

7. 实际应用中的注意事项

• 特征缩放：SVM对特征的尺度敏感（尤其是RBF核），建议标准化数据。

• 核函数选择：

  • 线性核：特征多、样本少时。

  • RBF核：特征少、样本多时（需调参 ）。

• 参数调优：

  • （惩罚参数）和 （RBF核的带宽）通过交叉验证选择。

1. 计算效率：

   • 大规模数据可用随机梯度下降（SGD）或近似核方法（如Nyström）。

---

总结

• SVM的核心：最大化间隔，利用支持向量决定分类边界。
• 数学本质：凸二次规划 + 对偶理论 + 核方法。
• 优势：高维数据有效、泛化能力强、可处理非线性。
• 挑战：调参敏感、大规模数据计算成本高。

如果想进一步深入，可以研究：

• 核函数的数学性质（Mercer定理）。
• SVM与逻辑回归的理论联系。
• 现代优化方法（如随机双坐标上升）。