PRML读书会第七章 Sparse Kernel Machines（支持向量机 support vector machine ；KKT条件；RVM）

资 源 简 介

PRML读书会第七章 Sparse Kernel Machines（支持向量机 support vector machine ；KKT条件；RVM）

详 情 说 明

支持向量机(SVM)作为经典的稀疏核方法，在模式识别领域占据重要地位。其核心思想是通过最大化分类间隔来构建决策边界，同时借助核技巧处理非线性可分问题。与神经网络不同，SVM的解具有稀疏性——仅由支持向量决定模型参数，这使得预测阶段计算效率显著提升。

KKT条件在该理论框架中扮演关键角色。这些最优性条件不仅指导了SVM的求解过程，还揭示了支持向量的本质特征：只有违反函数间隔的样本才会成为支持向量。通过拉格朗日乘子法，原始优化问题被转化为对偶问题，此时KKT条件的互补松弛性质清晰展现了模型的稀疏性来源。

相关向量机(RVM)提供了贝叶斯视角的稀疏解决方案。与SVM相比，RVM通过自动相关性确定(ARD)先验实现更极致的稀疏性，且无需提前设置正则化参数。但其计算复杂度较高，尤其在大规模数据集上表现明显逊色于SVM。两种方法各具优势：SVM具有坚实的理论基础和高效实现，而RVM能输出概率化预测并自适应选择特征。