PRML读书会第六章 Kernel Methods（核函数，线性回归的Dual Representations；高斯过程 Gaussian Processes的

资 源 简 介

PRML读书会第六章 Kernel Methods（核函数，线性回归的Dual Representations；高斯过程 Gaussian Processes的

详 情 说 明

核方法是机器学习中处理非线性问题的强大工具，它允许我们将线性模型扩展到非线性场景。本章主要探讨了核函数的核心概念及其两种典型应用：线性回归的对偶表示和高斯过程。

核函数的核心思想是通过隐式映射将数据转换到高维特征空间，从而在原始空间中不可分的问题变得可解。常见的核函数包括多项式核和高斯核等，它们能巧妙地避免显式计算高维特征向量，转而通过核技巧直接计算特征空间中的内积。

线性回归的对偶表示展示了如何将参数w表示为训练数据点的线性组合。这种表示形式揭示了模型预测可以完全由核函数和数据点表示，为核化回归奠定了基础。对偶表示将计算复杂度从特征维度转移到样本数量，这在特征维度很高时特别有利。

高斯过程为核方法提供了概率视角，它将函数视为随机过程，通过核函数定义函数间的协方差。这种非参数方法能够自然地处理不确定性，并给出预测的置信区间。高斯过程回归的关键在于选择合适的核函数来捕捉数据中的各种模式，如周期性或趋势性。

这些核方法构成了处理非线性问题的统一框架，在保持计算可行性的同时提供了强大的建模能力。它们之间的理论联系也体现了机器学习中不同分支的深刻关联。