PRML读书会第三章 Linear Models for Regression(线性基函数模型、正则化方法、贝叶斯线性回归等)

资 源 简 介

PRML读书会第三章 Linear Models for Regression(线性基函数模型、正则化方法、贝叶斯线性回归等)

详 情 说 明

线性回归是机器学习中最基础的模型之一，PRML第三章深入探讨了其扩展形式和应用场景。本章从简单的线性模型出发，逐步引入基函数扩展、正则化技术和贝叶斯方法，形成了完整的回归问题解决方案体系。

线性基函数模型通过引入非线性基函数，将输入空间映射到特征空间，从而极大提升了线性模型的表达能力。常见的基函数包括多项式基、高斯基和sigmoid基等。这种扩展保持了线性模型的解析求解优势，同时能够拟合更复杂的非线性关系。

针对过拟合问题，本章详细介绍了两种正则化方法：L2正则（岭回归）和L1正则（Lasso）。L2正则通过限制参数范数使解更平滑，而L1正则能产生稀疏解，自动实现特征选择。这两种方法从不同角度改进了模型的泛化能力。

贝叶斯线性回归部分展示了概率框架下的回归建模。通过引入参数先验分布，将最大似然估计扩展为最大后验估计。进一步地，通过完全贝叶斯方法，可以计算预测分布而不是单一预测值，为预测结果提供不确定性度量。

本章内容构成了从传统线性回归到现代贝叶斯方法的完整知识链条，为后续更复杂的模型奠定了重要理论基础。