PRML读书会第一章 Introduction(机器学习基本概念、学习理论、模型选择、维灾)

资 源 简 介

PRML读书会第一章 Introduction(机器学习基本概念、学习理论、模型选择、维灾)

详 情 说 明

PRML第一章介绍了机器学习的基本概念和核心问题框架。首先明确了机器学习的目标是通过数据构建能够泛化的预测模型。在监督学习中，系统从带有标签的训练数据中学习输入到输出的映射关系；无监督学习则处理未标注数据，发现隐藏模式或结构。

学习理论部分讨论了模型复杂度与泛化能力的权衡。过于简单的模型可能欠拟合，无法捕捉数据中的关键特征；过于复杂的模型容易过拟合，在训练集上表现良好但泛化性能下降。这引出了偏差-方差分解的重要概念，它为我们理解模型误差来源提供了理论基础。

模型选择是确保学习效果的关键环节。交叉验证作为一种实用技术，通过反复划分训练/验证集来评估模型性能，避免对单一数据划分的依赖。信息准则如AIC和BIC则从不同角度平衡模型拟合优度与复杂度。

维数灾难问题揭示了高维空间中的独特挑战。随着特征维度增加，数据变得极其稀疏，导致传统方法失效。这解释了为什么在高维情况下需要特别设计的降维技术或稀疏性假设。该现象也促使我们思考如何有效利用先验知识来缓解维度带来的困难。