PRML读书会第四章 Linear Models for Classification(贝叶斯marginalization、Fisher线性判别、感知机、概率

资 源 简 介

PRML读书会第四章 Linear Models for Classification(贝叶斯marginalization、Fisher线性判别、感知机、概率

详 情 说 明

PRML第四章深入探讨了用于分类任务的线性模型，这是模式识别领域的核心内容。本章从概率视角出发，系统介绍了三种典型方法：贝叶斯框架下的边际化处理、Fisher提出的判别分析、以及经典的感知机算法。

贝叶斯边际化方法将模型参数视为随机变量，通过积分消除这些变量来获得预测分布。这种处理避免了过拟合，体现了贝叶斯思想的核心——考虑所有可能参数值而非单一估计。

Fisher线性判别通过最大化类间方差与类内方差的比值来寻找最佳投影方向，其巧妙之处在于将高维数据降维到一维空间仍保持良好可分性。这种方法虽不属于概率模型，但为后续LDA（线性判别分析）奠定了基础。

感知机作为最早的神经网络模型，采用错误驱动学习机制。其简单直观的权重更新规则虽能有效解决线性可分问题，但无法处理重叠类分布的情况，这也引出了对概率模型的必要性讨论。

概率判别模型（如logistic回归）直接对类后验概率建模，通过sigmoid等连接函数将线性组合映射为概率输出。这类模型不仅提供分类决策，还能给出属于各类别的概率度量，在实际应用中更具优势。