基于不同带宽对比的局部加权线性回归分析系统

资 源 简 介

本程序旨在复现斯坦福大学吴恩达机器学习公开课第三课中所述的局部加权线性回归（Locally Weighted Linear Regression, LWLR）算法。局部加权线性回归是一种非参数学习方法，它解决了传统线性回归在处理非线性数据时容易出现的欠拟合问题。算法的核心在于每次预测新样本点时，都会根据该点与训练集中各点的距离重新计算权重，赋予距离较近的点更高的权重，而赋予距离较远的点较低的权重。本项目利用MATLAB实现了基于高斯核函数的权重计算机制，通过求解加权正规方程组来获取局部最优解。 系统重点展

详 情 说 明

项目介绍

本项目致力于实现并演示局部加权线性回归（Locally Weighted Linear Regression, LWLR）算法，这是一种经典的非参数学习方法。与传统线性回归不同，该算法不预设全局拟合参数，而是针对每一个待预测的查询点，根据其与训练样本的距离赋予不同的权重，从而在局部范围内进行线性平滑。

通过模拟一个包含正弦波动和随机噪声的非线性数据集，本项目重点对比了不同带宽参数（Tau）对拟合结果的影响。程序直观展示了机器学习中“偏差-方差权衡”（Bias-Variance Trade-off）的核心概念：展示了模型如何从高方差的过拟合状态转变为平衡状态，最终退化为高偏差的欠拟合（全局线性回归）状态。该工具适用于研究非线性拟合、数据平滑处理以及理解非参数化建模的内在机制。

功能特性

• 动态权重机制：基于高斯核函数自动计算训练样本相对于查询点的权重，实现“近大远小”的局部评估。
• 多带宽对比评估：系统并行运行三种具有代表性的带宽参数（0.05, 0.5, 5），实时对比预测效果。
• 抗奇异性数值求解：在求解加权正规方程组时，引入了秩检查和微小正则化项，确保在局部样本不足或矩阵病态时依然能稳定计算。
• 可视化分析：通过多子图布局，同步呈现原始观测数据分布与不同平滑程度下的预测曲线，并配有明确的性能状态标注（过拟合、良好拟合、欠拟合）。
• 定量指标输出：在命令行窗口实时输出特定测试点（如X=5）在不同带宽下的预测结果，便于数值核验。

系统要求

• 环境：MATLAB R2016b 或更高版本。
• 工具箱：无需特殊工具箱，基于MATLAB基础函数库实现。

实现逻辑说明

程序的执行流程严格遵循以下步骤：

1. 数据生成阶段：通过固定随机种子确保实验可重复性。在0到10的区间内生成100个等间距样本点，响应变量采用正弦函数并叠加高斯随机噪声。构建包含截距项（全1列）的设计矩阵。
2. 多评估点设置：定义200个均匀分布的测试点，用于生成平滑的连续预测曲线。
3. 核心预测循环：

* 外层循环遍历预设的三个带宽参数 Tau。 * 内层循环针对每一个测试点，将其作为查询点传入核心算法逻辑。 * 算法会实时计算该查询点与所有训练样本的欧式距离。

1. 局部模型构建：

* 根据高斯核公式计算权重向量，并构建对角权重矩阵。 * 应用加权正规方程组求解局部回归系数。 * 计算当前评估点的预测输出。

1. 可视化与反馈：清空图形窗口并创建三行一列的子图，分别绘制不同Tau值下的拟合曲线，对比散点分布。

算法与关键函数深度解析

• 局部加权预测逻辑：这是系统的核心算法实现。它接收训练特征、目标值、当前查询点以及带宽参数作为输入。其核心计算公式为权重 $W(i,i) = exp(-(x^{(i)} - x)^2 / (2tau^2))$。该逻辑保证了只有靠近查询点的样本才能对局部回归线的斜率和截距产生实质性影响。
• 加权正规方程求解：系统利用 MATLAB 的左除运算符（）求解 $theta = (X^T W X)^{-1} X^T W y$。为了增强鲁棒性，算法在求解前会检测矩阵的秩，若矩阵接近奇异，则在对角线上加入 $10^{-6}$ 的正则化因子，防止数值计算失败。
• 带宽（Tau）的调节效应：

* 当 Tau = 0.05 时，权重函数极其尖锐，只有极近的点有权重，模型试图捕捉每一个噪声波动，产生高方差（Overfitting）。 * 当 Tau = 0.5 时，权重分配适中，拟合曲线既保留了正弦趋势又过滤了噪声，达到理想平衡。 * 当 Tau = 5 时，权重分布非常平缓，几乎所有点权重相近，模型退化为不带权的全局线性回归，无法捕捉非线性特征（Underfitting）。

• 数据辅助处理：程序包含专门的辅助逻辑用于处理数值向字符串的转换以及格式化终端输出，确保实验数据的可读性。

使用方法

1. 启动 MATLAB 软件。
2. 将包含相关代码文件的目录设置为当前工作路径。
3. 在命令行窗口直接输入主程序函数名并回车。
4. 程序将自动弹出图形化界面，展示三组对比实验结果。
5. 观察命令行窗口输出的特定点（X=5）预测值，核对不同平滑度下的数值差异。