基于3-Sigma法则的粗大误差检测与数据清洗系统
项目介绍
本项目是一个基于3-Sigma法则(莱特准则)的粗大误差检测与数据清洗系统。系统通过对输入数据序列进行统计分析,自动识别并剔除其中的粗大误差,从而获得更加准确可靠的数据集。该系统适用于实验测量数据、观测数据等多种场景的数据质量控制。
功能特性
- 数据预处理:对输入数据序列进行标准化处理,计算均值、标准差等统计特征
- 粗大误差识别:应用3-Sigma法则自动识别超出正常波动范围的异常数据点
- 误差剔除:将识别出的粗大误差从原始数据中安全剔除
- 结果可视化:提供原始数据、异常点标记和清洗后数据的对比图表展示
- 统计报告:生成包含异常点数量、占比等详细统计信息的分析报告
使用方法
- 数据输入:支持一维数值数组的直接输入,或从.txt、.csv等文件读取数据
- 参数设置:可自定义Sigma倍数阈值(默认使用3-Sigma)
- 执行检测:运行主程序开始粗大误差检测与清洗流程
- 结果获取:系统输出清洗后数据、异常点索引、统计信息和可视化图表
- 报告查看:获取详细的文本分析报告,了解数据处理全过程
系统要求
- MATLAB R2016a或更高版本
- 支持的操作系统:Windows/Linux/macOS
- 内存要求:至少2GB可用内存(根据数据量大小调整)
- 磁盘空间:至少100MB可用空间
文件说明
主程序文件实现了系统的核心处理流程,包括数据读取与验证、统计特征计算、3-Sigma异常检测算法执行、粗大误差剔除操作、结果可视化图表生成以及统计分析报告输出等完整功能。该文件整合了所有关键模块,为用户提供一站式的数据清洗解决方案。