MATLAB两类预测器校准可靠性图生成与分析系统

资 源 简 介

本项目基于MATLAB开发，专注于两类分类预测器的概率校准质量评估。通过生成可靠性图，直观展示预测概率与实际观测频率的一致性，支持原始预测处理与校准性能分析。适用于模型验证与优化场景。

详 情 说 明

两类预测器校准可靠性图生成与分析系统

项目介绍

本项目是一个专门用于评估二元分类预测器概率校准质量的工具系统。通过生成可靠性图（Reliability Diagram），直观展示模型预测概率与实际观测频率之间的关系，帮助用户判断模型的校准性能。系统采用概率分箱技术对预测结果进行分析，提供多种校准误差指标计算，为模型优化提供数据支持。

功能特性

• 可靠性图可视化：绘制预测概率与实际频率的对比曲线，叠加理想校准线（y=x）
• 灵活分箱策略：支持均匀分箱和分位数分箱两种分箱方法，可自定义分箱数量
• 全面误差评估：计算预期校准误差（ECE）和最大校准误差（MCE）等关键指标
• 详细统计输出：提供各分箱的样本分布、平均预测概率和正类比例等统计信息
• 参数可配置：支持图形显示设置、分箱参数等灵活调整

使用方法

输入数据格式

• 预测概率向量：N×1数组，每个元素表示样本属于正类的预测概率值（范围[0,1]）
• 真实标签向量：N×1数组，对应样本的实际分类标签（0或1）
• 可选参数：分箱数量、分箱策略（均匀/分位数）、图形显示设置等

输出结果

1. 可靠性图：可视化展示分箱后预测概率与实际频率的对比关系
2. 校准误差报告：包含ECE、MCE等数值指标的文本输出
3. 分箱统计表：详细记录各分箱的样本统计信息

系统要求

• MATLAB R2018b或更高版本
• 基础MATLAB工具箱（无需特殊工具箱）

文件说明

main.m文件作为系统的主入口点，整合了数据输入处理、概率分箱计算、校准误差评估和图形可视化输出等核心功能，实现了从原始预测结果到校准质量分析报告的完整工作流程。该文件协调各功能模块的调用顺序，确保分析过程的有序执行，并生成最终的可视化图表和统计报告。