多源多模态图像融合与性能评价系统

资 源 简 介

该项目旨在构建一个专门用于评估图像融合性能的MATLAB计算平台。图像融合的过程通过集成两个或多个来自相同方式或不同模态（如红外与可见光、CT与MRI等）的传感器源图片，使得最终生成的融合图像能够捕捉并体现所有源图像中包含的所有关键和有用信息。本项目专注于解决融合效果的客观评判问题，不仅实现了多种主流的图像融合算法，还建立了一套严谨的相似性度量评价标准。系统核心功能包括： 图像预处理模块，支持多种格式源图像的读取、对齐与灰度标准化处理。 融合处理模块，集成了基于空域和频域的多种融合算子，能够处理多聚焦、多传感器及跨模态数据。 全面的质量评估体系，该体系是本项目的重点，通过多种数学模型计算融合图像与源图像之间的相关性和相似度，具体包括互信息（MI）、结构相似性指数（SSIM）、边缘信息保留度（Qabf）以及峰值信噪比（PSNR）等关键指标。 结果可视化输出，自动生成客观评估指标对比表，并通过多维坐标图直观展示不同融合方法在保持源图像信息方面的优劣，从而协助科研人员在特定的应用场景下选择最优的融合参数和处理方案。

详 情 说 明

多源多模态图像融合方法评价系统

项目介绍

本项目是一个基于 MATLAB 开发的专业图像融合性能评估平台。通过集成多种主流的图像融合算法（包括空域简单融合、拉普拉斯金字塔变换融合以及小波变换融合），系统能够处理并合并来自不同传感器或不同拍摄条件的图像信息。该系统的核心目标是提供一套严谨的客观评价体系，利用多维数学指标量化融合图像与原始源图像之间的相关性、结构相似度及边缘信息保留程度，为科研人员在不同应用场景下（如红外与可见光图像、多聚焦图像融合等）选择最优方案提供科学依据。

功能特性

1. 场景图模拟生成：系统内置演示图像生成功能，可模拟生成带背景纹理的可见光图像和带热点目标的红外图像，确保在无外部输入时也可进行全流程演示。
2. 图像预处理：支持图像灰度化变换、双精度浮点数转换以及自动化的像素强度标准化处理，确保后续计算的准确性和一致性。
3. 多方法并行融合：

- 基础均值融合法，为评估提供基准指标。 - 基于多尺度分解的拉普拉斯金字塔融合，模拟频率域处理过程。 - 基于离散小波逆变换（DWT）的图像融合，实现精细的频域系数处理。

1. 全方位的质量评估：内嵌四种核心评价指标，涵盖了信息论、结构相似性及梯度细节等多个维度。
2. 直观的结果展示：提供融合结果对比图、控制台报表以及基于归一化指标的雷达性能对比图。

使用方法

1. 启动 MATLAB 环境，确保安装了图像处理工具箱（Image Processing Toolbox）和小波工具箱（Wavelet Toolbox）。
2. 将程序代码文件放置在当前工作路径。
3. 运行执行脚本，系统将自动执行模拟数据生成、图像预处理。
4. 程序会依次运行均值融合、拉普拉斯金字塔融合及小波变换融合。
5. 等待运算完成后，MATLAB 将弹出两个窗口：

- 窗口一展示原始图像 A、B 及三种融合算法的结果。 - 窗口二展示归一化后的雷达图，直观对比不同方法的性能。

1. 在 MATLAB 命令行窗口查看具体的各项指标数值。

系统要求

1. 运行环境：MATLAB R2016b 或更高版本。
2. 依赖工具箱：

- Image Processing Toolbox（用于图像缩放、金字塔构建、滤波等）。 - Wavelet Toolbox（用于执行二维小波分解与重构）。

实现逻辑说明

项目的运行逻辑严格遵循图像处理的标准工作流：

1. 环境初始化：通过指令清理工作区变量、关闭已有窗口。
2. 数据准备阶段：

- 生成模拟测试图。图像 A 使用正弦函数生成背景纹理，并嵌入矩形框；图像 B 生成圆形和正方形热源，模拟红外特征。 - 预处理：判断图像通道，将彩色图转为灰度图，并将像素值归一化至指定区间，方便后续计算。

1. 核心算法执行：

- 简单平均：直接通过矩阵运算对两张源图取均值。 - 阶梯式分解（金字塔）：对源图进行多层高斯分解，计算层间差值构建拉普拉斯金字塔。对于高频细节层，采用绝对值最大的策略保留最强特征；对于低频层，保留其核心轮廓。 - 小波变换：使用 'db4' 小波对图像进行多级分解。低频部分执行均值融合以平滑背景，高频部分（水平、垂直、对角线方向）执行绝对值最大化融合以保留边缘细节，最后通过逆变换重构图像。

1. 评价指标计算：

- 遍历所有融合方法的结果，同对应的源图像进行比对。

1. 可视化反馈：

- 利用 subplot 功能在一个布局中展示源图与不同方法的结果。 - 利用 fprintf 在控制台格式化输出包含 MI、SSIM、Qabf、PSNR 四项指标的对比表。 - 利用极坐标绘图逻辑生成雷达图。

关键算法与指标细节分析

融合算法细节

1. 拉普拉斯金字塔融合：采用 impyramid 进行图像下采样构建高斯金字塔，再通过 imresize 与减法运算获取边缘细节层。融合逻辑根据各层系数的绝对值强度动态选择，能有效保持多尺度下的图像特征。

1. 小波变换融合：利用 wavedec2 进行分解。该方法将图像拆解为近似分量（cA）和细节分量（cH, cV, cD）。通过对近似分量取平均、细节分量取“大者保留”的策略，实现了对图像细节提取能力的增强。

质量评估指标实现

1. 互信息 (MI)：通过计算图像间的联合直方图和边际熵，衡量融合图像从两张源图像中获得的信息总量。MI 值越高，说明融合图像保留的原始信息越丰富。

1. 结构相似性 (SSIM)：基于均值、方差和协方差构建的数学公式。代码分别计算融合图与两张源图的 SSIM，并取均值作为最终评价，反映了图像中物体结构的保存程度。

1. 峰值信噪比 (PSNR)：基于均方误差 (MSE) 的传统评价指标。代码通过计算融合图像与源图像之间的双误差均值，衡量融合过程中的保真度及噪声水平。

1. 边缘保留度 (Qabf)：这是本系统的核心评价难点。算法首先使用 Sobel 算子获取图像的梯度强度和边缘方向，然后利用非线性映射函数计算强度相似度与方向相似度，最后通过权重汇总得到全局边缘保留分值。该指标越接近 1，表示边缘细节流失越少。

可视化创新

系统在最后的评价环节引入了雷达图。由于不同指标（如 MI 和 PSNR）的数量级差异巨大，系统在绘图前对所有结果进行了归一化处理。这种方式能够一眼识别出某种算法是在“信息保留”上占优，还是在“信噪比控制”上更佳。