基于MATLAB的图像物体移除与智能修复系统

资 源 简 介

本项目是一个基于MATLAB开发的高级图像处理应用程序，核心功能为图像修复（Inpainting）或物体移除（Object Removal）。该系统旨在解决图像编辑中的难点问题，允许用户通过交互式方式在图像中框选或涂抹想要移除的目标物体（例如风景照中的路人、照片上的水印、多余的杂物或划痕）。程序接收到用户定义的移除区域（Mask）后，会自动启动修复算法，利用图像中剩余背景区域的纹理特征和结构信息，智能地计算并生成填补像素。该算法不仅能填充空洞，还能确保填充区域的纹理延续性和结构一致性，从而通过背景信息的智能补全，达到肉眼难以辨别修改痕迹的自然效果。本项目采用高效的纹理合成与结构传播技术，代码实现质量高，处理效果优异。此外，项目包中包含了完整的技术文档、操作演示脚本以及多组用于性能评估的测试图像，能够帮助用户快速理解算法原理并进行实际操作，非常适合用于图像编辑工具开发、数字图像处理教学及算法研究。

详 情 说 明

基于MATLAB的图像物体移除与智能修复系统

项目简介

本项目是一个基于MATLAB开发的高级图像处理应用程序，专注于图像修复（Inpainting）与物体移除。系统采用“基于样本的纹理合成（Exemplar-Based Inpainting）”算法，即著名的Criminisi算法实现。该技术能够同时处理纹理和图像结构，允许用户通过交互式操作框选图像中不需要的物体（如路人、水印、划痕等），程序会自动分析背景信息，搜索最佳匹配图块进行智能填补，从而生成肉眼难以察觉修改痕迹的自然图像。

功能特性

• 交互式目标选择：提供直观的GUI操作，用户可直接在图像上使用鼠标绘制任意形状的多边形区域来指定需要移除的物体。
• 智能结构传播：算法核心包含“优先权计算”，通过计算等照度线（Isophote）与填充边界法线的关系，优先修复具有强结构特征（如线条、边缘）的区域，防止结构断裂。
• 纹理一致性修复：利用SSD（平方差和）标准在源区域搜索最佳匹配块，确保填充区域与周围背景纹理无缝融合。
• 实时可视化监控：在修复过程中，系统会实时显示修复进度、填充边界（红色点）以及当前正在处理的图块位置（绿色框），并同步展示置信度图（Confidence Map）的变化。
• 自适应预处理：自动检测图像尺寸，若图像过大（长宽超过400像素）会自动进行等比例缩放，以平衡从算法运行效率与修复质量。
• 合成测试数据生成：若用户未选择本地图像，系统内置的生成器会自动创建包含蓝天、草地、结构化柱子和红色球体的合成图像，用于算法演示。

系统要求

• MATLAB R2016a 或更高版本
• Image Processing Toolbox（图像处理工具箱）

使用方法

1. 运行程序：在MATLAB环境中直接运行主脚本。
2. 选择图像：程序启动后会弹出文件选择对话框。

* 支持格式：JPG, PNG, BMP。 * 如果取消选择，程序将自动生成并使用一张合成的测试图像进行演示。

1. 绘制掩膜（Mask）：

* 在弹出的“物体选择”窗口中，使用鼠标左键沿着要移除的物体边缘点击，绘制多边形。 * 完成区域包围后，双击鼠标左键闭合区域，程序将自动开始修复计算。

1. 观察过程：程序将弹出监控窗口，实时更新修复状态。
2. 查看结果：处理完成后，会弹出最终对比图（原始图像 vs 修复后图像），并将结果自动保存到本地。

算法实现与代码逻辑分析

本项目的主脚本完整实现了基于块（Patch-based）的图像修复流程，具体技术细节如下：

1. 图像预处理与掩膜生成

• 程序首先进行环境清理，并通过UI获取图像路径。
• 为了确保迭代搜索的计算效率，代码中包含强制缩放逻辑，将图像长宽限制在400像素以内。
• 利用MATLAB内置的ROI工具（impoly）获取用户交互输入，生成二值化掩膜（Mask），其中1代表待修复区域（$Omega$），0代表源区域（$Phi$）。

2. 核心算法数据结构初始化

• 填充区域与源区域：根据掩膜划分初始状态。
• 置信度项（Confidence Term）：初始化置信度矩阵，源区域像素值为1，待修复区域为0。随着修复进行，置信度会逐渐衰减。
• 数据项（Data Term）：用于存储结构优先级的计算结果。
• 参数设置：默认采用 $9 times 9$ 的图块（Patch Size），搜索步长设为2以优化速度。

3. 主修复循环（Criminisi核心逻辑）

只要掩膜区域不为空，程序将持续循环执行以下步骤：

A. 填充边界提取

• 使用形态学操作（bwperim）提取当前待填充区域的边缘轮廓，这些边缘像素是算法每一步的候选中心点。

B. 优先权计算（Priority Computation） 算法不仅考虑填充顺序，更强调保持图像的线性结构。对于边界上的每个像素 $p$，计算其优先权 $P(p)$：

• 置信度 $C(p)$：计算以 $p$ 为中心的图块内已知像素置信度的均值。这保证了也就是周围已知信息越多的点越先被修复。
• 数据项 $D(p)$：这是算法保持结构的关键。代码通过计算图像梯度的垂直向量（即等照度线方向）与边界法向量的点积来实现。

* 法向量（Normal）：通过计算掩膜梯度的方向获得。 * 等照度线（Isophote）：选取图块内源区域梯度最大的点，取其垂直方向。

• 最终优先权 $P(p) = C(p) times D(p)$，优先权最高的点被选为当前的目标图块中心。

C. 最佳样本搜索（Target Patch Selection & Exemplar Search）

• 确定目标图块后，锁定该块内的已知像素部分。
• 在源区域（全图排除待填充区）进行全局搜索。代码采用步长为2的滑动窗口策略来遍历候选块。
• 匹配标准：计算候选块与目标块在已知像素区域的颜色平方差和（SSD）。
• SSD最小的候选块被判定为最佳匹配块。

D. 像素复制与状态更新（Copying & Update）

• 将最佳匹配块中对应的像素值复制到目标图块的缺失区域。
• 更新置信度：被填充的像素继承当前目标图块的优先权信息，以此更新 Confidence Map。
• 更新区域：将刚填充的像素从待填充区域（Mask）中移除，标记为已知区域。

4. 辅助功能

• 合成图像生成：包含一个特定函数，用于通过代码绘制蓝天背景、绿色草地、具有垂直纹理的柱子以及遮挡柱子的红色球体。这主要用于验证算法是否能成功移除红球并连通柱子的垂直边缘。
• 数值截断：包含辅助函数确保图像像素值始终保持在 [0, 1] 的双精度浮点数范围内，防止数值溢出。

输出文件

• result_inpainted.png：程序运行结束后，会自动将修复完成的图像保存至当前工作目录。