CN103886561B - 基于数学形态学的Criminisi图像修复方法 - Google Patents

Abstract

一种基于数学形态学的Criminisi图像修复方法，包括输入待修复图像，所述待修复图像的待修复区域采用特定颜色预先标记，对待修复图像基于数学形态学进行预处理；计算待修复区域边缘的各像素点的优先权，确定优先修复像素点；针对优先修复像素点，在完好区域进行最佳匹配块的搜索与填充；更新待修复区域边缘，重复处理直至待修复区域修复完成，得到图像修复结果。本发明适用图像修复的范围很广，对于不同侧重点的待修复图像均有很高的修复质量，满足人的视觉需求，具有重要的实际意义。

Description

基于数学形态学的Criminisi图像修复方法

技术领域

本发明涉及图像复原领域，特别是涉及到基于数学形态学的Criminisi图像修复方法。

背景技术

图像修复是图像复原的重要内容，是数字图像处理与计算机视觉的一个研究热点，近年来广泛的应用到了残缺照片的修复、去除文字、去除干扰目标等方面。其实质是用待修复图像中存在的信息来恢复缺失的信息，使图像修复整体效果满足人的视觉需求。

目前图像修复方法主要分为两大类：基于偏微分方程的图像修复法和基于纹理的图像修复法。而针对大区域信息缺失的图像，通常采用基于纹理的图像修复法。其实质是针对图像中的像素块进行修复，以受损边缘上的一个像素点为中心，用图像中现存的像素块进行匹配，来填充信息受损的区域，达到图像修复的目的，Criminisi图像修复算法是基于纹理的图像修复法的代表。

Criminisi图像修复算法由Criminisi等人于2004年提出的，其修复过称为：优先权计算、最佳匹配块搜索与填充、更新置信度。但是Criminisi图像修复算法中的优先权priority(p)计算和最佳匹配块的搜索与填充存在自身缺陷，即：置信度会随着修补次数的增加使得中原图的信息减少，会有数量级的差别的出现影响优先权，数据项中会出现垂直的现象，造成优先级为零，置信度的大小对优先权就会没有意义和最佳匹配模块不止一个，***会随机的选取等。因此近十年来，有了许多的不同侧重点的优先权和最佳匹配块的搜索与填充的改进：在2010年电子科技第23卷第1期中的《一种改进的基于样图的图像修复方法》一文中，利用梯度变化，动态地进行模块大小选择，省去了试探性人工设定模块大小的麻烦、提高了工作效率、改善了图像修复效果；在2011年计算机辅助设计与图形学报第23卷第2期中的《基于优先权改进算法的敦煌壁画的复杂区域修复》一文中，针对复杂破损区域周边信息模糊不可信及数目较多的敦煌壁画，在充分考虑敦煌壁画自身信息复杂性、壁画修复视觉效果及其修复合理性易受像素修复顺序影响等因素的基础上，提出一种D-S证据理论数据融合方法对修复区域填充算法的优先权函数进行改进的图像修复算法，修复效果相对于原算法有了显著性的提高；在2012年计算机应用与软件第29卷第9期中的《一种改进的Criminisi图像修复算法》一文中，引入曲率来决定目标块的填充次序和最佳匹配块的选择，并改进优先权为各项加权和，通过改变权值可以得到更好的修复效果，同时避免了由于置信度迅速衰减带来的错误填充次序，取得了令人满意的修复效果。以上改进的算法是针对一定的待修复区域的结构特征，一定的Criminisi图像修复算法的计算缺陷进行的，只能一定程度上减少错误信息的累积。

发明内容

Criminisi图像修复算法中的优先权计算和最佳匹配块搜索与填充是在修复区域标记基础上进行的，因此第一步做好，是后续工作的基础。本发明引入数学形态学中的腐蚀与膨胀，进行预处理，保证待修复区域标记的合理，以此保证Criminisi图像修复算法的有效进行，减少错误信息的累积，适用于不同的特征的待修复区域的修复。

本发明技术方案提供一种基于数学形态学的Criminisi图像修复方法，包括以下步骤，步骤1，输入待修复图像，所述待修复图像的待修复区域采用特定颜色预先标记，对待修复图像进行预处理如下式所示，

预处理表达式如下式所示：

其中，A为待修复图像，B、C为形状一致的结构元素且B的尺寸不小于C，B为膨胀结构元素，C为腐蚀结构元素；

步骤2，计算待修复区域边缘的各像素点的优先权priority(p)，确定优先修复像素点；

步骤3，针对优先修复像素点，在完好区域进行最佳匹配块的搜索与填充；

步骤4，更新待修复区域边缘，返回步骤2进行重复循环操作，直至待修复区域修复完成，得到图像修复结果。

而且，根据膨胀结构元素B，膨胀表达式如下式所示，

其中，x为膨胀后的图像的像素点，a为待修复图像A的像素点，b为膨胀结构元素B中的元素。

而且，根据腐蚀结构元素C，腐蚀表达式如下式所示，

其中，x为膨胀后的图像的像素点，a为待修复图像A的像素点，c为膨胀结构元素C中的元素。

本发明适用图像修复的范围很广，对于不同侧重点的待修复图像均有很高的修复质量，满足人的视觉需求，具有重要的实际意义。与现有技术相比具有以下优点：

（1）本发明不需要改进优先权和匹配原则的决定式，只需要在人工预先标记的基础上，利用数学形态学进行预处理，使Criminisi图像修复算法在合理的基础上进行，能够极大地减少错误信息的累积，且减少了计算量，实现简便，效果显著。

（2）本发明的改进数学形态学不仅可以应用到经典Criminisi图像修复算法，同样可以应用到其他改进的Criminisi图像修复算法中，例如采用其他置信度计算方式的Criminisi图像修复算法，同样可以提升修复效果，减少错误信息的累积。

附图说明

图1为本发明实施例的流程图。

具体实施方式

本发明技术方案可采用计算机软件方式支持自动运行流程。以下结合附图和实施例详细说明本发明技术方案。

参见图1，实施例的流程如下：

步骤1，输入待修复图像，所述待修复图像的待修复区域采用特定颜色预先标记，对待修复图像进行预处理。其中φ表示的区域是未标记的区域，即完好区域；Ω表示的区域是标记的区域，即待修复区域；δΩ表示待修补区域的边界。

具体实施是，可采用一种特定的颜色对待修复图像的待修复区域进行人工预先标记，可由用户自行选择待修复区域进行人工标记，以便在为后续本发明技术方案中进行的待修复区域的边缘检测打下基础。预先标记了待修复区域的待修复图像输入后，采用本发明实施例提供的流程进行处理。本发明实施例中的待修复图像采用白色。例如，某人物的照片中，背景中有多余的人群，采用白色覆盖多余的人群区域。

由于预先人工标记会一定程度上影响图像待修复边缘的结构信息和纹理信息，因此利用腐蚀和膨胀进行预处理，达到合理标记的效果。预处理表达式如下式所示：

其中，A为待修复图像，B、C为形状一致的结构元素且原则上B的尺寸不小于C，结构元素为元素的集合。

B为膨胀结构元素，膨胀表达式如下式所示：

其中，x为膨胀后的图像的像素点、a为待修复图像的像素点、b为膨胀结构元素B中的元素。

形态膨胀起到线条***，孔隙消失，扩展图像的作用。

C为腐蚀膨胀结构元素，腐蚀膨胀表达式如下式所示：

其中，x为膨胀后的图像的像素点、a为待修复图像的像素点、c为膨胀结构元素C中的元素。

形态腐蚀起到线条变细，孔隙扩大，收缩图像的作用。

预处理表达式综合了膨胀表达式和腐蚀表达式的，作用就是保证标记的合理性，即保证待修复区域用特定的颜色标记待修复区域同时，又能保证待修复区域边缘的纹理和结构信息不受干扰，从而可以从根源上减少错误信息的累积。

具体实施时，本领域技术人员可自行预设B、C的尺寸半径，C的尺寸不大于B即可，甚至可以设为0，即不采用腐蚀，例如选用B、C分别为半径为4与0的圆盘型结构元素。

步骤2，计算待修复区域边缘的各像素点的优先权priority(p)，确定优先修复的像素点。

实施例根据公式priority(p)＝C(p)×D(p)，计算出待修复区域边缘的各像素点的优先权，选取优先权最大的像素点进行优先修复。

其中：

其中，变量C(i)的定义为C(i)＝0,C(i)＝1,|ψ_p|表示ψ_p的面积，ψ_p表示待修复目标块。

其中，n_p是在待修复区域边缘的某像素点p在边界Ω的单位外法向量；表示像素点p处的等辐照线的方向和强度，其表达式为I_x，I_y分别代表像素点p在x，y方向上的偏微分；α是归一化参数，在灰度图中取值为255。

C(p)为置信度，数值越大优先权越高，反映了含有的原图区域的信息多，应给予优先修补；D(p)为数据项，数值越大优先权越高，反映了进化表面线性结构强度高，应给予优先修补。

具体实施时，C(p)和D(p)也可以采用其他计算方式。

步骤3，确定优先修复像素点后，在完好区域φ进行最佳匹配块的搜索与填充。可根据SSD匹配原则全局搜索确定最佳匹配模板进行填充。

实施例设步骤2所得优先修复像素点为相应待修复目标块为匹配原则如下式所示：

其中，表示待修复目标块；ψ_q表示完好区域的样本块；表示两个块和ψ_q的已知像素点颜色差值的平方和；SSD匹配原则表示当待修补目标块与完好区域中样本块ψ_q的已知元素的平方和最小时，此样本块即为最佳匹配块进而根据最佳匹配块对待修复目标块进行填充。

具体实施时，也可以采用其他匹配原则。

步骤4，更新待修复区域边缘，最后从返回步骤2不断地进行重复循环操作，直至待修复区域Ω修复完成，则图像修复完成。具体实施时，可先判断待修复区域Ω是否修复完成，是则结束流程，否则返回待修复区域边缘，返回步骤2。

修复的块都在待修复区域边缘上，因此每完成一个纹理块的修复就对边缘进行更新。基于剩下的待修复区域边缘的各像素点，选择新的优先修复像素点进行同样处理。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种基于数学形态学的Criminisi图像修复方法，其特征在于，包括以下步骤，

步骤1，输入待修复图像，所述待修复图像的待修复区域采用特定颜色预先标记，对待修复图像进行预处理如下式所示，

$D=A\⊕B\mathrm{\Θ}C$

其中，A为待修复图像，B、C为形状一致的结构元素且B的尺寸不小于C，B为膨胀结构元素，C为腐蚀结构元素；

根据膨胀结构元素B，膨胀表达式如下式所示，

$A\⊕B=\left\{x\right|\∃a\∈A,b\∈B:x=a+b\}$

其中，x为膨胀后的图像的像素点，a为待修复图像A的像素点，b为膨胀结构元素B中的元素；

根据腐蚀结构元素C，腐蚀表达式如下式所示，

$A\mathrm{\Θ}C=\left\{x\right|\∀c\∈C,\∃a\∈A:x=a-c\}$

其中，x为膨胀后的图像的像素点，a为待修复图像A的像素点，c为膨胀结构元素C中的元素；

步骤2，计算待修复区域边缘的各像素点的优先权priority(p)，确定优先修复像素点；实现方式如下，

根据公式priority(p)＝C(p)×D(p)，计算出待修复区域边缘的各像素点的优先权，选取优先权最大的像素点进行优先修复，

其中，C(p)为置信度，数值越大优先权越高，反映了含有的原图区域的信息多，应给予优先修补；D(p)为数据项，数值越大优先权越高，反映了进化表面线性结构强度高，应给予优先修补；

$C\left(p\right)=\frac{{\mathrm{\Σ}}_{i\∈{\mathrm{\ψ}}_p\∩\mathrm{\φ}}C\left(i\right)}{\left|{\mathrm{\ψ}}_p\right|}$

其中，变量C(i)的定义为|ψ_p|表示ψ_p的面积，ψ_p表示待修复目标块；φ表示的区域是未标记的区域，代表完好区域；

$D\left(p\right)=\frac{|\▿I_p^{\⊥}\·n_p|}{\mathrm{\α}}$

其中，n_p是在待修复区域边缘的某像素点p在边界的单位外法向量；表示像素点p处的等辐照线的方向和强度，表达式为I_x、I_y分别代表像素点p在x、y方向上的偏微分；α是归一化参数；

步骤3，针对优先修复像素点，在完好区域进行最佳匹配块的搜索与填充；

步骤4，更新待修复区域边缘，返回步骤2进行重复循环操作，直至待修复区域修复完成，得到图像修复结果。