CN101777178A - 一种图像修复方法 - Google Patents

Abstract

本发明涉及一种图像修复方法，本发明首先将目标图像进行方向经验模型分解，并允许根据已有信息绘制给定待修复区域内已破坏的边结构信息，利用方向经验模型分解得到的频率特征值计算相似度先行完成整个受损区域内的边结构修复，然后再根据待修复区域边界上像素点的梯度特征结合置信度计算剩余填充区域的优先级，并再次利用分解得到的频率特征值计算相似度完成对应区域的修复。本发明的方法不仅能够修复较大尺度缺损区域中的结构和纹理信息，还能够修复具有一定遮挡关系的图像。修复过程鲁棒性高，有效地防止了错误信息的连续扩展。

Description

一种图像修复方法

技术领域

本发明涉及一种图像修复方法，属于计算机图像处理和计算机图形学领域，具体说是一种图像修复算法。

背景技术

图像修复可以用来解决对破损的画作、照片等影像资料进行修复；可以用来去除图像或视频中的某些特定目标；可以用来完成在数字图像或视频的获取、处理、传输和解压缩过程中因信息丢失所留下的信息缺损区的修复；还可以用于进行超分辨率和高光去除等技术的研究。这项技术涉及图像处理，计算机视觉，图形学，模式识别，人工智能，机器学习等多个领域的技术。近年来，在图像和视频修复方面，国内外的研究者从不同的研究角度出发提出了很多卓有成效的方法，根据出发点的不同，概括起来，其中代表性的方法大致可以分为三类：一类是基于偏微分方程(Partial DifferentialEquation，PDE)的修复方法，如文献1：M.Bertalmio，G Sapiro，V.Caselles，et al..Imageinpainting.Proceedings of ACM SIGGRAPH.2000，417-424.和文献2：T.F.Chan and J.Shen，Variational image inpainting.Communications on Pure and Applied Mathematics.2005，58(5)：579-619.介绍的，该类方法适用于修复图像或视频中小尺度缺损；另一类是基于纹理合成(Texture Synthesis)的修复方法，如文献3：A.Criminisi，P.Pérez，K.Toyama.Region filling and object removal by exemplar-based image inpainting.IEEE Transactionson Image Processing.2004，13(9)：1200-1212.和文献4：J.Sun，L.Yuan，J.Jia，et al..Imagecompletion with structure propagation.ACM Transactions on Graphics.July 2005，24(3)：861-868.介绍的，该类方法适用于修复图像或视频中大尺度缺损；还有一类是基于图像分解的修复技术，如文献5：M.Bertalmio，L.Vese，G Sapiro，et al..Simultaneous structureand texture image inpainting.IEEE Transactions on Image Processing.2003，12(8)：882-889和文献6：P.Perez，M.Gangnet，A.Blake.Poisson image editing.Proceedings of ACMSIGGRAPH.2003，313-318.介绍的，该类方法将上述两种方法进行结合，但由于受基于偏微分方程的修复方法的限制比较大，所以也不适合修复图像或视频中的大尺度缺损。

偏微分方程在图像处理领域的研究始于上世纪六、七十年代，最早用于图像去噪方面的研究。到上世纪九十年代，偏微分方程在图像处理理论上有了较大的发展，并结合其它的数学工具，如形态学、仿射几何、逼近论等，形成了较完整的理论体系。基于偏微分方程的图像处理方法具有很好的数学基础，深入的理论背景，算法稳定性也较高。早期的图像修复技术多数都是基于PDE来完成的，这类算法的主要思想是利用偏微分方程来做图像的修复，它对待修复区域没有拓扑限制，而且插值由合适的PDE数值格式自动来完成。通过数值方法来求解偏微分方程，计算出要填补的空洞处的线性结构，然后通过扩散过程把周围的颜色填入空洞，达到修复的效果。

总体来说基于偏微分方程的数字修复算法往往是假设图像是光滑的，通过拟合函数计算采样得到破损区域处的颜色值，由于PDE模型中隐含着图像要求满足某种正则化条件的假设，所以该方法只适合于非纹理图像或低纹理图像的修复，整体而言，PDE数字修复算法求解比较复杂，计算速度慢，适合于修复比较小的裂纹、划痕等，但对纹理或结构较复杂的区域修复效果不好，会产生一定的模糊效果，修复的区域越大模糊作用范围就越大。

与基于偏微分方程的方法相比，基于纹理合成的修复方法是一种有效的对图像修复的方法，特别是对于修复区域较大的纹理图像修复效果更为显著，而且不会使修复区域中间产生模糊。纹理合成的宗旨是根据已知的样本图像，生成一个新的纹理图像，并且新生成的纹理图像并不能是原样本纹理简单的复制，但要与样本纹理在视觉上具有相似的效果。数字修复是对图像或视频指定区域内的缺损信息进行估计的一个过程，其目的也是要得到与待修复区域周围信息在视觉上比较连续或相似的图像信息。因而将纹理合成技术进行扩展用于数字修复方面具有一定的可行性。

图像修复与纹理合成的相似点在于它们都是根据已经有的图像信息生成新的图像信息，并需要对已有的图像进行采样分析，新生成的图像都需要保持和已有图像的相似性。它们的区别在于，首先，在纹理合成过程中，存在固定的样本纹理，它根据样本纹理生成新的纹理，但在图像修复过程中，不存在样本纹理，只能使用待修复图像区域周围的已知图像作为样本纹理来完成修复；其次，在纹理合成过程中，需要合成的是一幅完整的纹理图像，但在图像修复过程中，只需合成待修复区域内的图像，这就需要考虑待修复区域的边界情况；另外，在合成随机纹理时，不需要考虑图像的结构信息，在合成规则或半规则的结构纹理时，可直接利用纹理的结构相似性，提取其中的结构单元进行纹理合成，而在图像修复中，只能根据待修复区域边界上的图像结构信息推测其内部的结构信息，修复图像的结构信息要比纹理合成中保持纹理的结构信息难得多。

总体来说基于纹理合成的数字修复算法一般都通过在待修复区域边界确定当前待修复的图像块，然后利用相似函数，在已知图像区域搜索匹配的源图像块，完成图像未知部分的修复。由于许多自然图像中都含有丰富的纹理信息，若是待修复区域内没有太复杂的图像边缘结构，这类算法的修复效果一般都比较好，相对于基于偏微分的修复算法，基于纹理合成的修复算法简单，速度较快，能够修复大面积的图像区域。缺点是只适用于修复简单的线型结构，对其它复杂结构修复效果比较差。

针对基于偏微分方程的修复方法对图像的结构信息修复效果较好，同时基于纹理合成的修复方法对图像纹理细节信息修复效果较好的事实，近年来研究者试图将两种方法结合起来，提出了基于图像分解的修复方法，分别修复图像结构和纹理细节。该类算法的关键在于图像分解，也就是要将图像分解为两部分再进行分别修复：一部分体现图像的结构信息，并用基于偏微分方程的修复方法完成对应的修复，另一部分提供图像的纹理信息，并用基于纹理合成的修复方法来完成对应的修复，最后合并两方面的修复结果得到最后的修复好的图像。这些算法都对图像修复取得了相当不错的效果，但是由于现有方法受基于偏微分方程修复方法的限制比较大，所以这类算法也不太适用于对较大面积图像区域的修复。基于图像分解的修复算法的修复效果很大程度上依赖于图像分解技术、图像结构的修复技术和纹理合成技术的选取。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种鲁棒高效、修复效果好的图像修复方法。

技术方案：本发明公开了一种图像修复方法，包括以下步骤：

步骤一，对于给定的图像f(x，y)，选择待修复区域Ω，其中x，y表示像素点的坐标值；

步骤二，利用方向经验模型对给定的图像f(x，y)进行分解，得到三级以上图像；

步骤三，根据已有信息修复每级分解所得图像的待修复区域中已破坏的边缘结构；

步骤四，自动修复各级图像，以每级分解图像的边界上优先级最高的目标样本块作为一次迭代填充单位，重复以下步骤，直到填满各级图像被修复区域内的所有像素：

步骤(1)，利用梯度值、置信度计算各级图像边界区域的优先级，

步骤(2)，根据优先级、相似度和相关性搜索策略确定本次各级图像填充的目标样本块，完成对应区域的修复，

步骤(3)，更新本次迭代处理后的各级图像边界区域像素的置信度；

其中，

梯度值

其中，N表示像素q的邻域面积，大小与待修复的目标样本块Ψ_t和源样本块为Ψ_s的大小相同，|N|表示N中所含像素个数；置信度

其中，I为原图像，Ω为待修复区域，当像素q∈Ω，q点处的置信度D(q)初始化为0，否则初始化为1；

对于给定中心位置在q_c处的目标样本块Ψ_t，待修复区域Ω的边界为

，

，其优先级P(q_c)＝C(q_c)·G(q_c)，其中，

|Ψ_t|表示待修复的目标样本块Ψ_t中所含像素个数，G(q_c)为梯度值。

本发明步骤二中，采用方向经验模型将图像f(x，y)分解为：

$f(x,y)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{imf}}_i^{\mathrm{\θ}}(x,y)+r_N^{\mathrm{\θ}}(x,y),$

其中，θ为进行方向经验模型分解的方向，imf_i ^θ(x，y)是对应于方向θ的二维各级图像，r_N ^θ(x，y)对应于方向θ的残余图像。

本发明步骤三中根据已有信息修复每级分解所得图像的待修复区域中已破坏的边缘结构，具体为：根据已有信息指定待修复区域中已破坏的边结构信息，并利用方向经验模型分解得到的频率特征值修复选定的边缘结构，沿已知区域的已有边界绘制相应的曲线，表示出完整的结构信息；在进行修复时，在各级图像中首先沿绘制曲线顺序进行修复，第一个待修复的目标样本块Ψ_t为按照绘制顺序绘制的第一条曲线与待修复区域Ω的交界位置；对应的搜索匹配空间为在已知区域绘制的曲线上，并利用当前级图像中目标样本块Ψ_t与源样本块Ψ_s的相似度在定义的搜索匹配空间中搜索与其匹配的源样本块Ψ_s，直到边缘结构完全修复；

对于图像中每个像素点(x，y)的三个频率特征值计算公式为：

$V(x,y)=A_i(x,y),w_i^k(x,y),$

其中：A_i＝sqrt[(imf_i)²+(imf_iH)²]，

$w_i^k=\frac{{\mathrm{imf}}_i\·\frac{d}{\stackrel{\→}{d{\mathrm{\θ}}^k}}{\mathrm{imf}}_{\mathrm{iH}}-{\mathrm{imf}}_{\mathrm{iH}}\·\frac{d}{\stackrel{\→}{d{\mathrm{\θ}}^k}}{\mathrm{idf}}_i}{{\left({\mathrm{imf}}_i\right)}^2+{\left({\mathrm{imf}}_{\mathrm{iH}}\right)}^2},$

imf_iH(x，y)为第i级图像imf_i(x，y)对应于θ方向的2-D Hilbert变换；k＝1对应θ方向，k＝2对应θ+90°方向。

本发明步骤四的步骤(2)中，填充过程如下：

步骤(41)在待修复图像中，利用梯度值、置信度确定剩余目标样本块的填充优先级，选取优先级最高的块作为当前待修复的目标样本块；

步骤(42)在图像中待修复区域外的部分，利用方向经验模型分解得到的频率特征值，在对应级图像的图像中待修复区域外的部分中搜索具有最高相似性的源样本块进行复制，完成当前目标区域的修复；

步骤(43)对于其它级图像的修复，利用相关性搜索策略完成对应的修复；

步骤(44)更新本次迭代处理后的各级图像边界区域像素的置信度为1，重复以上步骤，直到完成各级图像的修复。

本发明所述相关性搜索策略包括以下步骤：

初始化：Imf_(i)和Imf_(i-1)为相邻两级待修复图像，Imf_(i-1)为已经修复完毕的图像，Imf_(i)为当前待修复图像；

步骤(51)，采用优先级计算方法计算图像Imf_(i)边界区域的优先级，选取具有最高填充优先级的目标样本块

为当前待填充块，其中心点

为当前待填充区域的边界；

步骤(52)，在其上一级已修复完毕的IMF图像Imf_(i-1)中的寻找对应位置

从对应的已知区域Φ中通过频率特征值的相似度计算搜索与目标样本块

匹配的小于阈值的一些源样本块

并构造一个集合；

步骤(53)，在Imf_(i)图像中寻找与步骤(52)中构造集合对应的源样本块并通过频率特征值的相似度计算，求得最为匹配的源样本块；

步骤(54)，重复步骤(51)至步骤(51)直到完成该级图像Imf_(i)的修复后结束。

本发明所述当前级图像中目标样本块Ψ_t与源样本块Ψ_s的相似度计算公式为：

其中，指第i级图像中的目标样本块Ψ_t，指对应合成的第i级图像中的源样本块Ψ_s，N指图像块在已知区域所占像素个数，

和

指的是对应区域中第j个像素的频率特征值。

有益效果：本发明的图像修复方法与现有修复方法相比优点在于：修复效果好，鲁棒性高，有效地防止了错误信息的连续扩展，本发明的方法不仅能够修复较大尺度缺损区域中的结构和纹理信息，还能够修复具有一定遮挡关系的图像。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明中所涉及到的符合定义。

图2为本方明主要流程图。

图3为本发明图像进行方向经验模型分解所得结果。

图4为本发明破损区域边缘结构修复过程。

图5为本发明其中一级图像修复过程。

图6为本发明相关级图像修复过程。

具体实施方式：

结合附图和具体实施方式对本发明做进一步详细描述：

首先定义一些符号，如图1所示：对于待修复图像I，定义待修复区域为Ω，通常手工标定，也称为未知区域，形状不受任何限制；Ω的边界为

，随着修复的进行，

不停地改变；已知区域为Φ(Φ＝I-Ω)，是填充Ω区域的采样空间，也称为源区域；另外定义边界上待修复的目标样本块为Ψ_t，在源区域进行相似度匹配计算搜索得到的源样本块为Ψ_s。

如图2所示，本发明包括以下步骤：

步骤一，选择出图像上待修复区域。

步骤二，采用方向经验模型分解方法对待修复图像进行分解。

步骤三，在进行修复时将结构的整体特性融入到图像修复中，允许根据已有信息修复每级分解所得图像的待修复区域中已破坏的边缘结构，并利用方向经验模型分解得到的频率特征值相似度计算修复指定的边缘结构，使待修复区域中已被破坏的边缘先行完成修复。

步骤四，利用梯度特征值结合置信度的方法来确定剩余目标样本块的填充优先级，选取优先级最高的块作为当前待填充的目标块。

步骤五，利用方向经验模型分解得到的频率特征值计算相似度，在对应级图像的已知区域中搜索具有最高相似性的源样本块，并将其复制到当前已选定的优先级最高的待填充目标块中，完成当前目标区域的修复。

步骤六，利用相关性搜索策略完成其它级图像对应位置的修复。

步骤七，更新各级图像边界像素的置信度。

步骤八，判断各级图像边界像素的置信度是否都为1，如果存在置信为0时，重复步骤四到步骤七，直至各级图像边界像素的置信度都为1，完成各级图像的修复。

步骤九，最后将所修复的各级图像进行合并，得到最终修复结果。

本发明中，方向经验模型分解(Direction Empirical Mode Decomposition，DEMD)为在修复图像前，将待修复图像进行方向经验模型分解，得到若干级图像，本发明中默认的图像级数为3级，当然根据需要可作适当调节。

对于给定的图像f(x，y)，首先按给定的θ角顺时针旋转得到旋转图像f^θ(x，y)。然后对该图像先按每行抽取极大、极小值，并对这些极值点进行三次样条插值得到一维采样的上下包络，计算其平均包络，再对该平均包络按每列抽取极值和插值得到垂直方向上下包络，计算其平均包络，设最后得到的包络均值为m₁(x，y)，则旋转图像f^θ(x，y)与m₁(x，y)的差即：

h₁(x，y)＝f^θ(x，y)-m₁(x，y)                        (1)

在理想状态下，h₁(x，y)就是第一级图像；然而在实际计算中，这种现象是不可能出现的。所以本发明将h₁(x，y)作为输入信号，重复上面所叙述过程，可以得到：

h_1k(x，y)＝h_1(k-1)(x，y)-m_1k(x，y)                  (2)

当h_1k(x，y)满足1、在整个数据集合中，极点的数目和过0点的数目必须相等或最多相差一个；2、在任何一点，由局部最大值和最小值所形成包络的均值都等于0要求时，设其为第一级图像imf₁(x，y)，则函数的残余图像为r₁(x，y)。本发明将r₁(x，y)作为新的输入信号，用公式(1)，(2)重复计算，得到一系列图像。直到其残余图像沿水平、垂直方向存在单调一维采样，算法终止。最后将所得的一系列图像和最后的残余图像沿逆时针旋转θ，得到最后的各级图像和残余图像。这样对于给定的任意图像f(x，y)都可以分解为下式：

$f(x,y)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{imf}}_i^{\mathrm{\θ}}(x,y)+r_N^{\mathrm{\θ}}(x,y)---\left(3\right)$

其中，imf_i ^θ(x，y)是对应于方向θ的二维各级图像，r_N ^θ(x，y)对应于方向θ的残余图像。为叙述方便，本发明将残余图像归结为最后一级待修复图像。最终分解结果如图3所示。其中图3(a)为自然图像；图3b～图3d为分解得到的各级图像。

其中对于方向θ的求取，首先对图像f(x，y)进行Fourier变换F(u，v)，然后对F(u，v)进行Radon变换，并将超过规定阈值的局部最大值点周围的值去除，作逆Radon变换得到F(u，y)；最后将所有周围能量和超过规定常数的点按能量排序，把能量最大的点对应的方向设定为图像变化最为明显的方向即为θ。

本发明中基于频率特征值的相似度计算准则为：当对图像进行修复时，对于目标样本块Ψ_t在已知区域Φ中寻找与之最相似的源样本块Ψ_s将是修复的重要步骤。因此，一个好的相似度计算准则对图像修复结果的好坏起着至关重要的作用，分辨纹理是根据纹理的高频、次高频等进行自适应的分辨。DEMD在自适应的提取图像具有的独特优势，反映了提取频率特征的过程，因而能够更准确有效地把握图像中细节的本质特征与变化趋势，本发明从该角度出发进行图像修复，使修复后的图像更加符合图像整体效果。基于这一点，本发明应用DEMD提取得到的各级图像中每点的特征值进行匹配搜索。

本发明从DEMD提取得到的各级图像中每点的频率特征值出发进行相似度计算。从DEMD中得到的主要特征是瞬时频率和包络，为了得到这些特征，首先采用二维方向Hilbert变换(2-D Hilbert变换)定义二维复信号。对于给定的二维信号f(x，y)的Fourier变换为F(u，v)，则f(x，y)对应的复信号的Fourier变换为：

$F_A\left(w\right)=\left\{\begin{array}{cc}2F\left(w\right)& w\&CenterDot;e>0\\ F\left(w\right)& w\&CenterDot;e=0\\ 0& w\&CenterDot;e<0\end{array}\right.---\left(4\right)$

其中，w＝[u，v]是坐标向量，e＝[cosθ，sinθ]是对应于方向θ(指定方向)的单位向量，F_A(w)逆Fourier变换f_A(x，y)称为原信号对应于方向θ的复信号。从而f_A(x，y)的虚部就是f(x，y)对应于方向θ的Hilbert变换。

将经过DEMD分解得到的各级图像进行上述变换，令imf_iH(x，y)为第i级图像imf_i(x，y)对应于所求方向的2-D Hilbert变换。f_iA(x，y)是对应的分析函数。其中每级图像的幅值函数和相位函数分别为：

A_i＝sqrt[(imf_i)²+(imf_iH)²]

这样再对相位函数求导数，可得到对应的瞬时频率，这里的频率是分别沿方向θ和θ+90°的方向导数得到：

其中，k＝1对应θ方向，k＝2对应θ+90°方向。

通过上述计算，本发明得到对应一系列图像中每个像素点(x，y)的三个频率特征值：

$V(x,y)=A_i(x,y),w_i^k(x,y)---\left(7\right)$

因此，在计算当前级图像中目标样本块Ψ_t与源样本块Ψ_s的相似度时，本发明采用如下方式进行计算：

$d({\mathrm{\&Psi;}}_{t\left({\mathrm{imf}}_i\right)},{\mathrm{\&Psi;}}_{s\left({\mathrm{imf}}_i\right)})=\mathrm{sqrt}\left[\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{(V_{{\mathrm{\&Psi;}}_{t\left({\mathrm{imf}}_i\right)}}^j-V_{{\mathrm{\&Psi;}}_{s\left({\mathrm{imf}}_i\right)}}^j)}^2\right]$

其中，

指第i级图像中的目标样本块Ψ_t，指对应合成的第i级图像中的源样本块Ψ_s，N指图像块在已知区域所占像素个数，

和

指的是对应区域中第j个像素的特征值。

得到上述公式后，即可在已知区域Φ中利用该匹配判断准则对当前目标样本块Ψ_t进行匹配搜索，寻找小于规定阈值的源样本块Ψ_s构造一个集合，并随机从该集合中选取一个作为最终的源样本块，直接拷贝相应的图像信息到目标样本块Ψ_t上，即可完成当前区域的修复。

本发明中，根据已有信息完成破损边结构修复为：将图像整体信息融入到图像修复中，通过已有信息完成待修复区域中已破坏的边缘结构的修复。当修复具有遮挡关系的结构信息图像时，如图4a所示，要修复的窗户结构信息被物体遮挡，从图像整体信息出发，沿已知区域的已有边界绘制相应的曲线，使其可以表示完整的结构信息，如图4b所示，其中紫颜色线段即为交互绘制的曲线，并且是从已知区域出发绘制得到。在进行修复时，在各级图像中首先沿绘制曲线顺序进行修复，将第一个待修复的目标样本块Ψ_t按照绘制顺序定义为绘制第一条曲线与待修复区域Ω的交界位置，如图4b是先绘制水平方向，后绘制垂直方向的曲线，故先修复水平方向曲线，其中绿色块即为第一个待修复的目标样本块Ψ_t。对应的搜索匹配空间定义为在已知区域绘制的曲线上，并利用公式(8)在定义的搜索匹配空间中搜索与其匹配的源样本块Ψ_s，如图4b中红色块即为搜索得到的与当前Ψ_t匹配的源样本块Ψ_s，将该样本块信息复制到相应位置，如图4c所示，即可完成当前位置的修复。沿所绘制的曲线重复上述过程，如图4c～图4e所示，直到绘制的表示结构信息的所有曲线全部修复完毕。最后将各级图像对应的修复结果进行叠加，得到最后的边界修复结果，同时更新待修复区域Ω，最终边界修复结果如图4f所示。图像的结构信息能够得到很好的修复。

本发明中，基于梯度特征填充优先级计算为：对于已经修复好边结构信息的各级图像剩余区域，本发明采用区域优先级方法来决定修复顺序。由于图像的梯度特征反映了相邻像素间的连接紧密程度和相对变化程度，并且由于梯度是一个一阶微分算子，计算简单，所以采用图像的梯度特征来进行优先级计算具有一定优势。因此本发明采用该方法对修复好边结构信息的各级图像剩余区域的填充优先级进行计算。

如果像素q∈Ω，那么规定q点处的置信度D(q)被初始化为0，否则被初始化为1，即：

$D\left(q\right)=\left\{\begin{array}{cc}0,& \&ForAll;q\&Element;\mathrm{\&Omega;}\\ 1,& \&ForAll;q\&Element;I\backslash \mathrm{\&Omega;}\end{array}\right.---\left(9\right)$

另外，需要计算反映q点处局部边缘特征的梯度值G(q)，其大小由q处的梯度幅值的大小决定，梯度值G(q)可以计算如下：

$G\left(q\right)=\frac{1}{\left|N\right|}\underset{p\&Element;N}{\mathrm{\&Sigma;}}\sqrt{G_x^2\left(p\right)+G_y^2\left(p\right)}---\left(10\right)$

其中，N表示像素q的邻域面积，大小与Ψ_t，Ψ_s的大小相同，|N|表示N中所含像素个数，G＝[G_x，G_y]表示一幅图像在水平方向和垂直方向的梯度。

对于给定中心位置在

处的目标样本块Ψ_t，其优先级的计算如下：

P(q_c)＝C(q_c)·G(q_c)

其中：

$C\left(q_c\right)=\frac{{\mathrm{\&Sigma;}}_{p\&Element;{\mathrm{\&Psi;}}_t\&cap;(I\backslash \mathrm{\&Omega;})}D\left(p\right)}{\left|{\mathrm{\&Psi;}}_t\right|}$

上式中|Ψ_t|表示Ψ_t中所含像素个数，梯度G(q_c)反映了q_c周围的边缘和结构信息的一种度量。计算样本块优先值P(q_c)的目的是为了从具有较多边缘结构信息的位置最先开始填补，这样做的结果有助于把不连续的线条结构，经过修复而有机的连接在一起。优先值P(q_c)越大，那么优先级也就越高，Ψ_t处的区域也就越先进行填补和修复。在修复过程当前级图像过程中，选取当前具有最高优先级的目标样本块Ψ_t，在已知区域Φ中利用公式(8)寻找与之最为匹配的源样本块Ψ_s，并将对应信息复制到相应位置，更新区域Ω，重复上述过程直到区域Ω＝φ，即可完成对应级图像的修复。其修复过程如图5所示，其中蓝颜色区域为待修复区域边界，绿色块为当前待修复区域，红色块为在已知区域Φ中搜索得到的与其匹配区域。图5a原始图像；图5b～图5e为中间修复过程；图5f修复结果。

本发明中，各级图像相关性搜索策略为：当把待修复图像进行DEMD分解后，得到一系列图像，首先根据已有信息对绘制边界进行修复，对于其它已经修复好边结构信息的各级图像剩余区域，如果直接在各级图像中进行，不能保证各级间修复位置的一致性，同时计算量也过大。本发明采用各级图像之间固有的对应关系利用相关性搜索策略进行搜索，也就是每级图像的搜索范围是由它上一级图像对应位置的搜索范围所决定的。对于第一级待修复图像Imf₁，采用基于频率特征值的相似度计算准则和基于梯度特征填充优先级计算部分完成对应的修复。

其它各级待修复图像的相关性搜索策略的修复过程如图6所示，Imf_(i)和Imf_(i-1)为相邻两级待修复图像，当修复到第i级图像时，首先计算该边界目标样本块的优先级，得到待修复图像Imf_(i)当前需要修复的位置然后不是在当前级图像中进行匹配搜索，而是在其上一级已修复完毕的图像Imf_(i-1)中的寻找对应位置

接下来在Imf_(i-1)图像中采用相似度匹配准则搜索与该位置相似的源样本块

并在Imf_(i)图像中搜索与其对应的源样本块

将其构造为一个集合，作为第i级待修复图像Imf_(i)当前要匹配的目标样本块的搜索集合，采用公式(8)进行匹配计算，选出最为匹配的源样本块复制到当前位置，重复上述过程，完成当前级图像的修复。其它各级图像都采用该方法来完成相应的修复。具体包括如下步骤：

初始化：Imf_(i)和Imf_(i-1)为相邻两级待修复图像，Imf_(i-1)为已经修复完毕的图像，Imf_(i)为当前待修复图像；

步骤1，采用优先级计算方法计算图像Imf_(i)边界区域的优先级，选取具有最高填充优先级的目标样本块

为当前待填充块，其中心点

步骤2，利用相关性在其上一级已修复完毕的IMF图像Imf_(i-1)中的寻找对应位置从对应的已知区域Φ中利用公式(8)搜索与目标样本块

匹配的小于阈值的一些源样本块

并构造一个集合；

步骤3，再次利用相关性，在Imf_(i)图像中寻找与步骤2中构造集合对应的源样本块

并通过公式(8)的计算，求得最为匹配的源样本块；

步骤4，重复上述过程直到完成该级图像Imf_(i)的修复。

本发明提供了一种图像修复方法的思路，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种图像修复方法，其特征在于，包括以下步骤：

步骤一，对于给定的图像f(x，y)，选择待修复区域Ω，其中x，y表示像素点的坐标值；

步骤二，利用方向经验模型对给定的图像f(x，y)进行分解，得到三级以上图像；

步骤三，根据已有信息修复每级分解所得图像的待修复区域中已破坏的边缘结构；

步骤四，自动修复各级图像，以每级分解图像的边界上优先级最高的目标样本块作为一次迭代填充单位，重复以下步骤，直到填满各级图像被修复区域内的所有像素：

步骤(1)，利用梯度值、置信度计算各级图像边界区域的优先级，

步骤(2)，根据优先级、相似度和相关性搜索策略确定本次各级图像填充的目标样本块，完成对应区域的修复，

步骤(3)，更新本次迭代处理后的各级图像边界区域像素的置信度；

其中，

梯度值其中，N表示像素q的邻域面积，大小与待修复的目标样本块Ψ_t和源样本块为Ψ_s的大小相同，|N|表示N中所含像素个数；

置信度

其中，I为原图像，Ω为待修复区域，当像素q∈Ω，q点处的置信度D(q)初始化为0，否则初始化为1；

对于给定中心位置在q_c处的目标样本块Ψ_t，待修复区域Ω的边界为

其优先级P(q_c)＝C(q_c)·G(q_c)，其中，

|Ψ_t|表示待修复的目标样本块Ψ_t中所含像素个数，G(q_c)为梯度值。

2.根据权利要求1所述的一种图像修复方法，其特征在于，步骤二中，采用方向经验模型将图像f(x，y)分解为：

$f(x,y)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{imf}}_i^{\mathrm{\&theta;}}(x,y)+r_N^{\mathrm{\&theta;}}(x,y),$

其中，θ为进行方向经验模型分解的方向，imf_i ^θ(x，y)是对应于方向θ的二维各级图像，r_N ^θ(x，y)对应于方向θ的残余图像。

3.根据权利要求1所述的一种图像修复方法，其特征在于，步骤三中根据已有信息修复每级分解所得图像的待修复区域中已破坏的边缘结构，具体为：根据已有信息指定待修复区域中已破坏的边结构信息，并利用方向经验模型分解得到的频率特征值修复选定的边缘结构，沿已知区域的已有边界绘制相应的曲线，表示出完整的结构信息；在进行修复时，在各级图像中首先沿绘制曲线顺序进行修复，第一个待修复的目标样本块Ψ_t为按照绘制顺序绘制的第一条曲线与待修复区域Ω的交界位置；对应的搜索匹配空间为在已知区域绘制的曲线上，并利用当前级图像中目标样本块Ψ_t与源样本块Ψ_s的相似度在定义的搜索匹配空间中搜索与其匹配的源样本块Ψ_s，直到边缘结构完全修复；

对于图像中每个像素点(x，y)的三个频率特征值计算公式为：

$V(x,y)=A_i(x,y),w_i^k(x,y),$

其中：A_i＝sqrt[(imf_i)²+(imf_iH)²]，

$w_i^k=\frac{{\mathrm{imf}}_i\&CenterDot;\frac{d}{\stackrel{\&RightArrow;}{{\mathrm{d\&theta;}}^k}}{\mathrm{imf}}_{\mathrm{iH}}-{\mathrm{imf}}_{\mathrm{iH}}\&CenterDot;\frac{d}{\stackrel{\&RightArrow;}{{\mathrm{d\&theta;}}^k}}{\mathrm{imf}}_i}{{\left({\mathrm{imf}}_i\right)}^2+{\left({\mathrm{imf}}_{\mathrm{iH}}\right)}^2},$

imf_iH(x，y)为第i级图像imf_i(x，y)对应于θ方向的2-D Hilbert变换；k＝1对应θ方向，k＝2对应θ+90°方向。

4.根据权利要求3所述的一种图像修复方法，其特征在于，步骤四的步骤(2)中，填充过程如下：

步骤(41)在待修复图像中，利用梯度值、置信度确定剩余目标样本块的填充优先级，选取优先级最高的块作为当前待修复的目标样本块；

步骤(42)在图像中待修复区域外的部分，利用方向经验模型分解得到的频率特征值，在对应级图像的图像中待修复区域外的部分中搜索具有最高相似性的源样本块进行复制，完成当前目标区域的修复；

步骤(43)对于其它级图像的修复，利用相关性搜索策略完成对应的修复；

步骤(44)更新本次迭代处理后的各级图像边界区域像素的置信度为1，重复以上步骤，直到完成各级图像的修复。

5.根据权利要求4所述的一种图像修复方法，其特征在于，所述相关性搜索策略包括以下步骤：

初始化：Imf_(i)和Imf_(i-1)为相邻两级待修复图像，Imf_(i-1)为已经修复完毕的图像，Imf_(i)为当前待修复图像；

步骤(51)，采用优先级计算方法计算图像Imf_(i)边界区域的优先级，选取具有最高填充优先级的目标样本块

为当前待填充块，其中心点

为当前待填充区域的边界；

步骤(52)，在其上一级已修复完毕的IMF图像Imf_(i-1)中的寻找对应位置

从对应的已知区域Φ中通过频率特征值的相似度计算搜索与目标样本块

匹配的小于阈值的一些源样本块

并构造一个集合；

步骤(53)，在Imf_(i)图像中寻找与步骤(52)中构造集合对应的源样本块

并通过频率特征值的相似度计算，求得最为匹配的源样本块；

步骤(54)，重复步骤(51)至步骤(51)直到完成该级图像Imf_(i)的修复后结束。

6.根据权利要求3或5所述的一种图像修复方法，其特征在于，所述当前级图像中目标样本块Ψ_t与源样本块Ψ_s的相似度计算公式为：

其中，指第i级图像中的目标样本块Ψ_t，

指对应合成的第i级图像中的源样本块Ψ_s，N指图像块在已知区域所占像素个数，和

指的是对应区域中第j个像素的频率特征值。

Images