CN100458846C - 一种图像修复方法 - Google Patents

Abstract

一种图像修复方法，由用户选择出图像上待修复的区域后进行自动修复过程，自动修复过程以边缘面片作为一次迭代填充的单位，重复下面四步，直到填满整个待修复区域：第一步，计算边缘上所有面片的优先级；第二步，根据优先级和相似度准则确定本次迭代将填充的边缘面片；第三步，采用纹理合成方法，同时扩展已知的纹理和结构信息；第四步，更新本次迭代处理的面片内被合成的像素确信度值。实验结果表明，本发明的修复结果优于当前同类修复方法所生成的结果，修复过程更接近于手工修复过程，鲁棒性高，有效地防止了错误信息的连续扩展，已成功地应用于多种具有复杂纹理和结构特征的真实照片或合成图像的修复。此外，本发明也应用于数字博物馆中古字画的修复。

Description

一种图像修复方法

技术领域

本发明属于计算机虚拟现实和计算机图形学技术领域，具体地说，是一种图像修复技术——受损图像的重构和图像上物体的移除。

背景技术

一般地，图像修复本身是一种艺术。早在文艺复兴时期，古代雕塑就已经出现断头少臂的现象，因而，雕塑家不仅自身要创作作品，同时也要修复古代的雕塑，其主要是填补美术品上所出现的裂痕或沟，如文献1的G.Emile-Male.“The Restorer’sHandbook of Easel Painting”.Van Nostrand Reinhold，New York，1976介绍的。我国是个文物大国，为了对宝贵的文物资源进行永久保护，重现古字画或者旧照片的原貌。我国古字画上面经常印有收藏家的***，或者因折叠年代久远而产生的褶痕；另一方面，真实场景的照片或者合成的图像，经常需要移除照片上一些多余的大块对象，悬浮的文字等，特别是一些旧照片上的褶痕需要修复。因此，我们需要寻找一种自动化的图像修复方法。

图像的受损部分和移除部分都可看作是丢失的信息形成的空洞，因此，图像修复技术主要解决的问题是如何填充这些空洞。以前，有两种典型的图像修复方法：纹理合成领域中的约束合成(constrained synthesis)，如文献2的A.Efros and T.Leung，“Texture synthesis by nonparametric sampling，”in Proc.Int.Conf.ComputerVision，Kerkyra，Greece，Sept.1999，pp.1033-1038和L.Liang，C.Liu，Y.-Q.Xu，B.Guo，and H.-Y.Shum，“Real-time texture synthesis by patch-basedsampling，”in ACM Trans.Graphics，2001介绍的和数学计算的数字图像修复(imageinpainting)方法，如文献3的Bertalmio，M，Sapiro，G.，Caselles，V.，Ballester，C.“Image Inpainting”.SIGGRAPH 2000，pages 417-424。

前一种，基于样图的纹理合成方法中的约束纹理合成方法是基于马科夫随机场(Markov Random Field，MRF)模型，即：利用纹理图像的重复性和随机性特征，根据周围已知图像信息填充丢失的信息。以待填充区域边缘上一点为中心的正方形面片(Patch)(尺寸由用户定义)为匹配窗口，利用该窗口中包括的已知部分，在已知的图像中查找最匹配的面片，来填充该窗口中的未知部分。该方法适合于修复面积较大的受损区域。但是该方法的修复对象局限于纹理图像，对于线形结构较强的图像就显得无能为力。

后一种，数学计算的数字图像修复方法是一种基于物理热流偏微分方程(partialdifferential equations)的数字图像修复方法。已知的颜色信息(RGB三个通道)沿着等照度线(isophote)方向(垂直于颜色梯度向量)向待修复区域渗透扩展(利用微分方程)。从而实现了保存边缘信息的同时向内扩展已知信息。二维Laplacian变换用来实现颜色的局部平滑变化过渡，并且沿着等照度线方向扩展。在每一重修复处理之后，都要对所修复的区域进行平滑处理。该方法能有效地保持原图像的线形结构，适合于修复旧照片上裂痕、悬浮的文字等细长的区域。但是在修复较大区域的时候，采用渗透扩展的方法会丢失内部细节，而出现明显的模糊现象。

后来，基于样图的图像修复(exemplar-based image inpainting)方法，文献5的Antonio Criminisi，Patrick Pérez，and Kentaro Toyama，“Region Filling andObject Removal by Exemplar-Based Image Inpainting，”ieee transactions on imageprocessing，vol.13，no.9，september 2004有效地结合了上述两种方法的优点，利用纹理合成方法同时复制纹理和结构性信息，而结构性特征信息的扩展依赖于填充的顺序。修复方法的核心思想是利用等照度线(isophote)控制图像采样过程，具体过程如下：

(a)计算所有边缘面片的优先级：优先级决定填充顺序，是纹理合成方法能实现线性结构信息扩展的关键因素。

(b)纹理和结构信息的扩展：首先，选择优先级最高的面片作为本次迭代内将填充的边缘面片；接着，类似于一般的纹理合成方法，颜色空间内两个面片之间的距离作为相似性的度量准则，在原图像的整个已知区域内，查找与其最匹配(距离最小)的面片；最后，该边缘面片内的未知像素颜色值直接复制相应的匹配块内的颜色值。

(c)本次迭代中所有合成像素的确信度(confidence)值更新为该边缘面片的确信度值。

待修复区域内像素的确信度值的扩展方式近似于数学计算的数字图像修复过程中已知颜色信息的扩展方式；而该区域内像素的实际颜色通过基于样图的纹理合成方法获取。该方法修复的效果更好，但是也存在一些问题：第一，在步骤(b)中，单纯利用颜色信息来衡量相似度；第二，在步骤(b)中，填充顺序只是简单地根据优先级来确定，而忽略了相似性原则；第三，在步骤(c)中，像素确信度计算中没有考虑匹配误差的影响。这些问题影响到了该方法的鲁棒性和最终的修复效果，因为不能有效地防止纹理合成过程中普遍存在的一个问题——错误信息的蔓延。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种鲁棒性高、修复效果好的图像修复方法，用户只需要指定待修复区域，该方法能够自动修复具有复杂纹理和结构特征的真实照片、合成图像和数字博物馆中的古字画。

本发明的技术解决方案：一种图像修复方法，在基于样图的图像修复(exemplar-basedimage inpainting)思想的基础上，其特点在于：用户选择出图像上待修复的区域，并且确定局部源区域的范围，即以边缘面片为中心的样图采样区域窗口大小后进行自动修复过程，自动修复过程以边缘面片作为一次迭代填充的单位，重复下面四步，直到填满整个待修复区域：

第一步，计算边缘上所有面片的优先级，其中优先级是由确信度和向内收缩张量两个因素决定，确信度表示以边缘上像素为中心的面片内包含的已知的信息量及其正确性，向内收缩张量：表示中心像素点的等照度线方向向量在法向量上的分量的大小，决定向修复区域内渗透的力度；优先级的计算公式如下：P(p)＝C(p)*D(p)

$C\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈({\mathrm{\Ψ}}_p\∩\stackrel{\‾}{\mathrm{\Ω}})}C\left(q\right)}{\left|{\mathrm{\Ψ}}_p\right|}$

$D\left(p\right)=\frac{|{\▿}_p^{\⊥}\·n_p|}{\mathrm{\α}}$

P(p)为优先级，C(p)为确信度函数，D(p)为向内收敛张量函数，Ψp为以边界上一点P为中心的边缘面片，n_p表示边界线

在中心点P处的法向量，▽_p ^⊥表示等照度线方向；

第二步，根据优先级和相似度准则确定本次迭代将填充的边缘面片，优先级是主要因素，相似度是调节因素，其填充过程如下：

(a)选择优先级最高的边缘面片作为当前的待填充面片；

(b)在二维图像区域中，选择出满足RGB颜色空间上的相似度约束条件的匹配块，存储到一个链表里，如果链表非空，则将该边缘面片确定为本次迭代将填充的面片，否则继续执行步骤(c)；

(c)将该面片挂起，选择剩余边缘面片中优先级最高的面片，作为当前的待填充面片，返回执行步骤(b)。

第三步，采用纹理合成方法，扩展已知的纹理信息；

第四步，更新本次迭代处理的面片内被合成的像素确信度值。

本发明的图像修复方法与现有修复方法相比的优点在于：修复的效果好，修复过程更接近于手工修复过程，鲁棒性高，有效地防止了错误信息的连续扩展，已成功地应用于多种具有复杂纹理和结构特征的真实照片或合成图像的修复。此外，本发明也应用于数字博物馆中古字画的修复。

附图说明

图1示出本发明中所涉及到的符号定义；

图2示出受限纹理合成过程；

图3示出某一次迭代过程中根据优先级和相似度准则确定待填充边缘面片的流程图；

图4示出本发明中提出的填充顺序调整策略的重要性；

图5示出本发明在相似性判断准则中引入梯度信息的必要性。

具体实施方式

首先，定义一些符号，如图1所示：待修复图像I；区域Ω为待修复区域(待填充区域)，称为目标区域，由用户指定，形状不受任何限制；

是指当前未填充区域的边缘线，随着修复的进行，

不停地改变；Ф是图像中的已知部分(I-Ω)，是填充Ω区域的采样空间，称为源区域；P、Q是上任意两点，Ψ_p、Ψq分别是以P、Q为中心的边缘面片(Patches)，w是边缘面片窗口尺寸。显然，随着修复的进行，区域Ф不断地扩大，而Ω将变小，

也随之改变。

接着，介绍一些相关概念和方法：

1.边缘面片：如图1所示Ψ_p、Ψq面片，以边缘上一点为中心，是已知信息扩展的单位。边缘面片的窗口大小，如图1中的w，对修复的结果有很大的影响。如果窗口尺寸取的过大，失去了局部细节特征，产生明显的不连续；如果窗口尺寸过小，丢失完全的纹理特征，产生大量的碎片。该尺寸理论上应稍大于一个纹元(texel，可识别的纹理元素)的尺寸，本发明中默认值为7，用户也可作适当调节。

2.局部源区域：如图1所示的区域θ，以边缘面片为中心的一个正方形区域。根据图像的局部相似原理，将匹配块的搜索限制在以边缘面片为中心的样图采样区域内，可提高算法的效率。局部源区域窗口的大小默认值为边缘面片窗口的5倍，用户也可作适当调节。

3.相似度判断准则：

采用颜色(R，G，B)空间两个面片之间的距离作为相似度的判断准则是纹理合成方法中常用的度量标准。距离越大，相似度越小，反之，相似度大。定义如下：

$D=\sqrt{\frac{1}{A}\underset{i=1}{\overset{i=A}{\mathrm{\Σ}}}{(R_{\mathrm{pi}}-R_{\mathrm{qi}})}^2+{(G_{\mathrm{pi}}-G_{\mathrm{qi}})}^2+{(B_{\mathrm{pi}}-B_{\mathrm{qi}})}^2}---\left(1\right)$

$d_{\max }=\sqrt{\frac{1}{A}\underset{p\∈({\mathrm{\Ψ}}_p\∩\stackrel{\‾}{\mathrm{\Ω}})}{\mathrm{\Σ}}({\left(\mathrm{\ϵRp}\right)}^2+{\left(\mathrm{\ϵGp}\right)}^2+{\left(\mathrm{\ϵBp}\right)}^2)}---\left(2\right)$

D表示两个边缘面片Ψ_p和Ψq在颜色空间的距离，A表示Ψ_p内已知像素的个数，R，G，B分别表示三个颜色通道。dmax表示当前面片所允许的最大匹配误差，两者之间距离小于dmax称为RGB颜色空间内的相似度约束条件，ε是一个用户预定义参数，控制源样图和合成图像之间相似度和合成结果，ε取值偏大则会出现明显的不连续，ε偏小则会引起同一块纹理的不断重复。

4.匹配：两个面片在RGB颜色空间内，距离小于dmax称为两者相匹配。

5.候选项链表list：对某一边缘面片，专门用来存放与其在RGB颜色空间内的距离小于dmax的所有匹配面片。

6.受限纹理合成：如图2所示不规则的部分是待填充的目标区域，边缘面片Ψ_p(以边缘上像素点P为中心)，是当前被填充的部分。首先，根据公式(1)(2)的相似性判断准则，在已知区域内，搜索满足RGB颜色空间内的相似度约束条件的所有面片，如图2中的虚线框所示，存入候选项链表list。接着，从list中任选一个面片Ψq，边缘面片Ψ_p中的未知像素颜色值直接拷贝Ψq内相应像素的颜色。通常，受限纹理合成都按照一定的合成顺序，文献2采用扫描线顺序，文献3中则按照平面螺旋(洋葱皮)方式由外向内逐层合成填充。

本发明的图像修复方法在用户选定待修复区域和初始化一些参数后，开始自动修复过程，下面将详细介绍自动修复过程。

纹理合成方法能实现线性结构信息的扩展，很大程度上依赖于填充的顺序。本发明提出的图像修复方法中，填充顺序由两个因素决定——优先级和相似度，优先级是主要因素，相似度是调节因素。自动修复过程，以边缘上一点为中心的面片作为一重循环填充的单位，重复下面四步，直到填满整个目标区域内所有的像素。

第一步：计算边缘上所有面片的优先级

根据文献5介绍，优先级由两个因素决定：确信度和向内收缩张量。

确信度：表示边缘面片内包含的已知的信息量及其正确性。确信度因素保证位于***边缘上，包含已知信息丰富的面片最先进行修复，倾向于由外向内逐层修复的方式。

向内收缩张量：表示中心像素点的等照度线方向向量在法向量上的分量的大小，决定向修复区域内渗透的力度，如图1中P点和Q点的向内收缩张量相对较大。向内收缩张量促使边缘线

方向上，颜色变化大(图像梯度值大)的面片最先进行修复，保持原始图像内线性结构的连续性。

优先级的计算方式如下：以边界上一点P为中心的边缘面片Ψp，优先级为P(p)，由确信度函数C(p)和向内收敛张量函数D(p)决定：

P(p)＝C(p)*D(p)           (3)

$C\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈({\mathrm{\Ψ}}_p\∩\stackrel{\‾}{\mathrm{\Ω}})}C\left(q\right)}{\left|{\mathrm{\Ψ}}_p\right|}---\left(4\right)$

$D\left(p\right)=\frac{|{\▿}_p^{\⊥}\·n_p|}{\mathrm{\α}}---\left(5\right)$

对于一般的(0-255)灰度图，公式(5)中的α取值为255，n_p表示边界线

在中心点P处的法向量，▽_p ^⊥表示等照度线方向(垂直于Ψ_p内两个分量绝对值之和最大的颜色梯度向量▽_p)，如图1所示。

显然，Ф区域内的颜色信息是原图具有的，后来修复过程中没有改变，确信度高。在初始化时，Ф内的像素的确定度函数值为1，而Ω内的像素确信度函数值最低，为0。

第二步：根据优先级和相似度准则确定本次迭代将填充的边缘面片

如图3所示，确定本次迭代将填充的边缘面片，需要引入一个计数器，防止RGB颜色空间内相似度约束条件过于苛刻，而进入死循环。过程如下：

(1)选择优先级最高的边缘面片作为当前的待填充面片(用Ψ_p表示)，以Ψ_p为中心的区域θ即为当前的局部源区域。同时将计数器清零。

(2)在源区域θ内搜索，根据相似度判断准则，将满足RGB颜色空间内相似度约束条件的所有面片存入候选项链表list中。

(3)如果候选项链表非空，则该边缘面片Ψ_p确定为本次迭代的待填充面片；否则，说明在当前已知的源采样图里不存在与该边缘面片相匹配的样图块，经过进一步修复，才有可能出现其相似块。因此，继续下面的第(4)步。

(4)计数器加1。

(5)如果计数器没有达到用户规定的次数(本方法在实验过程中，取该值为10)，继续第(6)步，否则，增加ε值为原来的1.5倍，返回到第(1)步。

(6)将该面片挂起，选择剩余边缘面片中优先级最高的面片(用Ψ_p表示)，作为当前的待填充面片，退回到(2)。

如图4所示为某一次迭代，优先级最高的待填充面片Patch(1)，显然是一种特殊面片——在图中找不到匹配块。而优先级其次的边缘面片Patch(n)在当前的RGB颜色空间内相似度约束条件下能找到匹配块。如果采用文献5中的方法，不考虑相似度问题，直接用一个相似度小的面片直接填充，会引起人为加工痕迹。(a)是本方法根据相似度调整填充顺序的填充过程，(b)是单依靠优先级决定填充顺序的填充过程。比较两者可见，本方法的填充顺序更接近于人工修复的顺序，即：对于图中所示的目标区域，从上下两侧沿着当前已知曲线的走向逐渐向中间收缩，最后汇于一点。

第三步：基于样图的纹理合成方法，扩展已知的纹理信息

采用基于样图的纹理合成方法扩展已知的纹理信息，过程如下：

(1)相似性度量准则中加入梯度信息

对于纹理性较强的区域来说(如图5(a)所示，绿色线框内的部分)，采用公式(1)定义的距离作为相似度的判断准则，就能找到近似的匹配面片。但是，对于图5(a)中紫色线框内的区域，放大后为图(b)(c)，该区域有两种不同走向的连续边缘线(分别如图(b)(c)内的黄色线条所标志的边缘)，图(b)蓝色线框对应的边缘面片，权值较高(根据上述权值的计算方法，等照度线平行于中心点的法向量)，最先被填充，保持原始图像内黄线所标志的边缘的连续性，比较容易。但是对于图(c)天蓝色线框所对应的边缘面片，权值较低(等照度线方向垂直于中心点法向量)，很难保持原始图像内线段标志的边缘线的连续性。为了解决这一问题，本发明引入该线性区域内的另一个突出特征——梯度信息，相似度的度量准则为颜色和梯度两个空间的距离，定义如下：

$D=\sqrt{\frac{1}{A}\underset{i=1}{\overset{i=A}{\mathrm{\Σ}}}({(C_{\mathrm{pi}}-C_{\mathrm{qi}})}^2+{(G_{\mathrm{pi}}-G_{\mathrm{qi}})}^2)}---\left(6\right)$

$d_{\max }=\sqrt{\frac{1}{A}\underset{p\∈({\mathrm{\Ψ}}_p\∩\stackrel{\‾}{\mathrm{\Ω}})}{\mathrm{\Σ}}({\left(\mathrm{\ϵCp}\right)}^2+{\left(\mathrm{\ϵ}{G}_p\right)}^2)}---\left(7\right)$

D表示两个边缘面片Ψ_p和Ψq之间的距离，A表示Ψ_p内已知像素的个数，C表示RGB颜色向量，G表示图像中亮度梯度向量。dmax表示当前边缘面片所允许的最大匹配误差，小于dmax称为该边缘面片在颜色和梯度两个空间的相似度约束条件，ε是一个用户预定义参数(同文献2介绍的公式)。

(2)两重匹配

为了提高计算的效率，本发明提出一种新的匹配算法——两重匹配算法。

第一重，在局部源区域θ内搜索，依据公式(1)和(2)的相似度判断准则。前面第二步根据相似度调节填充顺序过程中查找匹配块的过程已经完成，这里，直接将保存的候选项链表list作为其输出，备第二重匹配用。

第二重，将候选项链表list作为新的采样源，按照公式(6)(7)，查找距离小于dmax值的样图块，组成新的候选项链表。类似于图5(a)中绿色方块区域内纹理性较强的图像，经过第一重匹配就能获取相似的面片，但是对于复杂的图像就需要第二重匹配，获取更具相似特征的样图面片。

(3)填充

在新的候选项链表中任意选择一块Ψq，Ψ_p中未知像素的颜色用Ψq中相应像素的颜色来填充。

第四步：修改(Ψp∩Ω)内像素确信度值

从上述的信息扩展过程可知，填充与被填充面片之间只能是在一定范围内的相似，而不是完全相同，因此有匹配误差存在，而且随着修复的进行，累积误差的增加会引起错误信息的蔓延。为反映匹配误差的影响，本发明设计的像素确信度函数，由两个因素决定：填充时所在边缘面片的确信度和填充颜色的正确性。边缘面片确信度函数的定义同公式(3)；填充颜色的正确性函数定义为exp(-kD²)，D的定义同公式(6)，k是一个调节系数。因此，Ψp∩Ω内任一像素点的确信度值定义为：

C(p′)＝C(p)exp(-kD²) ${\∀p}^{\′}\∈({\mathrm{\Ψ}}_p\∩\mathrm{\Ω})---\left(8\right)$

从公式(8)可知，越靠近Ω的中心部分，被填充的颜色信息正确性越低，像素的确定性值越小，与修复图像的实际情况相符。

Claims (3)

1、一种图像修复方法，其特征在于包括以下步骤：

(1)用户选择出图像上待修复的区域；

(2)自动修复过程，该自动修复过程是以边缘面片作为一次迭代填充的单位，重复下面四步，直到填满整个被修复区域内所有的像素，其步骤如下：

第一步，计算边缘上所有面片的优先级，其中优先级是由确信度和向内收缩张量两个因素决定，确信度表示以边缘上像素为中心的面片内包含的已知的信息量及其正确性，向内收缩张量表示中心像素点的等照度线方向向量在法向量上的分量的大小，决定向修复区域内渗透的力度；优先级的计算公式如下：P(p)＝C(p)*D(p)

$C\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈({\mathrm{\ψ}}_p\∩\stackrel{\‾}{\mathrm{\Ω}})}C\left(q\right)}{\left|{\mathrm{\ψ}}_p\right|}$

$D\left(p\right)=\frac{|{\▿}_p^{\⊥}\·n_p|}{\mathrm{\α}}$

P(p)为优先级，C(p)为确信度函数，D(p)为向内收敛张量函数，Ψp为以边界上一点P为中心的边缘面片，n_p表示边界线

在中心点P处的法向量，

表示等照度线方向；

第二步，根据优先级和相似度准则确定本次迭代将填充的边缘面片，优先级是主要因素，相似度是调节因素，其填充过程如下：

(a)选择优先级最高的边缘面片作为当前的待填充面片；

(b)在二维图像区域中，选择出满足RGB颜色空间上的相似度约束条件的匹配块，存储到一个链表里，如果链表非空，则将该边缘面片确定为本次迭代将填充的面片，否则继续执行步骤(c)；

(c)将该面片挂起，选择剩余边缘面片中优先级最高的面片，作为当前的待填充面片，返回执行步骤(b)

第三步，采用纹理合成方法，扩展已知的纹理信息；

第四步，更新本次迭代处理的面片内被合成的像素确信度值。

2、根据权利要求1所述的图像修复方法，其特征在于：第三步所述的采用纹理合成方法扩展已知的纹理信息的过程中采用两重匹配算法：第一重，直接利用权利要求1中第二步步骤(b)中获取的链表作为本重匹配的输出结果；第二重，在颜色和梯度两个空间内，从第一重选出的匹配块内，选出满足颜色和梯度两个空间相似度约束条件的匹配块。

3、根据权利要求1所述的图像修复方法，其特征在于：第四步像素的确信度计算方法中采用像素的确信度值由像素被填充时所在的边缘面片的确信度值和该面片的匹配误差共同决定。

Images