CN101980285B - 结合gmrf先验的非局部图像修复方法 - Google Patents

Abstract

本发明公开了一种结合GMRF先验的非局部图像修复方法，它属于图像处理技术领域，主要解决现有基于样本的非局部均值修复方法中相似性权值计算不准确的问题，其实现过程是：(1)对待修复图像I，确定待修复区域Ω及其边界δ；(2)计算中心点在边界上的待修复块的优先级P(p)，找出优先级最高的修复块

并对使用GMRF建模；(3)在搜寻区内搜索与待修复块

最相似的n个样本块，使用基于GMRF的非局部均值方法得到作为填充待修复块的填充块ψ_p′；(4)更新置信度项及待修复区域，重复步骤(1)-(4)直至待修复区域内的所有点被修复。本发明能够更好的连接图像纹理信息，并能使修复结果在亮度上更接近于原图，可用于修复图像破损区域及图像中目标物的移除。

Description

结合GMRF先验的非局部图像修复方法

技术领域

本发明属于图像处理技术领域，涉及图像修复，可用于复原照片破损区域及图像中目标物的移除。

背景技术

图像修复是图像复原研究中的一个重要内容，它的目的是利用图像中现有的已知信息，通过一定的规则来修复图像中破损的部分，使修复后的图像能够接近原图。

现有的图像修复方法大致可以分为基于结构的修复方法和基于纹理的修复方法两大类。其中基于结构的修复方法本质上都是一种基于偏微分方程的修复方法，最早由Bertalmio等人提出，参见M.Bertalmil，G.Sapiro，V.Caselles，andC.Ballester，《Image Inpainting》，Proceddings of Internatioanl Conferemce onComputer Graphics and Interactive Techniques，July 2000，p417-424。随后由Chan等人提出的基于总体变分TV模型的修复方法，以及由TV修复模型启发产生的曲率驱动扩散CDD模型修复方法都属于基于结构的修复方法。这些方法都是通过信息的扩散的来实现的，仅适用于非纹理图像以及小尺度破损的图像修复。

Criminisi等人提出的基于样本的修复方法是一种基于纹理的修复方法，该方法借鉴了纹理合成方法中的思想来寻找样本块并匹配复制，同时充分利用了基于结构的修复方法中的扩散方式来定义修复块的优先级，使得处在具有较多结构信息的边缘附近的修复块具有较高的修复优先级，从而在修复纹理信息的同时对结构信息也有一定的保持。参见A.Criminisi，P.Perez，K.Toyama，《Region Fillingand Object Removal by Exemplar-Based Image Inpainting》，IEEE Trans.ImageProcessing，vol.13，No.9，Sep.2004，p1200-1212.该方法采用单个样本块直接填充待修复区域，由于实际中很难使样本块与待修复块达到最优匹配，因此在填充待修复块时会存在一定的误差，随着修复过程的进行，这种做法会造成误差的累积。

Alexander Wong和Jeff Orchar提出了一种基于样本的非局部均值修复算法，采用多个样本块的加权均值来合成用于填充待修复区域的填充块，在一定程度上改善了基于样本修复方法的缺陷。参见Alexander Wong，JeffOrchar，《ANonlocal-Means Approach to Exemplar-Based Inpainting》，15th IEEEInternational Conference on Image Processing，2008，p2600-2603.该方法由于使用一个衰减系数为常数的负指数函数来计算样本块与待修复块的相似性权值，而不同的待修复块中所包含的信息是不同的，这样做势必会造成相似性权值的计算不够准确，进而导致修复结果不能很好的连接图像中的细节纹理。

发明内容

本发明的目的在于克服基于样本的非局部均值修复方法的不足，提出了一种基于GMRF的非局部均值图像修复方法，该方法在基于样本的非局部均值修复方法的基础上结合了高斯随机场GMRF模型，构造一个自适应的权值计算公式，以更准确的估计不同样本块对于合成填充块的贡献，使图像修复结果中的细节纹理清晰，从而改善修复效果。

为实现上述目的，本发明的实现方法包括如下步骤：

(1)对于输入的待修复图像I，定义待修复区域为Ω，已知区域为源区Φ，确定待修复区域的边界为δ；

(2)对于中心点p在边界δ上的修复块ψ_p，计算其修复优先级P(p)，找出优先级最高的修复块

并对

使用高斯随机场GMRF建模，ψ_p的修复优先级定义为P(p)＝C(p)D(p)，其中C(p)为置信度项，D(p)为数据项，分别定义为：

$C\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\ψ}}_{\mathrm{pI}(I-\mathrm{\Ω})}}C\left(q\right)}{\left|{\mathrm{\ψ}}_p\right|}$ $D\left(p\right)=\frac{|\▿{I_p}^{\⊥}\·n_p|}{\mathrm{\α}}$

q为修复块ψ_p中像素值已知的点，C(q)为点q的置信度，|ψ_p|为修复块ψ_p的面积，α为标准化参数，对于灰度图像α＝255，n_p为在p处与待修复区域边界垂直的单位向量，

为与p点处的梯度垂直的单位向量，即p点处等照度线方向的单位向量，C(p)初始化为C(p)＝0，

C(p)＝1，

(3)按照如下的步骤找出与待修复块

最相似的n个样本块：

3a)以优先级最高的修复块的中心点

为中心，选取大小为M×M的邻域为该修复块的搜寻区域；

3b)计算搜寻区域内每个样本块ψ_i与修复块

的相似性距离

定义为

与ψ_i中已知点像素差的平方和；

3c)对相似性距离

按照从小到大的顺序排序，取出前n个样本块，n＝15；

(4)使用如下基于GMRF模型的自适应权值公式，分别计算前n个样本块ψ_i和待修复块

的相似性权值：

$\mathrm{\ω}\left({\mathrm{\ψ}}_i\right)=\frac{1}{\sqrt{2\mathrm{\π}}{{\widehat{\mathrm{\σ}}}_p}^2}\exp (-\frac{d({\mathrm{\ψ}}_{\hat{p}},{\mathrm{\ψ}}_i)}{h})$

其中

为修复块

的方差，h定义为

|N_i|为修复块

中像素值已知的点的个数，β为一个控制参数，取β＝0.8；

(5)根据得到的相似性权值计算前n个样本块的加权均值，作为填充待修复块

的填充块ψ_p′，并对该待修复块

进行填充；

(6)更新置信度项及待修复区域，当具有最高优先级的修复块被修复后，将已修复点的置信度更新为当前修复块中心点的置信度值，即

为当前修复块中心点的置信度；

(7)重复步骤(1)～(6)，直至待修复区域内的所有点被修复。

本发明与现有技术相比有以下优点：

1.本发明结合GMRF模型，构造一个自适应的权值计算公式，能够很好的利用图像本身的信息，更准确的估计不同样本块对于合成填充块的贡献，使图像修复结果中的细节纹理清晰，从而改善修复效果。

2.本发明使用自适应的权值计算公式，不需要对不同的图像设置不同的参数，易于实现。

附图说明

图1是本发明的流程图；

图2是本发明修复优先级的示意图；

图3是本发明修复图像破损区域实验使用的图像；

图4是对图3修复结果的局部放大图；

图5是本发明去除图像中文本实验使用的图像；

图6是对图5的修复结果；

图7是对图5修复结果的局部放大图；

图8是本发明去除图像中目标物实验使用的图像；

图9是对图8的修复结果；

图10是对图8修复结果的局部放大图。

具体实施方式

参照附图1，本发明的实现步骤如下：

步骤1，对待修复图像I，确定待修复区域Ω及其边界δ，将图像中已知的区域定义为源区Φ，即Φ＝I-Ω，本发明使用的待修复图像I如图3(b)，图5(b)，图8(b)所示。

步骤2，对于中心点p在边界δ处的待修复块ψ_p，计算其修复优先级P(p)，并找出优先级最高的修复块

对

使用高斯随机场GMRF建模：

2.1)将待修复块ψ_p的修复优先级定义为：

P(p)＝C(p)D(p)                        1)

其中，C(p)为置信度项， $C\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\ψ}}_{\mathrm{pI}(I-\mathrm{\Ω})}}C\left(q\right)}{\left|{\mathrm{\ψ}}_p\right|},$

D(p)为数据项， $D\left(p\right)=\frac{|\▿{I_p}^{\⊥}\·n_p|}{\mathrm{\α}},$

q为修复块ψ_p中像素值已知的点，C(q)为点q的置信度，|ψ_p|为修复块ψ_p的面积，α为标准化参数，对于灰度图像α＝255，n_p为在p处与待修复区域边界垂直的单位向量，

为p点处与梯度垂直的单位向量，即等照度线方向，C(p)初始化为C(p)＝0，

C(p)＝1，

2.2)找出具有最高优先级的待修复块

对其使用GMRF建模，计算它的方差

计算待修复块内所有像素值已知点(x，y)的灰度值f_x，y与其四邻域点(x+i，y+j)的灰度值f_x+i，y+j之差：Δ_f＝f_x，y-f_x+i，y+j，将这些差值的方差作为待修复块

的方差

步骤3，对于

使用基于GMRF的非局部均值方法对其进行修复。

3.1)以优先级最高的修复块

的中心点为中心，选取大小为M×M的邻域为该修复块的搜寻区域，M＝41，计算搜寻区域内每个样本块ψ_i与修复块

的相似性距离

定义为

与ψ_i中已知点像素差的平方和；

3.2)对相似性距离

按照从小到大的顺序排序，取出前n个样本块，n＝15，分别计算这前n个样本块ψ_i与待修复块

的相似性权值ω(ψ_i)：

$\mathrm{\ω}\left({\mathrm{\ψ}}_i\right)=\frac{1}{\sqrt{2\mathrm{\π}}{{\widehat{\mathrm{\σ}}}_p}^2}\exp (-\frac{d({\mathrm{\ψ}}_{\hat{p}},{\mathrm{\ψ}}_i)}{h})---2)$

其中

为修复块的方差，

|N_i|为待修复块

中像素值已知点的个数，β为一个控制参数，取β＝0.8；

3.3)根据权值公式2)得到的相似性权值计算这n个样本块的加权均值ψ_p′：

${\mathrm{\ψ}}_{p^{\′}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\ω}\left({\mathrm{\ψ}}_i\right){\mathrm{\ψ}}_i/\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\ω}\left({\mathrm{\ψ}}_i\right)---3)$

其中ψ_i为取出的前n个样本块；

3.4)使用ψ_p′对该待修复块

进行填充。

步骤4，当具有最高优先级的修复块

被填充后，将该修复块中已修复点的置信度更新为当前修复块中心点的置信度值，即

$C\left(p\right)=C\left(\hat{p}\right)$ $\∀p={\mathrm{\ψ}}_{\hat{p}}\mathrm{I\Ω}---4)$

为当前修复块中心点的置信度，重复以上四个步骤，直至待修复区域内的所有点被修复。

本发明效果可以通过以下实验进一步证实：

一、实验条件和内容

实验条件：实验所使用的图像如图3，图5，图8所示。其中图3(a)为修复图像中破损区域实验的原图，图3(b)为待修复图像，图5(a)为去除文本实验的原图，图5(b)为待修复图，图8(a)为目标物移除实验的原图，图8(b)为对要移除目标物的标记图，实验中各种对比方法都是使用MATLAB语言编程实现。

实验内容：

在上述实验条件下，分别使用Criminisi方法，基于样本的非局部均值修复方法和本发明进行实验，其中修复块大小取9×9，搜寻区域大小为M×M，M＝41，取15个样本块进行加权平均。

进行修复图像中破损区域实验，其实验结果如图4，其中图4(a)为原图的局部放大图，图4(b)为使用Criminisi方法结果的局部放大图，图4(c)为使用基于样本的非局部均值修复方法结果的局部放大图，图4(d)为使用本发明结果的局部放大图。

进行去除文本实验，其实验结果如图6，其中图6(a)为使用Criminisi方法的结果图，图6(b)为使用基于样本的非局部均值方法的结果图，图6(c)为使用本发明的结果图。为了进一步说明实验效果，对图6的结果进行局部放大，如图7，其中图7(a)为原图的局部放大图，图7(b)为Criminisi方法的局部放大图，图7(c)为基于样本的非局部均值方法的局部放大图，图7(d)为本发明修复方法结果的局部放大图。

进行图像中目标物移除实验，其实验结果如图9，其中图9(a)是Criminisi方法结果，图9(b)为基于样本的非局部均值方法结果，图9(c)为本发明方法的修复结果。对图9的结果进行局部放大，如图10，其中图10(a)是Criminisi方法修复结果的局部放大图，图10(b)是基于样本的非局部均值方法修复结果的局部放大图，图10(c)是使用本发明得到的修复结果的局部放大图。

表1列出了使用三种不同方法得到的修复破损区域实验及文本去除实验结果的峰值信噪比PSNR值。

表1使用不同方法修复结果的PSNR值对比

二、实验结果

从图4及图7中可以看出，与现有的前两种修复方法相比，使用本发明方法能更好的连接图像的纹理信息，得到的修复结果纹理细节更加清晰自然，在边界区域以及纹理区域都更接近与原图。

从表1中也可看出，本发明方法的修复结果较Criminisi方法和基于样本的非局部均值方法得到修复结果的PSNR值都有所提高。

从图10中可以看出，使用本发明方法得到的修复结果在海浪和海面的边界区域以及海面区域都具有更好的效果。

以上实验结果表明，本发明相对于现有两种基于样本的修复方法具有更好的性能，克服了基于样本的非局部均值修复方法对权值估计不够准确的缺点。

Claims (3)

1.一种结合GMRF先验的非局部图像修复方法，包括如下步骤：

（1）对于输入的待修复图像I，定义待修复区域为Ω，已知区域为源区Φ，确定待修复区域的边界为δ；

（2）对于中心点p在边界δ上的修复块ψ_p，计算其修复优先级P(p)，找出优先级最高的修复块 并对 

使用高斯随机场GMRF建模，ψ_p的修复优先级定义为P(p)＝C(p)D(p)，其中C(p)为置信度项，D(p)为数据项，分别定义为：

q为修复块ψ_p中像素值已知的点，C(q)为点q的置信度，|ψ_p|为修复块ψ_p的面积，α为标准化参数，对于灰度图像α＝255，n_p为在p处与待修复区域边界垂直的单位向量， 

为与p点处的梯度垂直的单位向量，即p点处等照度线方向的单位向量，C(p)初始化为C(p)＝0, 

C(p)＝1, 

（3）按照如下的步骤找出与待修复块 最相似的n个样本块：

3a）以优先级最高的修复块 的中心点 

为中心，选取大小为M×M的邻域为该修复块的搜寻区域；

3b）计算搜寻区域内每个样本块ψ_i与修复块 

的相似性距离 

定义为 

与ψ_i中已知点像素差的平方和；

3c）对相似性距离 按照从小到大的顺序排序，取出前n个样本块，n＝15；

（4）使用如下基于GMRF模型的自适应权值公式，分别计算前n个样本块ψ_i和待修复块 

的相似性权值：

其中 

为修复块 的方差，h定义为 

|N_i|为修复块 

中像素值已知的点的个数，β为一个控制参数，取β＝0.8；

（5）根据得到的相似性权值计算前n个样本块的加权均值，作为填充待修复块 

的填充块ψ_p'，并对该待修复块 

进行填充； 

（6）更新置信度项及待修复区域，当具有最高优先级的修复块被修复后，将已修复点的置信度更新为当前修复块中心点的置信度值，即 

为当前修复块中心点的置信度；

（7）重复步骤（1）~（6），直至待修复区域内的所有点被修复。

2.根据权利要求1所述的结合GMRF先验的非局部图像修复方法，其特征在于步骤（2）所述的对 

使用高斯随机场GMRF建模，按如下步骤进行：

2a）计算待修复块 

内所有像素值已知点(x,y)的灰度值f_x,y与其四邻域点(x+i,y+j)的灰度值f_x+i，y+j之差：Δ_f＝f_x，y-f_x+i，y+j；

2b）计算图像中所有像素值已知的点与其四邻域点灰度值之差Δ_f的方差作为待修复块 

的方差 

3.根据权利要求1所述的结合GMRF先验的非局部图像修复方法，其特征在于步骤（5）所述的根据得到的相似性权值计算前n个样本块的加权均值，是通过如下加权均值公式计算：

其中ψ_i为取出的前n个样本块，ω(ψ_i)表示前n个样本块ψ_i与待修复块 

的相似性权值。 

Images