CN103578085B - 基于可变块的图像空洞区域修补方法 - Google Patents

Abstract

一种基于可变块的图像空洞区域修补方法，包括步骤：1、设定块的初始尺寸，在输入图像上寻找待修补区域的边界；2、分别计算以待修补区域边界上未修补的各个像素点为中心、大小等于初始尺寸的各个块的优先级，选取优先级最高的块作为当前待修补块；块优先级的计算结合了块的可信度、结构条件和纹理条件；3、搜索当前待修补块的最匹配块，包括：根据当前待修补块的纹理条件调整当前待修补块的尺寸，然后基于颜色梯度直方图搜索最匹配块；4、基于图割技术用最匹配块修补当前待修补块；重复执行步骤2‑4，直至输入图像上的待修补区域修补完。该方法能够在纹理条件复杂或较恒定的情况下均较好地保留纹理细节，能够同时修复纹理信息和结构信息。

Description

基于可变块的图像空洞区域修补方法

技术领域

本发明属于图像处理、计算机视觉、计算机图形学和虚拟现实领域，具体地说是一种基于可变块的图像空洞区域修补方法。

背景技术

早在文艺复兴时期，人们就开始修复中世纪的一些艺术品，目的是通过填补一些裂缝来使中世纪的一些图画得到翻新，这样的工作被称作“Retouching（润饰）”或者“Inpainting（修补或修复）”。那时的修复工作主要是由专业修复师手工完成的，需要花费大量的时间和工作量。

受博物馆艺术家人工修复工作的启发，计算机图形学领域的学者尝试使用图形学算法来模仿手工修复的方法，利用当前图像中的已知信息来移去目标图像上不需要的景物或者对有信息缺损的图像进行恢复，使得修复后的图像看起来和谐、自然，保证修补后的目标图像画面在结构、纹理和亮度上连续和一致，这就是图像修补技术。

一般来说，图像修补技术主要包括三个步骤，即1）首先输入待修补的目标图像；2）由用户交互指定目标图像上待修补的区域；3）以待修补区域周围的已知信息作为约束，从目标图像上的已知信息区域监测和拷贝可利用的信息来填充信息丢失区域中的像素。

目前主要存在三类图像修复技术：基于结构的图像修复（inpainting）技术，基于纹理合成的图像补全（completion）技术和结合结构与纹理的技术。

基于结构的图像修复技术最早是由Bertalmio等人引入到图像处理中，他们在每个信道上使用2D Laplacian方法估计局部颜色的光滑度，然后利用光滑度将待修补区域边界的等值线（Isophotes）外部的信息沿轮廓法向各向异性地扩散到内部待修补的像素上，保证了图像边缘处的边界连续性。后来，他们又将流体力学中的Navier-Stokes方程应用于图像修复，提出一种基于Navier-Stokes方程的图像修补算法。Tony F.Chan和JianhongShen通过求解结构曲率驱动下的三阶非线性扩散偏微分方程，达到对非纹理性的目标图像进行视觉连续性修复的目的。

Chan等人还提出基于整体变分TV（Total Variation）模型的图像修补算法，通过欧拉-拉格朗日方程的约束和基于曲率的各向异性扩散CDD（Curvature Driven Diffusion）过程来保证修复区域和原始图像的无缝拼接。

基于结构的图像修复技术在图像的光滑性假设下，通过拟合函数的重采样获得空洞区域的颜色信息。它可以较好的修补小尺寸的信息丢失区域；然而，它在修补较大信息丢失区域时容易产生模糊效果，而且对于具有高度纹理特性的较大受损区域更是无能为力。

基于纹理合成的方法是将空洞周围的已知信息区域看作纹理样本，然后通过纹理合成的方法产生新的图像块来填补丢失信息区域。基于面片的图像修补方法采用由粗到细的方式，从图像上的信息已知区域中采集与待修复像素的邻域具有最佳相似性的面片进行填充，逐步迭代逼近整个受损区域。Criminisi等人的方法首先把丢失信息区域边界上的待修补面片按一定的优先级进行排序，然后在整幅图像内搜索与优先级高的像素邻域最匹配的区域来逐步填补待修复区域。由于在修补过程中考虑到了结构信息的重要性，加强了具有较强结构信息的局部区域的修补优先级，这种方法获得了非常好的效果，成为图像修补技术发展过程中的一个里程碑。

结合结构与纹理的技术主要是考虑到利用基于结构的方法对结构信息敏感却难以处理纹理信息，而基于纹理合成的方法易于修复纹理信息却对结构信息缺乏控制，所以把两种方法结合起来以完成更好的修复效果。Bertalmio等人提出基于图像分解的方法，算法首先把输入图像分解为结构图和纹理图，然后采用基于结构的方法修补结构图，采用基于纹理合成的方法修补纹理图，最后合并修复好的两幅子图像得到原始图像的修复结果。此方法将图像中的结构和纹理信息分开处理，避免了互相干扰，因此修复过程只需考虑图像的单一特性，能够有效恢复带有一定结构信息的图像。但是算法复杂度较高，整个修复过程耗时较大。

发明内容

本发明的目的是提供一种基于可变块的图像空洞区域修补方法，该方法能够在纹理条件复杂或较恒定的情况下均较好地保留纹理细节，能够同时修复纹理信息和结构信息。

本发明采用的技术方案如下：

一种基于可变块的图像空洞区域修补方法，包括以下步骤：

步骤1，设定块的初始尺寸，在输入图像上寻找待修补区域的边界；

步骤2，分别计算以待修补区域边界上未修补的各个像素点为中心、大小等于初始尺寸的各个块的优先级，选取优先级最高的块作为当前待修补块；块优先级的计算包括：用块内已知像素点与块内总像素点的比重以及已知像素点的可信度计算块的可信度，用待修补区域边界处的结构信息计算块的结构条件，用块内的纹理信息计算块的纹理条件，结合块的可信度、结构条件和纹理条件确定块的优先级；

步骤3，搜索当前待修补块的最匹配块，包括：根据当前待修补块的纹理条件调整当前待修补块的尺寸，然后基于颜色梯度直方图搜索最匹配块；

步骤4，基于图割技术用最匹配块修补当前待修补块；

重复执行步骤2-4，直至输入图像上的待修补区域修补完。

在上述的图像空洞区域修补方法中，优选地，计算块的结构条件的方法为

$D\left(p\right)=\frac{|\▿I_p^{\⊥}\·n_p|}{\mathrm{\α}}$

是输入图像的灰度级数，n_p是垂直于待修补区域边界的单位向量，是图像的梯度，⊥是正交算子，即是等照度线到达边界时的强度。

在上述的图像空洞区域修补方法中，优选地，计算块的纹理条件的方法为

ψ_p表示以p点为中心点的标准块，β是归一化因子，p′是块ψ_p内除p点的其他像素点，I(p′)是p′点的颜色值，f(I(p′),μ)是I(p′)与块ψ_p的平均颜色值μ之间的颜色差，g(p，p′）是基于p点和p′点空间距离的高斯函数。

在上述的图像空洞区域修补方法中，优选地，结合块的可信度C(p)、结构条件D(p)和纹理条件T(p)确定块的优先级P(p)的方法为

块的可信度小于可信度阈值时，置块的优先级为0；

块的可信度不小于可信度阈值或所有块的可信度均小于可信度阈值时，置块的优先级P(p)=C³(p)+D³(p)-0.5³T³(p)。

在上述的图像空洞区域修补方法中，优选地，若有复数个块的优先级最高，则从该复数个块中选择可信度最高的块作为当前待修补块。

在上述的图像空洞区域修补方法中，优选地，步骤3中，根据当前待修补块的纹理条件调整当前待修补块的尺寸的方法包括：当纹理条件小于对应纹理阈值时扩大块尺寸，当纹理条件大于对应纹理阈值时缩小块尺寸。

在上述的图像空洞区域修补方法中，优选地，所述纹理条件为归一化后的纹理条件，所述纹理阈值包括1/3和2/3，当纹理条件小于1/3时将块的尺寸扩大至9x9像素，当纹理条件大于1/3且小于2/3时块尺寸保持不变，当纹理条件大于2/3时将块尺寸缩小至3x3像素。

在上述的图像空洞区域修补方法中，优选地，基于颜色梯度直方图搜索最匹配块包括：

比较当前待修补块与前一已修复块的位置关系，当二者接近时将前一最匹配块周围的区域作为搜索区域，当二者不接近时将整个已知区域作为搜索区域；

通过颜色梯度直方图在相应的搜索区域搜索最匹配块。

在上述的图像空洞区域修补方法中，优选地，步骤4还包括：用块的可信度更新该块内已修补像素的可信度，块的可信度小于已知区域内像素点的可信度。

本发明具有以下优点：

（1）根据待修补块的纹理条件调整块的大小，在纹理条件复杂的情况下选择较小的块能够更好的保留纹理的细节；在纹理较恒定的情况下选择较大的块能够完整的保留纹理的最小单元。

（2）在修复过程中通过可信度计算排除可信度低的块，一方面可以防止待修补块周围已知像素不多而强行修复产生明显的修复痕迹，另一方面可以加快块优先级的计算速度。

（3）通过判断纹理信息的复杂与否，优先选择纹理信息较简单的，即容易修复的部分修复。同时判断待修复边界区域的等照度线强度，优先选择结构信息丰富的部分，以达到同时修复纹理信息和结构信息的效果。

（4）在块匹配过程中加入了一个判定条件，当匹配过程中有块满足这个判定条件时可以极大的减少块的搜索区域。

（5）通过判定条件（比较两个块的直方图，若小于阈值则排除）可以快速的排除纹理条件不同的两个块。同时把用在图像检索领域的颜色梯度直方图的方法用于块匹配，能够在一定程度上对物体遮挡和混乱的干扰鲁棒，并且提高匹配的准确度。

（6）利用图割技术进行块的更新过程，极大的减少人工修补的痕迹，提高了修补的效果。同时通过可信度的更新，对修补后的像素点给予低于已知区域像素点的可信度，保证了之后修补过程正常进行的同时，能够优先考虑周围已知区域像素多的块。

附图说明

图1是实施例基于可变块的图像空洞区域修补方法的流程图；

图2是其中通过计算优先级选取当前待修补块的流程图；

图3是其中搜索当前待修补块的最匹配块的流程图；

图4是其中用最匹配块修补当前待修补块的流程图。

具体实施方式

本发明涉及基于可变块的图像空洞区域修补方法，用于提高修补效果。本发明中采用的主要技术包括根据待修复区域以边界上像素点为中心的块的可信度，结构信息和纹理条件判断修复的优先级，利用块中纹理条件选择块大小，通过颜色梯度直方图搜索已知像素区域中与当前块最匹配的块，基于图割技术的块更新策略。

下面结合附图和实施例对本发明做进一步的说明。

如图1所示，本基于可变块的图像空洞区域修补方法包括以下步骤：

步骤1，预处理步骤，该预处理步骤可分为以下两步：一、输入待修补的图像l，并选择待修补区域（即目标区域）Ω。定义已知区域Φ=l-Ω。设定初始的块大小（即块的初始尺寸）为5×5像素。二、寻找待修补区域Ω的边界应当理解，块的初始尺寸并不限于5×5像素，在应用时可以根据实际情况灵活设定，如可以设定为4×4像素或6×6像素等。

步骤2，分别计算以待修补区域边界上未修补的各个像素点为中心、大小等于初始尺寸的各个块的优先级，选取优先级最高的块作为当前待修补块。其中，优先级的计算综合考虑了块的可信度、结构条件和纹理条件。

步骤3，搜索当前待修补块的最匹配块。

步骤4，基于图割技术用最匹配块修补当前待修补块。

步骤5，判断边界是否为零，边界为零则修补完成，输出图像；边界不为零则转至步骤2，重复执行步骤2-4，直至输入图像上的待修补区域修补完。

如图2所示，上述步骤2可分为以下几个步骤：

步骤2-1，在边界上选取像素点p，

步骤2-2，计算以点p为中心、大小为5×5像素的块ψ_p的可信度C(p)。较佳实施例中用块内已知像素点与块内总像素点的比重以及已知像素点的可信度计算块的可信度C(p)，公式如下

$C\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\ψ}}_p\∩(I-\mathrm{\Ω})}C\left(q\right)}{\left|{\mathrm{\ψ}}_p\right|}$

其中│Ψ_p│表示块Ψ_p的面积，q表示块Ψ_p内的已知像素点。修补过程开始时初始化使待填补区域的点可信度为0，而已知区域的点可信度为1。

步骤2-3，计算以点p为中心、大小为5×5像素的块Ψ_p的结构条件D(p)。较佳实施例中，结构条件的计算方法为

$D\left(p\right)=\frac{|\▿I_p^{\⊥}\·n_p|}{\mathrm{\α}}$

是输入图像的灰度级数，n_p是垂直于边界的单位向量，是图像的梯度，⊥是正交算子，即是等照度线到达边界时的强度。

步骤2-4，计算以点p为中心、大小为5×5像素的块Ψ_p的纹理条件T(p)。较佳实施例中，纹理条件的计算方法为

是归一化因子，p′是块内除p点的其他像素点，I(p′)是p′点的颜色值，f(I(p′),μ)是I(p′)与块ψ_p的平均颜色值之间的颜色差，g(p，p′）是基于p点和p′点空间距离的高斯函数。T(p)值大则说明块内有更多高频信息，而T(p)值小则说明块内的纹理信息很可能是恒定的颜色值。

步骤2-5，计算以点p为中心、大小为5×5像素的块ψ_p的优先级P(p)。较佳实施例中，优先级P(p)的计算方法为：若可信度C(p)<0.5，则置优先级P(p)=0。若可信度C(p)≥0.5，或者边界没有使C(p)≥0.5的p点，则置优先级P(p)=C³(p)+D³(p)-0.5³T³(p)。

步骤2-6，边界上的点是否计算完，未计算完则返回步骤2-1；已计算完则选出优先级最高的块。

步骤2-7，判断优先级最高的块是否唯一，唯一则将其作为当前待修补块，不唯一则选取优先级最高的块中可信度高的块作为当前待修补块。

如图3所示，上述步骤3可分为以下几个步骤：

步骤3-1，根据当前待修补块的纹理条件T(p)调整当前待修补块的尺寸，包括：当纹理条件小于对应纹理阈值时扩大块尺寸，当纹理条件大于对应纹理阈值时缩小块尺寸。较佳实施例中，纹理条件T(p)为归一化后的纹理条件，纹理阈值包括1/3和2/3，调整方法包括

a)若纹理条件T(p)<则置块大小为9×9像素，即扩大当前待修补块；

b)若纹理条件则置块大小为5×5像素，即块尺寸保持不变；

c)若纹理条件则置块大小为3×3像素，即缩小当前待修补块。

步骤3-2，基于颜色梯度直方图搜索最匹配块。包括：

比较当前待修补块与前一已修复块的位置关系，当二者接近时将前一最匹配块周围的区域作为搜索区域，当二者不接近时将整个已知区域作为搜索区域；

通过颜色梯度直方图在相应的搜索区域搜索最匹配块。先通过直方图相交(histogramintersection)作为判定条件在搜索区域选出颜色信息较相似的块。然后引入颜色梯度(colorration gradient)的概念：分别处理每个颜色通道，则颜色变化的总数可以通过累加梯度值来估计。用I_k来定义一个特定的颜色通道，则输入图像l的颜色梯度可以通过欧氏距离得到：

$\&dtri;F={\left(\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\right[{\left(\frac{{\&PartialD;I}_k}{\&PartialD;x}\right)}^2+{\left(\frac{{\&PartialD;I}_k}{\&PartialD;y}\right)}^2\left]\right)}^{\frac{1}{2}}$

其中N是输入图像颜色空间的维数。

颜色梯度直方图是通过计算块内离散的色比率梯度出现次数来获取。通过直方图交叉在已知区域搜索出最匹配的块：

$D(H_{{\mathrm{\&psi;}}_p},H_{{\mathrm{\&psi;}}_s})=\frac{{\mathrm{\&Sigma;}}_{n=1}^{N_d}\min \{H_{{\mathrm{\&psi;}}_p}\left(n\right),H_{{\mathrm{\&psi;}}_s}\left(n\right)\}}{{\mathrm{\&Sigma;}}_{n=1}^{N_d}{H}_{{\mathrm{\&psi;}}_p}\left(n\right)}$

通过归一化互相关可得：

$D(H_{{\mathrm{\&psi;}}_p},H_{{\mathrm{\&psi;}}_s})=\frac{{\mathrm{\&Sigma;}}_{n=1}^{N_d}{H}_{{\mathrm{\&psi;}}_p}\left(n\right),H_{{\mathrm{\&psi;}}_s}\left(n\right)}{{\mathrm{\&Sigma;}}_{n=1}^{N_d}{\left(H_{{\mathrm{\&psi;}}_p}\left(n\right)\right)}^2}$

和分别是当前待修补块和已知区域搜索的块的直方图。N_d是直方图的组数，n是组的序号。

如图4所示，上述步骤4包括以下两步：

步骤4-1，将搜索到的最匹配块复制到当前待修补块处，并在重叠区域利用图割技术寻找最优的分界。具体地，定义p_i，p_j为重叠区域上的像素点，I_p(p_i)和I_s(p_i)分别为当前待修补块和最匹配块在p_i点上的颜色值，I_p(p_j)和I_s(p_j)分别为当前待修补块和最匹配块在p_j点上的颜色值，分界函数：

||·||表示颜色值间的欧式距离，是四邻域。最优分界即分界函数M(p_i，p_j)最小的情况。若最小的分界函数M(p_i，p_j)不止一个，则选取与上一分界点接近的点作为当前分界点。

步骤4-2，块修补完成后，则置块内已修补区域内像素点的可信度为：

C(p′)=C(p) $\&ForAll;p^{\&prime;}\&Element;{\mathrm{\&psi;}}_p\&cap;\mathrm{\&Omega;}$

即将块的可信度赋予块内经填补后的像素点。

Claims (6)

1.一种基于可变块的图像空洞区域修补方法，其特征在于，包括：

步骤1，设定块的初始尺寸，在输入图像上寻找待修补区域的边界；

步骤2，分别计算以待修补区域边界上未修补的各个像素点为中心、大小等于初始尺寸的各个块的优先级，选取优先级最高的块作为当前待修补块；块优先级的计算包括：

用块内已知像素点与块内总像素点的比重以及已知像素点的可信度计算块的可信度，

用待修补区域边界处的结构信息计算块的结构条件，

用块内的纹理信息通过公式一计算块的纹理条件，

公式一

Ψ_p表示以p点为中心点的标准块，β是归一化因子，p′是块Ψ_p内除p点的其他像素点，I(p′)是p′点的颜色值，f(I(p′),μ)是I(p′)与块ψ_p的平均颜色值μ之间的颜色差，g(p，p′)是基于p点和p′点空间距离的高斯函数，以及

结合块的可信度、结构条件和纹理条件通过以下方法确定块的优先级：块的可信度小于可信度阈值时，置块的优先级为0；块的可信度不小于可信度阈值或所有块的可信度均小于可信度阈值时，置块的优先级P(p)＝C³(p)+D³(p)-0.5³T³(p)；

步骤3，搜索当前待修补块的最匹配块，包括：根据当前待修补块的纹理条件按以下方法调整当前待修补块的尺寸：当纹理条件小于对应纹理阈值时扩大块尺寸，当纹理条件大于对应纹理阈值时缩小块尺寸，然后基于颜色梯度直方图搜索最匹配块；

步骤4，基于图割技术用最匹配块修补当前待修补块；

重复执行步骤2-4，直至输入图像上的待修补区域修补完。

2.根据权利要求1所述的图像空洞区域修补方法，其特征在于，计算块的结构条件的方法为

$D\left(p\right)=\frac{|\&dtri;I_p^{\&perp;}\&CenterDot;n_p|}{\mathrm{\&alpha;}}$

α是输入图像的灰度级数，n_p是垂直于待修补区域边界的单位向量，是图像的梯度，⊥是正交算子，即是等照度线到达边界时的强度。

3.根据权利要求1所述的图像空洞区域修补方法，其特征在于，若有复数个块的优先级最高，则从该复数个块中选择可信度最高的块作为当前待修补块。

4.根据权利要求1所述的图像空洞区域修补方法，其特征在于：所述纹理条件为归一化后的纹理条件，所述纹理阈值包括1/3和2/3，当纹理条件小于1/3时将块的尺寸扩大至9x9像素，当纹理条件大于1/3且小于2/3时块尺寸保持不变，当纹理条件大于2/3时将块尺寸缩小至3x3像素。

5.根据权利要求1所述的图像空洞区域修补方法，其特征在于，基于颜色梯度直方图搜索最匹配块包括：

比较当前待修补块与前一已修复块的位置关系，当二者接近时将前一最匹配块周围的区域作为搜索区域，当二者不接近时将整个已知区域作为搜索区域；

通过颜色梯度直方图在相应的搜索区域搜索最匹配块。

6.根据权利要求1所述的图像空洞区域修补方法，其特征在于，步骤4还包括：用块的可信度更新该块内已修补像素的可信度，块的可信度小于已知区域内像素点的可信度。