CN103778604A - 基于纹理方向的图像修复方法 - Google Patents

Abstract

本发明公开了一种基于纹理方向的图像修复方法，该图像修复方法根据待修复区域的局部纹理方向构建局部纹理坐标系，建立基于该局部纹理坐标系的能量泛函式，并根据能量泛函式得到待修复区域的修复方程，然后将修复方程进行离散化处理，并采用高斯-赛德尔迭代法对图像修复方程进行求解，从而得到修复区域中各个像素点的像素值，进而完成修复。本发明不需提前图像进行预先处理工作，可对图像直接进行处理，且能够同时修复待修复区域的纹理信息和结构信息，大大提高了的修复效果，同时计算量小，有效提高了修复缩率，缩减了修复的时间。

Description

基于纹理方向的图像修复方法

技术领域

本发明涉及计算机图像处理领域，尤其涉及一种基于纹理方向的图像修复方法。

背景技术

图像修复问题主要对图像中丢失或损坏的部分进行修补，具体包括修复不完全的图像，去除图像中的污物等。在计算机图像领域，图像的原始坐标系一般以左上角为原点，水平向右为X方向，竖直向下为Y方向。

目前，针对纹理信息通过纹理合成算法进行修复，使用偏微分方程算法修复结构信息，这两类算法都已取得了一定的突破。然而，在本质上由于需修复的纹理信息和结构信息并不相同，所以目前的很多算法都很难同时修复纹理信息和结构信息。就具体而言，通过纹理合成算法对结构信息进行修复容易产生人工痕迹，而使用偏微分方程的算法只对结构信息有效，对于纹理信息的修复显得无能为力。另一种修复效果比较好的算法，是先对需修复的图像进行分析，把其分成纹理信息部分和结构信息部分，然后对这两部分分别用纹理修复算法和结构修复算法对其进行修复，最后将两部分的结果进行合并。通过对图像进行预分解，然后结合两类修复算法的结果，这种修复的效果比仅仅使用一种修复算法（纹理修复算法或结构修复算法）要好，但是这种算法实施复杂，算法的执行效率也不高。

另外，基于整体变化(Total Variation，TV)模型的修复是经典的修复算法，但与许多使用偏微分方程修复的算法一样，对于纹理修复而言效果很差；基于OABE(Oriented Anisotropic Brightness Equation)的修复算法可以修复简单的纹理，该算法是对基于偏微分方程的图像修复进行扩充，虽然该算法比TV算法要好但仅仅只能修复一些简单的结构性纹理（如方形马赛克），对于复杂的纹理处理效果很差。

发明内容

针对现有技术的不足，本发明提供了一种基于纹理方向的图像修复方法，该图像修复方法主要从图像的纹理信息和结构信息两方面进行修复，提高了图像的修复效果，同时计算量小，有效提高了修复缩率，缩减了修复的时间。

一种基于纹理方向的图像修复方法，包括：

（1）用标记指定待修复图像中的待修复区域，并确定待修复区域的最小矩形覆盖盒；

（2）将待修复图像中的待修复区域向外扩张若干个像素点得到待修复区域的边界区域，根据边界区域中各个像素点的位置，确定待修复区域的局部纹理方向，记为V_ρ=(m,n)；

（3）以最小矩形覆盖盒的中心为坐标原点，以所述的局部纹理方向V_ρ以及与局部纹理方向V_ρ正交的向量V_γ为坐标轴的正方向，建立该待修复区域的局部纹理坐标系，其中V_γ=(-n,m)；

（4）在局部纹理坐标系中建立该待修复区域的能量泛函式；

（5）根据欧拉-拉格朗日方程对能量泛函式进行极小化操作，得到待修复区域的欧拉-拉格朗日修复方程；

（6）对于待修复区域中的每一个待修复像素点，确定局部纹理坐标轴上与当前待修复像素点的距离为h/2的像素点作为邻域像素点，根据邻域像素点对所述的欧拉-拉格朗日修复方程进行离散化处理，得到当前待修复像素点的离散修复方程，h为局部纹理方向V_ρ的模；

（7）对所述的离散修复方程变形简化得到迭代方程；

（8）采用高斯-赛德尔迭代法对迭代方程进行迭代，每次迭代得到一个像素值，当：

$|u_O^{\left(n\right)}-u_O^{(n-1)}|\≤\mathrm{\μ}$

或

n=N

时，停止迭代，并以最后一次迭代得到的像素值作为当前待修复像素点的像素值，并以该像素值对当前待修复像素点进行修复，其中，μ为设定的阈值，N为设定的最大迭代次数，其中和

分别为第n次和第n-1次迭代得到的当前待修复像素点的像素值。

本发明根据待修复区域的局部纹理方向构建局部纹理坐标系，建立基于该局部纹理坐标系的能量泛函式，可以同时修复纹理信息和结构信息，对能量泛函式进行极小化操作，进而得到该待修复区域的修复方程，由于求解纹理结构的修复方程是一个连续问题，为方便计算，我们首先对修复方程根据方程的梯度和散度的定义并结合像素点之间的位置关系，对修复方程进行差分离散操作，然后通过高斯-赛德尔迭代法对图像修复方程进行求解。

本发明的基于纹理方向的图像修复方法适用于任意形状的小面积结构性纹理缺失的图像修复。该图像修复方法不仅能够修复图像的纹理信息而且能够对结构信息进行修复，而不需要提前对图像进行分解处理，从而该算法对局部结构纹理的修复效率更高。同时本发明的新算法对任意形状的小面积结构性纹理缺失的图像都非常有效，同样该算法可以保证较好的修复边界，避免人工痕迹。

所述步骤（1）中将待修复图像中的待修复区域向外扩张若干个像素点得到边界区域不包括待修复区域边界上的像素点，仅为外延得到的像素点，向外扩张的像素点个数根据待修复区域的大小确定。待修复区域越小，向外扩张的像素点个数越大，得到的修复精度越高，当同时会降低修复速度。作为优选，向外扩张的3～6个像素点。

所述步骤（2）中通过以下步骤确定局部纹理方向：

（2-1）对于边界区域中的任意两个像素点，若：

|(x₁，y₁)-(x₂，y₂)|<ε，

且向量(x₂-x₁，y₂-y₁)满足MAD条件，则将向量(x₂-x₁，y₂-y₁)作为候选方向向量，并将所有候选方向向量作为候选方向向量集合，其中，(x₁，y₁)和(x₂，y₂)分别为边界区域中的任意两个像素点的坐标，ε为设定的阈值；

（2-2）将候选方向向量集合使绝对差函数：

$\mathrm{\&sigma;}=\frac{1}{\left|Q\right|}\underset{(i^{\&prime;},j^{\&prime;})\&Element;\mathrm{\&Omega;}\backslash D}{\underset{(i,j)\&Element;Q}{\mathrm{\&Sigma;}}}\mathrm{Abs}(P(i,j)-P(i^{\&prime;},j^{\&prime;}))$

取最小值的候选方向向量作为该待修复区域的局部纹理方向向量，记为V_ρ=(m,n)，其中，

其中，σ是绝对差函数，

D表示待修复图像中的待修复区域，

Ω表示整个图像区域，Ω\D表示待修复图像中除去待修复区域D之外的区域，

Q为待修复区域D的边界上外延一个像素的像素点的集合，|Q|表示集合Q的像素点的个数，

Abs()表示求绝对值的函数，

P(i,j)表示集合Q任意一个像素点的像素值，

P(i′,j′)表示区域Ω\D中坐标为(i′,j′)的像素点的像素值，且：

当(i+x_t,j+y_t)∈Ω\D时，(i′,j′)=(i+x_t,j+y_t)，

当(i-x_t,j-y_t)∈Ω\D时，(i′,j′)=(i-x_t,j-y_t)，

(x_t,y_t)为候选方向向量集合中的任意一个候选方向向量。

所述步骤（2-1）中设定的阈值ε为5～20。本发明中得到的局部纹理方向为近似纹理方向，ε表示两个像素点之间的距离，设定值越小，得到的局部纹理方向越接近实际纹理方向，同时考虑到修复速率，本发明中设定的范围为5～20，作为优选，ε为8。

所述的步骤（2-1）中MAD条件的阈值为10～30，如果该阈值太大，会造的最后得到的近似局部纹理方向和真实的纹理方向相差太大。

所述步骤（4）得到的能量泛函式如下：

$J_{\mathrm{\&lambda;}}^t\left[u\right]=\underset{G\&cup;D}{\&Integral;}\left|{\&dtri;}_u\right|\mathrm{d\&rho;d\&gamma;}+\frac{\mathrm{\&lambda;}}{2}\underset{G}{\&Integral;}{|u-u^0|}^2\mathrm{d\&rho;d\&gamma;},$

其中，

表示能量泛函式，

G为待修复区域的边界区域，

D为修复图像中的待修复区域，

G∪D为待修复区域和边界区域的组合，

ρ，γ分别表示局部纹理坐标系的横坐标和纵坐标，

u为待修复区域中任意一个待修复像素点的像素值，u⁰为该待修复像素点对应的初始像素值，

为待修复区域中任意一个待修复像素点的梯度，

λ为常量。

各个待修复像素点都存在一个初始像素值，可直接从待修复图像获取，待修复像素点的像素值为未知量。λ为常量，本发明中根据经验设定λ=15。

所述的待修复区域的欧拉-拉格朗日修复方程如下：

$-\&dtri;\&CenterDot;\left(\frac{{\&dtri;}_u}{\left|{\&dtri;}_u\right|}\right)+\mathrm{\&gamma;}(u-u^0)=0,$

其中，

为求散度符号。

为括号中的内容在局部坐标系下的散度，该修复方程适用于待修复区域中的所有像素点。

所述步骤（6）中当前待修复像素点的离散修复方程如下：

${\mathrm{\&Sigma;}}_{P\&Element;\mathrm{\&Lambda;}}\frac{1}{|\&dtri;u_p|}(u_0-u_p)+\mathrm{\&gamma;}(u_O-u_O^0)=0,$

其中，Λ表示邻域像素点的集合，

P为任意一个邻域像素点，

O为当前待修复像素点，

u_O为当前待修复像素点O的像素值，

为当前待修复像素点O的初始像素值，

u_p为邻域像素点P的像素值，

为邻域像素点P点在局部纹理坐标系下的梯度。

所述步骤（6）中的差分离散处理的包括以下步骤：

（6-1）对当前待修复像素点的欧拉-拉格朗日修复方程的散度进行离散化操作，令：

$\&dtri;\&CenterDot;\mathrm{\&upsi;}=\frac{{\&PartialD;\mathrm{\&upsi;}}^1}{\&PartialD;\mathrm{\&rho;}}+\frac{{\&PartialD;\mathrm{\&upsi;}}^2}{\&PartialD;\mathrm{\&gamma;}}\&ap;\frac{{\mathrm{\&upsi;}}_r^1-{\mathrm{\&upsi;}}_l^1}{h}+\frac{{\mathrm{\&upsi;}}_u^2-{\mathrm{\&upsi;}}_d^2}{h},$

其中，

表示对向量v求散度，

u，d，l，r分别为四邻域像素点，对应的坐标分别为：(x+n/2，y-m/2)，(x-n/2，y+m/2)，(x-m/2，y-n/2)，(x+m/2，y+n/2)，

分别表示在r，l邻域像素点向量的第一个维度上（局部纹理坐标系中横轴方向）的分量值，

分别表示在u，d邻域像素点向量的第二个维度上（局部纹理坐标系中横轴方向）的分量值；

（6-2）根据公式：

$v_r^1=\frac{1}{|\&dtri;u_r|}\frac{u_R-u_O}{h}$

计算

其中：

$|\&dtri;u_r|\&ap;{\{{\left(\frac{u_R-u_O}{h}\right)}^2+{\left[\frac{1}{2}(\frac{u_{\mathrm{RU}}-u_{\mathrm{RD}}}{2h}+\frac{u_U-u_D}{2h})\right]}^2\}}^{1/2},$

根据公式：

$v_l^1=\frac{1}{|\&dtri;u_l|}\frac{u_L-u_O}{h}$

计算

其中：

$|\&dtri;u_l|\&ap;{\{{\left(\frac{u_L-u_O}{h}\right)}^2+{\left[\frac{1}{2}(\frac{u_{\mathrm{LU}}-u_{\mathrm{LD}}}{2h}+\frac{u_U-u_D}{2h})\right]}^2\}}^{1/2},$

根据公式：

$v_u^2=\frac{1}{|\&dtri;u_u|}\frac{u_U-u_O}{h}$

计算

其中：

$|\&dtri;u_u|\&ap;{\{{\left(\frac{u_U-u_O}{h}\right)}^2+{\left[\frac{1}{2}(\frac{u_{\mathrm{UR}}-u_{\mathrm{UL}}}{2h}+\frac{u_R-u_L}{2h})\right]}^2\}}^{1/2},$

根据公式：

$v_d^2=\frac{1}{|\&dtri;u_d|}\frac{u_D-u_O}{h}$

计算

其中：

$|\&dtri;u_d|\&ap;{\{{\left(\frac{u_D-u_O}{h}\right)}^2+{\left[\frac{1}{2}(\frac{u_{\mathrm{DR}}-u_{\mathrm{DL}}}{2h}+\frac{u_R-u_L}{2h})\right]}^2\}}^{1/2},$

U、D、L、R、LU、LD、RU和RD的坐标分别为：(x+n，_y-m)、(x-n，y+m)、(x-m，y-n)、(x+m，y+n)、（x-m+n，y-m-n）、（x-m-n，y+m-n）、（x+m+n，y-m+n）和（x+m-n，y+m+n），

u_t为像素点t的像素值，其中t为u，d，l，r、U、D、L、R、LU、LD、RU和RD；

（6-3）将以上各公依次代入欧拉-拉格朗日修复方程即得到当前待修复像素点的离散修复方程。

所述步骤（7）中的迭代方程如下：

$u_O={\mathrm{\&Sigma;}}_{P\&Element;\mathrm{\&Delta;}}{h}_{\mathrm{OP}}{u}_p+h_{\mathrm{OO}}{u}_O^0,$

其中， $w_p=1/|\&dtri;u_p|,h_{\mathrm{OP}}=w_p/(\underset{P\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}{w}_p+\mathrm{\&lambda;}),\mathrm{\&lambda;}/(\underset{P\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}{w}_p+\mathrm{\&lambda;})=h_{\mathrm{OO}}.$

根据迭代方程可得到第n次迭代得到的像素值

为：

$u_O^{\left(n\right)}=\underset{P\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}{h}_{\mathrm{OP}}^{(n-1)}{u}_P^{(n-1)}+h_{\mathrm{OO}}^{(n-1)}{u}_O^{(n-1)}$

其中，

为第n-1次迭代得到的像素值。

所述步骤（8）中设定的阈值μ为1～5，选择较小的阈值得到较好的修复结果。如果设置的阈值比较大，虽然可以提高算法的速度，但最后的修复效果大大降低。

所述步骤（8）中设定的最大迭代次数N为50～150，设定最大迭代次数是为了避免很多次迭代后相邻两次迭代的结果差的绝对值仍然大于阈值μ，从而降低的算法的速度。

本发明中未作特别说明，所有向量和像素点的位置坐标均为原始坐标系下的取值。

与现有技术相比，本发明的优势如下：

（a）本发明不需提前图像进行预先处理工作，可对图像直接进行处理，既可以修复图像的纹理信息又可以修复图像的结构信息，大大地缩短了算法的时间消耗；

（b）本发明算法对任意形状的小面积结构性纹理缺失的图像都有效，通用性高，同时该算法可以保证较好的修复效果，避免人工痕迹；

（c）本发明算法可以半自动的对图像进行修复，只给定需修复的图像区域和初始参数（阈值），算法的实施简单方便。

具体实施方式

一种基于纹理方向的图像修复方法，包括以下步骤：

（1）用标记指定待修复图像中的待修复区域，并确定待修复区域的最小矩形覆盖盒；

（2）将待修复图像中的待修复区域向外扩张若干个（本实施例中为3个像素点）像素点得到待修复区域的边界区域，根据边界区域中各个像素点的位置，确定待修复区域的局部纹理方向，包括以下步骤：

所述步骤（2）中通过以下步骤确定局部纹理方向：

（2-1）对于边界区域中的任意两个像素点，若：

|(x₁，y₁)-(x₂，y₂)|<ε，    （1）

且向量(x₂-x₁，y₂-y₁)满足MAD条件，则将向量(x₂-x₁，y₂-y₁)作为候选方向向量，并将所有候选方向向量作为候选方向向量集合，记为T，其中，(x₁，y₁)和(x₂，y₂)分别为边界区域中的任意两个像素点的坐标，ε为设定的阈值（本实施例中ε=8）；

（2-2）将候选方向向量集合T中使绝对差函数：

$\mathrm{\&sigma;}=\frac{1}{\left|Q\right|}\underset{(i^{\&prime;},j^{\&prime;})\&Element;\mathrm{\&Omega;}\backslash D}{\underset{(i,j)\&Element;Q}{\mathrm{\&Sigma;}}}\mathrm{Abs}(P(i,j)-P(i^{\&prime;},j^{\&prime;}))---\left(2\right)$

取最小的候选方向向量作为该待修复区域的局部纹理方向向量，记为V_ρ=(m,n)，其中，

其中，σ是绝对差函数，

D表示待修复图像中的待修复区域，

Ω表示整个图像区域，Ω\D表示待修复图像中除去待修复区域D之外的区域，

Q为待修复区域D的边界上外延一个像素的像素点的集合，|Q|表示集合Q的像素点的个数，

Abs()表示求绝对值的函数，

P(i，j)表示集合Q任意一个像素点的像素值，

P(i′,j′)表示区域Ω\D中坐标为(i′,j′)的像素点的像素值，且：

当(i+x_t,j+y_t)∈Ω\D时，(i′,j′)=(i+x_t,j+y_t)；

当(i-x_t,j-y_t)∈Ω\D时，(i′,j′)=(i-x_t,j-y_t)，

(x_t,y_t)为候选方向向量集合T中任意一个候选方向向量。

其中，若向量(x₂-x₁，y₂-y₁)满足如下条件：

则，向量(x₂-x₁，y₂-y₁)满足MAD(Mean Absolute Difference)条件，其中，

S={(Δx,Δy)|Δx∈[-1,1]，Δy[-1,1]，(x₁+Δx,y₁+Δy),(x₂+Δx,y₂+Δy)∈Ω\D}，

|S|表示S中元素个数；

表示认为设定的MAD条件阈值（本实施例中）；

Δx，Δy分别表示水平方向和竖直方向的偏移量，且为整数；

x₁，x₂，y₁，y₂分别表示图像中像素点的横坐标和纵坐标。

（3）以最小矩形覆盖盒的中心为坐标原点，以该待修复区域的局部纹理方向V_ρ以及与局部纹理方向V_ρ的正交向量V_γ为坐标轴的方向，建立该待修复区域的局部纹理坐标系，其中V_γ=(-n,m)；

（4）在局部纹理坐标系中建立该待修复区域的能量泛函式：

$J_{\mathrm{\&lambda;}}^t\left[u\right]=\underset{G\&cup;D}{\&Integral;}\left|{\&dtri;}_u\right|\mathrm{d\&rho;d\&gamma;}+\frac{\mathrm{\&lambda;}}{2}\underset{G}{\&Integral;}{|u-u^0|}^2\mathrm{d\&rho;d\&gamma;},---\left(4\right)$

表示能量泛函式，

G为待修复区域的边界区域，

D为修复图像中的待修复区域，

G∪D为待修复区域和边界区域的组合，

ρ，γ分别表示局部纹理坐标系的横坐标和纵坐标，

u为待修复区域中任意一个待修复像素点的像素值（为未知量，需要

求解的目标值），u⁰为该待修复像素点对应的初始像素值，

为待修复区域中任意一个待修复像素点的梯度，

λ为常量（本实施例中λ=15）；

（5）根据欧拉-拉格朗日方程对能量泛函式进行极小化操作，该能量泛函取极小值时满足方程：

$-\&dtri;\&CenterDot;\left(\frac{{\&dtri;}_u}{\left|{\&dtri;}_u\right|}\right)+\mathrm{\&lambda;}(u-u^0)=0,---\left(5\right)$

该方程即为待修复区域的欧拉-拉格朗日修复方程，

其中，

为求散度符号（

为括号中的内容在局部坐标系下的散度）；

（6）对于待修复区域中的每一个待修复像素点，确定沿局部纹理坐标轴方向与当前待修复像素点的距离为h/2的像素点作为四邻域像素点，待修复像素点的离散修复方程：

$\underset{P\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}\frac{1}{|\&dtri;u_p|}(u_0-u_p)+\mathrm{\&lambda;}(u_O-u_O^0)=0,---\left(6\right)$

其中，h为局部纹理方向V_ρ的模，

Λ表示邻域像素点的集合，

P为任意一个邻域像素点，

O为当前待修复像素点。

u_O为当前待修复像素点O的像素值（为未知量，需要求解的目标值），

为当前待修复像素点O的初始像素值，

u_p为邻域像素点P的像素值，

为邻域像素点P点在局部纹理坐标系下的梯度，差分离散处理的包括以下步骤：

（6-1）对当前待修复像素点的欧拉-拉格朗日修复方程的散度进行离散化操作，令：

$\&dtri;\&CenterDot;v=\frac{\&PartialD;v^1}{\&PartialD;\mathrm{\&rho;}}+\frac{\&PartialD;v^2}{\&PartialD;\mathrm{\&gamma;}}\&ap;\frac{v_r^1-v_l^1}{h}+\frac{v_u^2-v_d^2}{h},---\left(7\right)$

其中，表示对向量v求散度，

$v=(v^1,v^2)=\frac{{\&dtri;}_u}{\left|{\&dtri;}_u\right|},$

u，d，l，r分别为四邻域像素点，对应的坐标分别为：(x+n/2，y-m/2)，(x-n/2，y+m/2)，(x-m/2，y-n/2)，(x+m/2，y+n/2)，

分别表示在r，l邻域像素点向量的第一个维度上的分量值，

分别表示在u，d邻域像素点向量的第二个维度上的分量值；

（6-2）根据公式：

$v_r^1=\frac{1}{|\&dtri;u_r|}\frac{u_R-u_O}{h}---\left(8\right)$

计算

其中：

$|\&dtri;u_r|\&ap;{\{{\left(\frac{u_R-u_O}{h}\right)}^2+{\left[\frac{1}{2}(\frac{u_{\mathrm{RU}}-u_{\mathrm{RD}}}{2h}+\frac{u_U-u_D}{2h})\right]}^2\}}^{1/2},---\left(9\right)$

根据公式：

$v_l^1=\frac{1}{|\&dtri;u_l|}\frac{u_L-u_O}{h}---\left(10\right)$

计算其中：

$|\&dtri;u_l|\&ap;{\{{\left(\frac{u_L-u_O}{h}\right)}^2+{\left[\frac{1}{2}(\frac{u_{\mathrm{LU}}-u_{\mathrm{LD}}}{2h}+\frac{u_U-u_D}{2h})\right]}^2\}}^{1/2},---\left(11\right)$

根据公式：

$v_u^2=\frac{1}{|\&dtri;u_u|}\frac{u_U-u_O}{h}---\left(12\right)$

计算

其中：

$|\&dtri;u_u|\&ap;{\{{\left(\frac{u_U-u_O}{h}\right)}^2+{\left[\frac{1}{2}(\frac{u_{\mathrm{UR}}-u_{\mathrm{UL}}}{2h}+\frac{u_R-u_L}{2h})\right]}^2\}}^{1/2},---\left(13\right)$

根据公式：

$v_d^1=\frac{1}{|\&dtri;u_d|}\frac{u_D-u_O}{h}---\left(14\right)$

计算其中：

$|\&dtri;u_d|\&ap;{\{{\left(\frac{u_D-u_O}{h}\right)}^2+{\left[\frac{1}{2}(\frac{u_{\mathrm{DR}}-u_{\mathrm{DL}}}{2h}+\frac{u_R-u_L}{2h})\right]}^2\}}^{1/2},---\left(15\right)$

U、D、L、R、LU、LD、RU和RD的坐标分别为：(x+n，y-m)、(x-n，y+m)、(x-m，y-n)、(x+m，y+n)、(x-m+n，y-m-n)、(x-m-n，y+m-n)、(x+m+n，y-m+n)和(x+m-n，y+m+n)，

u_t为像素点t的像素值，其中t为u，d，l，r、U、D、L、R、LU、LD、RU和RD；

（6-3）将公式（7）～公式（15）代入公式（5）即得到当前待修复像素点的离散修复方程（即公式（6））。

（7）令：

$\left\{\begin{array}{c}1/|\&dtri;u_p|=w_p\\ w_p/(\underset{P\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}{w}_p+\mathrm{\&lambda;})=h_{\mathrm{OP}}\\ \mathrm{\&lambda;}/(\underset{P\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}{w}_p+\mathrm{\&lambda;})=h_{\mathrm{OO}}\end{array}\right.,---\left(16\right)$

将公式（16）代入公式（6）中，得到迭代方程：

$u_O=\underset{P\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}{h}_{\mathrm{OP}}{u}_p+h_{\mathrm{OO}}{u}_O^0;---\left(17\right)$

（8）设定最大迭代次数为N，采用高斯-赛德尔迭代法对迭代方程进行迭代，每次迭代得到一个像素值，其中第n次迭代得到的像素值

为：

$u_O^{\left(n\right)}=\underset{P\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}{h}_{\mathrm{OP}}^{(n-1)}{u}_P^{(n-1)}+h_{\mathrm{OO}}^{(n-1)}{u}_O^{(n-1)},---\left(18\right)$

其中，

为第n-1次迭代得到的像素值，当：

$|u_O^{\left(n\right)}-u_O^{(n-1)}|\&le;\mathrm{\&mu;}$

或

n=N

时，停止迭代，并以最后一次迭代得到的像素值作为当前待修复像素点O的像素值，并以该像素值对当前待修复像素点进行修复（本实施例中μ=4，N=100）。

Claims (10)

1.一种基于纹理方向的图像修复方法，其特征在于，包括：

（1）用标记指定待修复图像中的待修复区域，并确定待修复区域的最小矩形覆盖盒；

（2）将待修复图像中的待修复区域向外扩张若干个像素点得到待修复区域的边界区域，根据边界区域中各个像素点的位置，确定待修复区域的局部纹理方向，记为V_ρ=(m,n)；

（3）以最小矩形覆盖盒的中心为坐标原点，以所述的局部纹理方向V_ρ以及与局部纹理方向V_ρ正交的向量V_γ为坐标轴的正方向，建立该待修复区域的局部纹理坐标系，其中V_γ=(-n,m)；

（4）在局部纹理坐标系中建立该待修复区域的能量泛函式；

（5）根据欧拉-拉格朗日方程对能量泛函式进行极小化操作，得到待修复区域的欧拉-拉格朗日修复方程；

（6）对于待修复区域中的每一个待修复像素点，确定局部纹理坐标轴上与当前待修复像素点的距离为h/2的像素点作为邻域像素点，根据邻域像素点对所述的欧拉-拉格朗日修复方程进行离散化处理，得到当前待修复像素点的离散修复方程，h为局部纹理方向V_ρ的模；

（7）对所述的离散修复方程变形简化得到迭代方程；

（8）采用高斯-赛德尔迭代法对迭代方程进行迭代，每次迭代得到一个像素值，当：

$|u_O^{\left(n\right)}-u_O^{(n-1)}|\&le;\mathrm{\&mu;}$

或

n=N

时，停止迭代，并以最后一次迭代得到的像素值作为当前待修复像素点的像素值，并以该像素值对当前待修复像素点进行修复，其中，μ为设定的阈值，N为设定的最大迭代次数，其中

和分别为第n次和第n-1次迭代得到的当前待修复像素点的像素值。

2.如权利要求1所述的基于纹理方向的图像修复方法，其特征在于，所述步骤（2）中通过以下步骤确定局部纹理方向：

（2-1）对于边界区域中的任意两个像素点，若：

|(x₁，y₁)-(x₂，y₂)|<ε，

且向量(x₂-x₁，y₂-y₁)满足MAD条件，则将向量(x₂-x₁，y₂-y₁)作为候选方向向量，并将所有候选方向向量作为候选方向向量集合，其中，(x₁，y₁)和(x₂，y₂)分别为边界区域中的任意两个像素点的坐标，ε为设定的阈值；

（2-2）将候选方向向量集合使绝对差函数：

$\mathrm{\&sigma;}=\frac{1}{\left|Q\right|}\underset{(i^{\&prime;},j^{\&prime;})\&Element;\mathrm{\&Omega;}\backslash D}{\underset{(i,j)\&Element;Q}{\mathrm{\&Sigma;}}}\mathrm{Abs}(P(i,j)-P(i^{\&prime;},j^{\&prime;}))$

取最小值的候选方向向量作为该待修复区域的局部纹理方向向量，记为V_ρ=(m,n)，其中，

其中，σ是绝对差函数，

D表示待修复图像中的待修复区域，

Ω表示整个图像区域，Ω\D表示待修复图像中除去待修复区域D之外的区域，

Q为待修复区域D的边界上外延一个像素的像素点的集合，|Q|表示集合Q的像素点的个数，

Abs()表示求绝对值的函数，

P(i,j)表示集合Q任意一个像素点的像素值，

P(i′,j′)表示区域Ω\D中坐标为(i′,j′)的像素点的像素值，且：

当(i+x_t,j+y_t)∈Ω\D，(i′,j′)=(i+x_t,j+y_t)，

当(i-x_t,j-y_t)∈Ω\D，(i′,j′)=(i-x_t,j-y_t)，

(x_t,y_t)为候选方向向量集合中的任意一个候选方向向量。

3.如权利要求2所述的基于纹理方向的图像修复方法，其特征在于，所述步骤（2-1）中设定的阈值ε为5～20。

4.如权利要求3所述的基于纹理方向的图像修复方法，其特征在于，所述的步骤（2-1）中MAD条件的阈值为10～30。

5.如权利要求4所述的基于纹理方向的图像修复方法，其特征在于，所述步骤（4）得到的能量泛函式如下：

$J_{\mathrm{\&lambda;}}^t\left[u\right]=\underset{G\&cup;D}{\&Integral;}\left|{\&dtri;}_u\right|\mathrm{d\&rho;d\&gamma;}+\frac{\mathrm{\&lambda;}}{2}\underset{G}{\&Integral;}{|u-u^0|}^2\mathrm{d\&rho;d\&gamma;},$

其中，

表示能量泛函式，

G为待修复区域的边界区域，

D为修复图像中的待修复区域，

G∪D为待修复区域和边界区域的组合，

为待修复区域中任意一个待修复像素点的梯度，

ρ，γ分别表示局部纹理坐标系的横坐标和纵坐标，

u为待修复区域中任意一个待修复像素点的像素值，u⁰为该待修复像

素点对应的初始像素值，

λ为常量。

6.如权利要求5所述的基于纹理方向的图像修复方法，其特征在于，所述的待修复区域的欧拉-拉格朗日修复方程如下：

$-\&dtri;\&CenterDot;\left(\frac{{\&dtri;}_u}{\left|{\&dtri;}_u\right|}\right)+\mathrm{\&gamma;}(u-u^0)=0,$

其中，

为求散度符号。

7.如权利要求6所述的基于纹理方向的图像修复方法，其特征在于，所述步骤（6）中当前待修复像素点的离散修复方程如下：

${\mathrm{\&Sigma;}}_{P\&Element;\mathrm{\&Lambda;}}\frac{1}{|\&dtri;u_p|}(u_0-u_p)+\mathrm{\&gamma;}(u_O-u_O^0)=0,$

其中，Λ为邻域像素点的集合，

P为任意一个邻域像素点，

O为当前待修复像素点，

u_O为当前待修复像素点O的像素值，为当前待修复像素点O的初始像素值，

u_p为邻域像素点P的像素值，

为邻域像素点P点在局部纹理坐标系下的梯度。

8.如权利要求7所述的基于纹理方向的图像修复方法，其特征在于，所述步骤（7）中的迭代方程如下：

$u_O={\mathrm{\&Sigma;}}_{P\&Element;\mathrm{\&Lambda;}}{h}_{\mathrm{OP}}{u}_p+h_{\mathrm{OO}}{u}_O^0,$

其中， $w_p=1/\left|{\&dtri;u}_p\right|,h_{\mathrm{OP}}=w_p/(\underset{P\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}{w}_p+\mathrm{\&lambda;}),\mathrm{\&lambda;}/(\underset{P\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}{w}_p+\mathrm{\&lambda;})=h_{\mathrm{OO}}.$

其中第n次迭代得到的像素值

为：

$u_O^{\left(n\right)}=\underset{P\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}{h}_{\mathrm{OP}}^{(n-1)}{u}_P^{(n-1)}+h_{\mathrm{OO}}^{(n-1)}{u}_O^{(n-1)}$

其中，

为第n-1次迭代得到的像素值。

9.如权利要求8所述的基于纹理方向的图像修复方法，其特征在于，所述步骤（8）中设定的阈值μ为1～5。

10.如权利要求9所述的基于纹理方向的图像修复方法，其特征在于，所述步骤（8）中设定的最大迭代次数N为50～150。