CN111598798A - 一种基于低秩张量链分解的图像修复方法 - Google Patents

Abstract

一种基于低秩张量链分解的图像修复方法，包括获取破损的观测图像，确定破损图像中待修复区域的所有未知像素点的集合Ω；构建一种基于低秩张量核范数链分解的图像修复模型TNN‑TT，引入全变分，构造加权张量Schatten P范数并作为张量秩的非凸松弛，构建一种基于低秩张量链分解的加权张量Schatten P范数与全变分图像修复模型WTSTV‑TT，引入辅助变量，优化所述图像修复模型，采用ADMM算法求解，获得修复后的图像。本发明考虑了图像的低秩张量特性，相关性和局部平滑性，有良好的图像修复效果。

Description

一种基于低秩张量链分解的图像修复方法

技术领域

本发明涉及图像处理领域，特别涉及一种基于低秩张量链分解的图像修复方法。

背景技术

随着人类社会的进步以及科技的发展，人们每天通过数字媒介获取数以亿计的信息，包括图像、语音以及文本等。据统计，人类获取的信息约75％是通过视觉感知***获得的。图像作为视觉传输的主要载体之一，在人们进行交流通信以及视觉感知过程中起着至关重要的作用。

图像在获取、存储与传输过程中不可避免地丢失一些信息，例如在获取遥感图像时，由于传感器损坏或者天气影响等因素使得获取的遥感图像出现条带噪声或者有用信息被云层遮挡等。图像修复是指对受到损坏的图像进行修复重建或去除图像中的多余物体，图像修复已成为在图像后续应用前必不可少的预处理步骤。

围绕图像的修复问题，国内外研究者们提出了很多的修复方法。第一类是基于低秩性的方法。高维图像可以看作一个天然的张量，利用所有维度的低秩性能有效恢复图像。第二类是基于局部平滑性的方法。除了低秩先验，而实际图像数据常常表现出分段光滑的性质。全变分(Total Variation，TV)能够很好地刻画分段光滑的性质，并且被证明其在图像复原中表现优异。第三类是基于相关性的方法。张量虽然能够比矩阵更详细地记录高维图像各维度的信息，但如何定义精确刻画各维度相关性的仍是一个开放问题，经典的张量分解方法有CP分解，Tucker分解和张量链分解(Tensor Train decomposition，TT)。

发明内容

为进一步提高图像修复的效果，本发明提供了一种基于低秩张量链分解的图像修复方法。

本发明解决其技术问题所采取的技术方案如下：

一种基于低秩张量链分解的图像修复方法，所述方法包括以下步骤：

步骤1)获取破损的观测图像，确定破损图像中待修复区域的所有未知像素点的集合Ω；

步骤2)考虑图像张量所有维度的低秩性和相关性，结合张量核范数和张量链分解，构建一种基于低秩张量核范数链分解的图像修复模型，记为TNN-TT模型；

步骤3)引入能够很好地刻画分段光滑性，并且被证明其在图像复原中表现优异的全变分，以TNN-TT模型为框架，构造加权张量Schatten P范数并作为张量秩的非凸松弛，构建一种基于低秩张量链分解的加权张量Schatten P范数与全变分图像修复模型，记为WTSTV-TT模型；

步骤4)为消除矩阵数据之间的相关性，引入辅助变量

优化所述图像修复模型WTSTV-TT；

步骤5)采用ADMM算法求解所述图像修复优化模型，获得修复后的图像

进一步，所述步骤2)的处理过程如下：

首先，考虑图像所有维度的低秩性，所采用的张量核范数定义如下：

其中，

表示待恢复的图像，其中I₁,I₂,...,I_N是张量每一阶的维度，

表示实数，α_i是非负权重且满足

是张量

第i维度的展开矩阵；

又考虑图像的相关性，采用的张量链分解的定义如下：

其中，

是表示张量链中的一个张量核，×₁表示张量链核的约减乘运算，R_n表示第n个秩，特别的定义R₀＝R_N＝1；

进而构建一种基于低秩张量核范数链分解的图像修复TNN-TT模型：

其中，γ是低秩范数的系数，

表示破损的图像；

进一步，所述步骤3)的处理过程如下：

引入能够很好地刻画分段光滑性，并且被证明其在图像复原中表现优异的全变分，全变分的定义如下：

TV(x)＝∑_i＝1∑_j＝1|x(i,j)| (4)

其中，|·|表示L2范数，x(i,j)表示图像中的像素值；

下面定义第i层矩阵的加权Schatten P范数：

其中，r_(i)是矩阵

的秩，

是矩阵

的第j个奇异值，

是空间权重矩阵，w_i是权重w第i个元素；

进而得到张量

的加权Schatten P范数：

其中，p(0≤p≤1)为Schatten-p范数的参数；

进而构建一种基于低秩张量链分解的加权张量Schatten P范数与全变分图像修复WTSTV-TT模型：

其中，τ是一个非负的正则参数，λ_i是非负权重且满足

D_(i)表示(I_i-1)-by-I_i的矩阵，[D_(i)]_j,j＝1，[D_(i)]_j,j+1＝-1，且D_(i)中的其他元素为等于0；

进一步，所述步骤4)的处理过程如下：

引入辅助变量

所述图像修复模型WTSTV-TT优化为：

进一步，所述步骤5)的处理过程如下：

(5-1)建立

在ADMM算法下的子问题：

其中，μ₁是惩罚系数，Λ是拉格朗日乘子，

是Frobenius范数；(5-2)建立

在ADMM算法下的子问题：

其中，μ₂是惩罚系数，Φ是拉格朗日乘子；

(5-3)建立

在ADMM算法下的子问题：

其中，μ₃是惩罚系数，Γ是拉格朗日乘子；

(5-4)建立χ在ADMM算法下的子问题：

其中，μ₄是惩罚系数，Ψ是拉格朗日乘子；

(5-5)更新拉格朗日乘子：

(5-6)更新惩罚系数：

μ₁＝κμ₁,μ₂＝κμ₂,μ₃＝κμ₃,μ₄＝κμ₄ (14)

其中，k∈[1,1.5]是个常数。

本发明的有益效果是：(1)考虑了图像的低秩张量特性和相关性(2)考虑了图像的局部平滑性(3)有良好的图像修复效果。

附图说明

图1是本发明的图像张量链分解的示意图；

图2是本发明方法的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

一种基于低秩张量链分解的图像修复方法，所述方法包括以下步骤：

步骤1)获取破损的观测图像，确定破损图像中待修复区域的所有未知像素点的集合Ω；

步骤2)考虑图像张量所有维度的低秩性和相关性，结合张量核范数和张量链分解，构建一种基于低秩张量核范数链分解的图像修复模型，记为TNN-TT模型；

步骤3)引入能够很好地刻画分段光滑性，并且被证明其在图像复原中表现优异的全变分，以TNN-TT模型为框架，构造加权张量Schatten P范数并作为张量秩的非凸松弛，构建一种基于低秩张量链分解的加权张量Schatten P范数与全变分图像修复模型，记为WTSTV-TT模型；

步骤4)为消除矩阵数据之间的相关性，引入辅助变量

优化所述图像修复模型WTSTV-TT；

步骤5)采用ADMM算法求解所述图像修复优化模型，获得修复后的图像

进一步，所述步骤2)的处理过程如下：

首先，考虑图像所有维度的低秩性，所采用的张量核范数定义如下：

其中，

表示待恢复的图像，其中I₁,I₂,...,I_N是张量每一阶的维度，

表示实数，α_i是非负权重且满足

是张量

第i维度的展开矩阵；

考虑图像的相关性，采用的张量链分解的定义如下：

其中，

是表示张量链中的一个张量核，×₁表示张量链核的约减乘运算，R_n表示第n个秩，特别的定义R₀＝R_N＝1。

进而构建一种基于低秩张量核范数链分解的图像修复TNN-TT模型：

其中，γ是低秩范数的系数，

表示破损的图像；

进一步，所述步骤3)的处理过程如下：

引入能够很好地刻画分段光滑性，并且被证明其在图像复原中表现优异的全变分，全变分的定义如下：

TV(x)＝∑_i＝1∑_j＝1|x(i,j)| (4)

其中，|·|表示L2范数，x(i,j)表示图像中的像素值；

下面定义第i层矩阵的加权Schatten P范数：

其中，r_(i)是矩阵

的秩，

是矩阵

的第j个奇异值，

是空间权重矩阵，w_i是权重w第i个元素；

进而得到张量

的加权Schatten P范数：

其中，p(0≤p≤1)为Schatten-p范数的参数；

进而构建一种基于低秩张量链分解的加权张量Schatten P范数与全变分图像修复WTSTV-TT模型：

其中，τ是一个非负的正则参数，λ_i是非负权重且满足

D_(i)表示(I_i-1)-by-I_i的矩阵，[D_(i)]_j,j＝1，[D_(i)]_j,j+1＝-1，且D_(i)中的其他元素为等于0；

进一步，所述步骤4)的处理过程如下：

引入辅助变量

所述图像修复模型WTSTV-TT优化为：

进一步，所述步骤5)的处理过程如下：

(5-1)建立

在ADMM算法下的子问题：

其中，μ₁是惩罚系数，Λ是拉格朗日乘子，

是Frobenius范数；

(5-2)建立

在ADMM算法下的子问题：

其中，μ₂是惩罚系数，Φ是拉格朗日乘子；

(5-3)建立

在ADMM算法下的子问题：

其中，μ₃是惩罚系数，Γ是拉格朗日乘子；

(5-4)建立χ在ADMM算法下的子问题：

其中，μ₄是惩罚系数，Ψ是拉格朗日乘子；

(5-5)更新拉格朗日乘子：

(5-6)更新惩罚系数：

μ₁＝κμ₁,μ₂＝κμ₂,μ₃＝κμ₃,μ₄＝κμ₄ (14)

其中，k∈[1,1.5]是个常数。

本发明考虑了图像的低秩张量特性，相关性和局部平滑性，有良好的图像修复效果。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (5)

1.一种基于低秩张量链分解的图像修复方法，包括以下步骤：

步骤1)获取破损的观测图像，确定破损图像中待修复区域的所有未知像素点的集合Ω；

步骤2)考虑图像张量所有维度的低秩性和相关性，结合张量核范数和张量链分解，构建一种基于低秩张量核范数链分解的图像修复模型，记为TNN-TT模型。

步骤3)引入能够很好地刻画分段光滑性，并且被证明其在图像复原中表现优异的全变分，以TNN-TT模型为框架，构造加权张量Schatten P范数并作为张量秩的非凸松弛，构建一种基于低秩张量链分解的加权张量Schatten P范数与全变分图像修复模型，记为WTSTV-TT模型；

步骤4)引入辅助变量

和

优化所述图像修复模型WTSTV-TT；

步骤5)采用ADMM算法求解所述图像修复优化模型，获得修复后的图像。

2.如权利要求1所述的一种基于低秩张量链分解的图像修复方法，其特征在于，所述步骤2)的构建一种基于低秩张量核范数链分解的图像修复TNN-TT模型的方法为：

其中，γ是低秩范数的系数，

表示破损的图像，

表示待恢复的图像，其中I₁,I₂,...,I_N是张量每一阶的维度，

表示实数，α_i是非负权重且满足

是张量

第i维度的展开矩阵，||·||_*表示张量的核范数，

是表示张量链中的一个张量核，×₁表示张量链核的约减乘运算，R_n表示第n个秩，特别的定义R₀＝R_N＝1。

3.如权利要求1所述的一种基于低秩张量链分解的图像修复方法，其特征在于，所述步骤3)构建一种基于低秩张量链分解的加权张量Schatten P范数与全变分图像修复WTSTV-TT模型的方法为：

首先，定义第i层矩阵的加权Schatten P范数：

其中，r_(i)是矩阵

的秩，

是矩阵

的第j个奇异值，

是空间权重矩阵，w_i是权重w第i个元素；

进而得到张量

的加权Schatten P范数：

其中，p(0≤p≤1)为Schatten-p范数的参数；

进而构建一种基于低秩张量链分解的加权张量Schatten P范数与全变分图像修复WTSTV-TT模型：

其中，τ是一个非负的正则参数，λ_i是非负权重且满足

D_(i)表示(I_i-1)-by-I_i的矩阵，[D_(i)]_j,j＝1，[D_(i)]_j,j+1＝-1，且D_(i)中的其他元素为等于0。

4.如权利要求1所述的一种基于低秩张量链分解的图像修复方法，其特征在于，所述步骤4)优化所述图像修复模型WTSTV-TT的方法为：

引入辅助变量

所述图像修复模型WTSTV-TT优化为：

5.如权利要求1所述的一种基于低秩张量链分解的图像修复方法，其特征在于，所述步骤5)采用ADMM算法求解所述图像优化修复模型的方法为：

(5-1)建立

在ADMM算法下的子问题：

其中，μ₁是惩罚系数，Λ是拉格朗日乘子，

是Frobenius范数；

(5-2)建立

在ADMM算法下的子问题：

其中，μ₂是惩罚系数，Φ是拉格朗日乘子；

(5-3)建立

在ADMM算法下的子问题：

其中，μ₃是惩罚系数，Γ是拉格朗日乘子；

(5-4)建立

在ADMM算法下的子问题：

其中，μ₄是惩罚系数，Ψ是拉格朗日乘子；

(5-5)更新拉格朗日乘子：

(5-6)更新惩罚系数：

μ₁＝κμ₁,μ₂＝κμ₂,μ₃＝κμ₃,μ₄＝κμ₄ (11)

其中，k∈[1,1.5]是个常数。

Images