CN107133930A - 基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法 - Google Patents

基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法 Download PDF

Info

Publication number
CN107133930A
CN107133930A CN201710298239.5A CN201710298239A CN107133930A CN 107133930 A CN107133930 A CN 107133930A CN 201710298239 A CN201710298239 A CN 201710298239A CN 107133930 A CN107133930 A CN 107133930A
Authority
CN
China
Prior art keywords
mrow
msubsup
msup
msub
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710298239.5A
Other languages
English (en)
Inventor
杨敬钰
杨蕉如
李坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710298239.5A priority Critical patent/CN107133930A/zh
Publication of CN107133930A publication Critical patent/CN107133930A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

本发明属于计算机视觉领域，为实现对像素行列缺失图像的准确填充。本发明采取的技术方案是，基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法，步骤是，基于低秩矩阵重建理论引入低秩先验对潜在图像进行约束；同时，考虑到行缺失图像的每一列可以由列字典稀疏表示，而列缺失图像的每一行可以由行字典稀疏表示，故基于稀疏表示理论引入可分离的二维稀疏先验；从而基于上述联合低秩与可分离的二维稀疏先验，将带有行列缺失的图像填充问题具体地表述为求解约束优化方程，从而实现行列缺失图像填充。本发明主要应用于计算机视觉处理场合。

Description

基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法
技术领域
本发明属于计算机视觉领域。特别涉及基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法。
背景技术
根据矩阵的一部分已知像素恢复出未知完整矩阵的问题在近年来引起了人们很大的关注。在计算机视觉和机器学习的许多应用领域中经常遇到这类问题，例如图像修复、推荐***和背景建模等。
关于解决图像填充问题的方法已经有很多研究成果。由于矩阵填充问题的病态性，目前的矩阵填充方法普遍认为潜在矩阵是低秩的或者近似低秩的，然后通过低秩矩阵重建来填充缺失像素值。如奇异值阈值法(SVT)、增广拉格朗日乘子法(ALM)、加速近邻梯度法(APG)等。但是已有的这些填充算法都是利用图像的低秩特性来填充缺失像素值，这对于像素随机缺失且图像的每行每列均有观测值的情况是有效的，但当图像中存在整行和整列像素缺失时，已有算法则无法解决这种图像填充问题。因为大量行列像素缺失的矩阵填充问题在只利用低秩特性进行约束的条件下是无法求解的。而在实际应用中，如图像传输、地震数据获取等过程中图像矩阵很可能会遭到某些行列缺失的退化。所以，设计出一种能够有效地填充矩阵行列缺失的填充算法是十分必要的。
现阶段，针对上述只利用低秩特性的矩阵填充方法的缺点，学术界在此基础上，引入对列向量的稀疏约束，实现了对图像行缺失的恢复。然而由于先验条件的不足，矩阵行和列同时缺失的问题还是未能解决。为此，本发明在模型中引入低秩和可分离的二维稀疏先验从而实现对行列缺失的矩阵进行准确填充。
发明内容
本发明意在弥补现有技术的不足，即实现对像素行列缺失图像的准确填充。本发明采取的技术方案是，基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法，步骤是，基于低秩矩阵重建理论引入低秩先验对潜在图像进行约束；同时，考虑到行缺失图像的每一列可以由列字典稀疏表示，而列缺失图像的每一行可以由行字典稀疏表示，故基于稀疏表示理论引入可分离的二维稀疏先验；从而基于上述联合低秩与可分离的二维稀疏先验，将带有行列缺失的图像填充问题具体地表述为求解约束优化方程，从而实现行列缺失图像填充。
将带有行列缺失的图像填充问题具体地表述为求解约束优化方程具体步骤细化为：
1)将带有行列缺失的图像填充问题具体地表述为求解如下约束优化方程：
其中tr(·)是矩阵的迹，表示低秩先验项；表示两个矩阵的点乘运算，||·||1表示矩阵的一范数，两个一范数项分别代表可分离的二维稀疏先验项；Ω是观测空间，表示有行列缺失的观测矩阵D内的已知像素，PΩ(·)是投影算子，表示变量投影到空间域Ω内的值，A为填充好的矩阵，Σ＝diag([σ1,σ2,...,σn])表示由A的奇异值以非递增的顺序组成的对角矩阵，Wa、Wb和Wc分别表示加权低秩项和可分离二维稀疏项的权重矩阵，γB，γC分别表示可分离二维稀疏项的正则化系数，Φc和Φr分别表示训练好的列字典和行字典，对应的系数矩阵分别由B和C表示，E代表观测矩阵D中缺失的像素；
采用增广拉格朗日乘子法(ALM)将约束优化问题(1)转化为无约束优化问题来求解，增广拉格朗日方程如下：
其中Y1、Y2和Y3表示拉格朗日乘子矩阵，μ1、μ2和μ3是惩罚因子，<·,·>表示两个矩阵的内积，||·||F表示矩阵的弗罗贝尼乌斯(Frobenius)范数；
求解过程为，训练列字典和行字典Φc和Φr，初始化权重矩阵Wa、Wb和Wc，交替地更新系数矩阵B和C，恢复矩阵A，缺失像素矩阵E，拉格朗日乘子矩阵Y1、Y2和Y3，惩罚因子μ1、μ2和μ3以及权重矩阵Wa、Wb和Wc，直到算法收敛，这时迭代的结果A(l)就是原问题的最终解A。
具体地，训练字典Φc和Φr：在高质量的图像数据集上使用在线学习算法训练出列字典和行字典Φc和Φr。
具体地，初始化权重矩阵Wa、Wb和Wc：设重加权次数为l，l＝0时，将权重矩阵 和初始值全部赋值为1，表示第一次迭代没有重加权。
具体地，采用交替方向法ADM将方程(2)转换成如下序列进行迭代求解：
上式中的和分别表示使目标函数取最小值时的变量B、C、A和E的值，ρ1、ρ2和ρ3为倍数因子，k是迭代次数；然后按照如下步骤进行迭代求解：
1)求解Bk+1：使用加速近邻梯度算法求得Bk+1；
去掉式子(3)中求解B的目标函数里与B无关的项，得到如下方程：
使用泰勒展开的方法，构造出一个二阶函数来逼近上式，然后针对这个二阶的函数来求解原方程，令再引入变量Z，最终可以解得：
其中，soft(·,·)为收缩算子，的梯度，Lf是一个常数，值为变量Zj的更新规则如下：
其中，tj是一组常数序列，j是变量迭代次数；
2)求解Ck+1：使用加速近邻梯度算法求得Ck+1；
去掉式子(3)中求解C的目标函数里与C无关的项，得到如下方程：
使用泰勒展开的方法，构造出一个二阶函数来逼近上式，然后针对这个二阶的函数来求解原方程，令再引入变量最终可以解得：
其中，soft(·,·)为收缩算子，为的梯度，Lf是一个常数，值为变量的更新规则如下：
其中，tj是一组常数序列，j是变量迭代次数；
3)求解Ak+1：使用奇异值阈值法(Singular Value Thresholding)SVT求解Ak+1；
去掉式子(3)中求解A的目标函数里与A无关的项，并且通过配方得到：
其中，对Qk+1使用奇异值阈值法解得：
其中Hk+1，Vk+1分别是Qk+1的左奇异矩阵和右奇异矩阵；
4)求解Ek+1：Ek+1的解由两部分组成；
在观测空间Ω内，E的值为0；在观测空间Ω以外，即互补空间内，使用一阶求导来求解，将两部分合起来即为E的最终解：
5)重复上述步骤1)、2)、3)、4)直到算法收敛，这时迭代的结果Ak+1、Σk+1、Bk+1、Ck+1和Ek+1就是原问题没有重加权的结果A(l)、Σ(l)、B(l)、C(l)和E(l)，这里，l是重加权次数；
6)更新权重矩阵Wa、Wb和Wc；
为抵消信号幅值在核范数项和一范数项上的影响，引入重加权方案，根据当前估计的奇异值矩阵Σ(l)、系数矩阵Bl和Cl的幅值，采用反比例原则迭代地更新权重矩阵Wa、Wb和Wc：
其中是图像中像素的位置坐标，ε是任意小的正数。
7)重复上述步骤1)-7)直到算法收敛，这时迭代的结果A(l)就是原问题的最终解A。
本发明的技术特点及效果：
本发明方法针对行列缺失的图像填充问题，通过引入可分离的二维稀疏先验，实现了对行列缺失的图像填充问题的求解。本发明具有以下特点：
1、运用了增广拉格朗日乘子法(ALM)、交替方向法(ADM)、加速近邻梯度算法、奇异值阈值法等算法求解子问题，整合了已有算法的优点。
2、使用列字典和行字典对图像的列和行进行稀疏表示，与传统的块字典相比更加高效。
3、将低秩矩阵重建理论和稀疏表示理论相结合，在传统的低秩矩阵重建模型中引入字典学习，提出了联合低秩信息与可分离的二维稀疏性先验，使得可以对行列同时缺失的图像进行准确填充。
4、通过对缺失的受损图进行低秩和稀疏的联合约束，提高了填充性能，既可以填充行列缺失，也可以更加准确地填充随机缺失。
附图说明
本发明上述的优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明流程图；
图2是原始的没有缺失的真值图像；
图3是有行列和随机缺失的受损图像，黑色表示缺失像素，从左至右总缺失率分别为：(1)10％缺失；(2)20％缺失；(3)30％缺失；(4)50％缺失；
图4是用本发明方法对四种缺失率下的缺失图的填充结果图：(1)10％缺失填充结果，PSNR＝40.79；(2)20％缺失填充结果，PSNR＝37.32；(3)30％缺失填充结果，PSNR＝35.69；(4)50％缺失填充结果，PSNR＝32.23。
具体实施方式
下面结合实施例和附图对本发明基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法做出详细说明。
本发明将低秩矩阵重建与稀疏表示相结合，在传统的低秩矩阵重建模型的基础上引入字典学习模型，通过对缺失图像采用联合低秩与可分离的二维稀疏先验条件的约束，从而解决已有算法无法实现行列缺失的图像填充的问题。具体方法包括以下步骤：
1)考虑到自然图像本身的低秩特性，基于低秩矩阵重建理论引入低秩先验对潜在图像进行约束；同时，考虑到行缺失图像的每一列可以由列字典稀疏表示，而列缺失图像的每一行可以由行字典稀疏表示，故基于稀疏表示理论引入可分离的二维稀疏先验；从而基于上述联合低秩与可分离的二维稀疏先验，将带有行列缺失的图像填充问题具体地表述为求解如下约束优化方程：
其中tr(·)是矩阵的迹，表示低秩先验项；表示两个矩阵的点乘运算，||·||1表示矩阵的一范数，两个一范数项分别代表可分离的二维稀疏先验项；Ω是观测空间，表示有行列缺失的观测矩阵D内的已知像素，PΩ(·)是投影算子，表示变量投影到空间域Ω内的值，A为填充好的矩阵，Σ＝diag([σ1,σ2,...,σn])表示由A的奇异值以非递增的顺序组成的对角矩阵，Wa、Wb和Wc分别表示加权低秩项和可分离二维稀疏项的权重矩阵，γB，γC分别表示可分离二维稀疏项的正则化系数，Φc和Φr分别表示训练好的列字典和行字典，对应的系数矩阵分别由B和C表示，E代表观测矩阵D中缺失的像素；
11)本发明采用增广拉格朗日乘子法(ALM)将约束优化问题(1)转化为无约束优化问题来求解，增广拉格朗日方程如下：
其中Y1、Y2和Y3表示拉格朗日乘子矩阵，μ1、μ2和μ3是惩罚因子，<·,·>表示两个矩阵的内积，||·||F表示矩阵的弗罗贝尼乌斯(Frobenius)范数；
12)求解过程为，训练列字典和行字典Φc和Φr，初始化权重矩阵Wa、Wb和Wc，交替地更新系数矩阵B和C，恢复矩阵A，缺失像素矩阵E，拉格朗日乘子矩阵Y1、Y2和Y3，惩罚因子μ1、μ2和μ3以及权重矩阵Wa、Wb和Wc；
2)训练字典Φc和Φr：在高质量的图像数据集上使用在线学习算法训练出列字典和行字典Φc和Φr；
21)构造列字典Φc使得矩阵A能够由列字典稀疏表示，即满足A＝ΦcB，其中B是系数矩阵且是稀疏的；构造行字典Φr使得矩阵A的转置能够由行字典稀疏表示，即满足AΤ＝ΦrC，其中C是系数矩阵且是稀疏的。本发明使用Online Learning算法在Kodak图像集上训练出列字典和行字典Φc和Φr。
22)训练字典的相关参数设定为：待重建矩阵A的行数与字典Φc中元素的维数m相等，即A的行数与Φc的行数均为m；A的列数与字典Φr中元素的维数n相等，即A的列数与Φr的行数均为n。训练出的字典Φc和Φr均是过完备的字典，即字典的列数必须大于其行数。
3)初始化权重矩阵Wa、Wb和Wc；
设重加权次数为l，l＝0时，将权重矩阵和初始值全部赋值为1，表示第一次迭代没有重加权。
4)采用交替方向法(ADM)将方程(2)转换成如下序列进行迭代求解：
上式中的和分别表示使目标函数取最小值时的变量B、C、A和E的值，ρ1、ρ2和ρ3为倍数因子，k是迭代次数；设定好各参数初值，然后按照步骤5)、6)、7)、8)的方法进行迭代求解得到没有重加权的结果。
5)求解Bk+1：使用加速近邻梯度算法求得Bk+1。
51)去掉式子(3)中求解B的目标函数里与B无关的项，得到如下方程：
通过泰勒展开，构造出一个二阶函数来逼近上式，然后针对这个二阶函数来求解原方程。令再引入变量Z，定义如下函数：
其中，为f(Z)的梯度，Lf是一个常数，值为用来保证对所有的Z都有F(Z)≤Q(B,Z)。
52)经过上步转化，方程(4)转化成求解Q(B,Zj)的最小值问题，通过配方得到如下形式：
其中，变量Zj的更新规则如下：
其中，tj是一组常数序列，j是变量迭代次数。使用收缩算子解得：
其中，soft(·,·)为收缩算子。
6)求解Ck+1：使用加速近邻梯度算法求得Ck+1。
61)去掉式子(3)中求解C的目标函数里与C无关的项，得到如下方程：
使用泰勒展开，构造出一个二阶函数来逼近上式，然后针对这个二阶函数来求解原方程。令再引入变量定义如下函数：
其中，为的梯度，Lf是一个常数，值为用来保证对所有的都有
62)经过上步转化，方程(9)转化成求解的最小值问题，通过配方得到如下形式：
其中，变量的更新规则如下：
其中，tj是一组常数序列，j是变量迭代次数。使用收缩算子解得：
其中，soft(·,·)为收缩算子。
7)求解Ak+1：使用奇异值阈值法(Singular Value Thresholding)SVT求解Ak+1。
去掉式子(3)中求解A的目标函数里与A无关的项得到：
使用配方法将上式改写成：
其中，对Qk+1使用奇异值阈值法解得：
其中Hk+1，Vk+1分别是Qk+1的左奇异矩阵和右奇异矩阵；
8)求解Ek+1：Ek+1的解由两部分组成。
81)在观测空间Ω内，E的值为0；即PΩ(E)＝0。
82)在观测空间Ω以外，即互补空间内，关于Ek+1的方程如下式所示：
使用一阶求导来求解，得到
83)将空间域Ω内部和外部的解联合起来即为E的最终解：
9)重复上述步骤5)、6)、7)、8)直到算法收敛，这时迭代的结果Ak+1、Σk+1、Bk+1、Ck+1和Ek+1就是原问题没有重加权的结果A(l)、Σ(l)、B(l)、C(l)和E(l)。这里，l是重加权次数。
10)更新权重矩阵Wa、Wb和Wc。
为抵消信号幅值在核范数项和一范数项上的影响，引入重加权方案，根据当前估计的奇异值矩阵Σ(l)、系数矩阵Bl和Cl的幅值，采用反比例原则迭代地更新权重矩阵Wa、Wb和Wc：
其中是图像中像素的位置坐标，ε是任意小的正数。
11)重复上述步骤4)、5)、6)、7)、8)、9)、10)直到算法收敛，这时迭代的结果A(l)就是原问题的最终解A。
本发明方法将低秩矩阵重建与稀疏表示理论相结合，在传统的低秩矩阵重建模型的基础上引入字典学习模型，通过对缺失图像采用联合低秩与可分离的二维稀疏先验条件的约束，从而解决已有技术无法处理的问题，即实现对行列缺失的图像进行填充(实验流程图如图1所示)。结合附图和实施例的详细说明如下：
1)实验中使用从BSDS500数据集中随机选取的一张321×481像素的图片(如图2所示)作为原始图，在其上构造了4种缺失率分别为10％、20％、30％和50％的受损图像进行测试(如图3所示)，其中包含行列缺失和随机缺失。本发明采用原子大小固定为100的字典，所以先将待填充图按照从上到下、从左至右滑窗的方式分成若干个100×100的图像块。滑窗的步长为90个像素。将这若干个100×100的图像块依次填充好，最终再组合起来即可得到原始尺寸321×481的填充图。填充第一个图像块时，则将其用矩阵D表示，填充当前带有行列缺失的图像块的问题具体地表述为求解如下约束优化方程：
其中tr(·)是矩阵的迹，表示低秩先验项；表示两个矩阵的点乘运算，||·||1表示矩阵的一范数，两个一范数项分别代表可分离的二维稀疏先验项；Ω是观测空间，表示有行列缺失的观测矩阵D内的已知像素，PΩ(·)是投影算子，表示变量投影到空间域Ω内的值，A为填充好的矩阵，Σ＝diag([σ1,σ2,...,σn])表示由A的奇异值以非递增的顺序组成的对角矩阵，Wa、Wb和Wc分别表示加权低秩项和可分离二维稀疏项的权重矩阵，γB，γC分别表示可分离二维稀疏项的正则化系数，Φc和Φr分别表示训练好的列字典和行字典，对应的系数矩阵分别由B和C表示，E代表观测矩阵D中缺失的像素；
11)本发明采用增广拉格朗日乘子法(ALM)将约束优化问题(1)转化为无约束优化问题来求解，增广拉格朗日方程如下：
其中Y1、Y2和Y3表示拉格朗日乘子矩阵，μ1、μ2和μ3是惩罚因子，<·,·>表示两个矩阵的内积，||·||F表示矩阵的弗罗贝尼乌斯(Frobenius)范数；
12)求解过程为，训练列字典和行字典Φc和Φr，初始化权重矩阵Wa、Wb和Wc，交替地更新系数矩阵B和C，恢复矩阵A，缺失像素矩阵E，拉格朗日乘子矩阵Y1、Y2和Y3，惩罚因子μ1、μ2和μ3以及权重矩阵Wa、Wb和Wc；
2)训练字典Φc和Φr：在高质量的图像数据集上使用在线学习算法训练出列字典和行字典Φc和Φr；
21)构造列字典Φc使得矩阵A能够由列字典稀疏表示，即满足A＝ΦcB，其中B是系数矩阵且是稀疏的；构造行字典Φr使得矩阵A的转置能够由行字典稀疏表示，即满足AΤ＝ΦrC，其中C是系数矩阵且是稀疏的。本发明使用Online Learning算法在Kodak图像集中所有图像上共随机选取230000个大小为100×1的像素列作为训练数据训练出列字典和行字典Φc和Φr。
22)训练字典的相关参数设定为：重建矩阵A的行数与字典Φc中元素的维数m相等，即A的行数与Φc的行数均为m，实验中取m＝100。A的列数与字典Φr中元素的维数n相等，即A的列数与Φr的行数均为n，实验中取n＝100。训练出的字典Φc和Φr均是过完备的字典，即字典的列数必须大于其行数。实验中行、列字典列数均取为400，则字典Φc和Φr的规格均为100×400。
3)初始化权重矩阵Wa、Wb和Wc；
设重加权次数为l，l＝0时，将权重矩阵和初始值全部赋值为1，表示第一次迭代没有重加权。
4)采用交替方向法(ADM)将方程(2)转换成如下序列进行迭代求解：
上式中的和分别表示使目标函数取最小值时的变量B、C、A和E的值，ρ1、ρ2和ρ3为倍数因子，k是迭代次数；设定好各参数初值，然后按照步骤5)、6)、7)、8)的方法进行迭代求解得到没有重加权的结果。实验中设定初值为：l＝0；k＝1；ρ1＝ρ2＝ρ3＝1.1；A1＝B1＝C1＝E1＝0。
5)求解Bk+1：使用加速近邻梯度算法求得Bk+1。
51)去掉式子(3)中求解B的目标函数里与B无关的项，得到如下方程：
通过泰勒展开，构造出一个二阶函数来逼近上式，然后针对这个二阶函数来求解原方程。令再引入变量Z，定义如下函数：
其中，为f(Z)的梯度，Lf是一个常数，值为用来保证对所有的Z都有F(Z)≤Q(B,Z)。
52)经过上步转化，方程(4)转化成求解Q(B,Zj)的最小值问题，通过配方得到如下形式：
其中，变量Zj的更新规则如下：
其中，tj是一组常数序列，j是变量迭代次数。经过上述转化，设定各参数初始值如下：j＝1；t1＝1；Z1＝0。收敛时可以解得：
其中，soft(·,·)为收缩算子。
6)求解Ck+1：使用加速近邻梯度算法求得Ck+1。
61)去掉式子(3)中求解C的目标函数里与C无关的项，得到如下方程：
使用泰勒展开，构造出一个二阶函数来逼近上式，然后针对这个二阶函数来求解原方程。令再引入变量定义如下函数：
其中，为的梯度，Lf是一个常数，值为用来保证对所有的都有
62)经过上步转化，方程(9)转化成求解的最小值问题，通过配方得到如下形式：
其中，变量的更新规则如下：
其中，tj是一组常数序列，j是变量迭代次数。经过上述转化，设定各参数初始值如下：j＝1；
t1＝1；收敛时可以解得：
其中，soft(·,·)为收缩算子。
7)求解Ak+1：使用奇异值阈值法(Singular Value Thresholding)SVT求解Ak+1。
去掉式子(3)中求解A的目标函数里与A无关的项得到：
使用配方法将上式改写成：
其中，对Qk+1使用奇异值阈值法解得：
其中Hk+1，Vk+1分别是Qk+1的左奇异矩阵和右奇异矩阵；
8)求解Ek+1：Ek+1的解由两部分组成。
81)在观测空间Ω内，E的值为0；即PΩ(E)＝0。
82)在观测空间Ω以外，即互补空间内，关于Ek+1的方程如下式所示：
使用一阶求导来求解，得到
83)将空间域Ω内部和外部的解联合起来即为E的最终解：
9)重复上述步骤5)、6)、7)、8)直到算法收敛，这时迭代的结果Ak+1、Σk+1、Bk+1、Ck+1和Ek+1就是原问题没有重加权的结果A(l)、Σ(l)、B(l)、C(l)和E(l)。这里，l是重加权次数。
10)更新权重矩阵Wa、Wb和Wc。
为抵消信号幅值在核范数项和一范数项上的影响，引入重加权方案，根据当前估计的奇异值矩阵Σ(l)、系数矩阵Bl和Cl的幅值，采用反比例原则迭代地更新权重矩阵Wa、Wb和Wc：
其中是图像中像素的位置坐标，ε是任意小的正数。实验中取ε＝0.001。
11)重复上述步骤4)、5)、6)、7)、8)、9)、10)直到算法收敛，这时迭代的结果A(l)就是原问题的最终解A。
12)依次处理步骤1)中得到的其余若干个图像块直至全部填充好，再将这些图像块组合成最终的填充图(如图4所示)。组合时，被多次填充的划分重叠的像素点取多次填充的均值作为最终值。
实验结果：本发明采用PSNR(峰值信噪比)作为图像填充结果的度量测度，单位为dB：
其中I为填充后的图像，I0为没有缺失的真实图像，w为图像的宽度，h为图像的高度，(x,y)表示图像第x行第y列的像素值，Σ表示求和运算，|·|为绝对值。本实验取n＝8，实验中用于测试的4张不同程度行列缺失的图片填充结果见图4标注。

Claims (5)

1.一种基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法，其特征是，步骤是，基于低秩矩阵重建理论引入低秩先验对潜在图像进行约束；同时，考虑到行缺失图像的每一列可以由列字典稀疏表示，而列缺失图像的每一行可以由行字典稀疏表示，故基于稀疏表示理论引入可分离的二维稀疏先验；从而基于上述联合低秩与可分离的二维稀疏先验，将带有行列缺失的图像填充问题具体地表述为求解约束优化方程，从而实现行列缺失图像填充。
2.如权利要求1所述的基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法，其特征是，将带有行列缺失的图像填充问题具体地表述为求解约束优化方程具体步骤细化为：
1)将带有行列缺失的图像填充问题具体地表述为求解如下约束优化方程：
其中tr(·)是矩阵的迹，表示低秩先验项；表示两个矩阵的点乘运算，||·||1表示矩阵的一范数，两个一范数项分别代表可分离的二维稀疏先验项；Ω是观测空间，表示有行列缺失的观测矩阵D内的已知像素，PΩ(·)是投影算子，表示变量投影到空间域Ω内的值，A为填充好的矩阵，Σ＝diag([σ1,σ2,...,σn])表示由A的奇异值以非递增的顺序组成的对角矩阵，Wa、Wb和Wc分别表示加权低秩项和可分离二维稀疏项的权重矩阵，γB，γC分别表示可分离二维稀疏项的正则化系数，Φc和Φr分别表示训练好的列字典和行字典，对应的系数矩阵分别由B和C表示，E代表观测矩阵D中缺失的像素；
采用增广拉格朗日乘子法(ALM)将约束优化问题(1)转化为无约束优化问题来求解，增广拉格朗日方程如下：
其中Y1、Y2和Y3表示拉格朗日乘子矩阵，μ1、μ2和μ3是惩罚因子，<·,·>表示两个矩阵的内积，||·||F表示矩阵的弗罗贝尼乌斯(Frobenius)范数；
求解过程为，训练列字典和行字典Φc和Φr，初始化权重矩阵Wa、Wb和Wc，交替地更新系数矩阵B和C，恢复矩阵A，缺失像素矩阵E，拉格朗日乘子矩阵Y1、Y2和Y3，惩罚因子μ1、μ2和μ3以及权重矩阵Wa、Wb和Wc，直到算法收敛，这时迭代的结果A(l)就是原问题的最终解A。
3.如权利要求2所述的基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法，其特征是，具体地，训练字典Φc和Φr：在高质量的图像数据集上使用在线学习算法训练出列字典和行字典Φc和Φr。
4.如权利要求2所述的基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法，其特征是，具体地，初始化权重矩阵Wa、Wb和Wc：设重加权次数为l，l＝0时，将权重矩阵、和初始值全部赋值为1，表示第一次迭代没有重加权。
5.如权利要求2所述的基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法，其特征是，具体地，采用交替方向法ADM将方程(2)转换成如下序列进行迭代求解：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mi>B</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mi>B</mi> </munder> <mo>{</mo> <msub> <mi>L</mi> <mrow> <msubsup> <mi>&amp;mu;</mi> <mn>1</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;mu;</mi> <mn>2</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;mu;</mi> <mn>3</mn> <mi>k</mi> </msubsup> </mrow> </msub> <mrow> <mo>(</mo> <msup> <mi>A</mi> <mi>k</mi> </msup> <mo>,</mo> <mi>B</mi> <mo>,</mo> <msup> <mi>C</mi> <mi>k</mi> </msup> <mo>,</mo> <msup> <mi>E</mi> <mi>k</mi> </msup> <mo>,</mo> <msubsup> <mi>Y</mi> <mn>1</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mn>2</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mn>3</mn> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>}</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>C</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mi>C</mi> </munder> <mo>{</mo> <msub> <mi>L</mi> <mrow> <msubsup> <mi>&amp;mu;</mi> <mn>1</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;mu;</mi> <mn>2</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;mu;</mi> <mn>3</mn> <mi>k</mi> </msubsup> </mrow> </msub> <mrow> <mo>(</mo> <msup> <mi>A</mi> <mi>k</mi> </msup> <mo>,</mo> <msup> <mi>B</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>,</mo> <mi>C</mi> <mo>,</mo> <msup> <mi>E</mi> <mi>k</mi> </msup> <mo>,</mo> <msubsup> <mi>Y</mi> <mn>1</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mn>2</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mn>3</mn> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>}</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>A</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mi>A</mi> </munder> <mo>{</mo> <msub> <mi>L</mi> <mrow> <msubsup> <mi>&amp;mu;</mi> <mn>1</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;mu;</mi> <mn>2</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;mu;</mi> <mn>3</mn> <mi>k</mi> </msubsup> </mrow> </msub> <mrow> <mo>(</mo> <mi>A</mi> <mo>,</mo> <msup> <mi>B</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>,</mo> <msup> <mi>C</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>,</mo> <msup> <mi>E</mi> <mi>k</mi> </msup> <mo>,</mo> <msubsup> <mi>Y</mi> <mn>1</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mn>2</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mn>3</mn> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>}</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>E</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mrow> <msub> <mi>P</mi> <mi>&amp;Omega;</mi> </msub> <mrow> <mo>(</mo> <mi>E</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </munder> <mo>{</mo> <msub> <mi>L</mi> <mrow> <msubsup> <mi>&amp;mu;</mi> <mn>1</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;mu;</mi> <mn>2</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;mu;</mi> <mn>3</mn> <mi>k</mi> </msubsup> </mrow> </msub> <mrow> <mo>(</mo> <msup> <mi>A</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>,</mo> <msup> <mi>B</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>,</mo> <msup> <mi>C</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>,</mo> <mi>E</mi> <mo>,</mo> <msubsup> <mi>Y</mi> <mn>1</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mn>2</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Y</mi> <mn>3</mn> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>}</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>Y</mi> <mn>1</mn> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>Y</mi> <mn>1</mn> <mi>k</mi> </msubsup> <mo>+</mo> <msubsup> <mi>&amp;mu;</mi> <mn>1</mn> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <msup> <mi>A</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>-</mo> <msub> <mi>&amp;Phi;</mi> <mi>r</mi> </msub> <msup> <mi>B</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>Y</mi> <mn>2</mn> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>Y</mi> <mn>2</mn> <mi>k</mi> </msubsup> <mo>+</mo> <msubsup> <mi>&amp;mu;</mi> <mn>2</mn> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <msup> <mi>A</mi> <mrow> <mi>k</mi> <mo>+</mo> <msup> <mn>1</mn> <mi>T</mi> </msup> </mrow> </msup> <mo>-</mo> <msub> <mi>&amp;Phi;</mi> <mi>r</mi> </msub> <msup> <mi>C</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>Y</mi> <mn>3</mn> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>Y</mi> <mn>3</mn> <mi>k</mi> </msubsup> <mo>+</mo> <msubsup> <mi>&amp;mu;</mi> <mn>3</mn> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>D</mi> <mo>-</mo> <msup> <mi>A</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>-</mo> <msup> <mi>E</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>&amp;mu;</mi> <mn>1</mn> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msub> <mi>&amp;rho;</mi> <mn>1</mn> </msub> <msubsup> <mi>&amp;mu;</mi> <mn>1</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;mu;</mi> <mn>2</mn> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msub> <mi>&amp;rho;</mi> <mn>2</mn> </msub> <msubsup> <mi>&amp;mu;</mi> <mn>2</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;mu;</mi> <mn>2</mn> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msub> <mi>&amp;rho;</mi> <mn>3</mn> </msub> <msubsup> <mi>&amp;mu;</mi> <mn>3</mn> <mi>k</mi> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
上式中的和分别表示使目标函数取最小值时的变量B、C、A和E的值，ρ1、ρ2和ρ3为倍数因子，k是迭代次数；然后按照如下步骤进行迭代求解：
1)求解Bk+1：使用加速近邻梯度算法求得Bk+1；
去掉式子(3)中求解B的目标函数里与B无关的项，得到如下方程：
使用泰勒展开的方法，构造出一个二阶函数来逼近上式，然后针对这个二阶的函数来求解原方程，令再引入变量Z，最终可以解得：
<mrow> <msup> <mi>B</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <msubsup> <mi>B</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <mo>=</mo> <mi>s</mi> <mi>o</mi> <mi>f</mi> <mi>t</mi> <mrow> <mo>(</mo> <msub> <mi>U</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <mfrac> <msub> <mi>&amp;gamma;</mi> <mi>B</mi> </msub> <msub> <mi>L</mi> <mi>f</mi> </msub> </mfrac> <msub> <mi>W</mi> <mi>b</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中，soft(·,·)为收缩算子， 为f(Z)的梯度，Lf是一个常数，值为变量Zj的更新规则如下：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>t</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <msqrt> <mrow> <mn>4</mn> <msubsup> <mi>t</mi> <mi>j</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> </msqrt> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>Z</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <msubsup> <mi>B</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <mo>+</mo> <mfrac> <mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> <msub> <mi>t</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mfrac> <mrow> <mo>(</mo> <msubsup> <mi>B</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <mo>-</mo> <msubsup> <mi>B</mi> <mi>j</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中，tj是一组常数序列，j是变量迭代次数；
2)求解Ck+1：使用加速近邻梯度算法求得Ck+1；
去掉式子(3)中求解C的目标函数里与C无关的项，得到如下方程：
使用泰勒展开的方法，构造出一个二阶函数来逼近上式，然后针对这个二阶的函数来求解原方程，令再引入变量最终可以解得：
<mrow> <msup> <mi>C</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <msubsup> <mi>C</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <mo>=</mo> <mi>s</mi> <mi>o</mi> <mi>f</mi> <mi>t</mi> <mrow> <mo>(</mo> <msub> <mover> <mi>U</mi> <mo>~</mo> </mover> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <mfrac> <msub> <mi>&amp;gamma;</mi> <mi>C</mi> </msub> <msub> <mi>L</mi> <mi>f</mi> </msub> </mfrac> <msub> <mi>W</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
其中，soft(·,·)为收缩算子， 为的梯度，Lf是一个常数，值为变量的更新规则如下：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>t</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <msqrt> <mrow> <mn>4</mn> <msubsup> <mi>t</mi> <mi>j</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> </msqrt> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <msubsup> <mi>C</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <mo>+</mo> <mfrac> <mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> <msub> <mi>t</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mfrac> <mrow> <mo>(</mo> <msubsup> <mi>C</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <mo>-</mo> <msubsup> <mi>C</mi> <mi>j</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中，tj是一组常数序列，j是变量迭代次数；
3)求解Ak+1：使用奇异值阈值法(Singular Value Thresholding)SVT求解Ak+1；
去掉式子(3)中求解A的目标函数里与A无关的项，并且通过配方得到：
其中，对Qk +1使用奇异值阈值法解得：
<mrow> <msup> <mi>A</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <msup> <mi>H</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mi>s</mi> <mi>o</mi> <mi>f</mi> <mi>t</mi> <mrow> <mo>(</mo> <msup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>,</mo> <mfrac> <mn>1</mn> <mrow> <msubsup> <mi>&amp;mu;</mi> <mn>1</mn> <mi>k</mi> </msubsup> <mo>+</mo> <msubsup> <mi>&amp;mu;</mi> <mn>2</mn> <mi>k</mi> </msubsup> <mo>+</mo> <msubsup> <mi>&amp;mu;</mi> <mn>3</mn> <mi>k</mi> </msubsup> </mrow> </mfrac> <msub> <mi>W</mi> <mi>a</mi> </msub> <mo>)</mo> </mrow> <msup> <mi>V</mi> <mrow> <mi>k</mi> <mo>+</mo> <msup> <mn>1</mn> <mi>T</mi> </msup> </mrow> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
其中Hk+1，Vk+1分别是Qk+1的左奇异矩阵和右奇异矩阵；
4)求解Ek+1：Ek+1的解由两部分组成；
在观测空间Ω内，E的值为0；在观测空间Ω以外，即互补空间内，使用一阶求导来求解，将两部分合起来即为E的最终解：
<mrow> <msup> <mi>E</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <msub> <mi>P</mi> <mi>&amp;Omega;</mi> </msub> <mrow> <mo>(</mo> <mn>0</mn> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>P</mi> <mover> <mi>&amp;Omega;</mi> <mo>&amp;OverBar;</mo> </mover> </msub> <mrow> <mo>(</mo> <mi>D</mi> <mo>-</mo> <msup> <mi>A</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>+</mo> <mfrac> <msubsup> <mi>Y</mi> <mn>3</mn> <mi>k</mi> </msubsup> <msubsup> <mi>&amp;mu;</mi> <mn>3</mn> <mi>k</mi> </msubsup> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
5)重复上述步骤1)、2)、3)、4)直到算法收敛，这时迭代的结果Ak+1、Σk+1、Bk+1、Ck+1和Ek+1就是原问题没有重加权的结果A(l)、Σ(l)、B(l)、C(l)和E(l)，这里，l是重加权次数；
6)更新权重矩阵Wa、Wb和Wc；
为抵消信号幅值在核范数项和一范数项上的影响，引入重加权方案，根据当前估计的奇异值矩阵Σ(l)、系数矩阵Bl和Cl的幅值，采用反比例原则迭代地更新权重矩阵Wa、Wb和Wc：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>W</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mrow> <mo>(</mo> <mover> <mi>i</mi> <mo>^</mo> </mover> <mo>,</mo> <mover> <mi>i</mi> <mo>^</mo> </mover> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <msubsup> <mi>&amp;sigma;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>&amp;epsiv;</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>W</mi> <mi>b</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mrow> <mo>(</mo> <mover> <mi>i</mi> <mo>^</mo> </mover> <mo>,</mo> <mover> <mi>j</mi> <mo>^</mo> </mover> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <msup> <mi>B</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> </msup> <mrow> <mo>(</mo> <mover> <mi>i</mi> <mo>^</mo> </mover> <mo>,</mo> <mover> <mi>j</mi> <mo>^</mo> </mover> <mo>)</mo> </mrow> <mo>|</mo> <mo>+</mo> <mi>&amp;epsiv;</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>W</mi> <mi>c</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mrow> <mo>(</mo> <mover> <mi>i</mi> <mo>^</mo> </mover> <mo>,</mo> <mover> <mi>j</mi> <mo>^</mo> </mover> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <msup> <mi>C</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> </msup> <mrow> <mo>(</mo> <mover> <mi>i</mi> <mo>^</mo> </mover> <mo>,</mo> <mover> <mi>j</mi> <mo>^</mo> </mover> <mo>)</mo> </mrow> <mo>|</mo> <mo>+</mo> <mi>&amp;epsiv;</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
其中是图像中像素的位置坐标，ε是任意小的正数。
7)重复上述步骤1)-7)直到算法收敛，这时迭代的结果A(l)就是原问题的最终解A。
CN201710298239.5A 2017-04-30 2017-04-30 基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法 Pending CN107133930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710298239.5A CN107133930A (zh) 2017-04-30 2017-04-30 基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710298239.5A CN107133930A (zh) 2017-04-30 2017-04-30 基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法

Publications (1)

Publication Number Publication Date
CN107133930A true CN107133930A (zh) 2017-09-05

Family

ID=59715788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710298239.5A Pending CN107133930A (zh) 2017-04-30 2017-04-30 基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法

Country Status (1)

Country Link
CN (1) CN107133930A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171215A (zh) * 2018-01-25 2018-06-15 河南大学 基于低秩变异字典和稀疏表示分类的人脸伪装检测及伪装类别检测方法
CN108427742A (zh) * 2018-03-07 2018-08-21 中国电力科学研究院有限公司 一种基于低秩矩阵的配电网可靠性数据修复方法及***
CN108734675A (zh) * 2018-05-17 2018-11-02 西安电子科技大学 基于混合稀疏先验模型的图像复原方法
CN109215025A (zh) * 2018-09-25 2019-01-15 电子科技大学 一种基于非凸秩逼近极小化的红外弱小目标检测方法
CN109325442A (zh) * 2018-09-19 2019-02-12 福州大学 一种图像像素缺失的人脸识别方法
CN109325446A (zh) * 2018-09-19 2019-02-12 电子科技大学 一种基于加权截断核范数的红外弱小目标检测方法
CN109348229A (zh) * 2018-10-11 2019-02-15 武汉大学 基于异构特征子空间迁移的jpeg图像失配隐写分析方法
CN109671030A (zh) * 2018-12-10 2019-04-23 西安交通大学 一种基于自适应秩估计黎曼流形优化的图像补全方法
CN109754008A (zh) * 2018-12-28 2019-05-14 上海理工大学 基于矩阵分解的高维对称稀疏网络缺失信息的估计方法
CN109978783A (zh) * 2019-03-19 2019-07-05 上海交通大学 一种彩色图像修复方法
CN111025385A (zh) * 2019-11-26 2020-04-17 中国地质大学（武汉） 一种基于低秩和稀疏约束的地震数据重建方法
CN111597440A (zh) * 2020-05-06 2020-08-28 上海理工大学 一种基于内在加权矩阵三分解低秩近似的推荐***信息估计方法
CN111881413A (zh) * 2020-07-28 2020-11-03 中国人民解放军海军航空大学 基于矩阵分解的多源时间序列缺失数据恢复方法
CN112184571A (zh) * 2020-09-14 2021-01-05 江苏信息职业技术学院 一种基于非凸秩近似的鲁棒主成分分析方法
CN112564945A (zh) * 2020-11-23 2021-03-26 南京邮电大学 一种基于时序先验和稀疏表示的ip网络流量估计方法
CN112561842A (zh) * 2020-12-07 2021-03-26 昆明理工大学 基于字典学习的多源受损图像融合与恢复联合实现方法
CN112734763A (zh) * 2021-01-29 2021-04-30 西安理工大学 基于卷积与k-svd字典联合稀疏编码的图像分解方法
CN113112563A (zh) * 2021-04-21 2021-07-13 西北大学 一种优化区域知识先验的稀疏角cb-xlct成像方法
CN115508835A (zh) * 2022-10-28 2022-12-23 广东工业大学 一种基于盲压缩感知的层析sar三维成像方法
CN114253959B (zh) * 2021-12-21 2024-07-12 大连理工大学 一种基于动力学原理与时间差分的数据补全方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093430A (zh) * 2013-01-25 2013-05-08 西安电子科技大学 基于稀疏低秩与字典学习的心脏mri图像去模糊方法
CN103679660A (zh) * 2013-12-16 2014-03-26 清华大学 图像恢复方法及***
CN104867119A (zh) * 2015-05-21 2015-08-26 天津大学 基于低秩矩阵重建的结构性缺失图像填充方法
CN104978716A (zh) * 2015-06-09 2015-10-14 重庆大学 一种基于线性最小均方误差估计的sar图像降噪方法
CN105743611A (zh) * 2015-12-25 2016-07-06 华中农业大学 一种基于稀疏字典的无线传感器网络缺失数据重构方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093430A (zh) * 2013-01-25 2013-05-08 西安电子科技大学 基于稀疏低秩与字典学习的心脏mri图像去模糊方法
CN103679660A (zh) * 2013-12-16 2014-03-26 清华大学 图像恢复方法及***
CN104867119A (zh) * 2015-05-21 2015-08-26 天津大学 基于低秩矩阵重建的结构性缺失图像填充方法
CN104978716A (zh) * 2015-06-09 2015-10-14 重庆大学 一种基于线性最小均方误差估计的sar图像降噪方法
CN105743611A (zh) * 2015-12-25 2016-07-06 华中农业大学 一种基于稀疏字典的无线传感器网络缺失数据重构方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINGYU YANG等: ""Completion of Structurally-Incomplete Matrices with Reweighted Low-Rank and Sparsity Priors"", 《2016 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP) 》 *
杜伟男等: ""基于残差字典学习的图像超分辨率重建方法"", 《北京工业大学学报》 *
汪雄良等: ""基于快速基追踪算法的图像去噪"", 《计算机应用》 *
王斌等: ""基于低秩表示和学习字典的高光谱图像异常探测"", 《红外与毫米波学报》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171215A (zh) * 2018-01-25 2018-06-15 河南大学 基于低秩变异字典和稀疏表示分类的人脸伪装检测及伪装类别检测方法
CN108171215B (zh) * 2018-01-25 2023-02-03 河南大学 基于低秩变异字典和稀疏表示分类的人脸伪装检测及伪装类别检测方法
CN108427742B (zh) * 2018-03-07 2023-12-19 中国电力科学研究院有限公司 一种基于低秩矩阵的配电网可靠性数据修复方法及***
CN108427742A (zh) * 2018-03-07 2018-08-21 中国电力科学研究院有限公司 一种基于低秩矩阵的配电网可靠性数据修复方法及***
CN108734675A (zh) * 2018-05-17 2018-11-02 西安电子科技大学 基于混合稀疏先验模型的图像复原方法
CN108734675B (zh) * 2018-05-17 2021-09-28 西安电子科技大学 基于混合稀疏先验模型的图像复原方法
CN109325446A (zh) * 2018-09-19 2019-02-12 电子科技大学 一种基于加权截断核范数的红外弱小目标检测方法
CN109325446B (zh) * 2018-09-19 2021-06-22 电子科技大学 一种基于加权截断核范数的红外弱小目标检测方法
CN109325442A (zh) * 2018-09-19 2019-02-12 福州大学 一种图像像素缺失的人脸识别方法
CN109215025B (zh) * 2018-09-25 2021-08-10 电子科技大学 一种基于非凸秩逼近极小化的红外弱小目标检测方法
CN109215025A (zh) * 2018-09-25 2019-01-15 电子科技大学 一种基于非凸秩逼近极小化的红外弱小目标检测方法
CN109348229A (zh) * 2018-10-11 2019-02-15 武汉大学 基于异构特征子空间迁移的jpeg图像失配隐写分析方法
CN109348229B (zh) * 2018-10-11 2020-02-11 武汉大学 基于异构特征子空间迁移的jpeg图像失配隐写分析方法
CN109671030A (zh) * 2018-12-10 2019-04-23 西安交通大学 一种基于自适应秩估计黎曼流形优化的图像补全方法
CN109671030B (zh) * 2018-12-10 2021-04-20 西安交通大学 一种基于自适应秩估计黎曼流形优化的图像补全方法
CN109754008B (zh) * 2018-12-28 2022-07-19 上海理工大学 基于矩阵分解的高维对称稀疏网络缺失信息的估计方法
CN109754008A (zh) * 2018-12-28 2019-05-14 上海理工大学 基于矩阵分解的高维对称稀疏网络缺失信息的估计方法
CN109978783A (zh) * 2019-03-19 2019-07-05 上海交通大学 一种彩色图像修复方法
CN111025385A (zh) * 2019-11-26 2020-04-17 中国地质大学（武汉） 一种基于低秩和稀疏约束的地震数据重建方法
CN111597440A (zh) * 2020-05-06 2020-08-28 上海理工大学 一种基于内在加权矩阵三分解低秩近似的推荐***信息估计方法
CN111881413B (zh) * 2020-07-28 2022-12-09 中国人民解放军海军航空大学 基于矩阵分解的多源时间序列缺失数据恢复方法
CN111881413A (zh) * 2020-07-28 2020-11-03 中国人民解放军海军航空大学 基于矩阵分解的多源时间序列缺失数据恢复方法
CN112184571A (zh) * 2020-09-14 2021-01-05 江苏信息职业技术学院 一种基于非凸秩近似的鲁棒主成分分析方法
CN112564945A (zh) * 2020-11-23 2021-03-26 南京邮电大学 一种基于时序先验和稀疏表示的ip网络流量估计方法
CN112564945B (zh) * 2020-11-23 2023-03-24 南京邮电大学 一种基于时序先验和稀疏表示的ip网络流量估计方法
CN112561842A (zh) * 2020-12-07 2021-03-26 昆明理工大学 基于字典学习的多源受损图像融合与恢复联合实现方法
CN112561842B (zh) * 2020-12-07 2022-12-09 昆明理工大学 基于字典学习的多源受损图像融合与恢复联合实现方法
CN112734763A (zh) * 2021-01-29 2021-04-30 西安理工大学 基于卷积与k-svd字典联合稀疏编码的图像分解方法
CN113112563A (zh) * 2021-04-21 2021-07-13 西北大学 一种优化区域知识先验的稀疏角cb-xlct成像方法
CN113112563B (zh) * 2021-04-21 2023-10-27 西北大学 一种优化区域知识先验的稀疏角cb-xlct成像方法
CN114253959B (zh) * 2021-12-21 2024-07-12 大连理工大学 一种基于动力学原理与时间差分的数据补全方法
CN115508835A (zh) * 2022-10-28 2022-12-23 广东工业大学 一种基于盲压缩感知的层析sar三维成像方法
CN115508835B (zh) * 2022-10-28 2024-03-15 广东工业大学 一种基于盲压缩感知的层析sar三维成像方法

Similar Documents

Publication Publication Date Title
CN107133930A (zh) 基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法
CN109241491A (zh) 基于联合低秩和稀疏表示的张量结构性缺失填充方法
CN104867119B (zh) 基于低秩矩阵重建的结构性缺失图像填充方法
CN110119780A (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN102142137B (zh) 基于高分辨率字典的稀疏表征图像超分辨重建方法
CN103871041B (zh) 基于认知正则化参数构建的图像超分辨率重构方法
CN104050653B (zh) 基于非负结构稀疏的高光谱图像超分辨率方法
CN106600538A (zh) 一种基于区域深度卷积神经网络的人脸超分辨率算法
CN105488776B (zh) 超分辨率图像重建方法和装置
CN106067161A (zh) 一种对图像进行超分辨的方法
CN103345643B (zh) 一种遥感图像分类方法
CN104751472B (zh) 基于b样条小波和深度神经网络的织物疵点检测方法
CN106919952A (zh) 基于结构稀疏表示和内部聚类滤波的高光谱异常目标检测方法
CN105931264B (zh) 一种海面红外小目标检测方法
CN106203625A (zh) 一种基于多重预训练的深层神经网络训练方法
CN105118078B (zh) 欠采样的ct图像重建方法
CN105957022A (zh) 低秩矩阵重建带有随机值脉冲噪声缺失图像恢复方法
CN105981050A (zh) 用于从人脸图像的数据提取人脸特征的方法和***
CN107154064A (zh) 基于深度稀疏编码的自然图像压缩感知重建方法
CN104794455B (zh) 一种东巴象形文字识别方法
CN109872278A (zh) 基于u形网络和生成对抗网络的图像云层移除方法
CN105719262B (zh) 基于子字典稀疏重构的全色与多光谱遥感图像融合方法
CN108053456A (zh) 一种pet重建图像优化方法及***
CN110139046A (zh) 一种基于张量的视频帧合成方法
CN104361574A (zh) 一种基于稀疏表示的无参考彩色图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170905