CN105957043B - 基于梯度自动激活的模糊图像盲复原方法 - Google Patents

Abstract

本发明公开了一种基于梯度自动激活的模糊图像盲复原方法，用于解决现有模糊图像盲复原方法实用性差的技术问题。技术方案是在图像梯度上估计模糊核，在迭代更新图像梯度估计和图像模糊核的过程中，以增量形式自动激活部分最重要的梯度成分为非零元素并对非零梯度值进行估计。进而只用含有稀疏非零元素的梯度图像更新模糊核。利用估计得到的准确模糊核。本发明能够针对多种模糊核和含有不同内容的模糊图像进行可靠复原，并得到高质量的清晰图像。模型中对梯度激活因子的稀疏约束以及的算法中停止条件设计使得算法能够估计得到的稀疏而准确的图像梯度、保证了算法对噪声的鲁棒和、参数的不敏感以及较好的时效性。

Description

基于梯度自动激活的模糊图像盲复原方法

技术领域

本发明涉及一种模糊图像盲复原方法，特别是涉及一种基于梯度自动激活的模糊图像盲复原方法。

背景技术

在图像拍摄中，模糊为一种常见的图像退化形式。图像中的模糊通常由相机镜头对焦不准或者曝光期间相机与拍摄目标之间的相对运动造成。复原模糊图像对于提升图像视觉效果和提取图像信息有重要意义。图像去模糊问题中，通常使用模糊核表示模糊的形式。针对模糊核未知的模糊图像盲复原问题，估计准确的模糊核为问题难点及问题核心。

文献“Cho,Sunghyun,and Seungyong Lee."Fast motion deblurring."ACMTransactions on Graphics(TOG).Vol.28.No.5.ACM,2009.”提出一种基于物体边缘的模糊图像盲复原方法。该方法迭代估计清晰图像与图像模糊核，在迭代过程中，每次迭代首先固定前一步估计得到的模糊核，通过求解优化问题估计清晰图像，然后，固定估计得到的清晰图像来估计模糊核。在进行模糊核更新时，该方法利用双边滤波器对估计得到的清晰图像进行边缘增强处理，使处理后的图像中仅保留符合双边滤波器定义的强边缘，进而利用该滤波后的图像估计模糊核。该方法依赖于图像中含有较强的并且孤立的边缘，且依赖于边缘能够在双边滤波器作用下有较强的响应。

发明内容

为了克服现有模糊图像盲复原方法实用性差的不足，本发明提供一种基于梯度自动激活的模糊图像盲复原方法。该方法在图像梯度上估计模糊核，在迭代更新图像梯度估计和图像模糊核的过程中，以增量形式自动激活部分最重要的梯度成分为非零元素并对非零梯度值进行估计。进而只用含有稀疏非零元素的梯度图像更新模糊核。利用估计得到的准确模糊核。本发明可以针对多种模糊核和含有不同内容的模糊图像进行可靠复原，并得到高质量的清晰图像。模型中对梯度激活因子的稀疏约束以及的算法中停止条件设计使得算法可以估计得到的稀疏而准确的图像梯度、保证了算法对噪声的鲁棒和、参数的不敏感以及较好的时效性。

本发明解决其技术问题所采用的技术方案是：一种基于梯度自动激活的模糊图像盲复原方法，其特点是包括以下步骤：

步骤一、给定模糊图像y，首先求模糊图像y梯度利用图像在水平与垂直方向的梯度，定义为

其中与分别表示模糊图像y在竖直方向与水平方向的梯度，即令和并且*表示卷积操作。

步骤二、给定通过求解式(2)估计清晰图像梯度模糊核k和梯度激活因子τ:

其中，τ为梯度激活因子，其中的元素仅取值0或1，用于指示中相应位置处的元素是否被激活，即当τ_j＝1时为非零值，即当τ_j＝0时必须为0，j表示τ和中的相同位置，⊙表示逐元素点乘运算。Λ＝{τ:||τ||₀≤κ,τ∈{0,1}ⁿ}为τ的取值域，n表示的元素个数，λ和γ为非负惩罚系数，零范数||·||₀表示τ中非零元素的个数，κ为大于等于1的正整数。式(2)中的约束项||k||₁＝1,k≥0表示k中元素应为非负数且总和为1。对于式(2)的求解，首先，对于进行初始化，令然后循环执行以下步骤1和步骤2直到设定的迭代次数T。

1.固定求解图像模糊核k。具体方法为：

然后令k的解中的负数为零，并对k做归一化，即令其中k_i表示k的第i个元素。式(2)存在一个封闭形式的解，利用快速傅里叶变化加快求解速度，求解公式为：

其中，F(·)和F^-1(·)分别表示二维快速傅里叶变换与逆变换，为F(·)的共轭，I为单位矩阵。通过式(4)求得固定图像情况下的模糊核。

2.固定k，求解清晰图像梯度以及相应的梯度激活向量τ。具体方法为,首先引入中间变量并求解式(5)

式(5)通过以下步骤迭代求解。

1)变量初始化，令τ⁰＝0，k＝0，其中，0表示零向量，k表示迭代计数。定义目标函数值并计算f⁰。估计κ值。对当前模糊核k进行顺时针旋转180°后得到计算得到对g取绝对值，得到求的最大值为g_max，统计中大于δ×g_max的元素个数设为κ，其中δ为取值范围为[0,1)的实数。

2)首先令k＝k+1，对当前模糊核k进行顺时针旋转180°后得到计算得到g^k与和τ尺寸相同，通过g^k中元素的值确定τ^k的中相同位置处的元素为0或1，即是否激活相应位置处的梯度。具体方法为，对g^k取绝对值，得到依据元素值的大小从中取前κ个元素在中的空间位置，并记录在集合C^k中。由于与g^k、和τ尺寸相同，C^k中的每个元素j∈C^k可以对应于g^k、和τ中相应的位置。在每次迭代中，应保证任意放入C^k中的元素j∈C^k对应有即新被激活的梯度应为之前迭代中未被激活的。在记录C^k的同时，首先令τ^k＝τ^k-1，然后更新对于定义S^k为一个记录τ^k中所有1元素位置的集合，用(S^k)^C表示S^k的补集，全集为图像中的所有像素点的位置集合。

3)在C^o,o＝1,...k和S^k的基础上，求解式(6)得到

其中和表示的子图像，各自的元素对应于S^k和C^o中元素指定的位置。中元素仍保持原空间位置不变，因此为针对于S^k中元素的二维卷积。更新通过求解式(6)进行，令中被激活的图像梯度区域为令中未激活部分为零，即 表示中被位置集合S^k指示的部分，表示中未被位置集合S^k指示的部分。式(6)通过以下方法迭代求解：

i)初始化其中为中被S^k指示的部分的值，t为迭代计数。定义目标函数值并计算g⁰。

ii)令t＝t+1。计算其中通过对模糊核k进行顺时针旋转180°后得到，ρ为一个大于零的实数，表示梯度下降步长。

iii)根据C^o,o＝1,...k中元素指示位置，从d中提取得到k个子图分别计算各子图的二范数值为对k个v_o,o＝1,...,k降序排序得到序列w₁≥...≥w_k。基于序列w₁,...,w_k在1,...,k中寻找一个最大序号值满足以下条件(7)。

计算并通过式(8)计算得到序列α₁,...,α_k。

利用序列α₁,...,α_k对d进行处理，令d中对应于位置集合C^o,o＝1,...k中的元素按照式(9)中的原则转换。

然后更新

vi)计算目标函数值g^t，若满足条件|g^t-g^t-1|/|g⁰|<ε_in或t≥t_max，则停止更新，返回为更新后的若条件不满足，则跳转至步骤ii)并继续执行步骤ii)-vi)。

4)更新并计算目标函数值f^k，若满足条件|f^t-f^t-¹|/|f⁰|<ε或k≥k_max，则停止迭代，并返回为更新后的若条件不满足，则跳转至步骤2)并继续迭代步骤2)-4)。

当步骤1和步骤2迭代T次之后，得到估计的模糊核k。

步骤三、利用估计得到的模糊核k对模糊图像y进行非盲反卷积得到清晰图像x。非盲反卷积可以通过求解问题(10)实现。

其中，和式(10)为一个全变分模型，通过引入中间变量z_v和z_h，令且将问题等价转换为式(11)，并使用交替方向乘子法求解。

其中，β为惩罚因子。

本发明的有益效果是：该方法在图像梯度上估计模糊核，在迭代更新图像梯度估计和图像模糊核的过程中，以增量形式自动激活部分最重要的梯度成分为非零元素并对非零梯度值进行估计。进而只用含有稀疏非零元素的梯度图像更新模糊核。利用估计得到的准确模糊核。本发明能够针对多种模糊核和含有不同内容的模糊图像进行可靠复原，并得到高质量的清晰图像。模型中对梯度激活因子的稀疏约束以及的算法中停止条件设计使得算法能够估计得到的稀疏而准确的图像梯度、保证了算法对噪声的鲁棒和、参数的不敏感以及较好的时效性。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于梯度自动激活的模糊图像盲复原方法具体步骤如下：

步骤一、给定模糊图像y，求模糊图像y在梯度域中的表示利用图像在水平与垂直方向的梯度，定义为

其中与分别表示模糊图像y在竖直方向与水平方向的梯度，即令和并且*表示卷积操作。

步骤二、给定通过式(2)估计清晰图像梯度模糊核k和梯度激活因子τ:

其中，τ为梯度激活因子，其中的元素仅取值0或1，用于指示中相应位置处的元素是否被激活，即当τ_j＝1时可以为非零值，即当τ_j＝0时必须为0，j表示τ和中的相同位置，⊙表示逐元素点乘运算。Λ＝{τ:||τ||₀≤κ,τ∈{0,1}ⁿ}为τ的取值域，n表示的元素个数，，λ和γ为非负惩罚系数，零范数||·||₀表示τ中非零元素的个数，κ为大于等于1的正整数。设定λ＝0.001和γ＝0.5。式(2)中的约束项||k||₁＝1,k≥0表示k中元素应为非负数且和为1。对于式(2)式的求解，首先，对于进行初始化，令然后循环执行以下步骤1和步骤2直到设定的迭代次数T。设定T＝15。

1.固定求解图像模糊核k。具体方法为：

然后令求解得到的k中的负数为零，并对k做归一化，即令其中k_i表示k的第i个元素。式(2)存在一个封闭形式的解，并可以利用快速傅里叶变化加快求解速度，求解公式为：

其中，F(·)和F^-1(·)分别表示二维快速傅里叶变换与逆变换，为F(·)的共轭，I为单位矩阵。通过式(4)可以求得固定图像情况下的模糊核。

2.固定k，求解清晰图像梯度以及相应的梯度激活向量τ。具体方法为,首先引入中间变量并求解式(5)

式(5)为一个非凸问题，经过凸松弛之后可以迭代求解。

1)变量初始化，令τ⁰＝0，k＝0，其中，0表示零向量，k表示迭代计数。定义目标函数值并计算f⁰。估计κ值。对当前模糊核k进行顺时针旋转180°后得到计算得到对g取绝对值，得到求的最大值为g_max，统计中大于δ×g_max的元素个数设为κ。令δ＝0.6。

2)首先令k＝k+1，对当前模糊核k进行顺时针旋转180°后得到计算得到g^k与和τ尺寸相同，可以通过g^k中元素的值确定τ^k的中相同位置处的元素为0或1，即是否激活相应位置处的梯度。具体方法为，对g^k取绝对值，得到依据元素值的大小从中取前κ个元素在中空间位置，并记录在集合C^k中。由于与g^k、和τ尺寸相同，C^k中的每个元素j∈C^k可以对应于g^k、和τ中相应元素的位置。在每次迭代中，应保证任意放入C^k中的元素j∈C^k对应有即新被激活的梯度应为之前迭代中未被激活的。在记录C^k的同时，首先令τ^k＝τ^k-1，然后更新对于定义S^k为一个记录τ^k中所有1元素位置的集合，用(S^k)^C表示S^k的补集，全集为中所有元素的位置集合。

3)在C^o,o＝1,...k和S^k的基础上，求解式(6)可以得到

其中和表示的子图像，各自的元素对应于S^k和C^o中元素指定的位置。中元素仍保持原空间位置不变，因此为针对于S^k中元素的二维卷积。更新通过求解式(6)实现，令中被激活的图像梯度区域为令中未激活部分为零，即 表示中被位置集合S^k指示的部分，表示中未被位置集合S^k指示的部分。式(6)可以通过以下方法迭代求解：

i)初始化其中为中被S^k指示的部分的值，t为迭代次数。定义目标函数值并计算g⁰。

ii)令t＝t+1。计算其中通过对模糊核k进行顺时针旋转180°后得到，ρ为一个大于零的实数，表示梯度下降步长。设为ρ＝0.5。

iii)根据C^o,o＝1,...k中元素指示位置，从d中提取得到k个子图分别计算各子图的二范数值对k个v_o,o＝1,...,k降序排序得到序列w₁≥...≥w_k。基于序列w₁,...,w_k在1,...,k中寻找一个最大序号值满足以下条件(7)。

计算并通过式(8)计算得到序列α₁,...,α_k。

利用序列α₁,...,α_k对d进行处理，令d中对应于位置结合C^o,o＝1,...k中的元素按照式(9)中的原则转换。

然后更新

vi)计算目标函数值g^t，若满足条件|g^t-g^t-1|/|g⁰|<ε_in或t≥t_max，则停止更新，返回为更新后的若条件不满足，则跳转至ii)并继续执行步骤ii)-vi)。设定ε_in＝10^-6和t_max＝15。

4)更新并计算目标函数值f^k，若满足条件|f^t-f^t-1|/|f⁰|<ε或k≥k_max，则停止迭代，并返回为更新后的若条件不满足，则跳转至步骤2)并继续迭代步骤2)-4)。设定ε＝10^-5和k_max＝15。

当步骤1和步骤2迭代T次之后，停止迭代，得到估计的模糊核k。

步骤三、利用估计得到的模糊核k对模糊图像y进行非盲反卷积得到清晰图像x。非盲反卷积可以通过式(10)实现。

其中，和式(10)为一个全变分模型，可以引入中间变量z_v和z_h，令且将问题等价转换为式(11)，并使用交替方向乘子法求解。

其中，||·||₁为1范数，β为惩罚因子。令β实数范围(0.005,0.1)之间取值，可根据图像实际情况调节参数。

Claims (1)

1.一种基于梯度自动激活的模糊图像盲复原方法，其特征在于包括以下步骤：

步骤一、给定模糊图像y，首先求模糊图像y梯度▽y；利用图像在水平与垂直方向的梯度，定义▽y为

▽y＝[(▽_vy)^T,(▽_hy)^T]^T (1)

其中▽_vy与▽_hy分别表示模糊图像y在竖直方向与水平方向的梯度，即令▽_hy＝[-1,1]*y和▽_vy＝[-1,1]^T*y，并且*表示卷积操作；

步骤二、给定▽y，通过求解式(2)估计清晰图像梯度▽x、模糊核k和梯度激活因子τ:

其中，τ为梯度激活因子，其中的元素仅取值0或1，用于指示▽x中相应位置处的元素是否被激活，即当τ_j＝1时▽x_j为非零值，即当τ_j＝0时▽x_j必须为0，j表示τ和▽x中的相同位置，⊙表示逐元素点乘运算；Λ＝{τ:||τ||₀≤κ,τ∈{0,1}ⁿ}为τ的取值域，n表示▽x的元素个数，λ和γ为非负惩罚系数，零范数||·||₀表示τ中非零元素的个数，κ为大于等于1的正整数；式(2)中的约束项||k||₁＝1,k≥0表示k中元素应为非负数且总和为1；对于式(2)的求解，首先，对于▽x进行初始化，令▽x＝▽y，然后循环执行以下步骤1和步骤2直到设定的迭代次数T；

步骤1.固定▽x，求解图像模糊核k；具体方法为：

然后令k的解中的负数为零，并对k做归一化，即令其中k_i表示k的第i个元素；式(2)存在一个封闭形式的解，利用快速傅里叶变化加快求解速度，求解公式为：

其中，F()和F^-1(·)分别表示二维快速傅里叶变换与逆变换，conj(F(▽x))为F(·)的共轭，I为单位矩阵；通过式(4)求得固定图像情况下的模糊核；

步骤2.固定k，求解清晰图像梯度▽x以及相应的梯度激活向量τ；具体方法为,首先引入中间变量ξ＝▽y-k*(▽x⊙τ)，并求解式(5)

式(5)通过以下步骤迭代求解；

1)变量初始化，令▽x⁰＝0，ξ⁰＝▽y，τ⁰＝0，k＝0，其中，0表示零向量，k表示迭代计数；定义目标函数值并计算f⁰；估计κ值；对当前模糊核k进行顺时针旋转180°后得到计算得到对g取绝对值，得到求的最大值为g_max，统计中大于δ×g_max的元素个数设为κ，其中δ为取值范围为[0,1)的实数；

2)首先令k＝k+1，对当前模糊核k进行顺时针旋转180°后得到计算得到g^k与▽x和τ尺寸相同，通过g^k中元素的值确定τ^k的中相同位置处的元素为0或1，即是否激活相应位置处的梯度；具体方法为，对g^k取绝对值，得到依据元素值的大小从中取前κ个元素在中的空间位置，并记录在集合C^k中；由于与g^k、▽x和τ尺寸相同，

C^k中的每个元素j′∈C^k对应于g^k、▽x和τ中相应的位置；在每次迭代中，应保证任意放入C^k中的元素j′∈C^k对应有即新被激活的梯度应为之前迭代中未被激活的；在记录C^k的同时，首先令τ^k＝τ^k-1，然后更新对于j′∈C^k；定义S^k为一个记录τ^k中所有1元素位置的集合，用(S^k)^C表示S^k的补集，全集为图像中的所有像素点的位置集合；

3)在C^o,o＝1,...,k和S^k的基础上，求解式(6)得到

其中和表示▽x的子图像，各自的元素对应于S^k和C^o中元素指定的位置；中元素仍保持原空间位置不变，因此为针对于S^k中元素的二维卷积；更新▽x^k通过求解式(6)进行，令▽x^k中被激活的图像梯度区域为令▽x^k中未激活部分为零，即 表示▽x^k中被位置集合S^k指示的部分，表示▽x^k中未被位置集合S^k指示的部分；式(6)通过以下方法迭代求解：

i)初始化t＝0，其中为▽x^k-1中被S^k指示的部分的值，t为迭代计数；定义目标函数值并计算g⁰；

ii)令t＝t+1；计算其中通过对模糊核k进行顺时针旋转180°后得到，ρ为一个大于零的实数，表示梯度下降步长；

iii)根据Co,o＝1,...,k中元素指示位置，从d中提取得到k个子图分别计算各子图的二范数值为对k个v_o,o＝1,...,k降序排序得到序列w₁≥...≥w_k；基于序列w₁,...,w_k在1,...,k中寻找一个最大序号值满足以下条件(7)；

计算并通过式(8)计算得到序列α₁,...,α_k；

利用序列α₁,...,α_k对d进行处理，令d中对应于位置集合Co,o＝1,...,k中的元素按照式(9)中的原则转换；

然后更新

vi)计算目标函数值g^t，若满足条件|g^t-g^t-1|/|g⁰|＜ε_in或t≥t_max，则停止更新，返回为更新后的若条件不满足，则跳转至步骤ii)并继续执行步骤ii)-vi)；

4)更新ξ^k＝▽y-k*▽x^k，并计算目标函数值f^k，若满足条件|f^t-f^t-1|/|f⁰|＜ε或k≥k_max，则停止迭代，并返回▽x^k为更新后的▽x；若条件不满足，则跳转至步骤2)并继续迭代步骤2)-4)；

当步骤1和步骤2迭代T次之后，得到估计的模糊核k；

步骤三、利用估计得到的模糊核k对模糊图像y进行非盲反卷积得到清晰图像x；非盲反卷积通过求解式(10)实现；

其中，▽_hx＝[-1,1]*x和▽_vx＝[-1,1]^T*x；式(10)为一个全变分模型，通过引入中间变量z_v和z_h，令z_v＝▽_vx且z_h＝▽_hx，将问题等价转换为式(11)，并使用交替方向乘子法求解；

其中，β为惩罚因子。