CN104851079A - 基于噪声/模糊图像对的低照度车牌图像恢复方法 - Google Patents

Abstract

本发明涉及图像信息处理领域，具体公开了一种基于噪声/模糊图像对的低照度车牌图像恢复方法，首先对低照度拍摄相机设置编码曝光，采集长时、短时曝光时间交替的图像序列，然后对短曝光噪声图像进行去噪处理，抑制低照度噪声。在此基础上，利用去噪图像和长曝光模糊图像，进行模糊核估计和优化。最后针对低照度环境下大强度混合噪声特点，对模糊图像进行去模糊。与传统的低照度车牌图像恢复算法相比，能够充分利用不同曝光时间的车牌图像包含的信息，更好地应对低照度混合噪声环境，获得更高质量的低照度车牌恢复图像。

Description

基于噪声/模糊图像对的低照度车牌图像恢复方法

技术领域

本发明属于图像信息处理领域，具体涉及低照度车牌图像恢复方法。

背景技术

低照度环境下，采用编码曝光技术能够获得长曝光和短曝光的图像，其中短曝光图像边缘清晰，但噪声强度大，信噪比低；长曝光图像信噪比较高，但有明显的运动模糊。在模糊核估计过程中，将短曝光大噪声图像和长曝光模糊图像相结合，能够比传统方法获得更高的估计精度。低照度拍摄条件下，运动车辆车牌图像信噪比低，噪声强度大且成分复杂，而目前大部分图像复原方法都是针对某种已知分布的特定的先验项，往往只能解决噪声成分相对单一的情况，对于混合噪声来说效果很难保证，因此无法解决低照度环境中混合噪声情况下的图像复原问题。通过对现有先验项进行有效组合，能够使图像复原算法更好地应对混合噪声情况，提高低照度条件下图像恢复效果。

发明内容

本发明为解决低照度车牌图像恢复问题，提供一种基于噪声/模糊图像对的低照度车牌图像恢复方法，具体技术方案如下

一种基于噪声/模糊图像对的低照度车牌图像恢复方法，包括如下步骤：

(S1)对低照度拍摄相机设置编码曝光，分别采集长时、短时曝光时间的车牌图像，记为短曝光噪声图像和长曝光模糊图像；

(S2)对短曝光噪声图像进行去噪处理，并利用去噪后的图像和长曝光模糊图像，进行模糊核估计，获得初始模糊核估计值；

(S3)对初始模糊核进行优化处理；

(S4)将长曝光模糊图像进行去模糊处理，获得恢复车牌图像。

进一步，所述步骤(S2)中的去噪方法采用双边滤波算法。

进一步，所述步骤(S2)中的模糊核估计过程为：

设置目标约束：

min{||Ak-b||₂+λ²||k||₂}

其中，||||₂为2范数，A为去噪图像的矩阵形式，b,k分别为向量形式的长曝光模糊图像和模糊核，λ为系数；

将目标约束转化为求解方程：(A^TA+λ²E₀)k＝A^Tb，

求解的到模糊核估计值为：其中，T表示矩阵转置，()^-1表示矩阵求逆，E₀为单位矩阵。

进一步，所述步骤(S3)的具体过程为，

将优化处理转化公式 $\left\{\begin{array}{c}I*=\arg {\mathrm{}\min }_I\{{\left|\right|B-I\⊗K\left|\right|}_2^2+{\mathrm{\μ}}_1{\left|\right|\▿I\left|\right|}_2^2\}\\ K*=\arg {\mathrm{}\min }_I\{{\left|\right|B-I\⊗K\left|\right|}_2^2+{\mathrm{\μ}}_2{\left|\right|K\left|\right|}_2^2\}\end{array}\right.$ 的最小化过程，其中，B表示迭代处理过程中的模糊图像，B的迭代初始值为长曝光模糊图像的矩阵形式，I表示迭代过程中的清晰图像，I迭代初始值为短曝光噪声图像进行去噪处理后的图像；K表示迭代过程中的模糊核，其迭代初始值为模糊核估计值 符号为卷积运算，▽为求梯度运算，K*为优化后的模糊核，I*为K*对应的去模糊图像，μ₁,μ₂为系数；

采用共轭梯度法求解该优化问题，得到优化后模糊核K*。

进一步，所述步骤(S4)的具体过程为：

设长曝光模糊车牌图像像素行列数分别为m,n，I_v为向量形式的车牌恢复图像。对于像素(i,j)，其梯度近似可以写成G_(i,j)I_v，其中G_(i,j)＝[e_i+1+(j-1)m-e_i+(j-1)m,e_i+jm-e_i+(j-1)m]^T，e_r表示第r位置取值为1，其他位置取值为0的mn维向量，即：

通过G_(i,j)组合成梯度矩阵G：

$G=\left(\begin{array}{c}{G}_{\left(\mathrm{1,1}\right)}\\ .\\ .\\ .\\ G_{(m,n)}\end{array}\right)$

设K_ma为K*的矩阵形式，I_v，b分别为向量形式的车牌恢复图像和长曝光车牌模糊图像，引入先验项和||K_maI_v-b||₁，低照度模糊图像去模糊问题归结为求解下述问题：

$\underset{I_v}{\min }{\mathrm{\λ}}_1{\left|\right|K_{\mathrm{ma}}{I}_v-b\left|\right|}_1+{\mathrm{\λ}}_2{\left|\right|K_{\mathrm{ma}}{I}_v-b\left|\right|}_2^2+{\mathrm{\λ}}_3{\left|\right|{\mathrm{GI}}_v\left|\right|}_1$

其中λ₁，λ₂，λ₃为系数，求解该优化问题，获得低照度车牌恢复图像的向量形式，表示为I_vm，将I_vm转化为矩阵形式为I_m，即获得车牌恢复图像。

采用本发明获得的有益效果，本发明方法首先对低照度拍摄相机设置编码曝光，采集长时、短时曝光时间的图像。其中，短曝光图像边缘清晰，但噪声强度大，信噪比低；长曝光图像信噪比较高，但有明显的运动模糊。然后对短曝光噪声图像进行去噪处理，并利用去噪图像和长曝光模糊图像，进行模糊核估计和优化。最后针对低照度环境下大强度混合噪声特点，对模糊图像进行去模糊。与传统的低照度车牌图像恢复算法相比，能够充分利用不同曝光时间的车牌图像包含的信息，更好地应对低照度混合噪声环境，获得更高质量的低照度车牌恢复图像。

附图说明

图1是本发明所述方法的流程图；

图2是长曝光模糊图像；

图3是短曝光噪声图像；

图4是采用现有技术去模糊获得的车牌恢复图像；

图5是本方法去模糊获得的车牌恢复图像。

具体实施方式：

下面，将结合附图和具体实施例对本发明作进一步说明。

如图1所示，本发明提供了一种基于噪声/模糊图像对的低照度车牌图像恢复方法，包括如下步骤：

步骤一：对低照度拍摄相机设置编码曝光，采集长时、短时曝光时间的图像，如图2所示为短曝光噪声图像、图3为长曝光模糊图像。

步骤二：对短曝光噪声图像进行去噪处理，利用短曝光去噪图像和长曝光模糊图像，进行模糊核估计，获得初始模糊核估计值；

首先对短曝光噪声图像I_N进行去噪预处理，采用双边滤波算法(具体参考文献[2])获得去噪图像I_ND。综合考虑恢复图像的精度和模糊核的稀疏性(具体参考文献[1])，目标约束项如下：

min{||Ak-b||₂+λ²||k||₂}

其中，A为去噪图像的矩阵形式，b,k分别为向量形式的长曝光模糊图像和模糊核，λ为系数。上述目标约束可以转化为求解方程：

(A^TA+λ²E₀)k＝A^Tb

得到向量形式的模糊核近似值为：

$\hat{k}={(A^{T}A+{\mathrm{\λ}}^2{E}_0)}^{-1}{A}^{T}b$

其中，()^-1表示矩阵求逆，E₀为单位矩阵。

步骤三：在获得初始模糊核基础上，进一步对模糊核进行优化；

优化过程可以转化为下述公式的最小化：

$\left\{\begin{array}{c}I*=\arg {\mathrm{}\min }_I\{{\left|\right|B-I\⊗K\left|\right|}_2^2+{\mathrm{\μ}}_1{\left|\right|\▿I\left|\right|}_2^2\}\\ K*=\arg {\mathrm{}\min }_I\{{\left|\right|B-I\⊗K\left|\right|}_2^2+{\mathrm{\μ}}_2{\left|\right|K\left|\right|}_2^2\}\end{array}\right.$

其中，B表示迭代处理过程中的模糊图像，B的迭代初始值为长曝光模糊图像的矩阵形式，I表示迭代过程中的清晰图像，I迭代初始值为短曝光噪声图像进行去噪处理后的图像；K表示迭代过程中的模糊核，其迭代初始值为模糊核估计值 符号为卷积运算，▽为求梯度运算，K*为优化后的模糊核，I*为K*对应的去模糊图像，μ₁,μ₂为系数；本文实施例中取μ₁＝μ₂＝1。

步骤四：针对低照度环境下大强度混合噪声特点，对长曝光车牌模糊图像进行去模糊。

低照度环境下拍摄的视频噪声种类繁多，包括高斯噪声、泊松噪声、脉冲噪声等，且成分复杂、噪声强度大，而现有的去模糊算法往往只能处理低噪声模糊图像，对于低照度大噪声模糊图像难以取得理想效果。图4为采用Lu Yuan去模糊算法(具体参考文献[1])得到的去模糊效果，车牌字符无法辨认。因此需要针对低照度环境下的噪声特点设计新型的去模糊算法。

设长曝光模糊车牌图像像素行列数分别为m,n，I_v为向量形式的车牌恢复图像。对于像素(i,j)，其梯度近似可以写成G_(i,j)I_v，其中G_(i,j)＝[e_i+1+(j-1)m-e_i+(j-1)m,e_i+jm-e_i+(j-1)m]^T，e_r表示第r位置取值为1，其他位置取值为0的mn维向量，即：

通过G_(i,j)组合成梯度矩阵G：

$G=\left(\begin{array}{c}{G}_{\left(\mathrm{1,1}\right)}\\ .\\ .\\ .\\ G_{(m,n)}\end{array}\right)$

设K_ma为K*的矩阵形式，I_v，b分别为向量形式的车牌恢复图像和长曝光车牌模糊图像。为了适应低照度环境下混合复杂噪声的情况，引入先验项和||K_maI_v-b||₁。其中，先验项对于高斯噪声和高斯-泊松混合噪声效果明显，而先验项||K_maI_v-b||₁能够更好地处理脉冲和高斯、脉冲混合噪声，因此将两种先验项进行组合以解决混合复杂噪声问题。

低照度模糊图像去模糊问题可以归结为求解下述问题：

$\underset{I_v}{\min }{\mathrm{\λ}}_1{\left|\right|K_{\mathrm{ma}}{I}_v-b\left|\right|}_1+{\mathrm{\λ}}_2{\left|\right|K_{\mathrm{ma}}{I}_v-b\left|\right|}_2^2+{\mathrm{\λ}}_3{\left|\right|{\mathrm{GI}}_v\left|\right|}_1$

其中λ₁，λ₂，λ₃为系数，具体实施过程中取值为λ₁＝λ₂＝λ₃＝1。按照参考文献[3]中方法，求解该优化问题，获得低照度车牌恢复图像如图5所示。

参考文献

[1]Lu Yuan,Jian Sun,Long Quan,Heung-Yeung Shum,Image Deblurring withBlurred/Noisy Image Pairs,ACM TOG,2007.

[2]张闯,迟健男,张朝晖,王志良,基于边缘检测与双边滤波的彩色图像去噪,电子学报,2010.

[3]A.Levin,Blind Motion deblurring using image statistics,NeuralInformation Processing Systems，2006.

以上实施例的说明只是用于帮助和理解本发明的方法及其核心思想，应当指出，对于所述技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰和改进，这些修饰和改进也落入本发明权利要求的保护范围内。

Claims (5)

1.一种基于噪声/模糊图像对的低照度车牌图像恢复方法，其特征在于，包括如下步骤：

(S1)对低照度拍摄相机设置编码曝光，分别采集长时、短时曝光时间的车牌图像，记为短曝光噪声图像和长曝光模糊图像；

(S2)对短曝光噪声图像进行去噪处理，并利用去噪后的图像和长曝光模糊图像，进行模糊核估计，获得初始模糊核估计值；

(S3)对初始模糊核进行优化处理；

(S4)将长曝光模糊图像进行去模糊处理，获得恢复车牌图像。

2.如权利要求1所述的一种基于噪声/模糊图像对的低照度车牌图像恢复方法，其特征在于，所述步骤(S2)中的去噪方法采用双边滤波算法。

3.如权利要求1所述的一种基于噪声/模糊图像对的低照度车牌图像恢复方法，其特征在于，所述步骤(S2)中的模糊核估计过程为：

设置目标约束：

min{||Ak-b||₂+λ²||k||₂}

其中，A为去噪图像的矩阵形式，b,k分别为向量形式的长曝光模糊图像和模糊核,λ为系数；

将目标约束转化为求解方程：(A^TA+λ²E₀)k＝A^Tb，

求解的到模糊核估计值为：其中，T表示矩阵转置，()^-1表示矩阵求逆，E₀为单位矩阵。

4.如权利要求1所述的一种基于噪声/模糊图像对的低照度车牌图像恢复方法，其特征在于，所述步骤(S3)的具体过程为，

将优化处理转化公式 $\left\{\begin{array}{c}{I}^{*}=\arg {\min }_I\{{\left|\right|B-I\⊗K\left|\right|}_2^2+{\mathrm{\μ}}_1{\left|\right|\▿I\left|\right|}_2^2\}\\ K^{*}=\arg {\min }_I\{{\left|\right|B-I\⊗K\left|\right|}_2^2+{\mathrm{\μ}}_2{\left|\right|K\left|\right|}_2^2\}\end{array}\right.$ 的最小化过程，其中，B表示迭代处理过程中的模糊图像，B的迭代初始值为长曝光模糊图像的矩阵形式，I表示迭代过程中的清晰图像，I迭代初始值为短曝光噪声图像进行去噪处理后的图像；K表示迭代过程中的模糊核，其迭代初始值为模糊核估计值 符号为卷积运算，▽为求梯度运算，K*为优化后的模糊核，I*为K*对应的去模糊图像，μ₁,μ₂为系数；采用共轭梯度法求解该优化问题，得到优化后模糊核K*。

5.如权利要求1所述的一种基于噪声/模糊图像对的低照度车牌图像恢复方法，其特征在于，所述步骤(S4)的具体过程为：

设长曝光模糊车牌图像像素行列数分别为m,n，I_v为向量形式的车牌恢复图像；对于像素(i,j)，其梯度近似可以写成G_(i,j)I_v，其中G_(i,j)＝[e_i+1+(j-1)m-e_i+(j-1)m,e_i+jm-e_i+(j-1)m]^T，e_r表示第r位置取值为1，其他位置取值为0的mn维向量，即：

通过G_(ij)组合成梯度矩阵G：

$G=\left(\begin{array}{c}{G}_{\left(\mathrm{1,1}\right)}\\ .\\ .\\ .\\ G_{(m,n)}\end{array}\right)$

设K_ma为K*的矩阵形式，I_v，b分别为向量形式的车牌恢复图像和长曝光车牌模糊图像，引入先验项和||K_maI_v-b||₁，低照度模糊图像去模糊问题归结为求解下述问题：

$\underset{I_v}{\min }{\mathrm{\λ}}_1{\left|\right|K_{\mathrm{ma}}{I}_v-b\left|\right|}_1+{\mathrm{\λ}}_2{\left|\right|K_{\mathrm{ma}}{I}_v-b\left|\right|}_2^2+{\mathrm{\λ}}_3{\left|\right|{\mathrm{GI}}_v\left|\right|}_1$

其中λ₁，λ₂，λ₃为系数，求解该优化问题，获得低照度车牌恢复图像。