CN104463130A - 一种基于评估反馈***的车牌图像光照处理方法 - Google Patents

Abstract

本发明公开了一种基于评估反馈***的车牌图像光照处理方法，包括下述步骤：(1)将输入的车牌图像由RGB模型转换为HSV模型；(2)对V分量进行一系列光照处理；(3)对增强后的车牌图像进行局部自适应阈值处理得到车牌二值图像；(4)评估车牌二值图像中车牌字符情况；(5)判断是否满足停止反馈的条件；(6)判断是否需要人眼观察的选择，若需要则对车牌二值图像骨架化，然后作为种子点在车牌增强图像上进行区域生长法，并对生长区域进行像素值的提升；若不需要则直接进行车牌字符识别并输出计算机识别结果。本发明有效地解决了车牌号码在复杂光照环境下难以被人眼和计算机识别的问题，从而提高了车牌号码的识别率。

Description

一种基于评估反馈***的车牌图像光照处理方法

技术领域

本发明涉及车牌识别的研究领域，特别涉及一种基于评估反馈***的车牌图像光照处理方法。

背景技术

车牌号码识别作为智能交通***不可或缺的重要组成部分，已逐渐发展成为车辆身份识别的主要手段并广泛地应用在监测报警、违章处罚、出入管理及高速公路收费管理等领域。在过去十年里，车牌识别技术虽然已经取得很大进展，但在一些实际的应用中，光照、角度、分辨率和车牌类型等众多因素不同程度地影响则识别率，其中光照是较常见的一种干扰因素。目前光照处理方法大体分为三类：基于学习的方法、基于特征的方法和基于归一化的方法。基于学习的方法通过搜集不同光照情景下的样本并直接用于训练出包含样本中不同光照情形的全局模型，如线性子空间和流型模型，然后再推广到新图片中的未知光照情况；至于基于特征的方法通过提取图像中光照不变特征，这些特征包括几何特征和纹理特征；最后是基于归一化的方法，该方法通过“归一化”处理去除图像中光照成分，从而减低光照对识别的影响，其中近年来，基于频域的LTV模型光照处理方法引起较大关注。但该方法在光照变化剧烈时容易出现光照不变量划分不精确以及参数优化过于随机的问题，同时算法复杂度较高导致运算耗时。综上所述，现有光照处理方法的缺点主要体现为以下两点：1、光照变化剧烈情景下稳定性差；2、参数或特征的选择需要经验，不够智能。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于评估反馈***的车牌图像光照处理方法，该方法有效地解决了车牌号码在复杂光照环境下难以被人眼和计算机识别的问题，从而提高了车牌号码的识别率。

为了到达上述目的，本发明采用以下技术方案：

一种基于评估反馈***的车牌图像光照处理方法，包括下述步骤：

(1)将输入的车牌图像由RGB模型转换为HSV模型；

(2)对V分量进行一系列光照处理，首先用Gamma校正增强图像亮度，再进行高斯差分滤波去除光照中的高频分量，然后根据掩膜函数提取需要进一步处理的区域，最后采用对比度均衡化增强图像光照的对比度，从而达到去除光照中不均匀同时最大程度保留图像有用细节并增强图像对比度；

(3)对增强后的车牌图像进行局部自适应阈值处理得到车牌二值图像；

(4)评估车牌二值图像中车牌字符情况，即进行基于八邻域的连通域标记并计算每个连通域的面积、位置、长宽比和域间间距参数；

(5)判断是否停止反馈，即首先判断是否满足车牌字符标准，即将连通域参数与经验阈值相比较，若满足则输出该二值图像并退出评估反馈***，若不满足则对比历史情况并缓存最好结果及对应二值图像；然后判断是否达到设定的循环上限的次数，若达到则输出缓存中二值图像并退出评估反馈***，若未达到则输出调整后的新光照处理参数并重新进行光照处理；

(6)判断是否需要人眼观察的选择，若需要则将步骤(4)中车牌二值图像与车牌增强图像进行图像融合输出视觉增强结果，即对车牌二值图像骨架化，然后作为种子点在车牌增强图像上进行区域生长法，并对生长区域进行像素值的提升；若不需要则直接进行车牌字符识别并输出计算机识别结果。

优选的，步骤(2)中，Gamma校正的计算公式为：

g(x,y)＝c[f(x,y)]^γ

式中f(x,y)是输入图像，g(x,y)是输出图像，c为任意值用于调整图像对比度，γ在0～1之间，用于调整图像亮度。

优选的，步骤(2)中，高斯差分滤波的计算公式为：

$g(x,y)=e^{-\frac{{(f(x,y)-\mathrm{\μ})}^2}{2{{\mathrm{\σ}}_1}^2}}-e^{-\frac{{(f(x,y)-\mathrm{\μ})}^2}{2{{\mathrm{\σ}}_2}^2}}$

式中f(x,y)是输入图像，g(x,y)是输出图像，μ为均值，σ_n(n＝1,2)为方差。

优选的，步骤(2)中，掩膜的计算公式为：

$g(x,y)=\left\{\begin{array}{cc}f(x,y),& \mathrm{if\; mask}(x,y)=1\\ 0,& \mathrm{otherwise}\end{array}\right.$

式中f(x,y)是输入图像，g(x,y)是输出图像，mask(x,y)是掩膜图像。

优选的，步骤(2)中，对比度均衡化的计算公式为：

$g_1(x,y)=\frac{f(x,y)}{{\left(\mathrm{mean}\left({\left|f(x^{\′},y^{\′})\right|}^{\mathrm{\α}}\right)\right)}^{\frac{1}{\mathrm{\α}}}}$

$g_2(x,y)=\frac{g_1(x,y)}{{\left(\mathrm{mean}\left(\min {(\mathrm{\τ},|g_1(x^{\′},y^{\′})\left|\right)}^{\mathrm{\α}}\right)\right)}^{\frac{1}{\mathrm{\α}}}}$

$g_3(x,y)=\tanh \left(\frac{g_2(x,y)}{\mathrm{\τ}}\right)$

式中f(x,y)是输入图像，g_n(x,y)(n＝1,2,3)是输出图像，α是压缩性指数用于降低大像素值的影响，τ用于第一步归一化后截除图像中大像素值。

优选的，步骤(3)具体为：

(3-1)将图像分成m*n个等大的小区域，其中n>m>0；

(3-2)每个小区域内进行OTSU处理，将所有阈值组成的二维矩阵记作Mat_T₀；

(3-3)对所有Mat_T₀进行3*3的高斯滤波输出Mat_T₁，然后根据Mat_T₁进行每个区域的图像二值化。

优选的，步骤(3-2)中，进行OTSU处理的具体方法为：

(3-2-1)设定一个初始阈值T，其中T的计算公式如下所示：

T＝wp₁+(1-w)p₂

式中，p₁和p₂为图像中任意像素值；w为权重值；

(3-2-2)利用T分割图像，产生两组相像素：亮度值大于等于T的所有像素组成G₁，亮度值小于T的所有像素组成G₂；

(3-2-3)计算G₁和G₂范围内的像素的平均亮度值μ₁和μ₂；

(3-2-4)计算新的T，如下式所示：

T＝wμ₁+(1-w)μ₂

(3-2-5)重复步骤(3-2-2)至(3-2-4)，直到T的变化小于一个预定值T₀为止。

优选的，步骤(5)中，若输出效果和输入参数构成单峰函，则采用下述处理方法：

先将该算法的五个参数进行分析，略去次要参数，留下DOG滤波的两个参数——高斯滤波的均方差σ₁/σ₂，再固定σ₁/σ₂，对σ₁/σ₂进行基于黄金分割法的优选，然后固定σ₁/σ₂反过来做σ₁/σ₂的优选，如此循环直到σ₁/σ₂变化小于一定范围为止。

优选的，步骤(5)中，若输出效果和输入参数构成非单峰函，则采用下述处理方法：

先将该算法的两个参数——每行网格数和每列网格数r₁/r₂的取值范围限制在[3,9]之间，再将取值范围粗糙化为{3,6,9}且根据车牌宽高比规定r₁/r₂>r₁/r₂，然后计算此时的最优解r_1n/r_2n，然后在r_1n/r_2n±2范围内计算最优解。

优选的，步骤(5)中，循环上限的次数为10次。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明提出的光照处理方法采用了一系列简单的光照预处理方法，如Gamma校正、高斯滤波差分运算和对比度均衡化等，去除车牌图像中反射光成分，从而保留入射光成分得到增强图像，比起基于频域的LTV模型光照处理方法效果基本相当，但效率上提高不少。

2、本发明利用局部阈值法代替全局阈值法，提高了光照不均情况下字符提取的有效性。

3、本发明最后创新性地加入了评估反馈***，根据评估局部阈值处理后的二值图像的字符提取情况调节光照处理算法的参数，使光照处理发挥更加智能和稳定。

4、本发明提供了计算机字符识别和人眼视觉增强两种输出结果，以拓展该方法的实际使用范围。

附图说明

图1是本发明基于评估反馈***的车牌图像光照处理方法的总流程图；

图2是本发明评估反馈***的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1、图2所示，基于评估反馈***的车牌图像光照处理方法，具体包括下述步骤：

(1)将输入车牌图像由RGB模型转为HSV模型；

(2)对V分量进行一系列光照预处理方法来应付复杂的光照环境，以下简称TT方法。该方法首先用Gamma校正增强图像亮度，再进行高斯差分滤波(DOG,Differnce of Gaussian)去除光照中高频分量，即不均匀部分，然后根据掩膜函数提取需要进一步处理的区域，最后采用对比度均衡化增强图像光照的对比度，从而达到去除光照中不均匀同时最大程度保留图像有用细节并增强图像对比度；

①Gamma校正公式：

g(x,y)＝c[f(x,y)]^γ              (1)

式中f(x,y)是输入图像，g(x,y)是输出图像，c为任意值用于调整图像对比度，γ在0～1之间用于调整图像亮度；

②Dog滤波：

$g(x,y)=e^{-\frac{{(f(x,y)-\mathrm{\μ})}^2}{2{{\mathrm{\σ}}_1}^2}}-e^{-\frac{{(f(x,y)-\mathrm{\μ})}^2}{2{{\mathrm{\σ}}_2}^2}}---\left(2\right)$

式中f(x,y)是输入图像，g(x,y)是输出图像，μ为均值，σ_n(n＝1,2)为方差；

③mask掩膜：

$g(x,y)=\left\{\begin{array}{cc}f(x,y),& \mathrm{if\; mask}(x,y)=1\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

式中f(x,y)是输入图像，g(x,y)是输出图像，mask(x,y)是掩膜图像；

④对比度均衡化：

$g_1(x,y)=\frac{f(x,y)}{{\left(\mathrm{mean}\left({\left|f(x^{\′},y^{\′})\right|}^{\mathrm{\α}}\right)\right)}^{\frac{1}{\mathrm{\α}}}}---\left(4\right)$

$g_2(x,y)=\frac{g_1(x,y)}{{\left(\mathrm{mean}\left(\min {(\mathrm{\τ},|g_1(x^{\′},y^{\′})\left|\right)}^{\mathrm{\α}}\right)\right)}^{\frac{1}{\mathrm{\α}}}}---\left(5\right)$

$g_3(x,y)=\tanh \left(\frac{g_2(x,y)}{\mathrm{\τ}}\right)---\left(6\right)$

式中f(x,y)是输入图像，g_n(x,y)(n＝1,2,3)是输出图像，α是压缩性指数用于降低大像素值的影响，τ用于第一步归一化后截除图像中大像素值；

(3)对增强后的车牌图像进行局部自适应阈值处理得到车牌二值图像，具体做法如下：

①将图像分成m*n(n>m>0)个等大的小区域；

②每个小区域内进行OTSU处理，将所有阈值组成的二维矩阵记作Mat_T₀；

③对所有Mat_T₀进行3*3的高斯滤波输出Mat_T₁，然后根据Mat_T₁进行每个区域的图像二值化；

其中，OSTU处理运算量较大，这里提出一种简化算法：

①首先设定一个初始阈值T。其中T的计算公式如下所示：

T＝wp₁+(1-w)p₂                (7)

式中，p₁和p₂为图像中任意像素值(一般p₁取最大亮度值，p₂取最小亮度值)；w为权重值(一般取1/2)。

②利用T分割图像。这会产生两组相像素：亮度值大于等于T的所有像素组成G₁，亮度值小于T的所有像素组成G₂。

③计算G1和G2范围内的像素的平均亮度值μ₁和μ₂。

④计算新的T，如下式所示：

T＝wμ₁+(1-w)μ₂           (8)

⑤重复步骤②到步骤④，直到T的变化小于一个预定值T₀为止。

(4)结合附图2，对车牌二值图像进行基于八邻域的连通域标记并计算每个连通域的面积、位置、长宽比和域间间距等参数；

(5)判断是否停止反馈，首先通过这些参数判断是否满足车牌字符评价标准的各项指标，即将连通域参数与经验阈值相比较，若满足则输出该二值图像并退出评估反馈***，若不满足则对比历史情况并缓存最好结果及对应二值图像；然后判断是否达到循环上限10次，若达到则输出缓存中二值图像并退出评估反馈***，若未达到则输出调整后的新光照处理参数并重新进行光照处理；其中在参数调整的过程中，由于参数较多耗时较长，故本文根据输出效果和输入参数是否构成单峰函数选用了以下两种加速算法：

①优选法(单峰函数)

优选法是根据实际应用需要，利用数学原理，合理安排试验，以最少试验次数迅速找到最佳点的科学试验方法。该方法前提是目标函数为单峰函数，适用于本文中的TT光照处理算法。具体步骤是：先将该算法的五个参数进行分析，略去次要参数，留下DOG滤波的两个参数——高斯滤波的均方差σ₁/σ₂，再固定σ₁/σ₂，对σ₁/σ₂进行基于黄金分割法的优选，然后固定σ₁/σ₂反过来做σ₁/σ₂的优选，如此循环直到σ₁/σ₂变化小于一定范围为止。

②多重网格法(非单峰函数)

多重网格法原本是微分方程快速求解方法，这里把它拓展到参数优选的问题上，其基本思路是把问题粗糙化，把原网格投影到一个比较简单的新网格上计算，等到快速收敛后再经由插值运算返回原网格。该方法不需要目标函数为单峰函数，适用于本文中的局部OTSU阈值处理算法。具体步骤是：先将该算法的两个参数——每行网格数和每列网格数r₁/r₂的取值范围限制在[3,9]之间，再将取值范围粗糙化为{3,6,9}且根据车牌宽高比规定r₁/r₂>r₁/r₂，然后计算此时的最优解r_1n/r_2n，然后在r_1n/r_2n±2范围内计算最优解。

(6)判断是否需要人眼观察的选择，若需要则将步骤(4)中车牌二值图像与车牌增强图像进行图像融合输出视觉增强结果，即对车牌二值图像骨架化，然后作为种子点在车牌增强图像上进行区域生长法，并对生长区域进行像素值的提升；若不需要则直接进行车牌字符识别并输出计算机识别结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于评估反馈***的车牌图像光照处理方法，其特征在于，包括下述步骤：

(1)将输入的车牌图像由RGB模型转换为HSV模型；

(2)对V分量进行一系列光照处理，首先用Gamma校正增强图像亮度，再进行高斯差分滤波去除光照中的高频分量，然后根据掩膜函数提取需要进一步处理的区域，最后采用对比度均衡化增强图像光照的对比度，从而达到去除光照中不均匀同时最大程度保留图像有用细节并增强图像对比度；

(3)对增强后的车牌图像进行局部自适应阈值处理得到车牌二值图像；

(4)评估车牌二值图像中车牌字符情况，即进行基于八邻域的连通域标记并计算每个连通域的面积、位置、长宽比和域间间距参数；

(5)判断是否停止反馈，即首先判断是否满足车牌字符标准，即将连通域参数与经验阈值相比较，若满足则输出该二值图像并退出评估反馈***，若不满足则对比历史情况并缓存最好结果及对应二值图像；然后判断是否达到设定的循环上限的次数，若达到则输出缓存中二值图像并退出评估反馈***，若未达到则输出调整后的新光照处理参数并重新进行光照处理；

(6)判断是否需要人眼观察的选择，若需要则将步骤(4)中车牌二值图像与车牌增强图像进行图像融合输出视觉增强结果，即对车牌二值图像骨架化，然后作为种子点在车牌增强图像上进行区域生长法，并对生长区域进行像素值的提升；若不需要则直接进行车牌字符识别并输出计算机识别结果。

2.根据权利要求1所述的基于评估反馈***的车牌图像光照处理方法，其特征在于，步骤(2)中，Gamma校正的计算公式为：

g(x,y)＝c[f(x,y)]^γ

式中f(x,y)是输入图像，g(x,y)是输出图像，c为任意值用于调整图像对比度，γ在0～1之间，用于调整图像亮度。

3.根据权利要求1所述的基于评估反馈***的车牌图像光照处理方法，其特征在于，步骤(2)中，高斯差分滤波的计算公式为：

$g(x,y)=e^{-\frac{{(f(x,y)-\mathrm{\μ})}^2}{2{{\mathrm{\σ}}_1}^2}}-e^{-\frac{{(f(x,y)-\mathrm{\μ})}^2}{2{{\mathrm{\σ}}_2}^2}}$

式中f(x,y)是输入图像，g(x,y)是输出图像，μ为均值，σ_n(n＝1,2)为方差。

4.根据权利要求1所述的基于评估反馈***的车牌图像光照处理方法，其特征在于，步骤(2)中，掩膜的计算公式为：

$g(x,y)=\left\{\begin{array}{cc}f(x,y),& \mathrm{ifmask}(x,y)=1\\ 0,& \mathrm{otherwise}\end{array}\right.$

式中f(x,y)是输入图像，g(x,y)是输出图像，mask(x,y)是掩膜图像。

5.根据权利要求1所述的基于评估反馈***的车牌图像光照处理方法，其特征在于，步骤(2)中，对比度均衡化的计算公式为：

$g_1(x,y)=\frac{f(x,y)}{{\left(\mathrm{mean}\left({\left|f(x^{\′},y^{\′})\right|}^{\mathrm{\α}}\right)\right)}^{\frac{1}{\mathrm{\α}}}}$

$g_2(x,y)=\frac{g_1(x,y)}{{\left(\mathrm{mean}\left(\min {(\mathrm{\τ},|g_1(x^{\′},y^{\′})\left|\right)}^{\mathrm{\α}}\right)\right)}^{\frac{1}{\mathrm{\α}}}}$

$g_3(x,y)=\tanh \left(\frac{g_2(x,y)}{\mathrm{\τ}}\right)$

式中f(x,y)是输入图像，g_n(x,y)(n＝1,2,3)是输出图像，α是压缩性指数用于降低大像素值的影响，τ用于第一步归一化后截除图像中大像素值。

6.根据权利要求1所述的基于评估反馈***的车牌图像光照处理方法，其特征在于，步骤(3)具体为：

(3-1)将图像分成m*n个等大的小区域，其中n>m>0；

(3-2)每个小区域内进行OTSU处理，将所有阈值组成的二维矩阵记作Mat_T₀；

(3-3)对所有Mat_T₀进行3*3的高斯滤波输出Mat_T₁，然后根据Mat_T₁进行每个区域的图像二值化。

7.根据权利要求6所述的基于评估反馈***的车牌图像光照处理方法，其特征在于，步骤(3-2)中，进行OTSU处理的具体方法为：

(3-2-1)设定一个初始阈值T，其中T的计算公式如下所示：

T＝wp₁+(1-w)p₂

式中，p₁和p₂为图像中任意像素值；w为权重值；

(3-2-2)利用T分割图像，产生两组相像素：亮度值大于等于T的所有像素组成G₁，亮度值小于T的所有像素组成G₂；

(3-2-3)计算G₁和G₂范围内的像素的平均亮度值μ₁和μ₂；

(3-2-4)计算新的T，如下式所示：

T＝wμ₁+(1-w)μ₂

(3-2-5)重复步骤(3-2-2)至(3-2-4)，直到T的变化小于一个预定值T₀为止。

8.根据权利要求1所述的基于评估反馈***的车牌图像光照处理方法，其特征在于，步骤(5)中，若输出效果和输入参数构成单峰函，则采用下述处理方法：

先将该算法的五个参数进行分析，略去次要参数，留下DOG滤波的两个参数——高斯滤波的均方差σ₁/σ₂，再固定σ₁/σ₂，对σ₁/σ₂进行基于黄金分割法的优选，然后固定σ₁/σ₂反过来做σ₁/σ₂的优选，如此循环直到σ₁/σ₂变化小于一定范围为止。

9.根据权利要求1所述的基于评估反馈***的车牌图像光照处理方法，其特征在于，步骤(5)中，若输出效果和输入参数构成非单峰函，则采用下述处理方法：

先将该算法的两个参数——每行网格数和每列网格数r₁/r₂的取值范围限制在[3,9]之间，再将取值范围粗糙化为{3,6,9}且根据车牌宽高比规定r₁/r₂>r₁/r₂，然后计算此时的最优解r_1n/r_2n，然后在r_1n/r_2n±2范围内计算最优解。

10.根据权利要求1所述的基于评估反馈***的车牌图像光照处理方法，其特征在于，步骤(5)中，循环上限的次数为10次。