CN104376316A - 车牌图像采集方法及装置 - Google Patents

Abstract

本发明公开了车牌图像采集方法，包括，在白天时段内，根据运动车辆图像提取车牌图像；在夜晚时段内，在灯光补偿的情况下，进行运动车辆图像采集，根据所采集的车辆图像提取车牌图像。从而解决了车牌信息提取过程中，受环境光影响大，识别率低的问题。从而提高了车牌信息的读取精度及准确性。

Description

车牌图像采集方法及装置

技术领域

本发明涉及图像处理及识别技术领域，尤其涉及车牌图像采集方法及装置。

背景技术

智能交通***(ITS,Intelligent Transportation System)是将人工智能、图像处理等计算机技术应用到传统交通管理***中，实现交通监控与车辆控制的自动化，以保障交通顺畅及行车安全，从而促进经济发展、改善环境质量。其中，车牌识别广泛应用于停车场管理、违章车辆查处、不停车收费和不停车称重等多项智能交通应用领域。因为车牌图像质量对车牌识别影响重大，尤其在黑夜、正午等全天候时段光照变化巨大的情况下，所以设计光照自适应车牌图像采集***意义重大。目前市场上大多数智能交通***在采集车牌图像时只是简单在夜间开启补光照明，通过增加可见光光源克服白天到夜间的光照变化。由于这种采集车牌图像方法没有细分时段光照变化对车牌图像产生的影响，在某些时段下得到的车牌图像不是很理想。另外一部分智能交通***采用数字调光，通过分析定位出车牌区域图像的对比度和亮度信息调整曝光。这种采集方式可以适应不同时段的光照变化，但是需要后端车牌定位算法配合，并且需要多次调整摄像机参数完成车牌图像采集，不适合车牌采集模块化和抓拍高速行驶的车牌。

发明内容

针对上述现有技术中的缺陷，本发明解决了车牌信息提取过程中，受环境光影响大，识别率低的问题。

为了达到上述目的，本发明提供如下技术方案：

车牌图像采集方法，其特征在于，包括，

步骤S101，在白天时段内，根据运动车辆图像提取车牌图像；

步骤S102，在夜晚时段内，在灯光补偿的情况下，进行运动车辆图像采集，根据所采集的车辆图像提取车牌图像。

在本发明的一种优选的实施方式中，所述步骤S101的步骤包括：

在白天时段内，判断当前的环境亮度是否大于设定亮度值，若是，则进行运动车辆图像采集，根据所采集的车辆图像提取车牌图像；若否，则在灯光补偿的情况下，根据运动车辆图像的帧图像提取车牌图像。

在本发明的一种优选的实施方式中，所述在灯光补偿的情况下，根据运动车辆图像的帧图像提取车牌图像的步骤包括：

在本发明的一种优选的实施方式中，其中第一帧及第三帧图像在采集过程中进行灯光补偿；

步骤S1102，根据所述运动车辆图像中的车辆行驶速度、帧采集时间、所述第一帧及第三帧图像获取第二帧参考图像；

步骤S1103，将提取的第二帧图像与所述第二帧参考图形，进行差分，获取当前第二帧车辆图像；

步骤S1104，从所述当前第二帧车辆图像中提取车牌图像。

在本发明的一种优选的实施方式中，包括，所述步骤S1101还包括：

判断当前图像是否为车辆图像，若是，则在第一帧采集时间内驱动灯光补偿，进行第一帧车辆图像录制，在第二帧采集时间内熄灭灯光补偿，进行第二帧车辆图形录制，在第三帧采集时间内驱动灯光补偿，进行第三帧车辆图像录制。

在本发明的一种优选的实施方式中，所述判断当前图像是否为车辆图像的步骤包括：

将当前图像与本地存储的场景图像进行对比，若差异像素大于设定值，则当前图像为车辆图像。

在本发明的一种优选的实施方式中，所述步骤S1102包括，

步骤S11021，根据所述运动车辆图像中的车辆行驶速度、帧采集时间获取车辆图像帧间差值平方和；

步骤S11022，根据所述车辆图像帧间差值平方和、所述第一帧及第三帧图像，通过菱形搜索获取第二帧参考图像。

同时，本发明还提供了一种车牌图像采集装置，包括，图像采集装置、补光灯及车牌图像提取装置；所述图像采集装置的对运动车辆图像进行采集，输出端与所述车辆图像提取装置的输入端连接，所述车牌图像提取装置的输出端与所述补光灯连接，在白天时段内，根据运动车辆图像提取车牌图像；在夜晚时段内，在驱动所述灯光灯进行灯光补偿的情况下，进行运动车辆图像采集，根据所采集的车辆图像提取车牌图像。

在本发明的一种优选的实施方式中，还包括，感光传感器，所述感光传感器的感应输出端与所述车牌图像提取装置的输入端连接，所述车牌图像提取装置，在白天时段内，判断当前的环境亮度是否大于设定亮度值，若是，则进行运动车辆图像采集，根据所采集的车辆图像提取车牌图像；若否，则在灯光补偿的情况下，根据运动车辆图像的帧图像提取车牌图像。

本发明的的有益效果为：本发明通过时段参数控制和主动差分成像技术相结合实现光照自适应车牌图像采集，使车牌采集***能够克服光照变化影响。时段参数控制策略满足基本全天候采集车牌图像要求，即能够适应此时段合理的光照变化。对于天气等原因引起的光照变化超出时段光照变化范围，采用主动差分成像技术去除外界光照变化。白天外界光照变化剧烈，而晚上外界光照变化不大，对于白天采用时段参数控制和主动差分成像技术相结合的方法，对于晚上仅采用时段参数控制方法。从而提高了车牌信息的读取精度及准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种实施方式中，车牌图像采集装置的组成结构图；

图2为本发明一种实施方式中，车牌图像采集方法的流程示意图；

图3为本发明另一种实施方式中，车牌图像采集方法的流程示意图。

具体实施方式

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中车牌图像采集方法的实施装置设置为：在车辆进出通道上，如，在停车收费处设置图像采集装置10，用于对过往驶过的车牌图像进行采集，该图像采集装置10可采用摄像机或照相机给予实现。该图像采集装置10输出端与车辆图像提取装置20的输入端连接，车辆图像提取装置20的输出端与补光灯30连接。

本发明的一种实施方式中的车牌图像采集方法，如图2所示，包括：

步骤S101，在白天时段内，根据运动车辆图像提取车牌图像。

本步骤中，首先，在图像提取装置20中可预设采集时段，如可将，上午8:00～下午17:00设置为白天时段，为了使时段的调整更为准确，还可根据四季白天和黑夜的比例对上述时段，根据不同的季节进行调整。之后，在设定的白天时段内，通过图像采集装置10对运动的车辆车牌图像进行采集获取运动车辆图像。最后，从该运动车辆图像中提取车牌图像。

为了使在白天阶段，对亮度的判断更为准确，还可在图像采集装置10的设置处设置感光传感器40，感光传感器40，感光传感器40的感应输出端与车辆图像提取装置20的输入端连接，车辆图像提取装置20，在白天时段内，判断当前的环境亮度是否大于设定亮度值，若是，则进行运动车辆图像采集，根据所采集的车辆图像提取车牌图像；若否，则在灯光补偿的情况下，根据运动车辆图像的帧图像提取车牌图像。

在上述步骤S101中还包括：在白天时段内，判断当前的环境亮度是否大于设定亮度值，若是，则进行运动车辆图像采集，根据所采集的车辆图像提取车牌图像；若否，则在灯光补偿的情况下，根据运动车辆图像的帧图像提取车牌图像。

在灯光补偿的情况下，如图3所示，根据运动车辆图像的帧图像提取车牌图像的步骤包括：

步骤S1101，连续提取运动车辆图像中的三帧图像，其中第一帧及第三帧图像在采集过程中进行灯光补偿。

上述步骤S1101还包括：

判断当前图像是否为车辆图像，若是，则在第一帧采集时间内驱动灯光补偿，进行第一帧车辆图像录制，在第二帧采集时间内熄灭灯光补偿，进行第二帧车辆图形录制，在第三帧采集时间内驱动灯光补偿，进行第三帧车辆图像录制。

判断当前图像是否为车辆图像的步骤包括：

将当前图像与本地存储的场景图像进行对比，若差异像素大于设定值，则当前图像为车辆图像。

步骤S1102，根据运动车辆图像中的车辆行驶速度、帧采集时间、第一帧及第三帧图像获取第二帧参考图像。

步骤S1102包括，

步骤S11021，根据运动车辆图像中的车辆行驶速度、帧采集时间获取车辆图像帧间差值平方和；

步骤S11022，根据车辆图像帧间差值平方和、第一帧及第三帧图像，通过菱形搜索获取第二帧参考图像。

步骤S1103，将提取的第二帧图像与第二帧参考图形，进行差分，获取当前第二帧车辆图像。

步骤S1104，从当前第二帧车辆图像中提取车牌图像。

在上述对于天气等随机性因素影响的光照变化，采用主动差分成像技术来克服外界光照变化。采用主动差分成像技术抓拍车牌时，首先开启主动可见光光源采集1帧补光同步图像，然后再关闭主动可见光光源采集1帧没有补光图像，最后将两帧图像进行差分运算消除外界光源的影响，得到的差分图像即是只有在主动光源下的图像。实际抓拍车牌应用中，考虑到车辆的运动对差分图像造成的影响，需要结合运动补偿(Motion Compensation)算法去除车辆运动的影响。

运动补偿通过对运动物体进行运动估计(Motion Estimation)找到运动物体运动矢量(Motion Vector)，通过帧间插值(Frame Interpolation)运算得到运动补偿后的图像。为了实时性，对两帧图像中运动物体的运动估计采用块匹配算法(Block Matching Algorithm)，基于菱形搜索(Diamond Search)估计物体运动矢量。为了满足精度要求，对于运动补偿后的图像插值运算采用双线性差值。

车辆运动估计的块匹配算法基于差值平方和(Sum of Squared Differences)规则，如式1所示。其中S_k(x,y)表示当前帧图像，S_k-1(x+d_x,y+d_y)表示前一帧图像，d_x表示水平移动，d_y表示垂直移动。块匹配采用矩形搜索区域。

$\mathrm{SSD}(d_x,d_y)=\underset{x,y}{\mathrm{\Σ}}{[S_k(x,y)-S_{k-1}(x+d_x,y+d_y)]}^2---\left(1\right)$

计算得到车辆图像帧间差值平方和后，采用基于菱形搜索得到车辆运动矢量，步骤如下：

第1步：初始化大菱形搜索模型(large diamond search pattern)的中心点位置初始值为搜索矩形窗口的中心点，比较对应大菱形搜索模型位置的9点差值平方和值。如果最小差值平方和值位于大菱形搜索模型的中心点，则进入第3步，否则进入第2步。

第2步：对于上次搜索到的点作为大菱形搜索模型的中心点，比较对应大菱形搜索模型位置的9点差值平方和值。如果最小差值平方和值位于大菱形搜索模型的中心点，则进入第3步，否则继续第2步。

第3步：将搜索模型从大菱形搜索模型换成小菱形搜索模型，比较对应小菱形搜索模型位置的5点差值平方和值，最小的差值平方和值的位置为最后搜索的位置。

基于菱形搜索得到帧间车辆图像运动矢量后，采用帧间运动补偿得到新的帧图像。计算两帧之间运动补偿的图像如式2所示，其中，表示运动补偿的帧图像，F₁和F₂表示原始帧图像，表示运动矢量，N表示两帧之间运动补偿总帧数，k表示运动补偿的帧序号并且k＝1,2,…,N-1。在本发明中用两帧图像运动补偿出新的一帧图像，即N＝2，k＝1，如式3所示。

$F_m[\stackrel{\→}{x},k]=\frac{N-k}{N}{F}_1[\stackrel{\→}{x}+\frac{k}{N}\stackrel{\→}{\mathrm{mv}}]+\frac{k}{N}{F}_2[\stackrel{\→}{x}-\frac{N-k}{N}\stackrel{\→}{\mathrm{mv}}]---\left(2\right)$

$F_m\left[\stackrel{\→}{x}\right]=\frac{1}{2}{F}_1[\stackrel{\→}{x}+\frac{1}{2}\stackrel{\→}{\mathrm{mv}}]+\frac{1}{2}{F}_2[\stackrel{\→}{x}-\frac{1}{2}\stackrel{\→}{\mathrm{mv}}]---\left(3\right)$

对于帧间运动补偿后的图像，因为基于图像块的运动补偿需要采用插值算法处理重叠区域(overlapped region)和孔洞区域(hole region)。插值算法采用双线性插值(Bi-linear Interpolation)，如式4所示。其中，I(x,y)，I(x+1,y)，I(x,y+1)，I(x+1,y+1)为图像块像素点，a和b为水平方向和垂直方向像素点距离。

$I(x^{\′},y^{\′})=[1-\mathrm{bb}]\left[\begin{array}{cc}I(x,y)& I(x+1,y)\\ I(x,y+1)& I(x+1,y+1)\end{array}\right]\left[\begin{array}{c}1-a\\ a\end{array}\right]---\left(4\right)$

假设抓拍运动车辆车牌时，在连续3帧图像中车辆运动速度和方向不变。将运动补偿算法融入到主动差分成像技术的工作流程如下：首先连续采集3帧图像，其中控制第1帧和第3帧为补光同步图像，第2帧为没有补光图像，然后根据第1帧和第3帧图像进行运动估计和插值运算得到运动补偿的车牌图像，最后将运动补偿车牌图像与没有补光的第2帧图像进行差分运算，得到的图像即去除了外界光照的影响也去除了车辆运动的影响。

步骤S102，在夜晚时段内，在灯光补偿的情况下，进行运动车辆图像采集，根据所采集的车辆图像提取车牌图像。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.车牌图像采集方法，其特征在于，包括，

步骤S101，在白天时段内，根据运动车辆图像提取车牌图像；

步骤S102，在夜晚时段内，在灯光补偿的情况下，进行运动车辆图像采集，根据所采集的车辆图像提取车牌图像。

2.根据权利要求1所述的车牌图像采集方法，其特征在于，所述步骤S101的步骤包括：

在白天时段内，判断当前的环境亮度是否大于设定亮度值，若是，则进行运动车辆图像采集，根据所采集的车辆图像提取车牌图像；若否，则在灯光补偿的情况下，根据运动车辆图像的帧图像提取车牌图像。

3.根据权利要求2所述的车牌图像采集方法，其特征在于，所述在灯光补偿的情况下，根据运动车辆图像的帧图像提取车牌图像的步骤包括：

步骤S1101，连续提取运动车辆图像中的三帧图像，其中第一帧及第三帧图像在采集过程中进行灯光补偿；

步骤S1102，根据所述运动车辆图像中的车辆行驶速度、帧采集时间、所述第一帧及第三帧图像获取第二帧参考图像；

步骤S1103，将提取的第二帧图像与所述第二帧参考图形，进行差分，获取当前第二帧车辆图像；

步骤S1104，从所述当前第二帧车辆图像中提取车牌图像。

4.根据权利要求3所述的车牌图像采集方法，其特征在于，包括，所述步骤S1101还包括：

判断当前图像是否为车辆图像，若是，则在第一帧采集时间内驱动灯光补偿，进行第一帧车辆图像录制，在第二帧采集时间内熄灭灯光补偿，进行第二帧车辆图形录制，在第三帧采集时间内驱动灯光补偿，进行第三帧车辆图像录制。

5.根据权利要求4所述的车牌图像采集方法，其特征在于，所述判断当前图像是否为车辆图像的步骤包括：

将当前图像与本地存储的场景图像进行对比，若差异像素大于设定值，则当前图像为车辆图像。

6.根据权利要求3或4所述的车牌图像采集方法，其特征在于，所述步骤S1102包括，

步骤S11021，根据所述运动车辆图像中的车辆行驶速度、帧采集时间获取车辆图像帧间差值平方和；

步骤S11022，根据所述车辆图像帧间差值平方和、所述第一帧及第三帧图像，通过菱形搜索获取第二帧参考图像。

7.车牌图像采集装置，其特征在于,包括，图像采集装置、补光灯及车牌图像提取装置；所述图像采集装置的对运动车辆图像进行采集，输出端与所述车辆图像提取装置的输入端连接，所述车牌图像提取装置的输出端与所述补光灯连接，在白天时段内，根据运动车辆图像提取车牌图像；在夜晚时段内，在驱动所述灯光灯进行灯光补偿的情况下，进行运动车辆图像采集，根据所采集的车辆图像提取车牌图像。

8.根据权利要求7所述的车牌图像采集装置，其特征在于，还包括，感光传感器，所述感光传感器的感应输出端与所述车牌图像提取装置的输入端连接，所述车牌图像提取装置，在白天时段内，判断当前的环境亮度是否大于设定亮度值，若是，则进行运动车辆图像采集，根据所采集的车辆图像提取车牌图像；若否，则在灯光补偿的情况下，根据运动车辆图像的帧图像提取车牌图像。