CN114821078B

CN114821078B - 一种车牌识别方法、装置、电子设备及存储介质

Info

Publication number: CN114821078B
Application number: CN202210483814.XA
Authority: CN
Inventors: 葛钰峣; 申华亿; 商芸萱
Original assignee: North China University of Technology
Current assignee: North China University of Technology
Priority date: 2022-05-05
Filing date: 2022-05-05
Publication date: 2023-03-14
Anticipated expiration: 2042-05-05
Also published as: CN114821078A

Abstract

本发明公开了一种车牌识别方法、装置、电子设备及存储介质，本发明将RGB图像转换为HIS图像，减少了光照条件对车牌识别的影响，同时，利用构建的形态结构元对二值图像进行形态学处理，以在形态学处理过程中增大图像中的车牌目标、缩小以及填补图像中的空洞，使车牌字符形成一个连通的区域，从而实现车牌的粗定位，最后，再利用宽高比以及车牌特征置信度，在粗定位提取的区域中完成车牌的细定位，得到车牌定位图像；由此，本发明所提供的车牌识别方法，环境适应能力强，可在复杂环境中能够实现车牌的准确定位，从而提高了车牌识别的精度。

Description

一种车牌识别方法、装置、电子设备及存储介质

技术领域

本发明属于车牌识别技术领域，具体涉及一种车牌识别方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉、数字图像处理技术以及智能交通技术的发展，车牌识别技术在智能交通领域中的应用越来越广泛，其是智能交通***的重要组成部分，是交通管理自动化的重要手段和车辆检测***的一个重要环节，在交通监视和控制中占有很重要的地位。

目前，车牌识别主要针对车辆自动注册、收费、停车场管理等场合，其虽然在现实生活中已经得到了一定程度的应用，但是由于车牌识别所对应的拍摄区域的背景往往比较复杂，通常会包括一些干扰物，如路标、车辆车头、广告牌、树木和行人等，这些干扰物会干扰车牌检测，同时，再加上光照以及拍摄角度的影响，就进一步的降低了车牌识别的精度，因此，现有的车牌识别算法环境适应性差，在复杂背景下存在车牌定位困难的问题，而在车牌识别技术中，车牌定位是首要问题，也是影响车牌识别精度的重要因素，因此，提供一种能够在复杂环境中准确定位车牌，以提高车牌识别精度的车牌识别方法迫在眉睫。

发明内容

本发明的目的是提供一种车牌识别方法、装置、电子设备及存储介质，以解决现有车牌识别算法环境适应性差，在复杂背景下存在车牌定位困难，从而导致车牌识别精度不高的问题。

为了实现上述目的，本发明采用以下技术方案：

第一方面，本发明提供了一种车牌识别方法，包括：

获取待识别图像，其中，所述待识别图像中包括至少一张车牌；

对所述待识别图像进行图像转换，得到HIS图像；

将所述HIS图像转换为灰度图像，并对所述灰度图像进行二值化，得到二值图像；

基于所述待识别图像，构建形态结构元，并利用所述形态结构元对所述二值图像进行形态学处理，得到至少一个车牌区域；

计算所述至少一个车牌区域中每个车牌区域的宽高比，并将宽高比符合预设阈值的车牌区域作为预选区域；

计算所述预选区域中每个预选区域的车牌特征置信度，以便基于所述车牌特征置信度从所述预选区域中，确定出车牌定位图像；

基于所述车牌定位图像，从所述待识别图像中，截取出车牌图像；

对所述车牌图像进行图像识别，得到所述待识别图像的车牌识别结果。

基于上述公开的内容，本发明鉴于车牌图像本身具有固定颜色的特征，将待识别图像(实质为RGB图像)转换为HIS图像，从而使用色调值、色饱和度值和亮度值来描述车牌图像，由此，可避免RGB图像容易受到光照条件影响的问题，同时，本发明将HIS图像转换为二值图像，并基于待识别图像构建形态结构元，以便利用形态结构元对二值图像进行形态学处理，从而在二值图像中实现车牌的粗定位，得到至少一个车牌区域；然后，再计算各个车牌区域的宽高比以及车牌特征置信度，并利用前述两个参数实现车牌的细定位，以便从多个车牌区域中定位出仅包含车牌的区域，作为车牌定位图像，由此，即可利用车牌定位图像，从待识别图像中截取出车牌图像，最后，对车牌图像进行图像识别，即可得出车牌的的识别结果。

通过上述设计，本发明将RGB图像转换为HIS图像，减少了光照条件对车牌识别的影响，同时，利用构建的形态结构元对二值图像进行形态学处理，以在形态学处理过程中增大图像中的车牌目标、缩小以及填补图像中的空洞，使车牌字符形成一个连通的区域，从而实现车牌的粗定位，最后，再利用宽高比以及车牌特征置信度，在粗定位提取的区域中完成车牌的细定位，得到车牌定位图像；由此，本发明所提供的车牌识别方法，环境适应能力强，可在复杂环境中实现车牌的准确定位，从而提高了车牌识别的精度。

在一个可能的设计中，对所述待识别图像进行图像转换，得到HIS图像，包括：

获取所述待识别图像中每个像素点的RGB值，其中，所述RGB值包括红色通道值、绿色通道值以及蓝色通道值；

基于每个像素点的RGB值，得到每个像素点的像素角度；

基于每个像素点的像素角度，得到每个像素点的色调值，以及基于每个像素点的RGB值，得到每个像素点的色饱和度值和亮度值，以便将每个像素点的色调值、色饱和度值和亮度值进行叠加得到所述HIS图像。

基于上述公开的内容，本发明公开了HIS图像的转换过程，即将待识别图像中每个像素点的RGB分量转换为HIS分量，转换完毕后，即可得到HIS图像，具体的，对于任一像素点在，则是利用任一像素点的RGB值计算该任一像素点的像素角度，然后再利用计算出的像素角度，得到色调值，以及利用任一像素点的RGB值，得到该任一像素点的色饱和度值和亮度值，最后，将所有像素点的色调值、色饱和度值和亮度值进行叠加，即可得到HIS图像。

在一个可能的设计中，将所述HIS图像转换为灰度图像，包括：

基于所述HIS图像，确定出所述HIS图像中每个像素点的HIS值，其中，所述HIS值包括色调值、色饱和度值和亮度值；

基于所述HIS图像中每个像素点的HIS值，确定出每个像素点的灰度值；

基于每个像素点的灰度值，对每个像素点进行灰度划分，以在灰度划分完成后，得到所述灰度图像；

相应的，对所述灰度图像进行二值化，得到二值图像，包括：

基于所述HIS图像中每个像素点的灰度值，在所述HIS图像中筛选出灰度值相同，且数量最多的像素点，作为目标像素点；

将所述目标像素点的像素值置1，以及将所述HIS图像中除去所述目标像素点以外的所有像素点的像素值置0，得到所述二值图像。

基于上述公开的内容，本发明公开了HIS图像灰度化和二值化的具体过程，对于灰度化，则是利用各个像素点的HIS值来匹配出不同的灰度值(不同HIS值对应的灰度值可预先设置)，在得出每个像素点的灰度值后，即可根据灰度值进行灰度划分，划分完成后，即可得到灰度图像；而对于二值化，则是基于像素点的个数来确定车牌的底色，即灰度值相同，且个数最多的像素点，则代表着底色像素点，最后，将个数最多的像素点的像素值置1，其余像素点的像素值置0，即可得到二值图像。

在一个可能的设计中，所述形态结构元包括：宽度结构元和高度结构元，其中，基于所述待识别图像，构建形态结构元，包括：

基于所述待识别图像，得到所述待识别图像的宽度；

获取标准车牌的车牌宽度，以及所述标准车牌中字符的最大间距和最大高度；

基于所述待识别图像的宽度、所述车牌宽度和所述最大间距，构建得到所述宽度结构元，以及基于所述待识别图的的宽度、所述车牌宽度和所述最大高度，构建得到所述高度结构元；

相应的，基于所述形态结构元对所述二值图像进行形态学处理，得到至少一个车牌区域，包括：

利用所述宽度结构元，对所述二值图像进行形态闭运算，得到第一形态图像；

利用所述高度结构元，对所述第一形态图像进行形态开运算，得到第二形态图像，以便将所述第二形态图像中的各个连通区域，作为车牌区域。

基于上述公开的内容，本发明公开了形态结构元的具体构建过程，即从宽度和高度两个方向，分别构建结构元，具体的，利用待识别图像的宽度、标准车牌的宽度以及标准车牌中字符的最大间距，构建宽度结构元，利用待识别图的的宽度、车牌宽度和最大高度，构建高度结构元；由此，在形态学处理时，则利用前述两个结构元，从水平和垂直两个方向对二值图像进行形态处理，从而在二值图像中实现车牌的粗定位；由此，从宽度和高度两个方向上进行车牌定位，可提高车牌定位精度。

在一个可能的设计中，计算所述预选区域中每个预选区域的车牌特征置信度，包括：

对于每个预选区域，统计每个预选区域中像素值为1的像素点的个数，作为车牌像素特征值，以及计算每个预选区域中的字符水平投影特征值和字符垂直投影特征值；

获取像素权重、水平投影权重和垂直投影权重；

计算所述车牌像素特征值与所述像素权重的乘积、所述字符水平投影特征值与所述水平投影权重的乘积以及所述字符垂直投影特征值与所述垂直投影权重的乘积，并对所有乘积求和，得到每个预选区域的车牌特征置信度；

相应的，基于所述车牌特征置信度从所述预选区域中，确定出车牌定位图像，包括：

将车牌特征置信度最大的预选区域，作为所述车牌定位图像。

基于上述公开的内容，本发明公开了车牌细定位的过程，首先，利用宽高比进行粗筛选，即车牌的宽高比是定值，但考虑到拍摄角度以及光照等条件的影响，可扩大宽高比的范围，从而将宽高比属于预设阈值范围内的车牌区域作为预选区域，然后，再计算各个预选区域的车牌置信度，以便利用车牌置信度完成车牌的细定位；具体的，车牌置信度包括三部分，一是：区域内像素值为1的像素点的个数(1表示白色，也就是车牌面积，像素值为1的像素点越多，说明该区域为车牌的概率越大)，二是：字符水平投影特征值，三是：字符垂直投影特征值，后面两个参数用于表征车牌字符的明暗变化，因此，结合三者与各自权重的乘积，并求总和得出的置信度，可表征一个区域为车牌的概率，即将置信度最大的区域作为车牌定位图像，由此，利用置信度即可实现车牌的细定位。

在一个可能的设计中，计算每个预选区域中的字符垂直投影特征值，包括：

对每个预选区域做垂直投影运算，得到垂直投影图像；

基于所述垂直投影图像，确定出所述垂直投影图像中的最大峰值，以便基于所述最大峰值得出分割阈值；

基于所述分割阈值，确定出所述垂直投影图像中的分割波谷；

根据所述分割波谷，对每个预选区域的垂直投影图像进行分割，得到每个预选区域的垂直投影切割图；

对于每个预选区域的垂直投影切割图，获取垂直投影切割图中相邻波峰与波谷之间的垂直距离，并求和所有相邻波峰与波谷之间的垂直距离，以作为每个预选区域的垂直特征值；

获取每个预选区域的宽度，以便基于每个预选区域的宽度以及每个预选区域的垂直特征值，得出每个预选区域的字符垂直投影特征值。

在一个可能的设计中，对所述车牌图像进行图像识别，得到所述待识别图像的车牌识别结果，包括：

对所述车牌图像进行灰度增强处理，得到灰度增强后的车牌图像；

对所述灰度增强后的车牌图像进行二值化处理，得到二值化车牌图像；

对所述二值化车牌图像进行倾斜校正，得到预识别车牌图像；

将所述预识别车牌图像输入至车牌识别模型中，得到所述车牌识别结果。

基于上述公开的内容，在得出车牌图像后，首先进行灰度增强，以减少光线过暗或光线过亮造成图像对比度偏低的问题，接着，在对灰度增强后的车牌图像进行二值化，以减少运算量，然后，再对二值化车牌图像进行倾斜校正，以减少拍摄角度对车牌识别的影响，最后，将校正后的图像输入至车牌识别模型中进行图像识别，即可得出车牌识别结果；通过上述设计，可进一步的提高车牌识别的精度。

第二方面，本发明提供了一种车牌识别装置，包括：

获取单元，用于获取待识别图像，其中，所述待识别图像中包括至少一张车牌；

图像转换单元，用于对所述待识别图像进行图像转换，得到HIS图像；

二值化单元，用于将所述HIS图像转换为灰度图像，并对所述灰度图像进行二值化，得到二值图像；

车牌区域分割单元，用于基于所述待识别图像，构建形态结构元，并利用所述形态结构元对所述二值图像进行形态学处理，得到至少一个车牌区域；

车牌定位单元，用于计算所述至少一个车牌区域中每个车牌区域的宽高比，并将宽高比符合预设阈值的车牌区域作为预选区域；

车牌定位单元，还用于计算所述预选区域中每个预选区域的车牌特征置信度，以便基于所述车牌特征置信度从所述预选区域中，确定出车牌定位图像；

截取单元，用于基于所述车牌定位图像，从所述待识别图像中，截取出车牌图像；

车牌识别单元，用于对所述车牌图像进行图像识别，得到所述待识别图像的车牌识别结果。

第三方面，本发明提供了另一种车牌识别装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述车牌识别方法。

第四方面，本发明提供了一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述车牌识别方法。

第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意一种可能设计的所述车牌识别方法。

附图说明

图1为本发明提供的车牌识别方法的步骤流程示意图；

图2为本发明提供的待识别图像的示意图；

图3为本发明提供的经过形态学处理后的二值图像；

图4为本发明提供的车牌识别装置的结构示意图；

图5为本发明提供的电子设备的结构示意图。

具体实施方式

下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。

应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。

应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。

实施例

参见图1所示，本实施例第一方面所提供的车牌识别方法，通过提高复杂环境下车牌定位的准确度，来提高车牌精度，因此，可适应于各种复杂环境下车牌的精度识别，其中，前述识别方法可以但不限于在识别终端侧运行，而识别终端可以但不限于是个人电脑(persona l computer，PC)、平板电脑、智能手机和/或个人数字助理(persona l d igitalass i stant，PDA)等，可以理解的，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤如下述步骤S1～S8所示。

S1.获取待识别图像，其中，所述待识别图像中包括至少一张车牌；具体应用时，待识别图像可以但不限于为停车场进出闸时拍摄的车牌照片，当然，也可将一段车辆进出闸或进出站的视频内的任一包含有车牌的图片作为待识别图像(即对视频进行逐帧处理，从而得到多张图像)，还可为用户直接上传包含车牌的图像，即待识别图像可根据具体的应用场景而选择不同的获取方式，在此不作具体限定。

识别终端获取到待识别图像后，即可进行车牌识别，其中，本实施例的车牌识别主要分为两部分，一是对待识别图像中的车牌进行定位，截取出仅包含车牌的图像(即车牌图像)；二是对截取出的车牌图像进行图像识别，识别出具体的车牌号；下述先阐述车牌定位过程，如下述步骤S2～S7所示。

具体应用时，待识别图像是由摄像机或照相机直接拍摄的图像，因此，其是RGB图像(具有红色、绿色和蓝色三个通道的图像)，但是，由于RGB图像中三个通道的颜色会受到光照条件的影响，即根据光照强度的不同而发生变化，因此，考虑到车牌本身具有固定颜色的特征，且为减少拍摄时光照强度的影响，本实施例将待识别图像转换为HIS图像，从而使用色调、色饱和度以及亮度来描述待识别图像，如下述步骤S2所示。

S2.对所述待识别图像进行图像转换，得到HIS图像；具体应用时，HIS图像时用色调(Hue)、色饱和度(Saturat ion)和亮度(I ntens ity)来描述图像中的色彩，其中，色调和色饱和度可表征待识别图像中所有的彩色信息，而亮度则用于表征待识别图像中的白色和黑色信息；可选的，图像转换过程可以但不限于如下述步骤S21～S23所示。

S21.获取所述待识别图像中每个像素点的RGB值，其中，所述RGB值包括红色通道值、绿色通道值以及蓝色通道值；具体应用时，是基于待识别图像得到的，是待识别图像本身的颜色属性。

在得到每个像素点的RGB值后，即可将每个像素点的RGB分量转换为HIS分量，转换完成后，即可得到HIS图像，如下述步骤S22和步骤S23所示。

S22.基于每个像素点的RGB值，得到每个像素点的像素角度；具体应用时，可以但不但不限于使用如下公式(1)计算像素角度：

上述式中，θ_i表示第i个像素点的像素角度，i＝1,2,...,N，N表示待识别图像中像素点的总个数，R_i表示第i个像素点的红色通道值，G_i表示第i个像素点的绿色通道值，B_i表示第i个像素点的蓝色通道值。

在得到每个像素点的像素角度后，即可计算出每个像素点的HIS分量，如下述步骤S23所示。

S23.基于每个像素点的像素角度，得到每个像素点的色调值，以及基于每个像素点的RGB值，得到每个像素点的色饱和度值和亮度值，以便将每个像素点的色调值、色饱和度值和亮度值进行叠加得到所述HIS图像。

具体应用时，可使用如下公式(2)计算出每个像素点的色调值，使用如下公式(3)计算出每个像素点的色饱和度值，使用如下公式(4)计算出每个像素点的亮度值：

上述式(2)中，H_i表示第i个像素点的色调值。

上述式(3)中，S_i表示第i个像素点的色饱和度值，而min(R_i,G_i,B_i)表示取R_i、G_i以及B_i中最小的值。

上述式(4)中，I_i表示第i个像素点的亮度值。

基于前述公式(1)、(2)、(3)和(4)计算出每个像素点的HSI分量后，将每个像素点的色调值、色饱和度值和亮度值进行叠加，即可得到HIS图像。

在得到HIS图像后，即可进行车牌定位，具体的，先将HIS图像转换为灰度图像，然后将灰度图像进行二值化，得到二值图像，接着，利用构建的形态结构元对二值图像进行粗定位，得到至少一个车牌区域，最后，再利用宽高比以及车牌特征置信度对车牌进行细定位，从而在至少一个车牌区域中，确定出最终表示车牌的区域，可选的，定位过程如下述步骤S3～S6所示。

S3.将所述HIS图像转换为灰度图像，并对所述灰度图像进行二值化，得到二值图像；具体应用时，灰度图像转换过程如下述步骤S31～S33所示。

S31.基于所述HIS图像，确定出所述HIS图像中每个像素点的HIS值，其中，所述HIS值包括色调值、色饱和度值和亮度值；由于前述步骤S2已经进行将RGB图像转换为HSI图像了，因此，即可基于HIS图像，得知该图像中每个像素点对应的色调值、色饱和度值和亮度值，以便后续基于色调值、色饱和度值以及亮度值进行灰度划分，如下述步骤S32和步骤S33所示。

S32.基于所述HIS图像中每个像素点的HIS值，确定出每个像素点的灰度值；具体应用时，将色调值在[0.56,0.65]范围内，且色饱和度值在[0.25,1]范围内的像素点的灰度值确定为255；将色调值在[0.06,0.18]范围内，且色饱和度值在[0.35,1]范围内的像素点的灰度值确定为200；将亮度值在[0.7,1]范围内的像素点的灰度值确定为155；将亮度值在[0,0.2]范围内的像素点的灰度值确定为150；最后，将HIS图像中除去前述确定灰度值的像素点之外的所有像素点的灰度值划分0；由此，即可得到各个像素点的灰度值，以便进行灰度划分，如下述步骤S33所示。

S33.基于每个像素点的灰度值，对每个像素点进行灰度划分，以在灰度划分完成后，得到所述灰度图像；由于前述HIS图像中各个像素点的灰度值存在5个等级，即255、200、155、150和0，因此，即可按照灰度值将像素点划分到不同的灰度等级，其中，灰度值255对应的像素点为第一灰度等级(表示蓝色)，灰度值200对应的像素点为第二灰度等级(表示黄色)，灰度值155对应的像素点为第三等级(表示白色)，灰度值150对应的像素点为第四灰度等级(表示黑色)，而灰度值0对应的像素点则划分为第五等级，由此，将所有像素点按照第一到第五灰度等级依次划分完成后，即可得到灰度图像。

相应的，在得到灰度图像后，即可进行二值化处理，以得到二值图像，以便后续进行车牌定位，其中，二值化处理的具体过程可以但不限于如下述步骤S34和S35所示。

S34.基于所述HIS图像中每个像素点的灰度值，在所述HIS图像中筛选出灰度值相同，且数量最多的像素点，作为目标像素点；具体应用时，则是筛选出不同灰度值对应的像素点个数，即灰度值为255对应的像素点的总个数、灰度值为200对应的像素点的总个数、灰度值为155对应的像素点的总个数、灰度值为150对应的像素点的总个数以及灰度值为0对应的像素点的总个数，并在前述统计的像素点中，将总个数最多的像素点作为目标像素点；当然，为避免灰度值为0的像素点影响二值化过程，本实施例中，可只统计灰度值大于0的像素点的总个数，即在前述灰度值为255、200、155和150的像素点中，筛选出数量最多的作为目标像素点。

在得到目标像素点后，即可实现二值化过程，如下述步骤S35所示。

S35.将所述目标像素点的像素值置1，以及将所述HIS图像中除去所述目标像素点以外的所有像素点的像素值置0，得到所述二值图像；具体应用时，目标像素点代表的是车牌底色，因此，将目标像素点的像素值置为1，呈现在图像上则是白色，而其余像素点的像素值置0，呈现在图像上则是黑色，因此，经过步骤S35后，即可得到二值图像。

在得到二值化图像后，即可进行形态学处理，从而实现车牌的粗定位，在本实施例中，形态学处理过程中所使用的结构元是根据待识别图像构建，具体的，是构建出宽度和高度两个结构元，从而从水平和垂直两个方向上进行形态学处理，其中，形态学处理过程如下述步骤S4所示。

S4.基于所述待识别图像，构建形态结构元，并利用所述形态结构元对所述二值图像进行形态学处理，得到至少一个车牌区域；具体应用时，举例形态结构元包括宽度结构元和高度结构元，其中，构建过程可以但不限于包括如下步骤S41～S43所示。

S41.基于所述待识别图像，得到所述待识别图像的宽度；具体应用时，举例宽度的单位可以但不限于为像素。

S42.获取标准车牌的车牌宽度，以及所述标准车牌中字符的最大间距和最大高度；具体应用时，车牌宽度、字符的最大间距和最大宽度，可以但不限于预设至识别终端中，具体的，字符的最大间距是标准车牌上各个相邻字符的距离中的最大值，而最大高度则是各个字符中最大高度值；在得到前述宽度、车牌宽度、最大间距和最大高度后，即可进行结构元的构建，如下述步骤S43所示。

S43.基于所述待识别图像的宽度、所述车牌宽度和所述最大间距，构建得到所述宽度结构元，以及基于所述待识别图的的宽度、所述车牌宽度和所述最大高度，构建得到所述高度结构元；具体应用时，宽度结构元实质是一个水平结构元，构建的则是其长度，过程为：第一步：计算车牌宽度与待识别图像的宽度的比值，记为L1；第二步：计算最大间距与车牌宽度之间的比值，记为L2；第三步：计算L1、L2与待识别图像的宽度的乘积，得到水平结构元的长度，以该长度构建以水平结构元，作为宽度结构元；同理，高度结构元实质为一垂直结构元，构建的则是其高度，过程为：a.计算最大高度与车牌宽度的比值，记为H1；b.计算预设阈值(可以但不限于为1/3)、H1与待识别图的的宽度之间的乘积，得到垂直高度，即利用该垂直高度构建出一垂直结构元，作为高度结构元。

在本实施例中，水平结构元的高度需小于二值图像的高度，在二值图像的高度范围内均可；同理，垂直结构元的宽度需小于二值图的宽度，也就是在二值图像中的宽度范围内均可。

在构建出宽度结构元和高度结构元后，即可利用前述两个结构元，在水平和垂直方向进行形态学处理，以实现车牌的粗定位，其中，处理过程如下述步骤S44和步骤S45所示。

S44.利用所述宽度结构元，对所述二值图像进行形态闭运算，得到第一形态图像；具体应用时，形态闭运算则是先进行膨胀运算，然后再进行腐蚀运算，其可填充二值化图像中的细小空洞，起到连接邻近物体和平滑边界的作用，因此，经过形态闭运算后，已经得到了车牌连通区域，但是由于形态闭运算会将车牌附近的区域融入连通范围，因此，为进一步的定位车牌，还需在形态闭运算后，再次进行开运算，以分割出车牌区域，从而达到提取有效车牌区域的目的，其中，形态开运算的处理过程如下述步骤S45所示。

S45.利用所述高度结构元，对所述第一形态图像进行形态开运算，得到第二形态图像，以便将所述第二形态图像中的各个连通区域，作为车牌区域；具体应用时，形态开运算是先进行腐蚀运算，然后再进行膨胀运算，其可消除图像中的细小物体，并起到分离图像中物体和物体边界的作用，由此，经过形态开运算，即可实现车牌区域的分割，得到多个连通区域，而多个连通区域，则作为车牌区域；但是，在实际应用时，由于受到车体本身和环境的影响，形态学处理得到的连通区域可能包括车牌、车灯等区域，参见图2和图3所示，图2为待识别图像，而图3则是经过形态学处理后的图像，从图3中可明显看出，连通区域分别对应图2中车牌、左右两个大灯、左下方和右下方的两个雾灯，因此，车牌区域则为前述5个区域；由此，形态学处理只能定位出可能含有车牌的区域，因此，其为粗定位，所以，还需要对车牌进行细定位，以在形态学处理得出的连通区域中，确定出真实含有车牌的区域。

具体应用时，车牌的细定位过程如下述步骤S5和步骤S6所示。

S5.计算所述至少一个车牌区域中每个车牌区域的宽高比，并将宽高比符合预设阈值的车牌区域作为预选区域；具体应用时，若车牌区域的数量只有1个，那么只需判断其宽高比是否符合预设阈值即可，若符合，该车牌区域就为车牌定位图像；否则，则说明定位不准确，需要重新执行前述步骤S2～S4，以重新得到车牌区域。

在本实施例中，考虑到拍摄角度和车牌倾斜等因素，可以但不限于将预设阈值设置在[1.4,2.5]，即只要任一车牌区域的宽高比在前述预设阈值范围内，即可作为预选区域，反之，则可直接丢弃；在利用宽高比对车牌区域进行预筛选后，即可计算各个预选区域的车牌特征置信度，如下述步骤S6所示。

S6.计算所述预选区域中每个预选区域的车牌特征置信度，以便基于所述车牌特征置信度从所述预选区域中，确定出车牌定位图像；具体应用时，车牌特征置信度包括三部分，一是：区域内像素值为1的像素点的个数(1表示白色，也就是车牌面积，像素值为1的像素点越多，说明该区域为车牌的概率越大)，二是：字符水平投影特征值，三是：字符垂直投影特征值，后面两个参数用于表征车牌字符的明暗变化，因此，结合三者得出的置信度，可表征一个区域为车牌的概率，即将车牌特征置信度最大的预选区域作为车牌定位图像；其中，车牌特征置信度的计算过程如下述步骤S61～S63所示。

S61.对于每个预选区域，统计每个预选区域中像素值为1的像素点的个数，作为车牌像素特征值，以及计算每个预选区域中的字符水平投影特征值和字符垂直投影特征值；具体应用时，车牌像素特征值可直接基于预选区域内的像素值得出，而字符垂直投影特征值，则需要对预选区域进行垂直投影运算，然后基于垂直投影图像得出，如下述步骤S61 a～S61 f所示。

S61 a.对每个预选区域做垂直投影运算，得到垂直投影图像；具体应用时，垂直投影运算则是将预选区域做垂直方向投影，其实质是将预选区域进行行求和，而得到的垂直投影图像则相当于是垂直投影直方图，其中，垂直投影为图像处理中的常用技术，于此不多加赘述。

在得到垂直投影图像后，即可进行投影分割，如下述步骤S61 b～S61d所示。

S61 b.基于所述垂直投影图像，确定出所述垂直投影图像中的最大峰值，以便基于所述最大峰值得出分割阈值；具体应用时，最大峰值为垂直投影图像中最大波峰高度，而分割阈值则是该最大峰值的二分之一，以便以该分割阈值进行垂直投影图像的分割，其中，分割过程如下述步骤S61c和步骤S61d所示。

S61c.基于所述分割阈值，确定出所述垂直投影图像中的分割波谷；具体应用时，在垂直投影图像的所有波峰中，筛选出第一个波峰高度大于分割阈值的波峰，以及最后一个波峰高度大于分割阈值的波峰，作为边界波峰(下述将第一个波峰作为起点边界波峰，将最后一个播放作为终止边界波峰)，然后，将起点边界波峰左边的第一个波谷作为起点分割波谷，将终止边界波峰右边的第一个波谷作为终止分割波谷，以便基于起点分割波谷和终止分割波谷组成分割波谷；在得到分割波谷后，即可进行图像分割，如下述步骤S61d所示。

S61d.根据所述分割波谷，对每个预选区域的垂直投影图像进行分割，得到每个预选区域的垂直投影切割图；具体应用时，则是在垂直投影图像中，截取出起点分割波谷和终止分割波谷之间的图像，作为垂直投影切割图。

在得到每个预选区域的垂直投影切割图后，即可获取相邻波峰与波谷之间的垂直距离，然后求和所有垂直距离，得到每个预选区域的垂直特征值，最后，利用每个预选区域的宽度以及垂直特征值，即可计算出每个预选区域的字符垂直投影特征值，如下述步骤S61e和步骤S61所示。

S61e.对于每个预选区域的垂直投影切割图，获取垂直投影切割图中相邻波峰与波谷之间的垂直距离，并求和所有相邻波峰与波谷之间的垂直距离，以作为每个预选区域的垂直特征值；具体应用时，假设从起点分割波谷到终止分割波谷之间依次存在的波峰和波谷是：波峰1、波谷1、波峰2、波谷2、波谷3以及终止分割波谷，那么垂直距离则是：起点分割波谷与波峰1之间的垂直距离，波峰1与波谷1之间的垂直距离，波谷1与波峰2之间的垂直距离，当然，存在其余不同顺序的波峰和波谷的预选区域的垂直距离，其计算原理与前述举例相同，于此不再赘述。

S61 f.获取每个预选区域的宽度，以便基于每个预选区域的宽度以及每个预选区域的垂直特征值，得出每个预选区域的字符垂直投影特征值；具体应用时，使用以下公式(5)，计算得到各个预选区域的字符垂直投影特征值：

上述式(5)中，Y_j表示第j个预选区域的字符垂直投影特征值，V表示计算系数，可以但不限于为1000，T_j表示第j个预选区域的垂直特征值，e_j表示第j个预选区域的宽度，j＝1,2，...,K，K为预选区域的总个数。

对于预选区域的字符水平投影特征值，其计算原理与字符垂直水平投影特征值相同，即先进行水平投影运算，也就是将预选区域进行列求和，得到水平投影图像；然后，获取水平投影图像中的最大峰值，并将0.6倍最大峰值作为分割阈值，接着，筛选出第一个波峰高度大于分割阈值和最后一个波峰高度大于分割阈值的波峰，依次作为起点边界波峰和终止边界波峰，然后将起点边界播放左边的第一个波谷作为起点分割波谷，将终止边界波峰右边的第一个波谷作为终止分割波谷，最后，将水平投影图像在起点分割波谷和终止分割波谷之间的图像作为水平投影分割图；在得到水平投影分割图后，其字符水平投影特征值的计算与字符垂直投影特征值计算过程相同，于此不再赘述。

在得到每个预选区域的车牌像素特征值、字符水平投影特征值和字符垂直投影特征值后，即可进行车牌特征置信度的计算，同时，为保证前述三个特征计算的合理性，可为前述三个特征分配权重，然后基于权重，来计算车牌特征置信度，如下述步骤S62和S63所示。

S62.获取像素权重、水平投影权重和垂直投影权重；具体应用时，前述三个权重预设值识别终端中。

S63.计算所述车牌像素特征值与所述像素权重的乘积、所述字符水平投影特征值与所述水平投影权重的乘积以及所述字符垂直投影特征值与所述垂直投影权重的乘积，并对所有乘积求和，得到每个预选区域的车牌特征置信度；具体应用时，将各个特征值与对应权重相乘，然后再求总和，即可得到各个预选区域的车牌特征置信度，其中，在本实施例中，将车牌特征置信度最大的区域，作为车牌定位图像。

在得到车牌定位图像后，即可基于车牌定位图像，从而待识别图像中截取出仅含有车牌的图像，以便后续进行图像识别，其中，截取过程如下述步骤S7所示。

S7.基于所述车牌定位图像，从所述待识别图像中，截取出车牌图像；具体应用时，得到车牌定位图像后，可基于二值图像，在二值图像中确定该车牌定位图像四个端点的像素坐标，即确定左上方、左下方、右上方和右下方四个端点的坐标，且由于二值图像与待识别图像的图像大小并未发生改变，因此，得到四个端点坐标后，即可基于该四个端点坐标从待识别图像中截取出四个端点坐标之间的区域，从而作为车牌图像。

在得到车牌图像后，即可对该车牌图像进行图像识别，以得到车牌识别结果，如下述步骤S8所示。

S8.对所述车牌图像进行图像识别，得到所述待识别图像的车牌识别结果；具体应用时，图像识别过程如下述步骤S81～S84所示。

S81.对所述车牌图像进行灰度增强处理，得到灰度增强后的车牌图像；具体应用时，光线过暗或光线过亮均会造成图像对比度偏低，因此，需进行灰度增强，来提高车牌图像的对比度，其中，灰度增强过程为：第一步：确定灰度变化拐点，可以但不限于将绘制车牌图像的灰度曲线，其中，横坐标为像素点，纵坐标为像素点对应的灰度，然后基于灰度曲线找出变化最大(即斜率最大)的两个点，作为灰度变化拐点；第二步：按照如下公式(6)，增强车牌图像中每个像素点的灰度值。

上述式(6)中，g_p(x,y)表示车牌图像中第p个像素点进行灰度增加处理后的灰度值，f_p(x,y)表示车牌图像中第p个像素点的灰度值，x,y分别表示像素横坐标和像素纵坐标，f₁为灰度变化拐点F对应的灰度值，f₂为灰度变化拐点D对应的灰度值，且F的横坐标小于D的横坐标，A,B,C,b,c均为常数。p＝1,2,...,M，M为车牌图像中像素点的总个数。

假设灰度变化拐点F的坐标为(x_F,y_F)，灰度变化拐点D的坐标为(x_D,y_D)，其中：

且g_F＝Z(r_F)，Z表示灰度变换函数，可以但不限于包括线性函数，对数函数(对数和反对数)或幂律函数，r_F为灰度变化拐点F的灰度值对应的灰度级，因此，将灰度变化拐点F的灰度值对应的灰度级代入灰度变换函数中，即可得到g_F，最后，计算g_F与f₁之间的比值，即可得到A的值。

b＝g_F-Bf₁，同理，g_D＝Z(r_D)，而r_D为灰度变化拐点D的灰度值的灰度级。

c＝g_D-Cf₂，式中，

为车牌图像中第p个像素点的灰度值对应的灰度级，f_p为车牌图像中第p个像素点的灰度值。

由此，通过前述公式(6)即可计算出车牌图像中各个像素点灰度增强后的灰度值，将所有像素点计算完毕后，即可得到灰度增强后的车牌图像。

S82.对所述灰度增强后的车牌图像进行二值化处理，得到二值化车牌图像；具体应用时，二值化为图像处理领域中的常用技术，于此不多赘述。

在对灰度增强后的车牌图像进行二值化处理后，为提高识别精度，还需进行倾斜校正，如下述步骤S83所示。

S83.对所述二值化车牌图像进行倾斜校正，得到预识别车牌图像；具体应用时，可利用霍夫变换进行倾斜校正，即利用霍夫变换提取出车牌图像的边界直线，然后得出倾斜角，最后，基于倾斜角进行校正；当然，霍夫变换倾斜校正为图像校正常用技术，于此不多加赘述。

在完成倾斜校正后，即可将预识别车牌图像输入至车牌识别模型，进行车牌识别，得出识别结果，如下述步骤S84所示。

S84.将所述预识别车牌图像输入至车牌识别模型中，得到所述车牌识别结果；具体应用时，可利用LPRnet(License Plate Recognition via Deep Neural Networks)车牌识别网络来进行车牌识别或CNN(Convolutional Neural Network,前馈神经网络)进行车牌识别，当然，也可使用其余神经网络，在此不作限定。

在本实施例中，需要对前述神经网络进行训练，即获取训练数据集(包括多张车牌训练图像)，然后以训练数据集为输入，每张车牌训练图像的车牌号为输出，训练神经网络，训练完毕后，即可得到前述车牌识别模型。

由此通过前述步骤S1～S8所详细描述的车牌识别方法，本发明将RGB图像转换为HIS图像，减少了光照条件对车牌识别的影响，同时，利用构建的形态结构元对二值图像进行形态学处理，以在形态学处理过程中增大图像中的车牌目标、缩小以及填补图像中的空洞，使车牌字符形成一个连通的区域，从而实现车牌的粗定位，最后，再利用宽高比以及车牌特征置信度，在粗定位提取的区域中完成车牌的细定位，得到车牌定位图像；由此，本发明所提供的车牌识别方法，环境适应能力强，可在复杂环境中能够实现车牌的准确定位，从而提高了车牌识别的精度。

如图4所示，本实施例第二方面提供了一种实现实施例第一方面中所述的车牌识别方法的硬件装置，包括：

获取单元，用于获取待识别图像，其中，所述待识别图像中包括至少一张车牌。

图像转换单元，用于对所述待识别图像进行图像转换，得到HIS图像。

二值化单元，用于将所述HIS图像转换为灰度图像，并对所述灰度图像进行二值化，得到二值图像。

车牌区域分割单元，用于基于所述待识别图像，构建形态结构元，并利用所述形态结构元对所述二值图像进行形态学处理，得到至少一个车牌区域。

车牌定位单元，用于计算所述至少一个车牌区域中每个车牌区域的宽高比，并将宽高比符合预设阈值的车牌区域作为预选区域。

车牌定位单元，还用于计算所述预选区域中每个预选区域的车牌特征置信度，以便基于所述车牌特征置信度从所述预选区域中，确定出车牌定位图像。

截取单元，用于基于所述车牌定位图像，从所述待识别图像中，截取出车牌图像。

本实施例提供的硬件装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

如图5所示，本实施例第三方面提供了另一种车牌识别装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的车牌识别方法。

具体举例的，所述存储器可以但不限于包括随机存取存储器(random accessmemory，RAM)、只读存储器(Read On ly Memory，ROM)、闪存(F l ash Memory)、先进先出存储器(Fi rst I nput Fi rst Output，FI FO)和/或先进后出存储器(Fi rst I n LastOut，FI LO)等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digita l Signa l Process ing，数字信号处理)、FPGA(Fie ld－Programmab le Gate Array，现场可编程门阵列)、PLA(Programmab le LogicArray，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Process ing Un it，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。

在一些实施例中，处理器可以在集成有GPU(Graph ics Process ing Un it，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机(reduced instruct ion setcomputer,RISC)微处理器、X86等架构处理器或集成嵌入式神经网络处理器(neura l-network process ing un its，NPU)的处理器；所述收发器可以但不限于为无线保真(WIFI)无线收发器、蓝牙无线收发器、通用分组无线服务技术(Genera l Packet Rad ioService，GPRS)无线收发器、紫蜂协议(基于I EEE802.15.4标准的低功耗局域网协议，ZigBee)无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。

本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

本实施例第四方面提供了一种存储包含有实施例第一方面所述的车牌识别方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的车牌识别方法。

其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory St ick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的车牌识别方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。