CN112215229A - 基于轻量网络端到端的车牌识别方法及装置 - Google Patents

Abstract

本发明实施例公开一种基于轻量网络端到端的车牌识别方法及装置，可在一定程度上提升车牌识别效率及精度。包括：将车牌图像输入特征提取网络，对车牌图像进行浅层次处理，提取车牌图像的浅层次纹理特征；对浅层次纹理特征进行深层次处理，提取车牌图像的深层次特征；基于深层次特征获取高级语义特征，得到多个特征图；将特征图输入差异化字符分类网络，基于不同的分类器对相应的特征图进行分类，输出分类预测结果；差异化字符分类网络具有多个分类器，每一个分类器对应特征图中相应位置字符；将分类预测结果输入车牌号编/解码模块进行解码得到车牌号码；车牌号编/解码模块中存储有分类预测结果与字符的对应关系。

Description

基于轻量网络端到端的车牌识别方法及装置

技术领域

本发明涉及智能交通领域，尤其涉及一种基于轻量网络端到端的车牌识别方法及装置。

背景技术

随着5G和物联网时代的发展，越来越多的图像采集终端被部署在交通路口、停车场、加油站等，越来越多的场景需要智能监测机动车的状态。其中，车牌作为机动车唯一的身份证，车牌号码识别的正确率和时效性是体现智能监测设备性能好坏的一个重要因素。

现有的一些车牌识别方方案中，监控图像实时抓拍每一辆车，确定车辆在图中位置并裁剪出来，根据获得的车辆图像检测车牌位置并提取特征，分割出每一个字符送入同一个字符分类器中，得到车牌号码。另外，字符分类器中每一个字符先后依次识别，加长了流程，最后识别结果精度是每一阶段精度的乘积。致使车牌号码识别的效率及精度较低。

发明内容

有鉴于此，本发明实施例提供一种基于轻量网络端到端的车牌识别方法及装置，可以在一定程度上提升车牌识别效率及精度。

第一方面，本发明实施例提供一种基于轻量网络端到端的车牌识别方法，所述轻量网络为轻量化车牌识别网络模型，所述轻量化车牌识别网络模型包括特征提取网络、差异化字符分类网络及车牌号编/解码模块；所述方法包括：

获取车牌图像；

将所述车牌图像输入所述特征提取网络，对所述车牌图像进行浅层次处理，提取所述车牌图像的浅层次纹理特征；

对所述浅层次纹理特征进行深层次处理，提取所述车牌图像的深层次特征；

基于所述深层次特征获取高级语义特征，得到多个特征图；所述特征图的尺寸规格与车牌的原始的长宽比一致；

将所述特征图输入所述差异化字符分类网络，基于不同的分类器对相应的特征图进行分类，输出分类预测结果；所述差异化字符分类网络具有多个分类器，每一个分类器对应特征图中相应位置字符；

将所述分类预测结果输入车牌号编/解码模块进行解码得到车牌号码；所述车牌号编/解码模块中存储有所述分类预测结果与字符的对应关系。

可选的，所述特征提取网络包括三组特征提取层，每一组特征提取层包括卷积层，预定步长的均值池化层以及激活层，三组特征提取层对应的卷积通道数依次为22，59和108。

可选的，在将所述车牌图像输入所述特征提取网络之前，所述方法还包括：基于车牌的外轮廓尺寸，将车牌图像裁剪缩放成112*32像素大小；

在将所述车牌图像输入所述特征提取网络之后，所述方法还包括：通过特征提取层中的池化层对输入的车牌图像进行第一降采样处理，使所述车牌图像压缩为14*4像素，以保留原始车牌的长宽比。

可选地，所述分类器包括多组位置感知层，每组位置感知层包括横向卷积层与池化层；

所述在将所述特征图输入所述差异化字符分类网络之后，所述方法还包括：利用所述横向卷积层提取输入的所述特征图；

利用所述池化层根据预设步长对所述特征图进行第二降采样处理，得到2*2像素的特征图。

可选地，将所述分类预测结果输入车牌号编/解码模块进行解码得到车牌号码包括：

根据所述分类预测结果确定出相应位置的字符，并根据字符的位置将所有字符排序；

判断所有字符排序后得到的号码末位是否存在补码；

若不存在，则将号码全部输出；

若存在，则自动忽略末位补码输出。

第二方面，本发明实施例提供了一种基于轻量网络端到端的车牌识别装置，包括：

图像获取模块，用于获取车牌图像；

轻量化车牌识别网络模型，包括特征提取网络、差异化字符分类网络及车牌号编/解码模块；其中，

所述特征提取网络，用于将所述车牌图像输入所述特征提取网络，对所述车牌图像进行浅层次处理，提取所述车牌图像的浅层次纹理特征；

对所述浅层次纹理特征进行深层次处理，提取所述车牌图像的深层次特征；

基于所述深层次特征获取高级语义特征，得到多个特征图；所述特征图的尺寸规格与车牌的原始的长宽比一致；

差异化字符分类网络，用于将所述特征图输入所述差异化字符分类网络，基于不同的分类器对相应的特征图进行分类，输出分类预测结果；所述差异化字符分类网络具有多个分类器，每一个分类器对应特征图中相应位置字符；

车牌号编/解码模块，用于将所述分类预测结果输入车牌号编/解码模块进行解码得到车牌号码；所述车牌号编/解码模块中存储有所述分类预测结果与字符的对应关系。

可选的，所述特征提取网络包括三组特征提取层，每一组特征提取层包括卷积层，预定步长的均值池化层以及激活层，三组特征提取层对应的卷积通道数依次为22，59和108。

可选的，所述装置还包括：原始图像裁剪模块，用于在将所述车牌图像输入所述特征提取网络之前，基于车牌的外轮廓尺寸，将车牌图像裁剪缩放成112*32像素大小；

所述特征提取网络，具体还用于，在将所述车牌图像输入所述特征提取网络之后，通过特征提取层中的池化层对输入的车牌图像进行第一降采样处理，使所述车牌图像压缩为14*4像素，以保留原始车牌的长宽比.

可选的，所述分类器包括多组位置感知层，每组位置感知层包括横向卷积层与池化层；

所述差异化字符分类网络，具体还用于在接收到将所述特征图之后，利用所述横向卷积层提取输入的所述特征图；

利用所述池化层根据预设步长对所述特征图进行第二降采样处理，得到2*2像素的特征图。

可选的，所述车牌号编/解码模块，具体用于根据所述分类预测结果确定出相应位置的字符，并根据字符的位置将所有字符排序；

判断所有字符排序后得到的号码末位是否存在补码；

若无，则将号码全部输出；

若有，则自动忽略末位补码输出。

本发明实施例提供的基于轻量网络端到端的车牌识别方法及装置，基于轻量化车牌识别网络模型实现对车牌的识别，具体为：在将所述车牌图像输入所述特征提取网络之后，对所述车牌图像进行浅层次处理，提取所述车牌图像的浅层次纹理特征；对所述浅层次纹理特征进行深层次处理，提取所述车牌图像的深层次特征；基于所述深层次特征获取高级语义特征，得到多个特征图；所述特征图的尺寸规格与车牌的原始的长宽比一致；将所述特征图输入所述差异化字符分类网络，基于不同的分类器对相应的特征图进行分类，输出分类预测结果；所述差异化字符分类网络具有多个分类器，每一个分类器对应特征图中相应位置字符；将所述分类预测结果输入车牌号编/解码模块进行解码得到车牌号码；所述车牌号编/解码模块中存储有所述分类预测结果与字符的对应关系。由于采用差异化分类网络，根据车牌不同属性识别的难易程度，设置多个分类器，分别对不同的特征图进行分类处理，且同时进行识别得出预测结果，可以提高处理效率及缩短识别的流程，进而在一定程度上可以提高车牌的识别效率及精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明的基于轻量网络端到端的车牌识别方法一实施例流程示意图；

图2为本发明中一实施例轻量化车牌识别网络模型的组织结构示意图；

图3为图2中特征提取网络一实施例组织结构示意图；

图4为本发明中分类器一实施例组织结构示意图；

图5为本发明中输入的车牌汉字一示例性图像；

图6为图5中车牌汉字图像经过提取特征网络处理后得到田字形特征图一示例性图像；

图7为本发明中另一实施例轻量化车牌识别网络模型的组织结构示意图；

需要说明的是，图5和图6采用着色的图是为了便于帮助理解原始图像状态及经过提取特征网络处理后的图像状态。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

图1为本发明的基于轻量网络端到端的车牌识别方法一实施例流程示意图，图2为本发明中一实施例轻量化车牌识别网络模型的组织结构示意图。

如图1至图2所示，本实施例提供的基于轻量网络端到端的车牌识别方法，所述轻量网络为轻量化车牌识别网络模型，所述轻量化车牌识别网络模型包括特征提取网络、差异化字符分类网络及车牌号编/解码模块；所述方法可以包括：

步骤101，获取车牌图像。

所述车牌图像的获取可以是由设于路口、卡口、停车场、公路预定位置的监控摄像头拍摄得到，也可以经由处理器预处理得到，本实施例对车牌图像的来源或获取方式不作限定。

所述车牌可以包括国际上使用的各种车牌，例如单行蓝牌、单行白牌、双行车牌。其中，本方案针对车牌号码首位为汉字的车牌具有区别于其它车牌识别方案的创新之处；例如，对于中国大陆的车牌号码多为汉字的特点，针对性的设计车牌图像输入尺寸，以确保所述轻量化车牌识别网络模型在识别过程中，提取的汉字特征呈正方形。

步骤102、将所述车牌图像输入所述特征提取网络，对所述车牌图像进行浅层次处理，提取所述车牌图像的浅层次特征。

步骤103、对所述浅层次特征进行深层次处理，提取所述车牌图像的深层次特征；

步骤104、基于所述深层次特征获取高级语义特征，得到多个特征图(featuremap)；所述特征图的尺寸规格与车牌的原始的长宽比一致。由于所述特征图的尺寸规格与车牌的原始长宽比一致，保留了原始车牌的长宽比，使得汉字特征能够得到充分的表达，有助于车牌整体识别精度的提升。

在步骤102～104中，所述浅层次特征、深层次特征及高级语义特征为图像处理技术领域的术语，可以理解为是对输入的车牌图像进行由浅到深的不同层次的图像处理，进而提取得到分割的多个特征图。

在基于类神经网络的图像识别技术领域，浅层次特征也称为低层次特征，往往是泛化的、易于表达的，如纹理、颜色、边缘、棱角等。深层次特征往往是复杂的、难以说明的，在本实施例中，例如可以为汉字的基本组成单元，横、折、勾等；

浅层次处理一般(靠近特征提取网络的输入)能提取到上述低层次特征，深层次处理(靠近特征提取网络输出)往往能提取到上述深层次特征。最后再进行更深层的高级语义特征分析并输出预测结果，即多个特征图。

步骤105，将所述特征图输入所述差异化字符分类网络，基于不同的分类器对相应的特征图进行分类，输出分类预测结果。

所述差异化字符分类网络具有多个分类器，每一个分类器对应特征图中相应位置字符。

可以理解的是，车牌每个属性提取任务不同，因此单一的分类器网络不能很好的匹配分类任务难度。本发明采用差异化字符分类网络，根据所需提取属性的难易程度，相应设置了多个分类器，以针对性的对车牌的不同属性进行处理，可以使车牌识别效率及精度得到兼顾及整体提升。比如，首字符以汉字为主，识别难度较大，采用较宽的分类器提取高级特征；车牌颜色的提取，相对简单，可以采用较为简单的网络进行处理。具体到分类器的差异上，主要体现为卷积通道的差异，例如对于属性识别难度较大的汉字，卷积通道数可以大一些，反之则小一些。本发明主要提取车牌号码和颜色属性，在一些实施例中，用于对汉字进行分类处理的分类器的卷积层通道数为49，车牌的八个字符通道数依次是42，42，45，37，32，37及15，颜色部分仅为11。

步骤106、将所述分类预测结果输入车牌号编/解码模块进行解码得到车牌号码；所述车牌号编/解码模块中存储有所述分类预测结果与字符的对应关系。

其中，所述车牌号编/解码模块中存储有所述分类预测结果与字符的对应关系。

由于中国大陆不同类型的车牌号码存在长度不一特点，例如，普通车牌多以七位为主，而新能源车牌多以八位为主。为了能够适应不同长度的车牌识别，在一些实施例中，在输入特征图至分类器后，采用最大长度的车牌号码作为标尺，所有车牌自动对齐到8位新能源车牌长度，不足的部分添加统一的补码，将补码纳入到分类器的类别中。这样，就可以实现对不同长度的车牌分类识别，扩大本方案适用的车牌种类。

本发明中车牌号码每一位的编码过程是单独进行的。如第一位“京-0”、“苏-1”....“Z-32”、“WJ-55”，其中武警车牌的“WJ”一个整体需统一编码。第二位之后不再出现汉字，编码是只需包括字母与数字即可。每个属性的编码长度充分考虑分类任务特点，差异化设置，这样可以提高整体识别精度。

根据前述描述，本发明实施例提供的基于轻量网络端到端的车牌识别方法，由于采用差异化分类网络，根据车牌不同属性识别的难易程度，设置多个分类器，分别对不同的特征图进行分类处理，且同时进行识别得出预测结果，可以提高处理效率及缩短识别的流程，进而在一定程度上可以提高车牌的识别效率及精度。

参看图3所示，本实施例中，作为一可选实施例，所述特征提取网络包括三组特征提取层，每一组特征提取层包括卷积层，预定步长的均值池化层以及激活层，三组特征提取层对应的卷积通道数依次为22，59和108。这样，可以使特征提取网络量级较轻，每组特征提取层的卷积通道数较小，极大地减少了特征提取的计算量和参数量，从而便于提升车牌识别效率。

其中，所述池化层选择步长为2的均值池化层，可以加大特征在空间上交流的范围，有助于特征的筛选。激活层使得特征提取具备了非线性的表达能力，可以扩大模型的模拟空间。

针对中国大陆的车牌首位为汉字，为了可以更加准确地刻画汉字的特点，有助于汉字的识别。在将所述车牌图像输入所述特征提取网络之前，所述方法还包括：基于车牌的外轮廓尺寸，将车牌图像裁剪缩放成112*32像素大小。

在将所述车牌图像输入所述特征提取网络之后，所述方法还包括：通过特征提取层中的池化层对输入的车牌图像进行第一降采样处理，使所述车牌图像压缩为14*4像素，以保留原始车牌的长宽比。

本实施例中，通过对车牌图像输入尺寸及池化层降采样处理结合，可以使提取汉字特征呈正方形，以便于识别。

参看图4所示，本实施例中，作为一可选实施例，所述分类器包括多组位置感知层，每组位置感知层包括横向卷积层与池化层。

所述在将所述特征图输入所述差异化字符分类网络之后，所述方法还包括：利用所述横向卷积层提取输入的所述特征图；

利用所述池化层根据预设步长对所述特征图进行第二降采样处理，得到2*2像素的特征图。这样，将特征的尺寸限定为2*2像素，符合汉字的构成方法，可以更加准确地刻画汉字的特点，有助于汉字的识别。如图5表示输入的车牌汉字图像(大小为189*189像素)，图6表示经过特征提取层后得到的“田字形”特征图(2*2像素)。

所述轻量化车牌识别模型是采用轻量化神经网络方法设计的模型，整个模型需要的参数量较少，计算量也较小。神经网络(也称为人工神经网络或类神经网络)的主要组成部分是卷积层，本实施例中在训练模型时，通过控制卷积层的数量、深度、卷积核的大小等，使得模型总体参数量在400K以下，进而使模型在车牌识别过程中参量处理较少，可以提高识别效率。

经测试，本发明实施中的轻量化车牌识别网络，在海思3559A芯片上单次运行时间为5ms左右，识别效率较高。

具体地，车牌属性包括了车牌的每一位字符及字符之间的顺序。如果“云A8P5M5”被识别成“云A85PM5”，则是错误的识别结果。因此车牌号码顺序的确定至关重要，在之前的深度学习方法大多采用循环卷积神经网络和连接时序分类相结合的方法，该方法需要引入大量额外的计算，影响了识别效率，不利于提升车牌识别的时效性。

如图4所示，本发明中，则采用全局化的感受范围，具体为分类器在X方向上采用了多个1*3的卷积核针对性实现X方向的全局感受范围，使得所有提取的特征图携带了字符在整个车牌中的相对位置信息。

其中，每一个字符都用一个单独的分类器，而这个分类器本身携带有字符的位置信息。例如，分类器1输出的是第一个车牌字符(比如京、冀、鲁等)，分类器2输出第二个车牌字符(比如A、B、C等)。这样，就可以通过分类器进行分类识别直接确定出车牌各个字符之间的相对关系。

其中，在一些实施例中，特征提取网络中的每一组特征提取层包括一个卷积核大小为1*3的横向卷积层和步长为1*2为池化层。经过三组感知层后，横向感受范围依次是31，63，127，而输入图像原始尺寸是32*112，这样可以实现全局感受范围。

所述感受范围也称为感受野，即每一个特征元素能够响应的图像范围，在本实施例中，主要指横向感受范围。

在一些基于文本识别的方案中，不适用于直接对双层车牌号码的识别，降低了***的适用范围。本发明实施例中，通过设计差异化字符分类网络，采用每一个字符一个分类器的方案，双层号码和单层号码都采用一样数目的分类器，所述分类器是通过大量单/双层车牌数据训练分类器，这使得分类器能自动提取对应位置特征。也就是说分类器可以在学习字符位置的同时，也学习到了车牌是单层还是双层。从而可以适用于双层车牌号码的识别。

本发明实施例提供的车牌识别方法，应用在嵌入式终端设备中，针对车牌的特点，设计了轻量化车牌识别网络，使得识别模型的参数量控制在400K以下。并引入车牌号补码，实现对中国大陆不同长度车牌号码的识别。利用特定的输入车牌图像尺寸参数，并经过多次降采样处理得到的特征图，符合汉字的构字结构，可以实现对汉字特征的精确提取。进一步地，设置多个携带有字符位置信息的分类器，分别对不同的特征图进行分类识别处理，得出预测结果，并同时确定出车牌号码字符之间的相对顺序，可以提高识别效率及精度。

本发明的方法能够运行在普通的ARM(Advanced RISC Machines)设备中，在一定程上可以提高嵌入式设备车牌号码识别的正确率和速度。

实施例二

参看图2及图7所示，本实施例的装置可以包括：轻量化车牌识别网络模型，包括特征提取网络、差异化字符分类网络及车牌号编/解码模块；所述车牌号编/解码模块实现的功能可以以程序的方式固化于差异化分类网络中实现。

其中，所述特征提取网络，用于将所述车牌图像输入所述特征提取网络，对所述车牌图像进行浅层次处理，提取所述车牌图像的浅层次纹理特征；

对所述浅层次纹理特征进行深层次处理，提取所述车牌图像的深层次特征；

基于所述深层次特征获取高级语义特征，得到多个特征图；所述特征图的尺寸规格与车牌的原始的长宽比一致；

差异化字符分类网络，用于将所述特征图输入所述差异化字符分类网络，基于不同的分类器对相应的特征图进行分类，输出分类预测结果；所述差异化字符分类网络具有多个分类器，每一个分类器对应特征图中相应位置字符；

车牌号编/解码模块，用于将所述分类预测结果输入车牌号编/解码模块进行解码得到车牌号码；所述车牌号编/解码模块中存储有所述分类预测结果与字符的对应关系。

在一些实施例中，所述特征提取网络包括三组特征提取层，每一组特征提取层包括卷积层，预定步长的均值池化层以及激活层，三组特征提取层对应的卷积通道数依次为22，59和108。

在一些实施例中，所述装置还包括：原始图像裁剪模块，用于在将所述车牌图像输入所述特征提取网络之前，基于车牌的外轮廓尺寸，将车牌图像裁剪缩放成112*32像素大小；

所述特征提取网络，具体还用于，在将所述车牌图像输入所述特征提取网络之后，通过特征提取层中的池化层对输入的车牌图像进行第一降采样处理，使所述车牌图像压缩为14*4像素，以保留原始车牌的长宽比.

在一些实施例中，所述分类器包括多组位置感知层，每组位置感知层包括横向卷积层与池化层；

所述差异化字符分类网络，具体还用于在接收到将所述特征图之后，利用所述横向卷积层提取输入的所述特征图；

利用所述池化层根据预设步长对所述特征图进行第二降采样处理，得到2*2像素的特征图。

在一些实施例中，所述车牌号编/解码模块，具体用于根据所述分类预测结果确定出相应位置的字符，并根据字符的位置将所有字符排序；

判断所有字符排序后得到的号码末位是否存在补码；

若无，则将号码全部输出；

若有，则自动忽略末位补码输出。

本实施例中提供的装置，由于用于执行图1所示方法实施例的技术方案，其实现原理和技术效果与实施例一类似，或相同，可参看实施例一的具体描述，在此处不再赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。

在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于轻量网络端到端的车牌识别方法，其特征在于，所述轻量网络为轻量化车牌识别网络模型，所述轻量化车牌识别网络模型包括特征提取网络、差异化字符分类网络及车牌号编/解码模块；

所述方法包括：获取车牌图像；

将所述车牌图像输入所述特征提取网络，对所述车牌图像进行浅层次处理，提取所述车牌图像的浅层次纹理特征；

对所述浅层次纹理特征进行深层次处理，提取所述车牌图像的深层次特征；

基于所述深层次特征获取高级语义特征，得到多个特征图；所述特征图的尺寸规格与车牌的原始的长宽比一致；

将所述特征图输入所述差异化字符分类网络，基于不同的分类器对相应的特征图进行分类，输出分类预测结果；所述差异化字符分类网络具有多个分类器，每一个分类器对应特征图中相应位置字符；

将所述分类预测结果输入车牌号编/解码模块进行解码得到车牌号码；所述车牌号编/解码模块中存储有所述分类预测结果与字符的对应关系。

2.根据权利要求1所述的车牌识别方法，其特征在于，所述特征提取网络包括三组特征提取层，每一组特征提取层包括卷积层，预定步长的均值池化层以及激活层，三组特征提取层对应的卷积通道数依次为22、59和108。

3.根据权利要求1或2所述的车牌识别方法，其特征在于，在将所述车牌图像输入所述特征提取网络之前，所述方法还包括：基于车牌的外轮廓尺寸，将车牌图像裁剪缩放成112*32像素大小；

在将所述车牌图像输入所述特征提取网络之后，所述方法还包括：通过特征提取层中的池化层对输入的车牌图像进行第一降采样处理，使所述车牌图像压缩为14*4像素，以保留原始车牌的长宽比。

4.根据权利要求1所述的车牌识别方法，其特征在于，所述分类器包括多组位置感知层，每组位置感知层包括横向卷积层与池化层；

所述在将所述特征图输入所述差异化字符分类网络之后，所述方法还包括：利用所述横向卷积层提取输入的所述特征图；

利用所述池化层根据预设步长对所述特征图进行第二降采样处理，得到2*2像素的特征图。

5.根据权利要求1所述的车牌识别方法，其特征在于，将所述分类预测结果输入车牌号编/解码模块进行解码得到车牌号码包括：

根据所述分类预测结果确定出相应位置的字符，并根据字符的位置将所有字符排序；

判断所有字符排序后得到的号码末位是否存在补码；

若不存在，则将号码全部输出；

若存在，则自动忽略末位补码输出。

6.一种基于轻量网络端到端的车牌识别装置，其特征在于，包括：图像获取模块，用于获取车牌图像；

轻量化车牌识别网络模型，包括特征提取网络、差异化字符分类网络及车牌号编/解码模块；其中，

所述特征提取网络，用于将所述车牌图像输入所述特征提取网络，对所述车牌图像进行浅层次处理，提取所述车牌图像的浅层次纹理特征；

对所述浅层次纹理特征进行深层次处理，提取所述车牌图像的深层次特征；

基于所述深层次特征获取高级语义特征，得到多个特征图；所述特征图的尺寸规格与车牌的原始的长宽比一致；

差异化字符分类网络，用于将所述特征图输入所述差异化字符分类网络，基于不同的分类器对相应的特征图进行分类，输出分类预测结果；所述差异化字符分类网络具有多个分类器，每一个分类器对应特征图中相应位置字符；

车牌号编/解码模块，用于将所述分类预测结果输入车牌号编/解码模块进行解码得到车牌号码；所述车牌号编/解码模块中存储有所述分类预测结果与字符的对应关系。

7.根据权利要求6所述的车牌识别装置，其特征在于，所述特征提取网络包括三组特征提取层，每一组特征提取层包括卷积层，预定步长的均值池化层以及激活层，三组特征提取层对应的卷积通道数依次为22，59和108。

8.根据权利要求6或7所述的车牌识别装置，其特征在于，所述装置还包括：原始图像裁剪模块，用于在将所述车牌图像输入所述特征提取网络之前，基于车牌的外轮廓尺寸，将车牌图像裁剪缩放成112*32像素大小；

所述特征提取网络，具体还用于，在将所述车牌图像输入所述特征提取网络之后，通过特征提取层中的池化层对输入的车牌图像进行第一降采样处理，使所述车牌图像压缩为14*4像素，以保留原始车牌的长宽比。

9.根据权利要求7所述的车牌识别装置，其特征在于，所述分类器包括多组位置感知层，每组位置感知层包括横向卷积层与池化层；

所述差异化字符分类网络，具体还用于在接收到将所述特征图之后，利用所述横向卷积层提取输入的所述特征图；

利用所述池化层根据预设步长对所述特征图进行第二降采样处理，得到2*2像素的特征图。

10.根据权利要求7所述的车牌识别装置，其特征在于，所述车牌号编/解码模块，具体用于根据所述分类预测结果确定出相应位置的字符，并根据字符的位置将所有字符排序；

判断所有字符排序后得到的号码末位是否存在补码；

若无，则将号码全部输出；

若有，则自动忽略末位补码输出。

Images