CN113392839A - 非机动车车牌识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种非机动车车牌识别方法、装置、计算机设备和存储介质，通过获取目标车牌的车牌图像和车牌类型，根据车牌图像中的灰度跳变信息对车牌图像进行分割，得到所车牌图像的字符区域，并且在车牌类型为非单层车牌时，获取字符区域位于上方的第一区域和位于下方的第二区域，获取第一区域的字符类别，在第一区域的字符类别为可配置字符的情况下，按照目标车牌的车牌制式种类，为第一区域匹配目标车牌的登记信息，并将第二区域输入预设的编号识别模型得到目标车牌的车牌编号，最后根据登记信息和车牌编号，得到目标车牌的识别结果，从而能够增加对于不同地区的非机动车车牌识别的通用性，并提高非机动车车牌识别的正确率和效率。

Description

非机动车车牌识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理领域，特别是涉及一种非机动车车牌识别方法、装置、计算机设备和存储介质。

背景技术

随着深度学习在交通领域的发展，已经出现了深度学习在非机动车管理领域的应用。在利用深度学习处理非机动车的违法抓拍过程中，识别非机动车的车牌信息是非常重要的一环。由于非机动车车牌并不具备统一的车牌制式，不同地区都有其特定制式的非机动车车牌，在一些车牌中包含有所属行政区或者城市的名称，而有些车牌则会增加一些无需识别的附加信息，如“防盗备案号”。以上信息都会增加非机动车车牌识别的难度。因此目前尚未出现一种能够应用于不同地区的通用的非机动车车牌识别方案。

针对相关技术中存在的非机动车车牌识别方案不能通用于不同地区的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种非机动车车牌识别方法、装置、计算机设备和存储介质，以解决相关技术中存在的非机动车车牌识别方案不能通用于不同地区的问题。

第一个方面，在本实施例中提供了一种非机动车车牌识别方法，包括以下步骤：

获取目标车牌的车牌图像和车牌类型，所述车牌类型包括单层车牌和非单层车牌；

根据所述车牌图像中的灰度跳变信息对所述车牌图像进行分割，得到所车牌图像的字符区域；

在所述车牌类型为非单层车牌时，获取所述字符区域位于上方的第一区域和位于下方的第二区域；获取所述第一区域的字符类别，在所述第一区域的字符类别为可配置字符的情况下，按照所述目标车牌的车牌制式种类，为所述第一区域匹配所述目标车牌的登记信息，并将所述第二区域输入预设的编号识别模型得到所述目标车牌的车牌编号；

根据所述登记信息和所述车牌编号，得到所述目标车牌的识别结果。

在其中的一些实施例中，所述获取目标车牌的车牌图像和车牌类型，包括以下步骤：

获取目标非机动车图像；

将所述目标非机动车图像输入预设的检测模型，得到所述车牌图像和所述车牌类型。

在其中的一些实施例中，在获取目标车牌的车牌图像和车牌类型之后，在根据所述车牌图像中的灰度跳变信息对所述车牌图像进行分割，得到所车牌图像的字符区域之前，还包括以下步骤：

对所述车牌图像进行灰度化处理；

将灰度化后的车牌图像输入预设的矫正模型，对所述车牌图像的形态和角度进行矫正。

在其中的一些实施例中，所述根据所述车牌图像中的灰度跳变信息对所述车牌图像进行分割，得到所述车牌图像的字符区域，包括以下步骤：

获取所述车牌图像的字符区域的灰度波峰值、灰度波谷值以及跳变次数；

根据所述灰度波峰值、所述灰度波谷值以及所述跳变次数，得到灰度相邻组合；

利用所述灰度相邻组合确定所述车牌图像的分割阈值，根据所述分割阈值对所述车牌图像进行分割。

在其中的一些实施例中，所述按照所述目标车牌的车牌制式种类，为所述第一区域匹配所述目标车牌的登记信息，包括以下步骤：

若所述车牌制式的种类为一种，则获取预设的车牌配置信息，从所述车牌配置信息中得到所述登记信息。

在其中一些实施例中，所述按照所述目标车牌的车牌制式种类，为所述第一区域匹配所述目标车牌的登记信息，还包括以下步骤：

若所述车牌制式的种类大于一种，则将所述第一区域输入训练完备的第一分类模型，确定所述目标车牌所对应的车牌制式；

获取预设的车牌配置信息，根据所述车牌制式与所述车牌配置信息的映射关系，为所述第一区域匹配对应的登记信息。

在其中一些实施例中，在所述车牌类型为非单层车牌，且所述第一区域的字符类别为可识别字符时，还包括以下步骤：

将所述第一区域与所述第二区域拼接后输入预设的车牌识别模型，得到所述目标车牌的识别结果。

在其中一些实施例中，在所述车牌类型为单层车牌时，包括以下步骤：

将所述字符区域输入所述编号识别模型，得到所述目标车牌的识别结果。

在其中一些实施例中，所述获取所述第一区域的字符类别，包括：

将所述第一区域输入训练完备的第二分类模型，得到所述第一区域的字符类别。

第二个方面，在本实施例中提供了一种非机动车车牌识别装置，包括：图像获取模块、分割模块、识别模块以及结果获取模块，其中：

所述图像获取模块，用于获取目标车牌的车牌图像和车牌类型，所述车牌类型包括单层车牌和非单层车牌；

所述分割模块，用于根据所述车牌图像中的灰度跳变信息对所述车牌图像进行分割，得到所车牌图像的字符区域；

所述识别模块，用于在所述车牌类型为非单层车牌时，获取所述字符区域位于上方的第一区域和位于下方的第二区域；在所述第一区域的字符类别为可配置字符的情况下，按照所述目标车牌的车牌制式种类，为所述第一区域匹配登记信息，并将所述第二区域输入预设的编号识别模型得到车牌编号；

所述结果获取模块，用于根据所述登记信息和所述车牌编号，得到所述目标车牌的识别结果。

第三个方面，在本实施例中提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面的方法的步骤。

第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的方法的步骤。

上述非机动车车牌识别方法、装置、计算机设备和存储介质，通过获取目标车牌的车牌图像和车牌类型，根据车牌图像中的灰度跳变信息对车牌图像进行分割，得到所车牌图像的字符区域，并且在车牌类型为非单层车牌时，获取字符区域位于上方的第一区域和位于下方的第二区域，获取该第一区域的字符类别，在第一区域的字符类别为可配置字符的情况下，按照目标车牌的车牌制式种类，为第一区域匹配目标车牌的登记信息，并将第二区域输入预设的编号识别模型得到目标车牌的车牌编号，最后根据登记信息和车牌编号，得到目标车牌的识别结果，从而能够增加对于不同地区的非机动车车牌识别的通用性，并提高非机动车车牌识别的正确率和效率。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的非机动车车牌识别方法的应用场景图；

图2是根据本申请实施例的非机动车车牌识别方法的流程图一；

图3a是根据本申请实施例的一种非机动车车牌示意图；

图3b是根据本申请实施例的另一种非机动车车牌示意图；

图3c是根据本申请实施例的又一种非机动车车牌示意图；

图4a是根据本申请实施例的又一种非机动车车牌示意图；

图4b是根据本申请实施例的又一种非机动车车牌示意图；

图4c是根据本申请实施例的又一种非机动车车牌示意图；

图5是根据本申请实施例的非机动车车牌识别方法的流程图二；

图6是根据本申请实施例的非机动车车牌识别装置的结构示意图；

图7是根据本申请实施例的计算机设备的结构示意图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和***、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

图1为一个实施例中非机动车车牌识别方法的应用场景图。如图1所示，服务器101与监控终端102之间均可以通过网络进行数据传输。其中，监控终端102用于获取非机动车图像信息，并将该图像信息传输至服务器101中。在服务器101接收到该非机动车图像信息后，从该非机动车图像信息中获取目标车牌的车牌图像和车牌类型，根据车牌图像中的灰度跳变信息对车牌图像进行分割，得到该车牌图像的字符区域，最后根据该字符区域对该非机动车的车牌进行识别，从而得到该非机动车的车牌信息。其中，服务器101可以由独立的服务器或者是多个服务器组成的服务器集群来实现，监控终端102可以为任意一种摄像机。

在本实施例中提供了一种非机动车车牌识别方法，图2是本实施例的远程访问方法的流程图一，如图2所示，该流程包括如下步骤：

步骤S210，获取目标车牌的车牌图像和车牌类型，车牌类型包括单层车牌和非单层车牌。

由于非机动车车牌制式多样性，无法共用同一种非机动车车牌识别方案。且在对非机动车车牌进行识别时，除了获取该非机动车车牌的车牌号码，还可以利用该车牌上的其他字符信息，进一步获取该车牌的其他车牌信息，例如所属地区，从而完善对非机动车车牌的识别。因此可以针对目标车牌中车牌内容格式，为非机动车牌进行分类，根据不同车牌类型，为非机动车牌选择对应的车牌识别方案。

具体地，车牌图像既可以在获取到目标非机动车图像后，通过对该目标非机动车图像进行图像处理后得到，也可以由其他处理设备直接提供。在对目标非机动车图像进行图像处理时，可以利用非机动车车牌分类模型进行非机动车车牌坐标和车牌类型的分析。通过该车牌坐标即能从该目标非机动车图像中获取到车牌区域，通过该车牌类型能够确定该非机动车车牌属于单层车牌或非单层车牌。其中，单层车牌为包含单层字符的车牌，非单层车牌为包含多层字符的车牌，非机动车车牌检测模型可以为SSD(Single Shot MultiBoxDetector)模型、YOLO(You Only Look Once)模型，以及fasterRCNN(faster Regions withCNN Features)中任意一种检测模型。

进一步地，通过非机动车车牌检测模型，获取目标车牌的车牌图像和车牌类型，用于为后续车牌信息的识别提供参数。具体地，单层车牌可以为识别到的不包含文字，仅包含车牌号码的车牌。非单层车牌可以为包含文字和车牌号码的车牌，其中，该非单层车牌中的文字可以包括该非机动所属省份、城市以及行政区的汉字和字母信息，也可以包括无需进行识别的车牌附加信息，如“防盗备案号”和“XX电动自行车”。在获取该目标车牌的车牌类型后，能够按照车牌类型为该目标车牌选择对应的识别方案，以获取车牌信息。例如，对于单层车牌，可以直接对该车牌的字符区域进行识别，而对于非单层车牌，则需要对该车牌中的文字部分和车牌号码部分分别进行识别。

步骤S220，根据车牌图像中的灰度跳变信息对车牌图像进行分割，得到所车牌图像的字符区域。

为了提高非机动车车牌识别的鲁棒性，所获取的目标车牌的车牌图像往往会经过图像预处理，从而降低噪声的干扰。因此对于获取的目标车牌可以为经过灰度化处理的图像。在灰度化处理后的车牌图像中，字符区域与非字符区域存在灰度变化，因此可以获取该车牌图像的灰度跳变信息，利用该灰度跳变信息对该车牌图像进行分割，从而获得该车牌图像的字符区域。具体地，该灰度跳变信息可以包括车牌图像中像素灰度值的波峰值、波谷值以及波峰值与波谷值之间的跳变次数，由该灰度跳变信息可以确定该车牌图像的分割阈值，从而利用该分割阈值得到给车牌图像的字符区域。

进一步地，该分割阈值可以为一种灰度值，利用该分割阈值可以对单层车牌和非单层车牌进行分割以获得字符区域。其中在对单层车牌进行分割时，利用分割阈值对单层车牌进行投影分割和连通域分割，从而得到字符区域。获取该字符区域的边界后，即可得到该字符区域。另外，在对非单层车牌进行分割时，可以对该非单层车牌包含车牌号码的下层区域和其他文字信息的上层区域分别进行分割。同样地，利用该分割阈值进行投影分割和连通域分割，以获得该非单层车牌下层区域的字符边界和上层区域的字符区域

通过获取车牌图像的字符区域，能够提高后续获取非机动车车牌信息的效率。对非单层车牌进行字符区域的分割，能够便于后续对非单层车牌中的车牌号码区域和其他文字信息进行分别识别，从而提高车牌识别的准确率。

步骤S230，在车牌类型为非单层车牌时，获取字符区域位于上方的第一区域和位于下方的第二区域；获取第一区域的字符类别，在第一区域的字符类别为可配置字符的情况下，按照目标车牌的车牌制式种类，为第一区域匹配目标车牌的登记信息，并将第二区域输入预设的编号识别模型得到目标车牌的车牌编号。

其中，该第一区域为其他文字信息，具体可以为车牌的登记信息。第二区域为车牌号码。由于车牌的登记信息往往为文字，而车牌号码为数字和字母组合，且两种区域中的字体格式也不一样，因此可以对该两种区域进行不同的识别。

具体地，对于包含车牌号码信息的第二区域，可以直接利用预设的编号识别模型进行识别。其中，该编号识别模型可以为任意一种文本识别模型，例如CRNN(ConvolutionalRecurrent Neural Network)识别模型。另外地，对于包含车牌登记信息的第一区域，可以在获取到该第一区域的字符类别后，根据该第一区域的字符类别进行对应的处理。其中，该第一区域的字符类别可以包括可识别字符、可配置字符以及其他字符。具体地，可识别字符可以为由省份简称和字母所组成的登记信息，如图3a所示，由于该类信息所包含的文字内容少，可以将其归于可识别字符，直接利用识别模型进行识别。可配置字符可以为由地名组成的登记信息，如图3b所示，该登记信息中包含全文字信息，且不同地区的文字字体、间距均不相同，因此不适于直接对该类字符进行识别，可以借助外部配置信息，来对该类字符进行配置。另外地，图3c为字符类别为其他字符非单层车牌，如图3c所示，其他字符为车牌中无需进行识别的字符，即该类字符不表征该非机动车的身份信息，因此不需要对该类字符进行识别。

进一步地，由于目标车牌是按照一定的车牌制式进行设计的，通过该车牌制式，即能确定该目标车牌中第一区域内所包含的登记信息。因此当第一区域的字符类别为可配置字符时，可以获取该目标车牌预先确定的车牌制式种类。其中，该车牌制式种类可以为该非机动车图片所属地区的非机动车的车牌制式种类。例如，在对地区A的非机动车进行违法抓拍时，可以对应获取该地区A的非机动车的车牌制式种类，从而根据该车牌制式种类，为该第一区域匹配对应的目标车牌的登记信息。

上述利用车牌制式种类为第一区域匹配目标车牌的登记信息，代替对第一区域进行字符识别的方式，无需针对该第一区域中的字符进行识别模型的训练和字符库的更新，同时还能降低由于像素问题造成的识别误差，从而能够提高获取车牌登记信息的正确率和效率。

步骤S240，根据登记信息和车牌编号，得到目标车牌的识别结果。

上述步骤S210至S240，通过获取目标车牌的车牌图像和车牌类型，根据车牌图像中的灰度跳变信息对车牌图像进行分割，得到所车牌图像的字符区域，并且在车牌类型为非单层车牌时，获取字符区域位于上方的第一区域和位于下方的第二区域，在第一区域的字符类别为可配置字符的情况下，按照目标车牌的车牌制式种类，为第一区域匹配目标车牌的登记信息，并将第二区域输入预设的编号识别模型得到目标车牌的车牌编号，最后根据登记信息和车牌编号，得到目标车牌的识别结果，从而能够增加对于不同地区的非机动车车牌识别的通用性，并提高非机动车车牌识别的正确率和效率。

进一步地，基于上述步骤S210，获取目标车牌的车牌图像和车牌类型，包括以下步骤：

步骤S211，获取目标非机动车图像。

具体地，该目标非机动车图像可以由设置于非机动车道附近的监控设备进行视频抓拍而获得。

步骤S212，将目标非机动车图像输入预设的检测模型，得到车牌图像和车牌类型。

对于目标非机动车图像而言，其中的车牌图像中包含有该目标非机动车的身份信息，并且该车牌图像往往在目标非机动车图像中仅占据一部分区域。因此在获取到目标非机动车图像后，还需要进行处理，以进一步获得该目标非机动车的车牌图像。具体地，该检测模型可以为任意一种图像检测模型，例如SSD模型、YOLO模型以及fasterRCNN模型。通过该检测模型能够得到该车牌图像在该目标非机动车图像中的坐标，还可以获得该车牌类型。

进一步地，在一个实施例中，在获取目标车牌的车牌图像和车牌类型之后，在根据车牌图像中的灰度跳变信息对车牌图像进行分割，得到所车牌图像的字符区域之前，包括以下步骤：

步骤S213，对车牌图像进行灰度化处理。

步骤S214，将灰度化后的车牌图像输入预设的矫正模型，对车牌图像的形态和角度进行矫正。

由于非机动车辆本身的移动状态，监控设备所抓拍的非机动车车辆图像中，车牌可能会存在多种不同的形态，例如一定角度的倾斜。因此为了提高后续对该车牌图像的识别的准确率和效率，可以在识别之前利用矫正模型对该车牌图像进行矫正。其中，该矫正模型可以为基于深度学习的STN模型，也可以为图像处理领域中针对图像畸变和角度倾斜等问题的处理方法，在此不做限定。

另外地，在一个实施例中，基于上述步骤S220，根据车牌图像中的灰度跳变信息对车牌图像进行分割，得到所车牌图像的字符区域端，包括以下步骤：

步骤S221，获取所车牌图像的字符区域的灰度波峰值、灰度波谷值以及跳变次数。

其中，在获取该灰度波峰值、灰度波谷值以及跳变次数之前，可以基于先验知识对该车牌图像进行预先的裁剪。例如对于非单层车牌而言，上层区域往往仅包含文字字符，而下层区域包含车牌号码，因此在对下层区域的车牌号码进行分割时，可以将矫正后的车牌图像按照该车牌图像高度的1/2进行裁剪，选择裁剪后的下半张图像进行处理。

由于灰度化处理后的车牌图像中，字符区域与背景区域在灰度值上具有明显的差异，因此可以利用该车牌图像中的灰度跳变信息来确定分割阈值。具体地，该灰度波峰值可以为该裁剪区域内中间一行像素中灰度跳变时产生的波峰值，该灰度波谷值为该裁剪区域内中间一行像素中灰度跳变时产生的波谷值。该波峰值和波谷值可以记录为一组数组。该灰度跳变次数可以由预先设定的跳变阈值进行确定，即当某一段曲线中，该波峰值与波谷值的差值高于该预先设定的跳变阈值，才将这段曲线中波峰到波谷的灰度变化记录为一次跳变，否则认为该段曲线中不存在跳变。另外地，还可以预设一个跳变次数阈值，当该预设的跳变阈值下计算得到的跳变次数小于该跳变次数阈值，则另外设定一个跳变阈值，来确定该组波峰值、波谷值以及跳变次数。

更进一步地，还可以记录在该预设的跳变阈值之下，波峰值与波谷值之间灰度差值的序列，例如灰度差值的降序排列。获取该序列中最小的灰度差值，例如降序排列中的最后一位，根据该跳变阈值与该最小的灰度差值之间的大小关系，对该组波峰值和波谷值进行更新。例如，当该跳变阈值大于该最小灰度差值的3/4倍时，利用该跳变阈值之下所确定的波峰值、波谷值以及跳变次数进行后续分割阈值的计算。否则，则将该最小灰度差值的3/4倍作为新的跳变阈值，并利用该新的跳变阈值更新该组波峰值和波谷值。

举例来说，在预设的跳变阈值T下，确定的一组波谷值为数组grayA，一组波峰值为数组grayB，以及跳变次数为JmpNum。每个波谷所对应的像素X轴坐标组成了数组idxA，每个波峰所对应的像素X轴坐标组成了数组idxB。波峰波谷差值的降序排列后得到的序列为数组MaxDiff，若该数组长度为7，则最后一位为MaxDiff[6]。其中，令T_new＝MaxDiff[6]*3/4，若T_new小于T，则继续后续分割阈值的计算，否则将该T_new作为新的跳变阈值T，更新该组波峰值、波谷值和跳变次数，直至当前的T_new小于当前的T。

步骤S222，根据灰度波峰值、灰度波谷值以及跳变次数，得到灰度相邻组合。

具体地，预先设定一个当前跳变索引为JmpIdx，令该当前跳变索引初始值为0，即JmpIdx＝0。根据跳变次数JmpNum，预先确定一个跳变索引k。例如当跳变次数JmpNum为10时，设定k为4。获取两个跳变之间波谷与波谷的差值所组成的数组diffA＝|grayA[JmpIdx]-grayA[k]|。获取两个跳变之间波峰与波峰之间的差值所组成的数组diffB＝|grayB[JmpIdx]-grayB[k]|。获取当前跳变波峰与波谷的差值cHeight＝grayB[JmpIdx]-grayA[JmpIdx]。获取下一个跳变波峰与波谷的差值nHeight＝grayB[k]-grayA[k]，两个波峰之间坐标的差值diffIdxB＝idxB[k]-idxB[JmpIdx]。取diffA和diffB中的较大者为diffMax，取cHeight和nHeight中的较小者为HeightMin，设定一个固定的比较阈值，例如该比较阈值为50，若diffMax*4<＝HeightMin，且diffIdxB<＝50，则将该当前跳变索引所对应的灰度相邻组合的索引确定为nextFriend＝JmpIdx+k，也即在满足上述条件下，当前跳变索引为0时，该灰度相邻组合的索引为4。之后令k＝k-1，若此时diffMax*4<＝HeightMin，且diffIdxB<＝50依然成立，则更新该nextFriend，直至k<1。当确定JmpIdx为0时所对应的灰度相邻组合的索引后，令JmpIdx＝JmpIdx+1，利用同样的步骤计算此时JmpIdx所对应的灰度相邻组合的索引，直至JmpIdx＝JmpNum。

在得到一组当前跳变索引JmpIdx与对应的灰度相邻组合索引nextFriend后，分别计算当前跳变索引JmpIdx从0到跳变次数JmpNum下，分别对应的组合个数slopeCnt。表1为一组JmpIdx与nextFriend的对应关系，以该表1为例，说明如何确定每个JmpIdx所对应的组合个数slopeCnt。

表1

JmpIdx	0	1	2	3	4	5	6	7	8	9
											nextFriend	1	2	3	4	5	6	7	8	9	0

如表1所示，首先令每个JmpIdx所对应的slopeCnt的初始值为0。当JmpIdx为0时，判断此时所对应的nextFriend是否为0，若不为0，则令slopeCnt＝slopeCnt+1。继续判断该nextFriend所对应的nextFriend是否为0，即当JmpIdx为0时，其所对应的nextFriend为1，slopeCnt＝0+1，又由于nextFriend为1时对应nextFriend为2，则slopeCnt＝0+1+1，依次累积，直至所对应的nextFriend为0。因此由表1可以确定，当JmpIdx为0时，其所对应的slopeCnt为9。最后基于表1可以得到所有当前跳变索引与组合个数的对应关系如表2所示。找到该对应关系中组合个数最大的一组组合，即JmpIdx为0，slopeCnt为9。

表2

JmpIdx	0	1	2	3	4	5	6	7	8	9
											slopeCnt	9	8	7	6	5	4	3	2	1	0

将此时组合个数最大的值9作为这个组合的新跳变次数Num。判断该新跳变次数Num是否大于预设的最小跳变帧数N，若是，则根据公式(1)计算此时的分割阈值。否则，令N＝N-1，并重新按照上述过程计算新的分割阈值。

步骤S223，利用灰度相邻组合确定所车牌图像的分割阈值，根据分割阈值对车牌图像进行分割。

通过上述步骤S221至步骤S223，能够在目标车牌中存在干扰因素，例如雨水或泥水遮挡，所造成的车牌不清晰、对比度低的情况下，提高分割的准确度，从而增加字符区域分割的鲁棒性。

另外地，在一个实施例中，基于上述步骤S230，按照目标车牌的车牌制式种类，为第一区域匹配目标车牌的登记信息，包括以下步骤：

步骤S231，若车牌制式的种类为一种，则获取预设的车牌配置信息，从车牌配置信息中得到登记信息。

例如，当该目标非机动车图片来源地区的车牌制式为一种，比如该地区A所有非机动车车牌中，除车牌号码以外的其他车牌登记信息均为“地区A”，则直接获取该地区A中预设的车牌配置信息，也即内容为“地区A”的字符串，将该字符串内容作为该目标车牌的第一区域对应的登记信息。

另外地，在一个实施例中，基于上述步骤S230，按照目标车牌的车牌制式种类，为第一区域匹配目标车牌的登记信息，还包括以下步骤：

步骤S232，若车牌制式的种类大于一种，则将第一区域输入训练完备的第一分类模型，确定目标车牌所对应的车牌制式。

其中，车牌配置信息可以为根据不同地区而对应配置的车牌制式，包含有该地区下各种车牌制式所对应的登记信息。当车牌制式的种类大于一种时，例如城市B下存在行政区C，行政区D以及行政区E三种不同字符内容的车牌制式。例如，台州市的非机动车车牌包含有多种种类，如图4a、图4b以及图4c所示，台州市的非机动车车牌制式包含温岭、椒江以及玉环三种种类，因此可以将该地区的非机动车车牌制式的种类设置为三种。在车牌制式的种类大于一种时，将该第一区域输入第一分类模型，确定该第一区域中所包含的字符内容属于以上三种字符内容中的哪一种，代替对该第一区域中字符内容的直接识别。其中，该第一分类模型具体可以为任意一种基于机器学习的分类模型。另外地，在利用该第一分类模型进行分类之前，还可以将多个非单层车牌的第一区域作为训练集，对该第一分类模型进行训练，以得到训练完备的第一分类模型。

步骤S233，获取预设的车牌配置信息，根据车牌制式与车牌配置信息的映射关系，为第一区域匹配对应的登记信息。

当确定该第一区域所对应的车牌制式后，即能从预先配置的车牌配置信息中获取与该车牌制式对应的登记信息。

在一个实施例中，在车牌类型为非单层车牌，且第一区域的字符类别为可识别字符时，还包括以下步骤：

步骤S250，将第一区域与第二区域拼接后输入预设的车牌识别模型，得到目标车牌的识别结果。

例如，若该第一区域的字符内容为某个省份的简称和该城市行政级别的字母组合，则该类字符内容可以直接通过图像处理领域或者深度学习领域的识别模型进行识别，因此将该第一区域与包含车牌编号的第二区域进行拼接后，输入车牌识别模型中，确定该目标车牌的识别结果。具体地，该车牌识别模型可以为预先训练的CRNN模型。

在一个实施例中，在车牌类型为单层车牌时，还包括以下步骤：

步骤S260，将字符区域输入编号识别模型，得到目标车牌的识别结果。

具体地，该编号识别模型可以为预先训练的CRNN模型。

在一个实施例中，基于上述步骤S230，获取所述第一区域的字符类别，具体包括以下步骤：

S231，将第一区域输入训练完备的第二分类模型，得到第一区域的字符类别。

具体地，由于非机动车牌的多样性，对于非单层车牌，第一区域的字符类别可能包含多种。比如，地区一的非机动车车牌的第一区域由该地区所属省份简称和字母所组成的登记信息，由于该类信息所包含的文字内容少，便于检测模型的识别，因此可以将其归于可识别字符。地区二的非机动车车牌的第一区域为由地区二的地名组成的全文字字符区域，这种情况输入检测模型进行字符识别可能会造成识别效率较低的情况，因此可以借助外部配置信息，来对该类字符进行配置。另外地，一部分非机动车车牌的第一区域中所包含的可能为不包含车牌登记的关键信息的其他字符，因此无需对其进行识别。

为了确定第一区域所属的字符类别，可以利用第二分类模型进行检测。其中，该第二分类模型具体可以为Alexnet，Vggnet、Resnet等分类模型中的任意一种，本实施例中不做具体限定。

进一步地，在一个实施例中，如图5所示，提供了一种非机动车车牌识别的方法流程图二，包括以下步骤：

步骤S10，获取非机动车图片。

步骤S11，利用检测模型对非机动车进行车牌检测，得到车牌图像和车牌类型。

步骤S12，对车牌图像进行矫正。

步骤S20，根据灰度跳变信息进行字符区域分割。

步骤S30，判断该车牌类型是否为单层车牌。

步骤S31，若为单层车牌，则利用该单层车牌的纹理边界分割出字符区域。

步骤S32，若为非单层车牌，分别分割出该非单层车牌的位于上方的第一区域，和位于下方的第二区域。

步骤S321，将第一区域送入第二分类模型，判断字符类别。

步骤S322，若第一区域的字符类别为省份简称和字母组合的可识别字符，则将第一区域和第二区域拼接。

步骤S323，若第一区域的字符类别为不需要识别的其他字符，则只选取第二区域。

步骤S324，若第一区域为全文字的可配置字符，则分别选取第一区域和第二区域。

步骤S325，判断车牌制式是否为一种。

步骤S3251，若该目标车牌所属的车牌制式为一种，则利用车牌配置信息获取该第一区域对应的登记信息。

步骤S3252，若该目标车牌所属的车牌制式为至少两种，则利用第一分类模型对该第一区域进行分类，利用该第一区域所对应的车牌制式匹配车牌配置信息中的登记信息。

步骤S326，选取第二区域。

步骤S40，利用CRNN识别模型识别所选取的区域。

上述步骤S210至S260，利用预设的检测模型对目标非机动车图像进行处理，得到车牌图像和车牌类型，并且对车牌图像进行灰度化处理和矫正处理，从而能够提高后续对车牌图像识别的准确率，根据车牌图像的灰度波峰值、灰度波谷值以及跳变次数确定灰度相邻组合，利用该灰度相邻组合确定该车牌图像的分割阈值，从而提高对车牌图像中字符区域分割的准确率，降低了车牌图像干扰因素的影响，当车牌类型为非单层车牌，且第一区域的字符类别为可配置字符时，根据预设的车牌配置信息确定该第一区域的登记信息，当第一区域的字符类别为可识别字符时，利用车牌识别模型对拼接后的第一区域和第二区域进行识别，当车牌类型为单层车牌时，利用编号识别模型对该目标车牌进行识别，避免了在目标车牌中包含较多文字字符而导致识别模型训练效率和识别准确率低的问题，根据不同的车牌类型能够选择不同的处理方式，从而增加了对于不同地区的非机动车车牌识别的通用性。

在本实施例中还提供了一种非机动车车牌识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是本申请实施中非机动车车牌识别装置60的结构示意图，如图6所示，该非机动车车牌识别装置60包括：图像获取模块62、分割模块64、识别模块66以及结果获取模块68，其中：

图像获取模块62，用于获取目标车牌的车牌图像和车牌类型，车牌类型包括单层车牌和非单层车牌；

分割模块64，用于根据车牌图像中的灰度跳变信息对车牌图像进行分割，得到所车牌图像的字符区域；

识别模块66，用于在车牌类型为非单层车牌时，获取字符区域位于上方的第一区域和位于下方的第二区域；获取所述第一区域的字符类别，在第一区域的字符类别为可配置字符的情况下，按照目标车牌的车牌制式种类，为第一区域匹配登记信息，并将第二区域输入预设的编号识别模型得到车牌编号；

结果获取模块68，用于根据登记信息和车牌编号，得到目标车牌的识别结果。

上述非机动车车牌识别装置60，通过获取目标车牌的车牌图像和车牌类型，根据车牌图像中的灰度跳变信息对车牌图像进行分割，得到所车牌图像的字符区域，并且在车牌类型为非单层车牌时，获取字符区域位于上方的第一区域和位于下方的第二区域，获取第一区域的字符类别，在第一区域的字符类别为可配置字符的情况下，按照目标车牌的车牌制式种类，为第一区域匹配目标车牌的登记信息，并将第二区域输入预设的编号识别模型得到目标车牌的车牌编号，最后根据登记信息和车牌编号，得到目标车牌的识别结果，从而能够增加对于不同地区的非机动车车牌识别的通用性，并提高非机动车车牌识别的正确率和效率。

在其中一个实施例中，图像获取模块62还用于获取目标非机动车图像，将目标非机动车图像输入预设的检测模型，得到车牌图像和车牌类型。

在其中一个实施例中，非机动车车牌识别装置60还包括矫正模块，所述矫正模块用于对车牌图像进行灰度化处理，将灰度化后的车牌图像输入预设的矫正模型，对车牌图像的形态和角度进行矫正。

在其中一个实施例中，分割模块64还用于获取所车牌图像的字符区域的灰度波峰值、灰度波谷值以及跳变次数，根据灰度波峰值、灰度波谷值以及跳变次数，得到灰度相邻组合，利用灰度相邻组合确定所车牌图像的分割阈值，根据分割阈值对车牌图像进行分割。

在其中一个实施例中，识别模块66还用于在车牌制式的种类为一种时，获取预设的车牌配置信息，从车牌配置信息中得到登记信息。

在其中一个实施例中，识别模块66还用于在车牌制式的种类大于一种时，将第一区域输入训练完备的第一分类模型，确定目标车牌所对应的车牌制式，获取预设的车牌配置信息，根据车牌制式与车牌配置信息的映射关系，为第一区域匹配对应的登记信息。

在其中一个实施例中，识别模块66还用于将第一区域与第二区域拼接后输入预设的车牌识别模型，得到目标车牌的识别结果。

在其中一个实施例中，识别模块66还用于将字符区域输入编号识别模型，得到目标车牌的识别结果。

在其中一个实施例中，识别模型66还用于将第一区域输入训练完备的第二分类模型，得到第一区域的字符类别。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设配置信息集合。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述非机动车车牌识别方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种非机动车车牌识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取目标车牌的车牌图像和车牌类型，车牌类型包括单层车牌和非单层车牌；

根据车牌图像中的灰度跳变信息对车牌图像进行分割，得到所车牌图像的字符区域；

在车牌类型为非单层车牌时，获取字符区域位于上方的第一区域和位于下方的第二区域；获取所述第一区域的字符类别，在第一区域的字符类别为可配置字符的情况下，按照目标车牌的车牌制式种类，为第一区域匹配目标车牌的登记信息，并将第二区域输入预设的编号识别模型得到目标车牌的车牌编号；

根据登记信息和车牌编号，得到目标车牌的识别结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取目标非机动车图像；

将目标非机动车图像输入预设的检测模型，得到车牌图像和车牌类型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对车牌图像进行灰度化处理；

将灰度化后的车牌图像输入预设的矫正模型，对车牌图像的形态和角度进行矫正。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取所车牌图像的字符区域的灰度波峰值、灰度波谷值以及跳变次数；

根据灰度波峰值、灰度波谷值以及跳变次数，得到灰度相邻组合；

利用灰度相邻组合确定所车牌图像的分割阈值，根据分割阈值对车牌图像进行分割。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

若车牌制式的种类为一种，则获取预设的车牌配置信息，从车牌配置信息中得到登记信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

若车牌制式的种类大于一种，则将第一区域输入训练完备的第一分类模型，确定目标车牌所对应的车牌制式；

获取预设的车牌配置信息，根据车牌制式与车牌配置信息的映射关系，为第一区域匹配对应的登记信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将第一区域与第二区域拼接后输入预设的车牌识别模型，得到目标车牌的识别结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将字符区域输入编号识别模型，得到目标车牌的识别结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将第一区域输入训练完备的第二分类模型，得到第一区域的字符类别。

上述存储介质，通过获取目标车牌的车牌图像和车牌类型，根据车牌图像中的灰度跳变信息对车牌图像进行分割，得到所车牌图像的字符区域，并且在车牌类型为非单层车牌时，获取字符区域位于上方的第一区域和位于下方的第二区域，获取第一区域的字符类别，在第一区域的字符类别为可配置字符的情况下，按照目标车牌的车牌制式种类，为第一区域匹配目标车牌的登记信息，并将第二区域输入预设的编号识别模型得到目标车牌的车牌编号，最后根据登记信息和车牌编号，得到目标车牌的识别结果，从而能够增加对于不同地区的非机动车车牌识别的通用性，并提高非机动车车牌识别的正确率和效率。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种非机动车车牌识别方法，其特征在于，包括以下步骤：

获取目标车牌的车牌图像和车牌类型，所述车牌类型包括单层车牌和非单层车牌；

根据所述车牌图像中的灰度跳变信息对所述车牌图像进行分割，得到所车牌图像的字符区域；

在所述车牌类型为非单层车牌时，获取所述字符区域位于上方的第一区域和位于下方的第二区域；获取所述第一区域的字符类别，在所述第一区域的字符类别为可配置字符的情况下，按照所述目标车牌的车牌制式种类，为所述第一区域匹配所述目标车牌的登记信息，并将所述第二区域输入预设的编号识别模型得到所述目标车牌的车牌编号；

根据所述登记信息和所述车牌编号，得到所述目标车牌的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述获取目标车牌的车牌图像和车牌类型，包括：

获取目标非机动车图像；

将所述目标非机动车图像输入预设的检测模型，得到所述车牌图像和所述车牌类型。

3.根据权利要求1所述的方法，其特征在于，在获取目标车牌的车牌图像和车牌类型之后，在根据所述车牌图像中的灰度跳变信息对所述车牌图像进行分割，得到所车牌图像的字符区域之前，还包括：

对所述车牌图像进行灰度化处理；

将灰度化后的车牌图像输入预设的矫正模型，对所述车牌图像的形态和角度进行矫正。

4.根据权利要求1所述的方法，其特征在于，所述根据所述车牌图像中的灰度跳变信息对所述车牌图像进行分割，得到所述车牌图像的字符区域，包括：

获取所述车牌图像的字符区域的灰度波峰值、灰度波谷值以及跳变次数；

根据所述灰度波峰值、所述灰度波谷值以及所述跳变次数，得到灰度相邻组合；

利用所述灰度相邻组合确定所述车牌图像的分割阈值，根据所述分割阈值对所述车牌图像进行分割。

5.根据权利要求1所述的方法，其特征在于，所述按照所述目标车牌的车牌制式种类，为所述第一区域匹配所述目标车牌的登记信息，包括：

若所述车牌制式的种类为一种，则获取预设的车牌配置信息，从所述车牌配置信息中得到所述登记信息。

6.根据权利要求1所述的方法，其特征在于，所述按照所述目标车牌的车牌制式种类，为所述第一区域匹配所述目标车牌的登记信息，还包括：

若所述车牌制式的种类大于一种，则将所述第一区域输入训练完备的第一分类模型，确定所述目标车牌所对应的车牌制式；

获取预设的车牌配置信息，根据所述车牌制式与所述车牌配置信息的映射关系，为所述第一区域匹配对应的登记信息。

7.根据权利要求1所述的方法，其特征在于，在所述车牌类型为非单层车牌，且所述第一区域的字符类别为可识别字符时，所述方法还包括：

将所述第一区域与所述第二区域拼接后输入预设的车牌识别模型，得到所述目标车牌的识别结果。

8.根据权利要求1所述的方法，其特征在于，在所述车牌类型为单层车牌时，所述方法还包括：

将所述字符区域输入所述编号识别模型，得到所述目标车牌的识别结果。

9.根据权利要求1所述的方法，其特征在于，所述获取所述第一区域的字符类别，包括：

将所述第一区域输入训练完备的第二分类模型，得到所述第一区域的字符类别。

10.一种非机动车车牌识别装置，其特征在于，包括：图像获取模块、分割模块、识别模块以及结果获取模块，其中：

所述图像获取模块，用于获取目标车牌的车牌图像和车牌类型，所述车牌类型包括单层车牌和非单层车牌；

所述分割模块，用于根据所述车牌图像中的灰度跳变信息对所述车牌图像进行分割，得到所车牌图像的字符区域；

所述识别模块，用于在所述车牌类型为非单层车牌时，获取所述字符区域位于上方的第一区域和位于下方的第二区域；获取所述第一区域的字符类别，在所述第一区域的字符类别为可配置字符的情况下，按照所述目标车牌的车牌制式种类，为所述第一区域匹配登记信息，并将所述第二区域输入预设的编号识别模型得到车牌编号；

所述结果获取模块，用于根据所述登记信息和所述车牌编号，得到所述目标车牌的识别结果。

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述方法的步骤。

Images