CN113343985B - 车牌识别方法和装置 - Google Patents

车牌识别方法和装置 Download PDF

Info

Publication number
CN113343985B
CN113343985B CN202110723185.9A CN202110723185A CN113343985B CN 113343985 B CN113343985 B CN 113343985B CN 202110723185 A CN202110723185 A CN 202110723185A CN 113343985 B CN113343985 B CN 113343985B
Authority
CN
China
Prior art keywords
license plate
vehicle
plate recognition
image
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110723185.9A
Other languages
English (en)
Other versions
CN113343985A (zh
Inventor
胡伯承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202110723185.9A priority Critical patent/CN113343985B/zh
Publication of CN113343985A publication Critical patent/CN113343985A/zh
Application granted granted Critical
Publication of CN113343985B publication Critical patent/CN113343985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种车牌识别方法及装置，该方法包括：接收采集的图像序列；对所述图像序列进行车辆检测，获取车辆检测结果和RE‑ID特征；根据所述车辆检测结果和RE‑ID特征进行车辆跟踪，得到车辆的跟踪轨迹；基于所述跟踪轨迹对所述车辆进行车牌检测，得到车牌文字；对所述车牌文字进行识别，得到所述车辆的当前车牌识别结果；将所述车辆的当前车牌识别结果与所述车辆的历史车牌识别结果进行融合，得到融合结果；判断所述融合结果是否达到设定要求；如果是，则将所述融合结果作为最终车牌识别结果输出；否则，继续对所述车辆进行车牌检测和车牌识别。利用本发明，可以提高车牌识别结果的准确性。

Description

车牌识别方法和装置
技术领域
本发明涉及目标识别技术领域，具体地涉及一种车牌识别方法和装置。
背景技术
车牌识别在停车管理、道路交通等方面有着广泛的应用，包括车辆检测、车牌文字检测与矫正、车牌文字识别、车辆跟踪与信息融合等环节。
现有技术提供的一种车牌识别方法如图1所示，在进行车辆检测后，对每个车辆单独用RE-ID(Re-Identification，重识别)模型提取特征，然后通过Deep Sort进行跟踪，对包含车辆的图像进行车牌检测和车牌框四个角点的回归，用四个角点的位置做投影变换与对齐后，对车牌缩放到94x24像素的大小做LPRNet(License Plate Recognition Network，车牌识别网络)的识别。
但该方法还存在以下缺点：
1.随着画面中车辆的增多，提取RE-ID特征的耗时线性增加，跟踪速度慢，无法处理快速车牌识别的场景。
2.车牌四个角点的回归，由于车牌安装的差异，导致点误差较大，从而容易导致车牌矫正失败。
3.对车牌缩放到94x24的LPRNet，由于纵向尺度为24，对于车牌的第一个汉字较模糊或复杂的省份汉字识别率较低。
发明内容
本申请实施例提供一种车牌识别方法和装置，以提高车牌识别结果的准确性。
为此，本发明实施例提供如下技术方案：
一种车牌识别方法，所述方法包括：
接收采集的图像序列；
对所述图像序列进行车辆检测，获取车辆检测结果和RE-ID特征；
根据所述车辆检测结果和RE-ID特征进行车辆跟踪，得到车辆的跟踪轨迹；
基于所述跟踪轨迹对所述车辆进行车牌检测，得到车牌文字；
对所述车牌文字进行识别，得到所述车辆的当前车牌识别结果；
将所述车辆的当前车牌识别结果与所述车辆的历史车牌识别结果进行融合，得到融合结果；
判断所述融合结果的考核指标是否达到设定要求；
如果是，则将所述融合结果作为最终车牌识别结果输出；
否则，继续对所述车辆进行车牌检测。
可选地，所述将所述车辆的当前车牌识别结果与所述车辆的历史车牌识别结果进行融合，得到融合结果包括：
确定所述当前车牌识别结果的考核指标是否优于所述历史车牌识别结果；
如果是，则将所述当前车牌识别结果作为融合结果，并更新历史车牌识别结果为所述当前车牌识别结果；
否则，将所述历史车牌识别结果作为融合结果。
可选地，所述车牌识别结果的考核指标包括以下任意一种或多种：车牌检测文字置信度、车牌识别结果置信度、车牌规则校验结果。
可选地，所述对所述图像序列进行车辆检测，获取车辆检测结果和RE-ID特征包括：
将所述图像序列输入预先训练的车辆检测器中，根据所述车辆检测器的输出得到车辆检测结果和RE-ID特征；所述车辆检测器采用轻量级神经网络作为骨干网络，在所述骨干网络的快速目标检测层中添加有RE-ID特征提取层。
可选地，所述根据所述车辆检测结果和RE-ID特征进行车辆跟踪，得到车辆的跟踪轨迹包括：
利用Deep Sort算法及所述车辆检测结果和RE-ID特征进行车辆跟踪，并且采用以下任意一种或多种处理方式：
如果图像采集场景为特定场景，则使用检测框与***预测框之间的欧氏距离描述运动信息的关联度，否则使用检测框与***预测框之间的马氏距离描述运动信息的关联度；所述特定场景为车辆单向运动的场景；
在级联匹配时，如果当前帧车辆框对应的IOU大于设定的IOU阈值，则延用上一帧对应的车辆的RE-ID特征作为当前帧对应所述车辆的RE-ID特征；
如果级联匹配失败，则停止新的IOU指派；
车辆的轨迹消失后，设定一定时限的生命周期，在所述生命周期内继续对所述车辆进行车辆跟踪。
可选地，所述方法还包括：预先训练车牌文字检测矫正模型，具体包括：
采用轻量级神经网络作为骨干网络；
采集大量车辆图像，并对所述车辆图像中单排车牌和堆叠车牌进行标注；
截取所述车辆图像中的车牌区域，得到车牌图像；
对所述车牌图像进行缩放处理，得到设定尺寸的训练样本图像；
将所述训练样本图像及对应的车牌标注信息作为训练数据，训练得到基于所述骨干网络的车牌文字检测矫正模型；
所述基于所述跟踪轨迹对所述车辆进行车牌检测包括：
将所述跟踪轨迹上的各图像输入所述车牌文字检测矫正网络，根据所述车牌文字检测矫正网络的输出得到车牌文字及其置信度。
可选地，所述方法还包括：预先训练车牌识别模型，具体包括：
将输入特征维度为128x32的LPRNet模型作为车牌识别模型的网络结构；
采集大量原始车牌图像，并对所述原始车牌图像进行扩展，得到扩展车牌图像；
将所述原始车牌图像及所述扩展车牌图像作为训练样本集；
利用所述训练样本集训练得到车牌识别模型；
所述对所述车牌文字进行识别，得到所述车辆的当前车牌识别结果包括：
将所述车牌文字输入所述车牌识别模型，根据所述车牌识别模型的输出得到所述车辆的当前车牌识别结果及其置信度。
可选地，所述对所述原始车牌图像进行扩展包括以下任意一种或多种：
对所述原始车牌图像随机添加模糊处理；
对所述原始车牌图像随机添加噪声；
对所述原始车牌图像随机调整色彩饱和度、亮度、对比度。
可选地，所述对所述车牌文字进行识别，得到所述车辆的当前车牌识别结果还包括：
对所述车辆的当前车牌识别结果进行过滤，过滤掉重复的识别结果，以及置信度低于设定值的文字。
一种车牌识别装置，所述装置包括：
接收模块，用于接收采集的图像序列；
车辆检测模块，用于对所述图像序列进行车辆检测，获取车辆检测结果和RE-ID特征；
轨迹跟踪模块，用于根据所述车辆检测结果和RE-ID特征进行车辆跟踪，得到车辆的跟踪轨迹；
车牌检测模块，用于基于所述跟踪轨迹对所述车辆进行车牌检测，得到车牌文字；
车牌识别模块，用于对所述车牌文字进行识别，得到所述车辆的当前车牌识别结果；
融合模块，用于将所述车辆的当前车牌识别结果与所述车辆的历史车牌识别结果进行融合，得到融合结果；
判断模块，用于判断所述融合结果的考核指标是否达到设定要求；如果是，则触发所述融合模块将所述融合结果作为最终车牌识别结果输出；否则，触发所述车牌检测模块继续对所述车辆进行车牌检测。
可选地，所述融合模块包括：
比较单元，用于确定所述当前车牌识别结果的考核指标是否优于所述历史车牌识别结果；
融合结果处理单元，用于在所述比较单元确定所述当前车牌识别结果的考核指标优于所述历史车牌识别结果的情况下，将所述当前车牌识别结果作为融合结果，并更新历史车牌识别结果为所述当前车牌识别结果；否则，将所述历史车牌识别结果作为融合结果。
可选地，所述车牌识别结果的考核指标包括以下任意一种或多种：车牌检测文字置信度、车牌识别结果置信度、车牌规则校验结果。
可选地，所述车辆检测模块，具体用于将所述图像序列输入预先训练的车辆检测器中，根据所述车辆检测器的输出得到车辆检测结果和RE-ID特征；所述车辆检测器采用轻量级神经网络作为骨干网络，在所述骨干网络的快速目标检测层中添加有RE-ID特征提取层。
可选地，所述轨迹跟踪模块，具体用于利用Deep Sort算法及所述车辆检测结果和RE-ID特征进行车辆跟踪，并且采用以下任意一种或多种处理方式：
如果图像采集场景为特定场景，则使用检测框与***预测框之间的欧氏距离描述运动信息的关联度，否则使用检测框与***预测框之间的马氏距离描述运动信息的关联度；所述特定场景为车辆单向运动的场景；
在级联匹配时，如果当前帧车辆框对应的IOU大于设定的IOU阈值，则延用上一帧对应的车辆的RE-ID特征作为当前帧对应所述车辆的RE-ID特征；
如果级联匹配失败，则停止新的IOU指派；
车辆的轨迹消失后，设定一定时限的生命周期，在所述生命周期内继续对所述车辆进行车辆跟踪。
可选地，所述装置还包括：车牌文字检测矫正模型建立模块，用于预先训练车牌文字检测矫正模型；所述车牌文字检测矫正模型建立模块包括：
第一网络结构确定单元，用于采用轻量级神经网络作为骨干网络；
图像采集单元，用于采集大量车辆图像，并对所述车辆图像中单排车牌和堆叠车牌进行标注；
图像截取单元，用于截取所述车辆图像中的车牌区域，得到车牌图像；
图像处理单元，用于对所述车牌图像进行缩放处理，得到设定尺寸的训练样本图像；
第一训练单元，用于将所述训练样本图像及对应的车牌标注信息作为训练数据，训练得到基于所述骨干网络的车牌文字检测矫正模型；
所述车牌检测模块，具体用于将所述跟踪轨迹上的各图像输入所述车牌文字检测矫正网络，根据所述车牌文字检测矫正网络的输出得到车牌文字及其置信度。
可选地，所述装置还包括：车牌识别模型建立模块，用于预先训练车牌识别模型；所述车牌识别模型建立模块包括：
第二网络结构确定单元，用于将输入特征维度为128x32的LPRNet模型作为车牌识别模型的网络结构；
图像样本生成单元，用于采集大量原始车牌图像，并对所述原始车牌图像进行扩展，得到扩展车牌图像；将所述原始车牌图像及所述扩展车牌图像作为训练样本集；
第二训练单元，用于利用所述训练样本集训练得到车牌识别模型；
所述车牌识别模块，具体用于将所述车牌文字输入所述车牌识别模型，根据所述车牌识别模型的输出得到所述车辆的当前车牌识别结果及其置信度。
可选地，所述图像样本生成单元对所述原始车牌图像进行扩展包括以下任意一种或多种：
对所述原始车牌图像随机添加模糊处理；
对所述原始车牌图像随机添加噪声；
对所述原始车牌图像随机调整色彩饱和度、亮度、对比度。
可选地，所述车牌识别模块，还用于对所述车辆的当前车牌识别结果进行过滤，过滤掉重复的识别结果，以及置信度低于设定值的文字。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。
本发明实施例还提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。
本发明实施例提供的车牌识别方法和装置，对采集的图像序列进行车辆检测，获取车辆检测结果和RE-ID特征，利用车辆检测结果和RE-ID特征进行车辆跟踪，得到车辆的跟踪轨迹，然后基于跟踪轨迹进行车牌检测和车牌文字识别，将当前车牌识别结果与所述跟踪轨迹上的历史车牌识别结果进行融合，得到融合结果，在融合结果达到设定要求时，作为最终车牌识别结果输出。通过融合处理，避免了车牌识别结果的不稳定性，提高了车牌识别结果的准确性，并且避免了逐帧进行车牌识别造成较多计算压力导致识别缓慢的问题。
进一步地，车辆检测器采用轻量级神经网络作为骨干网络，并在所述骨干网络的快速目标检测层中添加RE-ID特征提取层，从而可以利用该车辆检测器一次推理即可得到所有车辆框和RE-ID特征，提高了推理速度，可以更好地处理快速车牌识别的场景，比如对超速、闯红灯、压实线等违规行为的抓拍场景。
进一步地，利用改进的Deep Sort(Simple Online And Realtime Tracking，简单在线实时跟踪)算法进行车辆跟踪，不仅可以提高跟踪速度，而且有效地避免了跟踪ID错误及车牌漏识别。
进一步地，利用采用轻量级神经网络作为骨干网络的车牌文字检测矫正模型，并且在车牌文字检测矫正模型训练时，对各种单排车牌和堆叠车牌都进行标注后训练，有效地保证了检出的车牌文字分辨率不会太小，提高了后续车牌识别网络输入图像的质量。
进一步地，利用采用轻量级神经网络作为骨干网络的车牌识别模型，并且在车牌识别模型训练时，通过对样本图像多种方式的扩增，有效地提高了对模糊车牌和污损车牌的识别率。
附图说明
图1是现有技术中进行车牌识别的一种流程图；
图2是本发明实施例车牌识别方法的一种流程图；
图3是本发明实施例中车辆检测模型的结构示意图；
图4是本发明实施例中利用Deep Sort算法进行车辆跟踪的一种流程图；
图5是本发明实施例中利用Deep Sort算法进行车辆跟踪的另一种流程图；
图6是本发明实施例中训练车牌文字检测矫正模型的流程图；
图7是本发明实施例中车牌文字检测矫正模型的网络结构示意图；
图8是本发明实施例中训练车牌识别模型的流程图；
图9是本发明实施例车牌识别装置的一种结构框图；
图10是本发明实施例中车牌文字检测矫正模型建立模块的一种结构框图；
图11是本发明实施例中车牌识别模型建立模块的一种结构框图。
具体实施方式
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本发明实施例提供的车牌识别方法和装置，对采集的图像序列进行车辆检测，获取车辆检测结果和RE-ID特征，利用车辆检测结果和RE-ID特征进行车辆跟踪，得到车辆的跟踪轨迹，然后基于跟踪轨迹进行车牌检测和车牌文字识别，将当前车牌识别结果与所述跟踪轨迹上的历史车牌识别结果进行融合，得到融合结果，在融合结果达到设定要求时，作为最终车牌识别结果输出。通过融合处理，避免了车牌识别结果的不稳定性，提高了车牌识别结果的准确性，并且避免了逐帧进行车牌识别造成较多计算压力导致识别缓慢的问题。
如图2所示，是本发明实施例车牌识别方法的一种流程图，包括以下步骤：
步骤201，接收采集的图像序列。
所述图像序列可以来自设置在各种不同场景中的摄像头，比如停车场、城市道路路口、高速公路上等场景中。
步骤202，对所述图像序列进行车辆检测，获取车辆检测结果和RE-ID特征。
在实际应用中，所述步骤202可以采用现有技术，即先对所述图像序列进行车辆检测，然后再对每个车辆单独用RE-ID模型提取相应特征。
在本发明方法另一实施例中，还可以预先构建车辆检测器，利用该车辆检测器一次推理即可得到所有车辆框和RE-ID特征。具体地，将所述图像序列输入所述车辆检测器中，根据所述车辆检测器的输出得到车辆检测结果和RE-ID特征。
Yolo-v3是目标检测算法之一，是基于回归的方式进行特征提取，通过端到端的过程训练网络，最终在多尺度融合的特征层中回归出目标的类别与位置。Yolo-v3目标检测框架中使用了多尺度检测，比如，19x19、38×38、76×76三个特征层同时检测图像或视频中的物体，且根据anchor(锚点)中的值预先画出预测边界框。在训练过程中对于每幅输入图像，YOLOv3会预测三个不同大小的3D tensor(张量)，对应着三个不同的scale(比例)。设计这三个scale的目的就是为了能够检测出不同大小的物体。
在本发明实施例中，所述车辆检测器采用改进的YOLO-V3，如图3所示，采用简化efficientnet-lite(一种轻量级分类网络)作为骨干网络，在所述骨干网络的快速目标检测层中添加RE-ID特征提取层。训练时，使用RE-ID的训练数据贴图方式(即将RE-ID的训练数据贴到训练图像集中)得到训练图像集，利用所述训练图像集同步训练车辆检测和车辆RE-ID，得到所述车辆检测模型。
基于所述车辆检测模型一次推理得到所有车辆框和RE-ID特征，相对于现有方式，大大提高了推理速度，可以更好地处理快速车牌识别的场景，比如对超速、闯红灯、压实线等违规行为的抓拍场景。
步骤203，根据所述车辆检测结果和RE-ID特征进行车辆跟踪，得到车辆的跟踪轨迹。
需要说明的是，在具体应用中，所述车辆跟踪可以采用现有技术，比如利用DeepSort算法进行车辆跟踪，生成车辆跟踪轨迹。
Deep Sort是多目标跟踪算法，基本思想是tracking-by-detection(基于检测的跟踪)，利用运动模型和外观信息进行数据关联，运行速率主要由检测算法所决定，利用Deep Sort算法进行车辆跟踪的过程参见图3所示。
Deep Sort算法使用一个8维空间表示轨迹在某时刻的状态，使用一个基于常量速度模型和线性观测模型的标准卡尔曼滤波器进行目标运动状态的预测，利用***对目标运动轨迹进行管理，后续通过带权值的匈牙利算法(即同时考虑了运动信息的关联和目标外观信息的关联)对检测对象(即检测框)和所述目标的历史运动轨迹(即***预测框)进行匹配，如果检测对象与所述历史运动轨迹相匹配，则将该对象添加到匹配的轨迹上，形成目标的运动轨迹。其中，运动信息的关联度使用目标检测框与***预测框之间的马氏距离来描述，如果某次关联的马氏距离小于设定的阈值，则设置运动状态的关联成功。目标外观信息的关联采用RE-ID特征向量间的最小余弦距离来描述。在利用匈牙利算法进行匹配时，使用级联匹配的方式，即多次使用匈牙利算法对不同消失时长的轨迹进行匹配。在级联匹配中，原目标在当前帧中的预测位置(即***预测框)和当前帧目标检测框之间的IOU(Intersection of Union，交并比)如果大于设定的IOU阈值，则继续进行目标特征(即RE-ID特征)匹配；否则IOU指派结果无效，继续进行下一个IOU指派。
在本发明方法另一实施例中，还可以基于一种改进的Deep Sort算法进行车辆跟踪，具体可以包括以下一种或多种改进：
1)在路口或卡口等场景中，车辆具有单向运动的特点，为此，在这些场景中，在计算运动信息的关联度时，可以使用检测框与***预测框之间的欧式距离来描述。相对于图4所示的采用马氏距离来描述运动信息的关联度，可以更高效和稳定，而且计算结果的可信度更高。
2)在级联匹配时，如果当前帧车辆框对应的IOU大于设定的IOU阈值，则延用上一帧对应的车辆的RE-ID特征作为当前帧对应所述车辆的RE-ID特征，以避免车辆遮挡导致的特征提取错误从而导致跟踪ID错误。
3)对于级联匹配失败的，不再进行IOU的指派，避免车辆快速运动时，在相邻帧不同车出现在同一个位置的情况导致的车牌漏识别。
4)车辆的轨迹消失后，设定一定时限的生命周期，在所述生命周期内继续对所述车辆进行车辆跟踪。需要说明的是，所述生命周期可以根据车辆速度来确定，在车辆速度较快的场景，生命周期可以设置的较短些，比如，可以设置所述生命周期为4-6帧；反之，车辆速度较快的场景的生命周期可以设置的较长些。
基于上述改进的Deep Sort算法进行车辆跟踪的过程参见图5所示。
步骤204，基于所述跟踪轨迹对所述车辆进行车牌检测，得到车牌文字。
在实际应用中，可以采用多种方式进行车牌检测，下面对此详细说明。
在一种实现方式中，可以首先基于所述跟踪轨迹，对跟踪轨迹上的车辆进行车牌文字检测，然后再对检测结果中车牌框四个角点进行回归处理，再用四个角点的位置做投影变换与对齐，最终得到车牌图像。
在另一种实现方式中，可以预先训练车牌文字检测矫正模型，对待车牌文字检测的车辆，选取包含车牌的区域做等比截取，缩放到一定像素(比如512x256像素)后送入所述车牌文字检测矫正模型，根据所述车牌文字检测矫正网络的输出得到车牌文字及其置信度。车牌文字检测矫正模型具体训练过程将在后面详细描述。
步骤205，对所述车牌文字进行识别，得到所述车辆的当前车牌识别结果。
在上述步骤205的一种实现方式中，可以基于现有的LPRNet(License PlateRecognition network，车牌识别网络)对所述车牌文字进行识别。
现有的LPRNet中，骨干网络的输入为94×24像素的RGB图片。骨干网络获取原始的RGB图片作为输入，并且计算出大量特征的空间分布。宽卷积(1×13的卷积核)利用本地字符的上下文从而取代了基于LSTM(Long Short-Term Memory,长短期记忆网络)的RNN(Recurrent Neural Network,循环神经网络)。骨干子网络的输出可以被认为是一个代表对应字符可能性的序列，它的长度刚到等于输入图像的宽度。
LPRNet由轻量级的卷积神经网络组成，所以它可以采用端到端的方法来进行训练。因此，在上述步骤205的另一种实现方式中，还可以针对车牌的汉字较复杂易误识别的特点，基于轻量级的卷积神经网络，并对网络输入进行扩展，比如设计输入为128×32的LPRNet作为车牌识别模型的网络结构，利用所述车牌识别模型对所述车牌文字进行识别。具体地，将所述车牌文字输入所述车牌识别模型，根据所述车牌识别模型的输出得到所述车辆的当前车牌识别结果及其置信度。
进一步地，还可以对所述车辆的当前车牌识别结果进行过滤，比如根据车牌规则按窗口进行过滤，过滤掉重复的识别结果，以及置信度低于设定值的文字。
所述车牌识别模型的训练过程将在后面详细描述。
步骤206，将所述车辆的当前车牌识别结果与所述车辆的历史车牌识别结果进行融合，得到融合结果。
具体地，确定所述当前车牌识别结果的考核指标是否优于所述历史车牌识别结果；如果是，则将所述当前车牌识别结果作为融合结果，并更新历史车牌识别结果为所述当前车牌识别结果；否则，将所述历史车牌识别结果作为融合结果。
需要说明的是，在进行融合时，需要考虑的车牌识别结果的考核指标可以包括但不限于以下任意一种或多种：车牌检测文字置信度、车牌识别结果置信度、车牌规则校验结果。
其中，所述车牌检测文字置信度可以是检测结果中各文字的置信度的加权值。
其中，车牌规则校验是指根据各种不同车辆的车牌规范要求对得到的车牌识别结果的校验，具体校验方式可以采用回归模型或分类模型，具体校验方法可采用现有技术，对此本发明实施例不做限定。相应地，所述车牌规则校验结果可以是校验得分，也可以是通过或不通过。
相应地，在进行融合时，可以采样上述一个或多个考核指标进行加权计算，将计算得到的得分较高的车牌识别结果作为融合结果。相应地，所述历史车牌识别结果中也同样需要保留上述这些考核指标。当然根据不同的融合方式，所述历史车牌识别结果中也可以只保留最终计算得到的得分，对此本发明实施例不做限定。
步骤207，判断所述融合结果是否达到设定要求；如果是，则执行步骤208；否则，执行步骤204，继续对所述车辆进行车牌检测。
步骤208，将所述融合结果作为最终车牌识别结果输出。
本发明实施例提供的车牌识别方法，对采集的图像序列进行车辆检测，获取车辆检测结果和RE-ID特征，利用车辆检测结果和RE-ID特征进行车辆跟踪，得到车辆的跟踪轨迹，然后基于跟踪轨迹进行车牌检测和车牌文字识别，将当前车牌识别结果与所述跟踪轨迹上的历史车牌识别结果进行融合，得到融合结果，在融合结果达到设定要求时，作为最终车牌识别结果输出。通过融合处理，避免了车牌识别结果的不稳定性，提高了车牌识别结果的准确性，并且避免了逐帧进行车牌识别造成较多计算压力导致识别缓慢的问题。
进一步地，车辆检测器采用轻量级神经网络作为骨干网络，并在所述骨干网络的快速目标检测层中添加RE-ID特征提取层，从而可以利用该车辆检测器一次推理即可得到所有车辆框和RE-ID特征，提高了推理速度，可以更好地处理快速车牌识别的场景，比如对超速、闯红灯、压实线等违规行为的抓拍场景。
进一步地，利用改进的Deep Sort(Simple Online And Realtime Tracking，简单在线实时跟踪)算法进行车辆跟踪，不仅可以提高跟踪速度，而且有效地避免了跟踪ID错误及车牌漏识别。
现有的EAST网络是一个全卷积网络，主要有三部分：特征提取层，特征融合层，输出层。由于在一张图片中，各个文字大小不一，所以需要融合不同层次的特征图，小文字的预测需要用到底层的语义信息，大文字的预测要用到高层的语义信息。
在本发明实施例中，所述车牌文字检测矫正模型可以采用改进的EAST(Efficientand Accurate Scene Text Detector，文本检测器)网络。针对车牌字符串的特点，将骨干网络修改为轻量级神经网络，比如efficientnet-lite0，在512x256的输入图像上，对各种单排车牌和堆叠车牌都进行标注后训练，以保证检出的车牌分辨率不会太小，有效提高车牌识别网络输入图的质量。
如图6所示，是本发明实施例中训练车牌文字检测矫正模型的流程图，包括以下步骤：
步骤601，确定车牌文字检测矫正模型的网络结构，所述网络结构包括特征提取层、特征融合层、融合层。
如图7所示，所述特征提取层采用轻量级神经网络，特征融合层采用FPN(FeaturePyramid Network，特征金字塔网络)，输出层有三部分，分别为：
Socre map：特征融合层后接一个1*1的卷积，输出通道为1，最后输出一共分数图，代表每个像素点属于文本区域的概率。
Box Angle：这部分一共输出5个通道。分别由两个1*1卷积产生4个和1个，其中4个通道分别表示从像素位置到矩形的顶部，右侧，底部，左侧边界的4个距离，1个通道表示边界框的旋转角度。这部分用来预测旋转矩形的文本。
Quardrangle：使用8个数字来表示从四边形的四个角顶点{pi∣i∈{1,2,3,4}}\{p_i|i∈\{1,2,3,4\}\}{pi∣i∈{1,2,3,4}}到像素位置的坐标偏移。由于每个距离偏移包含两个数字(Δxi，Δyi)\Delta x_i，\Delta y_i)Δxi，Δyi)，因此几何输出包含8个通道。该部分可以预测不规则四边形的文本。
步骤602，采集大量车辆图像，并对所述车辆图像中单排车牌和堆叠车牌进行标注。
步骤603，截取所述车辆图像中的车牌区域，得到车牌图像。
步骤604，对所述车牌图像进行缩放处理，得到设定尺寸的训练样本图像。
步骤605，将所述训练样本图像及对应的车牌标注信息作为训练数据，训练得到基于所述骨干网络的车牌文字检测矫正网络。
利用采用轻量级神经网络作为骨干网络的车牌文字检测矫正模型，并且在车牌文字检测矫正模型训练时，对各种单排车牌和堆叠车牌都进行标注后训练，有效地保证了检出的车牌文字分辨率不会太小，提高了后续车牌识别网络输入图像的质量。
如图8所示，是本发明实施例中训练车牌识别模型的流程图，包括以下步骤：
步骤801，将输入特征维度为128x32的LPRNet模型作为车牌识别模型的网络结构。
步骤802，采集原始车牌图像，并对所述原始车牌图像进行扩展，得到扩展车牌图像。
具体可以包括但不限于以下任意一种或多种扩展方式：
(1)对所述原始车牌图像随机添加模糊处理，具体地，针对模糊、污渍、光照不均的车牌，对原始车牌图像做随机添加模糊处理的数据扩增；
(2)对所述原始车牌图像随机添加噪声；
(3)针对光照不同导致的车牌成像质量不同的影响的情况，对所述原始车牌图像随机调整色彩饱和度、亮度、对比度。
进一步地，还可以采集一些模糊、污渍、光照不均的车牌图像并进行标注后用作训练样本。
步骤803，将所述原始车牌图像及所述扩展车牌图像作为训练样本集。
步骤804，利用所述训练样本集训练得到车牌识别模型。
利用采用轻量级神经网络作为骨干网络的车牌识别模型，并且在车牌识别模型训练时，通过对样本图像多种方式的扩增，有效地提高了对模糊车牌和污损车牌的识别率。
相应地，本发明实施例还提供一种车牌识别装置，如图9所示，是本发明实施例车牌识别装置的一种结构框图。
在该实施例中，所述车牌识别装置包括以下各模块：
接收模块901，用于接收采集的图像序列；
车辆检测模块902，用于对所述图像序列进行车辆检测，获取车辆检测结果和RE-ID特征；
轨迹跟踪模块903，用于根据所述车辆检测结果和RE-ID特征进行车辆跟踪，得到车辆的跟踪轨迹；
车牌检测模块904，用于基于所述跟踪轨迹对所述车辆进行车牌检测，得到车牌文字；
车牌识别模块905，用于对所述车牌文字进行识别，得到所述车辆的当前车牌识别结果；
融合模块906，用于将所述车辆的当前车牌识别结果与所述车辆的历史车牌识别结果进行融合，得到融合结果；
判断模块907，用于判断所述融合结果是否达到设定要求；如果是，则触发所述融合模块906将所述融合结果作为最终车牌识别结果输出；否则，触发所述车牌检测模块904继续对所述车辆进行车牌检测。
所述融合模块906具体可以包括单元：比较单元和融合结果处理单元。其中：
所述比较单元用于确定所述当前车牌识别结果的考核指标是否优于所述历史车牌识别结果；
所述融合结果处理单元用于在所述比较单元确定所述当前车牌识别结果的考核指标优于所述历史车牌识别结果的情况下，将所述当前车牌识别结果作为融合结果，并更新历史车牌识别结果为所述当前车牌识别结果；否则，将所述历史车牌识别结果作为融合结果。
需要说明的是，所述比较单元需要考虑的车牌识别结果的考核指标可以包括但不限于以下任意一种或多种：车牌检测文字置信度、车牌识别结果置信度、车牌规则校验结果。在确定当前车牌识别结果和历史车牌识别结果这二者中哪个较优时，可以采样上述一个或多个考核指标进行加权计算，将计算得到的得分较高的车牌识别结果作为融合结果。
进一步地，在另一实施例中，所述车牌识别模块905还可以对所述车辆的当前车牌识别结果进行过滤，过滤掉重复的识别结果，以及置信度低于设定值的文字。
本发明实施例提供的车牌识别装置，对采集的图像序列进行车辆检测，获取车辆检测结果和RE-ID特征，利用车辆检测结果和RE-ID特征进行车辆跟踪，得到车辆的跟踪轨迹，然后基于跟踪轨迹进行车牌检测和车牌文字识别，将当前车牌识别结果与所述跟踪轨迹上的历史车牌识别结果进行融合，得到融合结果，在融合结果达到设定要求时，作为最终车牌识别结果输出。通过融合处理，避免了车牌识别结果的不稳定性，提高了车牌识别结果的准确性，并且避免了逐帧进行车牌识别造成较多计算压力导致识别缓慢的问题。
在本发明实施例中，车辆检测模块902可以采用多种方式实现车辆检测及获取RE-ID特征。比如：
在本发明车牌识别装置一种实施方式中，所述车辆检测模块902可以采用现有技术完成车辆检测过程及RE-ID特征提取过程，即先对所述图像序列进行车辆检测，然后再对每个车辆单独用RE-ID模型提取相应特征。
在本发明车牌识别装置另一种实施方式中，所述车辆检测模块902可以利用预先训练的车辆检测器一次推理即可得到所有车辆框和RE-ID特征。具体地，将所述图像序列输入所述车辆检测器中，根据所述车辆检测器的输出得到车辆检测结果和RE-ID特征。
所述车辆检测器采用轻量级神经网络作为骨干网络，在所述骨干网络的快速目标检测层中添加有RE-ID特征提取层，比如采用图3所示的改进的YOLO-V3网络，从而可以利用该车辆检测器一次推理即可得到所有车辆框和RE-ID特征，提高了推理速度，可以更好地处理快速车牌识别的场景，比如对超速、闯红灯、压实线等违规行为的抓拍场景。
在本发明实施例中，轨迹跟踪模块903可以采用多种方式进行车辆跟踪，得到车辆的跟踪轨迹。比如：
一种实施方式中，所述轨迹跟踪模块903可以采用现有技术，比如利用Deep Sort算法进行车辆跟踪，生成车辆跟踪轨迹。
另一种实现方式中，所述轨迹跟踪模块903可以利用改进的Deep Sort算法进行车辆跟踪，具体地，利用Deep Sort算法及所述车辆检测结果和RE-ID特征进行车辆跟踪，并且采用以下任意一种或多种处理方式：
如果图像采集场景为特定场景，则使用检测框与***预测框之间的欧氏距离描述运动信息的关联度，否则使用检测框与***预测框之间的马氏距离描述运动信息的关联度；所述特定场景为车辆单向运动的场景；
在级联匹配时，如果当前帧车辆框对应的IOU大于设定的IOU阈值，则延用上一帧对应的车辆的RE-ID特征作为当前帧对应所述车辆的RE-ID特征；
如果级联匹配失败，则停止新的IOU指派；
车辆的轨迹消失后，设定一定时限的生命周期，在所述生命周期内继续对所述车辆进行车辆跟踪。
利用改进的Deep Sort算法进行车辆跟踪，不仅可以提高跟踪速度，而且有效地避免了跟踪ID错误及车牌漏识别。
在本发明实施例中，所述车牌检测模块904也可以采用多种方式完成车牌检测，得到车牌文字。
在一种实现方式中，所述车牌检测模块904可以首先基于所述跟踪轨迹，对跟踪轨迹上的车辆进行车牌文字检测，然后再对检测结果中车牌框四个角点进行回归处理，再用四个角点的位置做投影变换与对齐，最终得到车牌图像。
所述车牌文字检测矫正模型可以由相应的车牌文字检测矫正模型建立模块来预先建立，如图10所示，所述车牌文字检测矫正模型建立模块10具体可以包括以下各单元：
第一网络结构确定单元11，用于采用轻量级神经网络作为骨干网络；
图像采集单元12，用于采集大量车辆图像，并对所述车辆图像中单排车牌和堆叠车牌进行标注；
图像截取单元13，用于截取所述车辆图像中的车牌区域，得到车牌图像；所述截取可以是等比例截取；
图像处理单元14，用于对所述车牌图像进行缩放处理，比如缩放到512x256像素，得到设定尺寸的训练样本图像；
第一训练单元15，用于将所述训练样本图像及对应的车牌标注信息作为训练数据，训练得到基于所述骨干网络的车牌文字检测矫正模型。
需要说明的是，在实际应用中，所述车牌文字检测矫正模型建立模块10可以作为本发明车牌识别装置的一部分，也可以独立于该车牌识别装置，对此本发明实施例不做限定。
相应地，所述车牌检测模块904，可以将所述跟踪轨迹上的各图像经过处理(选取包含车牌的区域做等比截取，并将其缩放到一定像素比如512x256像素)后输入所述车牌文字检测矫正网络，根据所述车牌文字检测矫正网络的输出得到车牌文字及其置信度。
利用采用轻量级神经网络作为骨干网络的车牌文字检测矫正模型，并且在车牌文字检测矫正模型训练时，对各种单排车牌和堆叠车牌都进行标注后训练，有效地保证了检出的车牌文字分辨率不会太小，提高了后续车牌识别网络输入图像的质量。
在本发明实施例中，所述车牌识别模块905也可以采用多种方式进行车牌识别，得到车牌识别结果。比如：
一种实现方式中，所述车牌识别模块905可以基于现有的LPRNet网络对车牌文字进行识别。
在另一种实现方式中，还可以针对车牌的汉字较复杂易误识别的特点，基于轻量级的卷积神经网络，并对网络输入进行扩展，比如设计输入为128×32的LPRNet作为车牌识别模型的网络结构，训练得到车牌识别模型。相应地，所述车牌识别模块905将所述车牌文字输入所述车牌识别模型，根据所述车牌识别模型的输出得到所述车辆的当前车牌识别结果及其置信度。
所述车牌识别模型具体可以由相应的车牌识别模型建立模块预先构建。在实际应用中，所述车牌识别模型建立模块可以作为本发明车牌识别装置的一部分，也可以独立于该车牌识别装置，对此本发明实施例不做限定。
所述车牌识别模型建立模块20的一种具体结构如图11所示，包括以下各单元：
第二网络结构确定单元21，用于将输入特征维度为128x32的LPRNet模型作为车牌识别模型的网络结构；
图像样本生成单元22，用于采集大量原始车牌图像，并对所述原始车牌图像进行扩展，得到扩展车牌图像；将所述原始车牌图像及所述扩展车牌图像作为训练样本集；比如，对所述原始车牌图像进行扩展可以包括但不限于以下任意一种或多种扩展处理：
对所述原始车牌图像随机添加模糊处理；
对所述原始车牌图像随机添加噪声；
对所述原始车牌图像随机调整色彩饱和度、亮度、对比度。
第二训练单元23，用于利用所述训练样本集训练得到车牌识别模型。
利用采用轻量级神经网络作为骨干网络的车牌识别模型，并且在车牌识别模型训练时，通过对样本图像多种方式的扩增，有效地提高了对模糊车牌和污损车牌的识别率。
在具体实施中，上述车牌识别装置可以对应于网络设备中的芯片，例如SoC(System-On-a-Chip，片上***)、基带芯片、芯片模组等。
在具体实施中，关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。
例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述各方法对应实施例提供的方法的步骤。
本发明实施例还提供了另一种车牌识别装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述各方法对应实施例所提供的方法的步骤。
本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述各方法对应实施例所提供的方法的步骤。
在本发明实施例中，所述处理器可以为中央处理单元(central processingunit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(application specific integrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式，以实现设备间的通信，本申请实施例对此不做任何限定。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (18)

1.一种车牌识别方法，其特征在于，所述方法包括：
接收采集的图像序列；
对所述图像序列进行车辆检测，获取车辆检测结果和RE-ID特征；
根据所述车辆检测结果和RE-ID特征进行车辆跟踪，得到车辆的跟踪轨迹；
基于所述跟踪轨迹对所述车辆进行车牌检测，得到车牌文字；
对所述车牌文字进行识别，得到所述车辆的当前车牌识别结果；
确定所述当前车牌识别结果的考核指标是否优于历史车牌识别结果；
如果是，则将所述当前车牌识别结果作为融合结果，并更新历史车牌识别结果为所述当前车牌识别结果；
否则，将所述历史车牌识别结果作为融合结果；
判断所述融合结果的考核指标是否达到设定要求；
如果是，则将所述融合结果作为最终车牌识别结果输出；
否则，继续对所述车辆进行车牌检测。
2.根据权利要求1所述的方法，其特征在于，所述车牌识别结果的考核指标包括以下任意一种或多种：车牌检测文字置信度、车牌识别结果置信度、车牌规则校验结果。
3.根据权利要求1至2任一项所述的方法，其特征在于，所述对所述图像序列进行车辆检测，获取车辆检测结果和RE-ID特征包括：
将所述图像序列输入预先训练的车辆检测器中，根据所述车辆检测器的输出得到车辆检测结果和RE-ID特征；所述车辆检测器采用轻量级神经网络作为骨干网络，在所述骨干网络的快速目标检测层中添加有RE-ID特征提取层。
4.根据权利要求1至2任一项所述的方法，其特征在于，所述根据所述车辆检测结果和RE-ID特征进行车辆跟踪，得到车辆的跟踪轨迹包括：
利用Deep Sort算法及所述车辆检测结果和RE-ID特征进行车辆跟踪，并且采用以下任意一种或多种处理方式：
如果图像采集场景为特定场景，则使用检测框与***预测框之间的欧氏距离描述运动信息的关联度，否则使用检测框与***预测框之间的马氏距离描述运动信息的关联度；所述特定场景为车辆单向运动的场景；
在级联匹配时，如果当前帧车辆框对应的IOU大于设定的IOU阈值，则延用上一帧对应的车辆的RE-ID特征作为当前帧对应所述车辆的RE-ID特征；
如果级联匹配失败，则停止新的IOU指派；
车辆的轨迹消失后，设定一定时限的生命周期，在所述生命周期内继续对所述车辆进行车辆跟踪。
5.根据权利要求1至2任一项所述的方法，其特征在于，所述方法还包括：预先训练车牌文字检测矫正模型，具体包括：
采用轻量级神经网络作为骨干网络；
采集大量车辆图像，并对所述车辆图像中单排车牌和堆叠车牌进行标注；
截取所述车辆图像中的车牌区域，得到车牌图像；
对所述车牌图像进行缩放处理，得到设定尺寸的训练样本图像；
将所述训练样本图像及对应的车牌标注信息作为训练数据，训练得到基于所述骨干网络的车牌文字检测矫正模型；
所述基于所述跟踪轨迹对所述车辆进行车牌检测包括：
将所述跟踪轨迹上的各图像输入所述车牌文字检测矫正网络，根据所述车牌文字检测矫正网络的输出得到车牌文字及其置信度。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：预先训练车牌识别模型，具体包括：
将输入特征维度为128x32的LPRNet模型作为车牌识别模型的网络结构；
采集大量原始车牌图像，并对所述原始车牌图像进行扩展，得到扩展车牌图像；
将所述原始车牌图像及所述扩展车牌图像作为训练样本集；
利用所述训练样本集训练得到车牌识别模型；
所述对所述车牌文字进行识别，得到所述车辆的当前车牌识别结果包括：
将所述车牌文字输入所述车牌识别模型，根据所述车牌识别模型的输出得到所述车辆的当前车牌识别结果及其置信度。
7.根据权利要求6所述的方法，其特征在于，所述对所述原始车牌图像进行扩展包括以下任意一种或多种：
对所述原始车牌图像随机添加模糊处理；
对所述原始车牌图像随机添加噪声；
对所述原始车牌图像随机调整色彩饱和度、亮度、对比度。
8.根据权利要求6所述的方法，其特征在于，所述对所述车牌文字进行识别，得到所述车辆的当前车牌识别结果还包括：
对所述车辆的当前车牌识别结果进行过滤，过滤掉重复的识别结果，以及置信度低于设定值的文字。
9.一种车牌识别装置，其特征在于，所述装置包括：
接收模块，用于接收采集的图像序列；
车辆检测模块，用于对所述图像序列进行车辆检测，获取车辆检测结果和RE-ID特征；
轨迹跟踪模块，用于根据所述车辆检测结果和RE-ID特征进行车辆跟踪，得到车辆的跟踪轨迹；
车牌检测模块，用于基于所述跟踪轨迹对所述车辆进行车牌检测，得到车牌文字；
车牌识别模块，用于对所述车牌文字进行识别，得到所述车辆的当前车牌识别结果；
融合模块，用于将所述车辆的当前车牌识别结果与所述车辆的历史车牌识别结果进行融合，得到融合结果；所述融合模块包括：比较单元和融合结果处理单元；所述比较单元用于确定所述当前车牌识别结果的考核指标是否优于所述历史车牌识别结果；所述融合结果处理单元用于在所述比较单元确定所述当前车牌识别结果的考核指标优于所述历史车牌识别结果的情况下，将所述当前车牌识别结果作为融合结果，并更新历史车牌识别结果为所述当前车牌识别结果；否则，将所述历史车牌识别结果作为融合结果；
判断模块，用于判断所述融合结果的考核指标是否达到设定要求；如果是，则触发所述融合模块将所述融合结果作为最终车牌识别结果输出；否则，触发所述车牌检测模块继续对所述车辆进行车牌检测。
10.根据权利要求9所述的装置，其特征在于，所述车牌识别结果的考核指标包括以下任意一种或多种：车牌检测文字置信度、车牌识别结果置信度、车牌规则校验结果。
11.根据权利要求9至10任一项所述的装置，其特征在于，
所述车辆检测模块，具体用于将所述图像序列输入预先训练的车辆检测器中，根据所述车辆检测器的输出得到车辆检测结果和RE-ID特征；所述车辆检测器采用轻量级神经网络作为骨干网络，在所述骨干网络的快速目标检测层中添加有RE-ID特征提取层。
12.根据权利要求9至10任一项所述的装置，其特征在于，
所述轨迹跟踪模块，具体用于利用Deep Sort算法及所述车辆检测结果和RE-ID特征进行车辆跟踪，并且采用以下任意一种或多种处理方式：
如果图像采集场景为特定场景，则使用检测框与***预测框之间的欧氏距离描述运动信息的关联度，否则使用检测框与***预测框之间的马氏距离描述运动信息的关联度；所述特定场景为车辆单向运动的场景；
在级联匹配时，如果当前帧车辆框对应的IOU大于设定的IOU阈值，则延用上一帧对应的车辆的RE-ID特征作为当前帧对应所述车辆的RE-ID特征；
如果级联匹配失败，则停止新的IOU指派；
车辆的轨迹消失后，设定一定时限的生命周期，在所述生命周期内继续对所述车辆进行车辆跟踪。
13.根据权利要求9至10任一项所述的装置，其特征在于，所述装置还包括：车牌文字检测矫正模型建立模块，用于预先训练车牌文字检测矫正模型；所述车牌文字检测矫正模型建立模块包括：
第一网络结构确定单元，用于采用轻量级神经网络作为骨干网络；
图像采集单元，用于采集大量车辆图像，并对所述车辆图像中单排车牌和堆叠车牌进行标注；
图像截取单元，用于截取所述车辆图像中的车牌区域，得到车牌图像；
图像处理单元，用于对所述车牌图像进行缩放处理，得到设定尺寸的训练样本图像；
第一训练单元，用于将所述训练样本图像及对应的车牌标注信息作为训练数据，训练得到基于所述骨干网络的车牌文字检测矫正模型；
所述车牌检测模块，具体用于将所述跟踪轨迹上的各图像输入所述车牌文字检测矫正网络，根据所述车牌文字检测矫正网络的输出得到车牌文字及其置信度。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括：车牌识别模型建立模块，用于预先训练车牌识别模型；所述车牌识别模型建立模块包括：
第二网络结构确定单元，用于将输入特征维度为128x32的LPRNet模型作为车牌识别模型的网络结构；
图像样本生成单元，用于采集大量原始车牌图像，并对所述原始车牌图像进行扩展，得到扩展车牌图像；将所述原始车牌图像及所述扩展车牌图像作为训练样本集；
第二训练单元，用于利用所述训练样本集训练得到车牌识别模型；
所述车牌识别模块，具体用于将所述车牌文字输入所述车牌识别模型，根据所述车牌识别模型的输出得到所述车辆的当前车牌识别结果及其置信度。
15.根据权利要求14所述的装置，其特征在于，所述图像样本生成单元对所述原始车牌图像进行扩展包括以下任意一种或多种：
对所述原始车牌图像随机添加模糊处理；
对所述原始车牌图像随机添加噪声；
对所述原始车牌图像随机调整色彩饱和度、亮度、对比度。
16.根据权利要求14所述的装置，其特征在于，
所述车牌识别模块，还用于对所述车辆的当前车牌识别结果进行过滤，过滤掉重复的识别结果，以及置信度低于设定值的文字。
17.一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至8中任一项所述方法的步骤。
18.一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至8中任一项所述方法的步骤。
CN202110723185.9A 2021-06-28 2021-06-28 车牌识别方法和装置 Active CN113343985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110723185.9A CN113343985B (zh) 2021-06-28 2021-06-28 车牌识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110723185.9A CN113343985B (zh) 2021-06-28 2021-06-28 车牌识别方法和装置

Publications (2)

Publication Number Publication Date
CN113343985A CN113343985A (zh) 2021-09-03
CN113343985B true CN113343985B (zh) 2023-04-18

Family

ID=77481184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110723185.9A Active CN113343985B (zh) 2021-06-28 2021-06-28 车牌识别方法和装置

Country Status (1)

Country Link
CN (1) CN113343985B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820699B (zh) * 2022-03-29 2023-07-18 小米汽车科技有限公司 多目标跟踪方法、装置、设备及介质
CN115294560B (zh) * 2022-08-10 2024-03-01 青岛文达通科技股份有限公司 基于属性匹配与运动轨迹预测的车辆跟踪方法及***
CN115830079B (zh) * 2023-02-15 2023-05-26 天翼交通科技有限公司 交通参与者的轨迹追踪方法、装置及介质
CN117649432A (zh) * 2023-12-04 2024-03-05 成都臻识科技发展有限公司 一种跨相机多目标跟踪方法、设备及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542609B2 (en) * 2014-02-04 2017-01-10 Xerox Corporation Automatic training of a parked vehicle detector for large deployment
CN105893909A (zh) * 2014-10-16 2016-08-24 南京索酷信息科技有限公司 一种基于车牌识别在智慧社区上的运用方法
CN108875746B (zh) * 2018-05-17 2023-02-17 北京旷视科技有限公司 一种车牌识别方法、装置、***及存储介质
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法

Also Published As

Publication number Publication date
CN113343985A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN113343985B (zh) 车牌识别方法和装置
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
US11144786B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
CN111160379B (zh) 图像检测模型的训练方法及装置、目标检测方法及装置
CN110852285B (zh) 对象检测方法、装置、计算机设备和存储介质
Breitenstein et al. Systematization of corner cases for visual perception in automated driving
CN111814621A (zh) 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN111709416B (zh) 车牌定位方法、装置、***及存储介质
KR101935010B1 (ko) 영상 기반 차량 번호판 인식 장치 및 방법
Hoang et al. Enhanced detection and recognition of road markings based on adaptive region of interest and deep learning
CN113468967A (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
KR102089298B1 (ko) 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
CN112766108B (zh) 基于上下文信息的sar图像目标检测方法
CN111582339A (zh) 一种基于深度学习的车辆检测与识别的方法
CN115063786A (zh) 一种高位远景模糊车牌检测方法
CN113111722A (zh) 基于改进Mask R-CNN的自动驾驶目标识别方法
Zang et al. Traffic lane detection using fully convolutional neural network
CN112348116A (zh) 利用空间上下文的目标检测方法、装置和计算机设备
CN114820765A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
JP2002133421A (ja) 移動物体認識方法及び装置
CN117765485A (zh) 基于改进的深度残差网络的车型识别方法、装置和设备
CN111160274B (zh) 一种基于二值化Faster RCNN网络的行人检测方法
CN112597996A (zh) 基于任务驱动的自然场景中交通标志显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant