CN110738857B - 一种车辆违章取证方法、装置及设备 - Google Patents

Abstract

本发明实施例提供了一种车辆违章取证方法、装置及设备，方法包括：预先设定车牌采集区域，当车辆进入该区域后，采集包含该车辆车牌的细节图像；此外，通过监控图像判断车辆是否存在违章行为，如果存在，输出包含违章行为的监控图像及包含该车辆车牌的细节图像；可见，本方案实现了对存在违章行为的车辆进行取证。

Description

一种车辆违章取证方法、装置及设备

技术领域

本发明涉及智能交通技术领域，特别是涉及一种车辆违章取证方法、装置及设备。

背景技术

目前，车辆越来越多，交通压力越来越大，车辆的各种违章行为越来越常见，如违法变道、违法掉头、违法停车、加塞、逆行等等。这些车辆违章行为严重影响出行效率，而且对生命财产安全带来了巨大威胁。

发明内容

本发明实施例的目的在于提供一种车辆违章取证方法、装置及设备，以对车辆违章行为进行取证。

为达到上述目的，本发明实施例提供了一种车辆违章取证方法，包括：

获取监控图像，所述监控图像中包括一个或多个车辆目标；

针对每个车辆目标，判断该车辆目标是否存在违章行为；

如果存在，则获取包含违章车辆目标的车牌的细节图像；其中，违章车辆目标为判定存在违章行为的车辆目标，细节图像为：当车辆目标进入预设区域后采集的图像；

输出所获取的细节图像以及包含所述违章行为的监控图像。

可选的，所述判断该车辆目标是否存在违章行为，包括：

通过对所述监控图像进行分析，确定该车辆目标所在的车道属性；

判断该车辆目标与其所在的车道属性是否匹配，如果不匹配，表示该车辆目标存在违章行为。

可选的，所述判断该车辆目标是否存在违章行为，包括：

通过对所述监控图像进行分析，确定该车辆目标周围的车道线参数；

通过对所述监控图像中的该车辆目标进行跟踪，得到该车辆目标的轨迹；

基于该车辆目标的轨迹及其周围的车道线参数，判断该车辆目标是否存在违章行为。

可选的，在所述获取包含违章车辆目标的车牌的细节图像之后，还包括：

在所获取的细节图像中，根据所述违章车辆目标的跟踪框的尺寸和位置，确定所述违章车辆目标的车牌区域；

对所述车牌区域进行识别，得到所述违章车辆目标的车牌号；

输出所述违章车辆目标的车牌号、以及针对所述违章车辆目标的报警信息。

可选的，所述在所获取的细节图像中，根据所述违章车辆目标的跟踪框的尺寸和位置，确定所述违章车辆目标的车牌区域，包括：

在所获取的细节图像中，根据所述违章车辆目标的跟踪框的第一顶点坐标、以及所述跟踪框的高度，确定车牌区域的第一顶点坐标；

将所述跟踪框的宽度确定为所述车牌区域的宽度，将所述跟踪框的高度与预设值的乘积确定为所述车牌区域的高度，所述预设值小于1；

根据所确定的第一顶点坐标以及车牌区域的宽度及高度，在所获取的细节图像中，确定所述违章车辆目标的车牌区域。

可选的，所述获取包含违章车辆目标的车牌的细节图像，包括：

获取多张包含违章车辆目标的车牌的细节图像；

所述方法还包括：

对所获取的多张细节图像进行车牌识别；

若识别得到多个车牌号，则将置信度最高的车牌号确定为所述违章车辆目标的车牌号。

为达到上述目的，本发明实施例还提供了一种车辆违章取证装置，包括：

第一获取模块，用于获取监控图像，所述监控图像中包括一个或多个车辆目标；

判断模块，用于针对每个车辆目标，判断该车辆目标是否存在违章行为；如果存在，则触发第二获取模块；

第二获取模块，用于获取包含违章车辆目标的车牌的细节图像；其中，违章车辆目标为判定存在违章行为的车辆目标，细节图像为：当车辆目标进入预设区域后采集的图像；

输出模块，用于输出所获取的细节图像以及包含所述违章行为的监控图像。

可选的，所述判断模块，具体用于：

通过对所述监控图像进行分析，确定该车辆目标所在的车道属性；

判断该车辆目标与其所在的车道属性是否匹配，如果不匹配，表示该车辆目标存在违章行为。

可选的，所述判断模块，具体用于：

通过对所述监控图像进行分析，确定该车辆目标周围的车道线参数；

通过对所述监控图像中的该车辆目标进行跟踪，得到该车辆目标的轨迹；

基于该车辆目标的轨迹及其周围的车道线参数，判断该车辆目标是否存在违章行为。

可选的，所述装置还包括：

确定模块，用于在所获取的细节图像中，根据所述违章车辆目标的跟踪框的尺寸和位置，确定所述违章车辆目标的车牌区域；

第一识别模块，用于对所述车牌区域进行识别，得到所述违章车辆目标的车牌号；

所述输出模块，还用于输出所述违章车辆目标的车牌号、以及针对所述违章车辆目标的报警信息。

可选的，所述确定模块，具体用于：

在所获取的细节图像中，根据所述违章车辆目标的跟踪框的第一顶点坐标、以及所述跟踪框的高度，确定车牌区域的第一顶点坐标；

将所述跟踪框的宽度确定为所述车牌区域的宽度，将所述跟踪框的高度与预设值的乘积确定为所述车牌区域的高度，所述预设值小于1；

根据所确定的第一顶点坐标以及车牌区域的宽度及高度，在所获取的细节图像中，确定所述违章车辆目标的车牌区域。

可选的，所述第二获取模块，具体用于：获取多张包含违章车辆目标的车牌的细节图像；

所述装置还包括：

第二识别模块，用于对所获取的多张细节图像进行车牌识别；若识别得到多个车牌号，则将置信度最高的车牌号确定为所述违章车辆目标的车牌号。

为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一种车辆违章取证方法。

为达到上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种车辆违章取证方法。

为达到上述目的，本发明实施例还提供了一种芯片，包括处理器和存储器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一种车辆违章取证方法。

本发明实施例中，预先设定车牌采集区域，当车辆进入该区域后，采集包含该车辆车牌的细节图像；此外，通过监控图像判断车辆是否存在违章行为，如果存在，输出包含违章行为的监控图像及包含该车辆车牌的细节图像；可见，本方案实现了对存在违章行为的车辆进行取证。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明实施例提供的一种框架示意图；

图1b为本发明实施例提供的一种应用场景示意图；

图1c为本发明实施例提供的一种目标检测示意图；

图1d为本发明实施例提供的一种目标跟踪示意图；

图1e为本发明实施例提供的一种违章行为分析示意图；

图1f为本发明实施例提供的一种车牌识别示意图；

图2为本发明实施例提供的一种车辆违章取证方法的流程示意图；

图3为本发明实施例提供的一种车辆违章取证装置的结构示意图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的术语解释如下：

违章取证：对道路区域内的车辆目标的违章行为进行抓拍取证。

多帧识别：主要用于车牌识别，结合当前帧识别出的车牌号以及历史帧识别出的车牌号，得到最优车牌号。

深度学习(Deep Learning)：源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

CNN(Convolutional Neural Network)：卷积神经网络。

R-CNN(Regions with CNN features)：将CNN应用到目标检测领域。

YOLO(You only look once)：一种快速实时的目标检测方法。

SSD(Single Shot MultiBox Detector)：一种采用了特征融合的目标检测方法。

camshift(Continuously Adaptive Mean-SHIFT，连续自适应的MeanShift算法)：它的基本思想是视频图像的所有帧作MeanShift运算，并将上一帧的结果作为下一帧MeanShift算法的Search Window的初始值，如此迭代下去。

本发明的发明构思如下：

如图1a所示，本发明实施例可以包括五个模块：参数输入模块101、目标检测模块102、目标跟踪模块103、违章分析模块104和车牌识别模块105。

具体的，可以通过参数输入模块101，输入各种道路参数。道路参数可以包括：车道位置、车道属性、车道线参数、车牌采集区域等。车道属性如机动车道、非机动车道、人行道等。车道线参数如双黄线(用于分隔对向行驶的交通线)、白色实线(用于分隔同向行驶的机动车和非机动车)、导流线(表示车辆必须按规定的路线行驶，不得压线或越线行驶)，等等，不再一一列举。车牌采集区域可以如图1b所示，在该区域中，可以较清晰地采集到车辆的车牌。

根据上述道路参数，可以在监控图像中识别出车道区域、车道属性、车道线参数、车牌采集区域。或者，也可以根据车道属性、车道线参数，设置各区域是否允许停放车辆、各区域的行驶方向、各区域是否允许车辆变道、各区域是否允许车辆掉头，等等，设置的这些内容也可以属于道路参数。

目标检测模块102中可以预先训练得到深度网络模型。具体的，可以整理不同时间段、不同天气、不同场景的道路交通图像样本，图像样本的数量可以大于20万张；对图像样本中的机动车、行人、非机动车、路障等目标进行标定。如图1c所示，利用这些图像样本以及标定得到的数据、以及R-CNN、或者YOLO、或者SSD等网络结构，训练得到深度网络模型。举例来说，可以基于caffe环境，将这些图像样本以及标定得到的数据输入R-CNN、或者YOLO、或者SSD等网络结构，并进行100万次迭代调整后达到收敛，得到深度网络模型。

得到深度网络模型后，便可以将采集到的监控图像输入该深度网络模型，输出检测框，检测框中即为检测到的车辆目标。

目标跟踪模块103对目标检测模块102检测到的车辆目标进行跟踪。如图1d所示，目标跟踪模块103可以包括预处理单元、匹配单元、跟踪单元。

预处理单元可以对目标检测模块102检测到的车辆目标进行过滤，比如，对尺度异常的目标进行过滤等，具体过滤条件不做限定。

匹配单元可以将当前帧图像中的车辆目标与跟踪队列中的车辆目标进行匹配，具体的，对车辆目标进行匹配，可以计算车辆目标的检测框重合度，如果重合度大于阈值，则表示匹配成功，也就是表示当前帧图像中的车辆目标与跟踪队列中的车辆目标为同一车辆目标，记录当前帧图像中的车辆目标信息，比如车辆目标的ID及位置，也就是对该车辆目标的位置进行更新，实现了对车辆目标的跟踪。

如果重合度小于阈值，则表示匹配失败，这种情况下，可以触发目标跟踪单元。举例来说，目标跟踪单元可以采用camshift算法进行目标跟踪，具体的，可以初始化一个搜索窗的大小和位置，并根据上一帧得到的检测框自适应调整搜索窗口的位置和大小，从而定位出当前帧车辆目标的位置。记录该车辆目标信息，比如车辆目标的ID及位置，也就是对该车辆目标的位置进行更新，实现了对车辆目标的跟踪。如果目标跟踪单元对车辆目标跟踪失败，则表示该车辆目标为新出现的目标，可以新建车辆目标，记录该新建的车辆目标信息。

通过匹配单元或者目标跟踪单元，可以得到车辆目标的轨迹，轨迹与ID相对应。

目标跟踪模块103将得到的车辆目标ID及轨迹发送至违章分析模块104，另外，违章分析模块104还获取到参数输入模块101中的道路参数；这样，违章分析模块104可以基于该道路参数以及该车辆目标的轨迹，判断该车辆目标是否存在违章行为。

举例来说，违章行为可以包括：

违停行为：未按照规定停放机动车的行为。

逆行行为：车辆与规定方向相反的方向行进的行为。

压线行为：车辆在行驶过程中压白实线、双黄线、虚实线、实虚线的行为。

变道行为：车辆不按照导向，非法变道的行为。

掉头行为：禁止掉头路口发生违法掉头的行为。

机占非/占用应急车道行为：车辆非法占用应急车道或者非机动车道的行为。

加塞检测：占用其他车道变道插队超车的行为。

交通事故检测：在指定区域内出现交通事故的情况。

举例来说，如果道路参数中设置了不能停放车辆的区域位置，而根据车辆目标的轨迹确定车辆目标停放在了该区域，则该车辆目标存在违章行为。如果道路参数中设置了某区域的行驶方向，而车辆目标的轨迹与该行驶方向不一致，则该车辆目标存在违章行为。如果道路参数中设置了某车道线的位置，而车辆目标的轨迹与车道线的位置有交叉，则该车辆目标存在违章行为。如果道路参数中设置了不能变道的区域，而根据车辆目标的轨迹确定车辆目标在该区域进行了变道，则该车辆目标存在违章行为。如果道路参数中设置了不能掉头的路口区域，而根据车辆目标的轨迹确定车辆目标在该路口区域进行了掉头，则该车辆目标存在违章行为。等等，基于预设道路参数以及该车辆目标的轨迹，判断车辆目标是否存在违章行为的方式有多种，不再一一赘述。

此外，上述目标检测模块102中，还对行人、路障等进行了标定，因此，训练得到的深度网络模型还可以识别行人、路障等目标。因此，违章分析模块104还可以分析行人是否存在违章行为，还可以检测路障、施工等情况。举例来说，如果道路参数中设置了某车道属性为机动车道，而某行人的轨迹出现在该机动车道中，则确定该行人存在违章行为。

如图1e所示，一方面根据车辆目标的ID、轨迹、以及预设道路参数，进行违章行为分析，另一方面，对进入车牌采集区域的车辆目标进行图像采集，得到包含车牌的细节图像。为了区分描述，本实施例中，将能够清晰反应车牌的图像称为细节图像，而将视场较大、能够反应车辆违章行为的图像称为监控图像。

参考图1b及图1e，上行车辆进入监控区域后，先经过车牌采集区域，下行车辆进行监控区域后，最后经过车牌采集区域。因此，判定车辆目标存在违章行为时，该车辆目标可能已经进入过车牌采集区域，也可能未进入过车牌采集区域。如果该车辆目标已经进入过车牌采集区域，则已经采集到该包含该车辆目标的车牌的细节图像，输出包含该车辆目标的车牌的细节图像、包含违章行为的监控图像、以及违章报警信息。如果该车辆目标未进入过车牌采集区域，则先缓存包含违章行为的监控图像及违章报警信息，等待该车辆目标进入车牌采集区域后，采集包含该车辆目标的车牌的细节图像，再输出包含该车辆目标的车牌的细节图像、以及缓存的包含违章行为的监控图像和违章报警信息。

车牌识别模块105可以对包含车辆目标的车牌的细节图像进行识别，得到车牌号，可以在输出上述内容的基础上进一步输出违章车辆的车牌号。具体的，如图1f所示，通过牌照定位、字符分割、字符识别(OCR，Optical Character Recognition)，得到车牌号。

车牌识别模块105可以采用多帧识别的方案，比如，对于同一车辆目标来说，如果在车牌采集区域采集该该车辆目标的多张细节图像，则可以对该多张细节图像分别进行识别，如果得到多个车牌号，则将置信度最高的车牌号确定为该车辆目标的车牌号。

可见，第一方面，本方案提供了一种对违章车辆进行取证的方案，能够检测出多种违章行为，并进行取证；第二方面，现有一些方案中，对车牌进行跟踪，车牌较小，跟踪距离较短，而本方案中，对车辆目标进行跟踪，在预设区域采集车牌，车辆目标较大，跟踪距离较长；第三方面，本方案采用深度网络模型进行目标检测、采用多帧识别的方案进行车牌识别，准确率较高。

基于相同的发明构思，本发明实施例提供一种车辆违章取证方法、装置及设备，该方法及装置可以应用于监控设备，也可以应用于与监控设备通信连接的其他电子设备，具体不做限定。下面首先对本发明实施例提供的一种车辆违章取证方法进行详细说明。

图2为本发明实施例提供的一种车辆违章取证方法的流程示意图，包括：

S201：获取监控图像，监控图像中包括一个或多个车辆目标。

如上所述，本实施例中的监控图像可以为视场较大的图像。参考图1b，当车辆目标进入监控设备的监控范围(图1b中整张图像都属于监控范围)后，监控设备采集的监控图像中都包含该车辆目标。监控图像中可以包括一个或多个车辆目标。

S202：针对每个车辆目标，判断该车辆目标是否存在违章行为。如果存在，执行S203-S204。

如上所述，可以预先设定道路参数，如车道位置、车道属性、车道线参数、车牌采集区域等。车道位置可以理解为车道区域所在的位置参数；车道属性如机动车道、非机动车道、人行道等；车道线参数如双黄线(用于分隔对向行驶的交通线)、白色实线(用于分隔同向行驶的机动车和非机动车)、导流线(表示车辆必须按规定的路线行驶，不得压线或越线行驶)，等等，不再一一列举。车牌采集区域可以如图1b所示，在该区域中，可以较清晰地采集到车辆的车牌。

根据上述道路参数，可以在监控图像中识别出车道区域、车道属性、车道线参数、车牌采集区域。或者，也可以根据车道属性、车道线参数，设置各区域是否允许停放车辆、各区域的行驶方向、各区域是否允许车辆变道、各区域是否允许车辆掉头，等等，设置的这些内容也可以属于道路参数。

举例来说，违章行为可以包括：

违停行为：未按照规定停放机动车的行为。

逆行行为：车辆与规定方向相反的方向行进的行为。

压线行为：车辆在行驶过程中压白实线、双黄线、虚实线、实虚线的行为。

变道行为：车辆不按照导向，非法变道的行为。

掉头行为：禁止掉头路口发生违法掉头的行为。

机占非/占用应急车道行为：车辆非法占用应急车道或者非机动车道的行为。

加塞检测：占用其他车道变道插队超车的行为。

交通事故检测：在指定区域内出现交通事故的情况。

一种实施方式中，判断该车辆目标是否存在违章行为，可以包括：通过对所述监控图像进行分析，确定该车辆目标所在的车道属性；判断该车辆目标与其所在的车道属性是否匹配，如果不匹配，表示该车辆目标存在违章行为。

可以理解，如果车辆目标出现在了非机动车道、或者人行道，则表示该车辆目标存在违章行为。本实施方式中，确定车辆目标所在的车道属性；如果所确定的车道属性为机动车道，也就是该车辆目标与其所在的车道属性相匹配，则该车辆目标不存在违章行为；如果所确定的车道属性为非机动车道、或者人行道，也就是该车辆目标与其所在的车道属性不相匹配，则该车辆目标存在违章行为。

或者，另一些场景下，车道属性还可以包括小客车道、大货车道等。举例来说，如果确定出车辆目标所在的车道属性为小客车道，而分析出该车辆目标为大货车，则表示该车辆目标与其所在的车道属性不相匹配，则该车辆目标存在违章行为。

另一种实施方式中，判断该车辆目标是否存在违章行为，可以包括：通过对所述监控图像进行分析，确定该车辆目标周围的车道线参数；通过对所述监控图像中的该车辆目标进行跟踪，得到该车辆目标的轨迹；基于该车辆目标的轨迹及其周围的车道线参数，判断该车辆目标是否存在违章行为。

具体的，可以通过目标跟踪算法，在监控图像中对车辆目标进行跟踪，得到车辆目标的轨迹。然后基于轨迹和车道线参数两方面来判断车辆目标是否存在违章行为。

举例来说，如果车辆目标周围的车道线参数表示区域内不能停放车辆，而根据车辆目标的轨迹确定车辆目标停放在了该区域，则该车辆目标出现了违停行为。如果车辆目标周围的车道线参数表示的行驶方向与车辆目标的轨迹不一致，则该车辆目标出现了逆行行为。如果车辆目标周围的车道线参数表示不能压线，而车辆目标的轨迹与车道线的位置有交叉，则该车辆目标出现了压线行为。如果车辆目标周围的车道线参数表示区域内不能变道，而根据车辆目标的轨迹确定车辆目标在该区域进行了变道，则该车辆目标出现了违法变道行为。如果车辆目标周围的车道线参数表示路口区域不能掉头，而根据车辆目标的轨迹确定车辆目标在该路口区域进行了掉头，则该车辆目标出现了违法掉头行为。

另外，如上所述，一种情况下，还可以根据车道属性、车道线参数，设置各区域是否允许停放车辆、各区域的行驶方向、各区域是否允许车辆变道、各区域是否允许车辆掉头，等等，设置的这些内容也可以属于道路参数。

这种情况下，如果道路参数中设置了不能停放车辆的区域位置，而根据车辆目标的轨迹确定车辆目标停放在了该区域，则该车辆目标存在违停行为。如果道路参数中设置了某区域的行驶方向，而车辆目标的轨迹与该行驶方向不一致，则该车辆目标存在逆行行为。如果道路参数中设置了某车道线的位置，而车辆目标的轨迹与车道线的位置有交叉，则该车辆目标存在压线行为。如果道路参数中设置了不能变道的区域，而根据车辆目标的轨迹确定车辆目标在该区域进行了变道，则该车辆目标存在违法变道行为。如果道路参数中设置了不能掉头的路口区域，而根据车辆目标的轨迹确定车辆目标在该路口区域进行了掉头，则该车辆目标存在违法掉头行为。等等，基于道路参数以及该车辆目标的轨迹，判断车辆目标是否存在违章行为的方式有多种，不再一一赘述。

S203：获取包含违章车辆目标的车牌的细节图像。

其中，违章车辆目标为判定存在违章行为的车辆目标，细节图像为：当车辆目标进入预设区域后采集的图像。

预设区域也可以称为车牌采集区域。参考图1b，预设区域可以为靠近监控设备的区域，车辆目标进入预设区域后，监控设备可以较清晰地采集到车辆目标的车牌。

一种实施方式中，场景中可以设置多台监控设备，一些监控设备用于采集监控视频，监控视频中的每帧图像即为上述监控图像，另一些监控设备可以为抓拍机，当车辆目标进入预设区域后，抓拍机对该车辆目标进行抓拍，得到包含车牌的细节图像。

或者，另一种实施方式中，如图1b所示，也可以仅设置一台监控设备，该监控设备既可以采集监控视频，又可以对进入预设区域的车辆目标进行抓拍，得到细节图像。或者，该监控设备只采集监控视频，并不额外抓拍图像。电子设备(执行主体)在监控视频中获得包含车辆目标的车牌的细节图像。

一种情况下，针对进入预设区域的每个车辆目标，采集包含该车辆目标的细节图像；这样，需要在所采集的细节图像中，确定包含违章车辆目标的细节图像。

举例来说，可以通过在监控图像中对违章车辆目标进行跟踪，确定采集该违章车辆目标的细节图像的时刻，根据所确定的时刻，确定包含违章车辆目标的细节图像。或者，也可以将监控图像中的违章车辆目标与细节图像中的车辆目标进行相似度比较，根据比较结果，确定包含违章车辆目标的细节图像。

在S203之后还可以对包含违章车辆目标车牌的细节图像进行识别，得到违章车辆目标的车牌号。作为一种实施方式，可以在所获取的细节图像中，根据违章车辆目标的跟踪框的尺寸和位置，确定违章车辆目标的车牌区域；对所述车牌区域进行识别，得到违章车辆目标的车牌号。

本实施方式中，先确定车牌区域，对车牌进行识别时，仅识别车牌区域，不需要对整张图像进行识别，提高了识别效率。

举例来说，确定车牌区域可以包括：

在所获取的细节图像中，根据所述违章车辆目标的跟踪框的第一顶点坐标、以及所述跟踪框的高度，确定车牌区域的第一顶点坐标；将所述跟踪框的宽度确定为所述车牌区域的宽度，将所述跟踪框的高度与预设值的乘积确定为所述车牌区域的高度，所述预设值小于1；根据所确定的第一顶点坐标以及车牌区域的宽度及高度，在所获取的细节图像中，确定所述违章车辆目标的车牌区域。

具体的，可以利用如下算式，对车辆目标的跟踪框进行调整：

pr_rect.x＝obj_rect.x，

pr_rect.y＝obj_rect.y+0.5*obj_rect.h，

pr_rect.w＝obj_rect.w，

pr_rect.h＝0.6*obj_rect.h。

其中，obj_rect表示跟踪框，pr_rect表示车牌区域，(obj_rect.x，obj_rect.y)表示跟踪框左上角的坐标值，也就是上述跟踪框在细节图像中的第一顶点坐标，obj_rect.h表示跟踪框的高度值，obj_rect.w表示跟踪框的宽度值，(pr_rect.x，pr_rect.y)表示车牌区域左上角的坐标值，也就是上述车牌区域在细节图像中的第一顶点坐标，pr_rect.h表示车牌区域的高度值，pr_rect.w表示车牌区域的宽度值；所述跟踪框及所述车牌区域的坐标值以所述跟踪框的左上角为原点。上述算式中的预设值为0.6，或者也可以为其他小于1的数值，具体不做限定。

车牌识别可以如图1f所示，通过牌照定位、字符分割、字符识别，得到车牌号。具体的，可以在车牌区域内提取图像特征，如跳变次数特征、颜色特征、HOG(Histogram ofOriented Gradient,HOG方向梯度直方图)特征等，通过这些特征，进行牌照定位。然后在定位的区域中寻找每个字符的左右边界，对定位的区域内的每个字符进行分割。然后将分割后的字符尺寸、亮度进行归一化处理，将归一化处理后的字符送到分类器，分类器输出各字符的识别结果，将各识别结果组合成字符串，该字符串就是车牌号。

一种情况下，可以采用多帧识别的方案，比如，可以针对每个违章车辆目标，获取多张包含该违章车辆目标的车牌的细节图像，对所获取的多张细节图像进行车牌识别；若识别得到多个车牌号，则将置信度最高的车牌号确定为该违章车辆目标的车牌号。这样，可以提高车牌识别准确度。

S204：输出所获取的细节图像以及包含该违章行为的监控图像。

一种情况下，包含违章行为的监控图像可以包括违章前、违章中、违章后三种监控图像，输出这三种监控图像这样可以直观地体现车辆违章的全过程。

另外，还输出包含该车辆目标的车牌的细节图像，这样取证更有说服力。

参考图1b，上行车辆进入监控区域后，先经过车牌采集区域，下行车辆进行监控区域后，最后经过车牌采集区域。因此，判定车辆目标存在违章行为时，该车辆目标可能已经进入过车牌采集区域，也可能未进入过车牌采集区域。如果该车辆目标已经进入过车牌采集区域，则已经采集到该包含该车辆目标的车牌的细节图像，输出包含该车辆目标的车牌的细节图像以及包含违章行为的监控图像。如果该车辆目标未进入过车牌采集区域，则先缓存包含违章行为的监控图像，等待该车辆目标进入车牌采集区域后，采集包含该车辆目标的车牌的细节图像，再输出包含该车辆目标的车牌的细节图像、以及缓存的包含违章行为的监控图像。

但是一些情况下，如果违章车辆目标未进入预设区域，未采集到包含该车辆目标的车牌的细节图像，也可以仅输出包含违章行为的监控图像。

上述一种实施方式中，得到违章车辆目标的车牌号后，可以输出该违章车辆目标的车牌号。

一种实施方式中，在S202判断结果为是的情况下，还可以输出该车辆目标的违章报警信息。举例来说，违章报警信息可以仅为提示出现违章行为的信息，如“监控设备A发现违章行为”；或者违章报警信息还可以包括违章行为的类型信息，如“监控设备A发现违法变道”；等等，违章报警信息的具体内容不做限定。

应用本发明图2所示实施例，预先设定车牌采集区域，当车辆进入该区域后，采集包含该车辆车牌的细节图像；此外，通过监控图像判断车辆是否存在违章行为，如果存在，输出包含违章行为的监控图像及包含该车辆车牌的细节图像；可见，本方案实现了对存在违章行为的车辆进行取证。

本发明上述实施例中，基于深度学习理论，利用视频处理技术，结合车辆目标的轨迹以及配置的道路参数，提出的车辆违章取证方法及装置，其创新点主要如下：

(1)结合多目标跟踪技术和多帧车牌识别方案，可实现全局监控范围(监控范围大、跟踪距离长)内的车牌识别取证，同时监控远/近距离违章行为；大大提高车牌识别率的同时，准确率得到进一步提升，对道路交通监管部门具有极其重要的意义；

(2)以高性能智能芯片为平台，深度学习技术为基础，实现机动车/非机动车/行人/路障等道路目标实时检测，目标检出率提升明显，事件的捕获率和有效率较高；且具有很强的移植性和可扩展性，对于其他功能的开发和扩展具有很强的借鉴意义；

(3)本方案对各类违章行为进行整合，可同时支持“违法变道、违法掉头、违法停车、违法压线、占用应急车道、逆行”等十多种违章行为的实时检测及取证，产品形态简单、智能，便于后续维护开发；

(4)本方案可同时兼顾十字路口、城市道路、高速路、隧道等场景，应用场景广泛，适应性强。

与上述方法实施例相对应，本发明实施例还提供一种车辆违章取证装置，如图3所示，包括：

第一获取模块301，用于获取监控图像，所述监控图像中包括一个或多个车辆目标；

判断模块302，用于针对每个车辆目标，判断该车辆目标是否存在违章行为；如果存在，则触发第二获取模块；

第二获取模块303，用于获取包含违章车辆目标的车牌的细节图像；其中，违章车辆目标为判定存在违章行为的车辆目标，细节图像为：当车辆目标进入预设区域后采集的图像；

输出模块304，用于输出所获取的细节图像以及包含所述违章行为的监控图像。

作为一种实施方式，判断模块302，具体可以用于：

通过对所述监控图像进行分析，确定该车辆目标所在的车道属性；

判断该车辆目标与其所在的车道属性是否匹配，如果不匹配，表示该车辆目标存在违章行为。

作为一种实施方式，判断模块302，具体可以用于：

通过对所述监控图像进行分析，确定该车辆目标周围的车道线参数；

通过对所述监控图像中的该车辆目标进行跟踪，得到该车辆目标的轨迹；

基于该车辆目标的轨迹及其周围的车道线参数，判断该车辆目标是否存在违章行为。

作为一种实施方式，所述装置还可以包括：确定模块和第一识别模块(图中未示出)，其中，

确定模块，用于在所获取的细节图像中，根据所述违章车辆目标的跟踪框的尺寸和位置，确定所述违章车辆目标的车牌区域；

第一识别模块，用于对所述车牌区域进行识别，得到所述违章车辆目标的车牌号；

输出模块304，还用于输出所述违章车辆目标的车牌号、以及针对所述违章车辆目标的报警信息。

作为一种实施方式，所述确定模块，具体可以用于：

在所获取的细节图像中，根据所述违章车辆目标的跟踪框的第一顶点坐标、以及所述跟踪框的高度，确定车牌区域的第一顶点坐标；将所述跟踪框的宽度确定为所述车牌区域的宽度，将所述跟踪框的高度与预设值的乘积确定为所述车牌区域的高度，所述预设值小于1；根据所确定的第一顶点坐标以及车牌区域的宽度及高度，在所获取的细节图像中，确定所述违章车辆目标的车牌区域。

作为一种实施方式，第二获取模块303，具体可以用于：获取多张包含违章车辆目标的车牌的细节图像；所述装置还包括：

第二识别模块(图中未示出)，用于对所获取的多张细节图像进行车牌识别；若识别得到多个车牌号，则将置信度最高的车牌号确定为所述违章车辆目标的车牌号。

应用本发明图3所示实施例，预先设定车牌采集区域，当车辆进入该区域后，采集包含该车辆车牌的细节图像；此外，通过监控图像判断车辆是否存在违章行为，如果存在，输出包含违章行为的监控图像及包含该车辆车牌的细节图像；可见，本方案实现了对存在违章行为的车辆进行取证。

图3实施例中的判断模块302可以理解为图1a中的违章行为分析模块104，第一识别模块和/或第二识别模块可以理解为图1a中的车牌识别模块105。

本发明实施例还提供了一种电子设备，如图4所示，包括处理器401和存储器402，

存储器402，用于存放计算机程序；

处理器401，用于执行存储器402上所存放的程序时，实现上述任一种车辆违章取证方法。

上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例还提供一种芯片，包括处理器和存储器；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任一种车辆违章取证方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时上述任一种车辆违章取证方法。

本发明实施例还提供了一种芯片，包括处理器和存储器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一种车辆违章取证方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图3所示的车辆违章取证装置实施例、图4所示的电子设备实施例、上述计算机可读存储介质实施例、芯片实施例而言，由于其基本相似于图1a-图2所示的车辆违章取证方法实施例，所以描述的比较简单，相关之处参见图1a-图2所示的车辆违章取证方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (15)

1.一种车辆违章取证方法，其特征在于，包括：

获取监控图像，所述监控图像中包括一个或多个车辆目标；

针对每个车辆目标，判断该车辆目标是否存在违章行为；

如果存在，则获取包含违章车辆目标的车牌的细节图像；其中，违章车辆目标为判定存在违章行为的车辆目标，细节图像为：当车辆目标进入预设区域后采集的包含车辆目标的车牌的图像；输出所获取的细节图像以及包含所述违章行为的监控图像；

所述获取包含违章车辆目标的车牌的细节图像，包括：

将所述违章车辆目标与细节图像中的车辆目标进行相似度比较，根据比较结果，获取包含违章车辆目标的车牌的细节图像；

其中，所述监控图像为视场较大、能够反应车辆违章行为的图像。

2.根据权利要求1所述的方法，其特征在于，所述判断该车辆目标是否存在违章行为，包括：

通过对所述监控图像进行分析，确定该车辆目标所在的车道属性；

判断该车辆目标与其所在的车道属性是否匹配，如果不匹配，表示该车辆目标存在违章行为。

3.根据权利要求1所述的方法，其特征在于，所述判断该车辆目标是否存在违章行为，包括：

通过对所述监控图像进行分析，确定该车辆目标周围的车道线参数；

通过对所述监控图像中的该车辆目标进行跟踪，得到该车辆目标的轨迹；

基于该车辆目标的轨迹及其周围的车道线参数，判断该车辆目标是否存在违章行为。

4.根据权利要求1所述的方法，其特征在于，在所述获取包含违章车辆目标的车牌的细节图像之后，还包括：

在所获取的细节图像中，根据所述违章车辆目标的跟踪框的尺寸和位置，确定所述违章车辆目标的车牌区域；

对所述车牌区域进行识别，得到所述违章车辆目标的车牌号；

输出所述违章车辆目标的车牌号、以及针对所述违章车辆目标的报警信息。

5.根据权利要求4所述的方法，其特征在于，所述在所获取的细节图像中，根据所述违章车辆目标的跟踪框的尺寸和位置，确定所述违章车辆目标的车牌区域，包括：

在所获取的细节图像中，根据所述违章车辆目标的跟踪框的第一顶点坐标、以及所述跟踪框的高度，确定车牌区域的第一顶点坐标；

将所述跟踪框的宽度确定为所述车牌区域的宽度，将所述跟踪框的高度与预设值的乘积确定为所述车牌区域的高度，所述预设值小于1；

根据所确定的第一顶点坐标以及车牌区域的宽度及高度，在所获取的细节图像中，确定所述违章车辆目标的车牌区域。

6.根据权利要求1所述的方法，其特征在于，所述获取包含违章车辆目标的车牌的细节图像，包括：

获取多张包含违章车辆目标的车牌的细节图像；

所述方法还包括：

对所获取的多张细节图像进行车牌识别；

若识别得到多个车牌号，则将置信度最高的车牌号确定为所述违章车辆目标的车牌号。

7.一种车辆违章取证装置，其特征在于，包括：

第一获取模块，用于获取监控图像，所述监控图像中包括一个或多个车辆目标；

判断模块，用于针对每个车辆目标，判断该车辆目标是否存在违章行为；如果存在，则触发第二获取模块；

第二获取模块，用于获取包含违章车辆目标的车牌的细节图像；其中，违章车辆目标为判定存在违章行为的车辆目标，细节图像为：当车辆目标进入预设区域后采集的包含车辆目标的车牌的图像；

输出模块，用于输出所获取的细节图像以及包含所述违章行为的监控图像；

所述第二获取模块具体用于：将所述违章车辆目标与细节图像中的车辆目标进行相似度比较，根据比较结果，获取包含违章车辆目标的车牌的细节图像；

其中，所述监控图像为视场较大、能够反应车辆违章行为的图像。

8.根据权利要求7所述的装置，其特征在于，所述判断模块，具体用于：

通过对所述监控图像进行分析，确定该车辆目标所在的车道属性；

判断该车辆目标与其所在的车道属性是否匹配，如果不匹配，表示该车辆目标存在违章行为。

9.根据权利要求7所述的装置，其特征在于，所述判断模块，具体用于：

通过对所述监控图像进行分析，确定该车辆目标周围的车道线参数；

通过对所述监控图像中的该车辆目标进行跟踪，得到该车辆目标的轨迹；

基于该车辆目标的轨迹及其周围的车道线参数，判断该车辆目标是否存在违章行为。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

确定模块，用于在所获取的细节图像中，根据所述违章车辆目标的跟踪框的尺寸和位置，确定所述违章车辆目标的车牌区域；

第一识别模块，用于对所述车牌区域进行识别，得到所述违章车辆目标的车牌号；

所述输出模块，还用于输出所述违章车辆目标的车牌号、以及针对所述违章车辆目标的报警信息。

11.根据权利要求10所述的装置，其特征在于，所述确定模块，具体用于：

在所获取的细节图像中，根据所述违章车辆目标的跟踪框的第一顶点坐标、以及所述跟踪框的高度，确定车牌区域的第一顶点坐标；

将所述跟踪框的宽度确定为所述车牌区域的宽度，将所述跟踪框的高度与预设值的乘积确定为所述车牌区域的高度，所述预设值小于1；

根据所确定的第一顶点坐标以及车牌区域的宽度及高度，在所获取的细节图像中，确定所述违章车辆目标的车牌区域。

12.根据权利要求7所述的装置，其特征在于，所述第二获取模块，具体用于：获取多张包含违章车辆目标的车牌的细节图像；

所述装置还包括：

第二识别模块，用于对所获取的多张细节图像进行车牌识别；若识别得到多个车牌号，则将置信度最高的车牌号确定为所述违章车辆目标的车牌号。

13.一种电子设备，其特征在于，包括处理器和存储器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。

15.一种芯片，其特征在于，包括处理器和存储器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。

Images