CN111695483A - 一种车辆违章检测方法、装置、设备及计算机存储介质 - Google Patents

Abstract

本申请提供一种车辆违章检测方法、装置、设备及计算机存储介质，涉及计算机技术领域，用以优化基于机器视觉技术检测违章的车辆的过程。该方法包括：获取车载图像采集设备采集的目标区域图像；利用已训练的轻量级卷积神经网络对目标区域图像进行图像识别，确定目标区域图像中的道路元素和车辆信息；基于目标区域图像中的道路元素和车辆信息，确定目标区域图像存在满足违章条件的车辆时，向应用服务器发送至少包括目标区域图像的违章报告信息，轻量级卷积神经网络是利用进行了数据标注和数据增强后的图像样本数据训练得到的，数据标注包括标注道路元素和车辆信息。该方法直接在车载设备上进行车辆违章检测，节省了车辆违章检测过程中的流量消耗。

Description

一种车辆违章检测方法、装置、设备及计算机存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种车辆违章检测方法、装置、设备及计算机存储介质。

背景技术

车辆方便了人们的生活，但是道路上的车辆不断递增的情况下，随之而来的交通事故也不断增加，带来了极大的安全隐患，因此对车辆的违章监督变得更加重要。

目前常通过在道路的固定位置安装摄像头，根据摄像头拍摄图像对大量的车辆行驶情况进行识别，进而判断车辆是否违章，但这种方式的实施需要将摄像头采集的每一帧图像上传到服务器，消耗流量多，且在服务器上耗费大量的计算能力集中识别各摄像头拍摄的所有车辆行驶情况，在这个过程中会降低车辆违章检测的效率，因此如何减少车辆违章检测过程中的流量消耗以及提升检测效率，是一个需要考虑的问题。

发明内容

本申请实施例提供一种车辆违章检测方法、装置、设备及计算机存储介质，用于提升车辆违章检测的效率。

本申请第一方面，提供一种车辆违章检测方法，包括：

通过安装在所述车辆上的车载图像采集设备获取所述车辆周边的目标区域图像；

利用轻量级卷积神经网络对所述目标区域图像进行图像识别，确定所述目标区域图像中的道路元素和车辆信息；

基于所述道路元素和车辆信息，确定所述目标区域图像存在满足违章条件的车辆时，通过移动通信网络向应用服务器发送违章报告信息，所述违章报告信息至少包括所述目标区域图像。

在一种可能的实现方式中，所述车辆信息包括车辆类型，所述违章条件与所述车辆类型对应。

本申请第二方面，提供一种车辆违章检测装置，包括：

图像采集单元，用于获取所述车辆周边的目标区域图像，所述目标区域图像是通过安装在所述车辆上的车载图像采集得到的；

图像识别单元，用于利用已训练的轻量级卷积神经网络对所述目标区域图像进行图像识别，确定所述目标区域图像中的道路元素和车辆信息，所述轻量级卷积神经网络是利用进行了数据标注和数据增强后的图像样本数据训练得到的，所述数据标注包括标注道路元素和车辆信息；

违章确定单元，用于基于所述目标区域图像中的道路元素和车辆信息，确定所述目标区域图像存在满足违章条件的车辆时，通过移动通信网络向应用服务器发送违章报告信息，所述违章报告信息至少包括所述目标区域图像。

在一种可能的实现方式中，所述已训练的轻量级卷积神经网络包括设定数量的深度可分离卷积层；所述深度可分离卷积层包括depthwise convolution和逐点卷积pointwise convolution，且所述设定数量的深度可分离卷积层用于对所述目标区域图像进行多次卷积运算，得到所述目标区域图像中的道路元素和车辆信息。

在一种可能的实现方式中，所述图像识别单元具体用于通过如下方式获得所述已训练的轻量级卷积神经网络：

利用所述图像样本数据对基于深度学习创建的卷积神经网络进行训练，得到训练后的卷积神经网络；

确定所述训练后的卷积神经网络中各卷积核参数的损失影响度，剪去所述训练后的卷积神经网络中损失影响度小于影响度阈值的卷积核，得到所述已训练的轻量级卷积神经网络，其中所述损失影响度表征卷积核参数对所述训练后的卷积神经网络的损失函数的影响度。

在一种可能的实现方式中，所述图像识别单元具体用于通过如下方式获得所述已训练的轻量级卷积神经网络：

利用所述图像样本数据，对基于深度学习创建的卷积神经网络进行训练，得到训练后的卷积神经网络；

对所述训练后的卷积神经网络中各卷积核参数的浮点型参数值进行参数值量化处理，得到所述已训练的轻量级卷积神经网络。

在一种可能的实现方式中，所述道路元素包括车道线、行人、交通信号灯、交通标志中的一个或多个，所述已训练的轻量级卷积神经网络包括第一轻量级卷积神经网络，或所述已训练的轻量级卷积神经网络包括第一轻量级卷积神经网络和第二轻量级卷积神经网络，其中：

所述第一轻量级卷积神经网络用于对所述目标区域图像进行目标检测，确定所述目标区域图像中的车辆信息和除所述车道线外的道路元素；

所述第二轻量级卷积神经网络用于对所述目标区域图像进行车道线检测，确定所述目标区域图像中的车道线。

在一种可能的实现方式中，所述车辆违章检测装置还包括：

图像识别加速单元，用于对运行所述已训练的轻量级卷积神经网络的代码进行Neon汇编加速，以使利用所述已训练的轻量级卷积神经网络对所述目标区域图像进行图像识别时，支持通过单指令多数据流SIMD对所述已训练的轻量级卷积神经网络中同一个卷积层的卷积运算进行并行处理。

在一种可能的实现方式中，所述违章条件包括跨实线变更车道、不避让行人、闯红灯、超速行驶中的一个条件或多个条件。

在一种可能的实现方式中，所述车辆信息包括车辆类型，所述违章条件与所述车辆类型对应。

本申请第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面及任一种可能的实施方式中任一所述的方法。

本申请第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面及任一种可能的实施方式中任一所述的方法。

由于本申请实施例采用上述技术方案，至少具有如下技术效果：

本申请实施例中一方面，在各车辆的车载设备中通过已训练的轻量级卷积神经网络进行图像识别，进而能直接在各车辆的车载设备上识别满足违章条件的车辆，而不必将目标区域图像集中到应用服务器进行处理，提升了车辆违章检测的效率，且本申请实施例中采用的卷积神经网络是轻量级卷积神经网络，由于轻量级卷积神经网络的规模尺寸较一般的卷积神经网络小，因此轻量级卷积神经网络的处理效率优于一般的卷积神经网络，进一步提升了车辆违章检测的效率；另一方面，直接在各车辆的车载设备中进行图像识别，而不必将各车辆的车载图像采集设备获取的每一帧目标区域图像都发送给应用服务器，减少了车辆违章检测过程中的流量消耗。

附图说明

图1为本申请实施例提供的一种应用场景的示意图；

图2为本申请实施例提供的一种车辆违章检测方法的流程示意图；

图3为本申请实施例提供的一种获取目标区域图像的场景示意图；

图4为本申请实施例提供的存在满足违章条件的车辆的目标区域图像的示例图；

图5为本申请实施例提供的一种标准的卷积层的计算量和深度可分离卷积层的计算量的对比示意图；

图6为本申请实施例提供的一种训练轻量级卷积神经网络的过程示意图；

图7为本申请实施例提供的一种车道线检测网络识别目标区域图像中的车道线的原理示意图；

图8为本申请实施例提供的一种目标检测网络进行目标检测的原理示意图；

图9为本申请实施例提供的一种存在满足违章条件的车辆的目标区域图像的示例图；

图10为本申请实施例提供的一种目标区域图像的示例图；

图11为本申请实施例提供的一种存在满足违章条件的车辆的目标区域图像的示例图；

图12为本申请实施例提供的一个车辆违章检测的具体示例的流程图；

图13为本申请实施例提供的一种车辆违章检测装置的结构示意图；

图14为本申请实施例提供的一种移动终端设备的结构示意图。

具体实施方式

为了更好的理解本申请实施例提供的技术方案，下面将结合说明书附图以及具体的实施方式进行详细的说明。

为了便于本领域技术人员更好地理解本申请的技术方案，下面对本申请涉及的技术名词进行说明。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

卷积神经网络(Convolutional Neural Networks,CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络，可通过标注的训练数据进行监督学习，从而完成视觉图像识别及目标检测等任务。

深度学习：深度学习是学习样本数据(如图像、语音、文本)的内在规律和表示层次，从而让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据，被广泛应用于人工智能领域，其中卷积神经网络是深度学习中的常用结构。

本申请实施例提供的方案主要涉及人工智能的计算机视觉技术以及机器学习中的深度学习等技术，具体通过如下实施例进行说明。

下面对本申请的设计思想进行说明。

目前在对车辆进行违章检测时，一种违章检测方式是通过在道路的固定位置安装摄像头拍摄图像，摄像头将拍摄的图像逐帧发送给服务器，由服务器根据摄像头拍摄的图像对大量的车辆行驶情况进行识别，进而判断车辆是否违章，但这种方式的实施，一方面需要服务器集中识别摄像头拍摄的所有的车辆行驶情况，服务器的负载较大，且在这个过程中需要将摄像头采集的每一帧图像上传到服务器，消耗极大的流量；另一方面安装在固定位置的摄像头只能覆盖少量的违章场景，若想覆盖较多的违章场景则需要增加大量的摄像头，成本很高。

另一种违章检测方式是通过车载全景行车记录仪拍摄周边道路情况，并结合车辆速度和地图GPS的位置信息判断当前是否为易发生车辆的加塞违法行为的场景，并以一个时间序列内的车辆速度以及车牌的识别情况为依据，判断车辆发生加塞违法行为的可能性，若可能性大于一定阈值，则显示在屏幕上由行车人员判断是否真实违章并上报，但其只能根据车速以及GPS信息检测车辆的违章加塞行为，识别的违章行为少。

鉴于此，发明人设计了一种车辆违章检测方法、装置、设备及计算机存储介质，该方法中考虑到将图像集中于服务器进行识别会消耗大量流量，且增加服务器的负载，故而考虑可以通过安装在当前车辆上的车载设备利用人工智能技术感知当前车辆周边的环境信息，进而基于感知的环境信息判断当前车辆周边是否存在满足违章条件的车辆；具体地，本申请实施例中车载设备利用计算机视觉技术对车载图像采集设备获取的当前车辆周边的目标区域图形进行图像识别，基于图像识别的结果确定当前车辆周边的环境信息，进而基于识别出的当前车辆周边的环境信息判断是否存在满足违章条件的车辆。

目前常通过基于深度学习创建用于图像识别的卷积神经网络，卷积神经网络可以通过学习图像样本数据的特征，实现对目标区域图像的特征的识别，但为了保证图像识别的准确率，卷积神经网络的深度和复杂度都越来越大，运行卷积神经网络需要的计算能力较大；由于车载设备的计算能力有限，深度和复杂度大的卷积神经网络无法运行在车载设备中，故而本申请实施例考虑可以通过一些处理方式减小卷积神经网络的规模和尺寸，得到已训练的轻量级卷积神经网络，以使已训练的轻量级卷积神经网络能够运行在车载设备中，从而可以在车载设备上利用已训练的轻量级卷积神经网络对目标区域图像进行图像识别，进而判断目标区域图像中是否存在满足违章条件的车辆。

进一步地，为了减少向应用服务器发送目标区域图像的流量消耗，可以将检测出存在满足违章条件的车辆所相关的目标区域图像发送给服务器，而不必向服务器发送获取的每一帧目标区域图像。

为了更清楚地理解本申请的设计思路，以下给出一种应用场景。

请参照图1，该应用场景中包括至少一个车辆100和应用服务器200，每个车辆上安装有车载设备110和车载图像采集设备120，车载设备110和车载图像采集设备120之间相互通信，其中：

车载图像采集设备120用于采集车辆100周边的目标区域图像，并将采集的目标区域图像传递到车载设备110中进行处理。

车载设备110用于利用已训练的轻量级卷积神经网络对目标区域图像进行图像识别，以及根据图像识别的结果确定目标区域图像存在满足违章条件的车辆时，通过移动通信网络向应用服务器200发送违章报告信息，该违章报告信息至少包括目标区域图像。

上述车载设备110可以是安装在车辆100上的车载处理器，上述车载图像采集设备120可以是安装在车辆100上的行车记录仪或智能车载后视镜，且车载设备110和车载图像采集设备120可以是安装在车辆100上的同一个设备如智能车载后视镜，也可以是安装在车辆100上的不同设备。

请继续参见图1，上述车载图像采集设备120可以安装在车辆100前端的挡风玻璃的中间位置或中间偏上的位置，也可以安装在车辆100的其他位置；上述车载设备110可以安装在车辆100前端的挡风玻璃的中间位置或中间偏左或中间偏右的位置，也可以安装在车辆100的其他位置，本领域的技术人员可根据实际设置。

上述智能车载后视镜是安装在车辆上的智能后视镜，其具有独立的操作***，独立的运行空间，可以由用户自行安装软件、游戏、导航等第三方服务商提供的程序，并可以通过WIFI或者移动通信网络来实现无线网络接入，同时可以提供行车记录、GPS定位、电子测速提醒、倒车可视、实时在线影音娱乐等功能的智能化的后视镜。

基于图1的应用场景，下面对本申请实施例中涉及的车辆违章检测方法进行示例说明，请参见图2，应用于安装在车辆100上的车载设备110，具体包括如下步骤：

步骤S201，获取上述车辆周边的目标区域图像，该目标区域图像是通过安装在上述车辆上的车载图像采集得到的。

上述目标区域图像是车载图像采集设备120对车辆周边的目标区域进行拍摄获得的，上述目标区域可以是车载图像采集设备120所在的水平线向上30度和向下30度围城的垂直拍摄范围，以及车载图像采集设备120的正前方向右50度和向左50度围城的水平拍摄范围共同组成的区域，或者目标区域是根据车载图像采集设备120预配置好的拍摄范围确定，本领域的技术人员可根据实际需求设置。

请参见图3，此处给出一个获取目标区域图像的场景示例，该场景的道路包括机动车道和非机动车道，道路中包括车辆100、交通信号灯302、斑马线303、公交车304、跑车305以及行人306等，该场景中车辆100的车载图像采集设备120的水平拍摄范围如图中从车载图像采集设备120出发的两条实线组成的范围301，其中车载图像采集设备120的垂直拍摄范围可根据车载图像采集设备120的实际配置确定，此中不再给出示例。

步骤S202，利用已训练的轻量级卷积神经网络对上述目标区域图像进行图像识别，确定上述目标区域图像中的道路元素和车辆信息，上述轻量级卷积神经网络是利用进行了数据标注和数据增强后的图像样本数据训练得到的，上述数据标注包括标注道路元素和车辆信息。

作为一种实施例，上述已训练的轻量级卷积神经网络，可以通过在创建卷积神经网络时对卷积神经网络的卷积层进行结构优化处理，或对训练后的卷积神经网络进行剪枝处理，或对训练后的卷积神经网络进行参数值量化处理中的至少一种处理简化卷积神经网络得到，其中上述卷积神经网络是基于深度学习创建的且用于对目标区域图像进行图像识别，确定目标区域图像中的道路元素和车辆信息。

车辆信息：与车辆本身相关的信息，如车牌信息、车辆类型、车辆位置等中的一个或多个信息。

作为一种实施例，本申请实施例中的道路元素可以但不局限于包括车辆可以行使的道路中出现的车道线、交通标志或物体中的一个或多个，上述交通标志可以包括交通指示牌(如禁止机动车辆驶入、禁止鸣笛、注意行人等的指示牌)或道路上的交通符号(如直行箭头、左转箭头、右转箭头、斑马线等)等，上述物体可以但不局限于包括交通信号灯、行人、自行车、电动车、公交站牌等；请参见图3示意出的斑马线303、交通信号灯302、行人306等。

考虑到进一步提升车辆违章检测的效率，可以考虑在车载设备110上部署运行已训练的轻量级卷积神经网络的代码时，通过一定的部署方法提升已训练的轻量级卷积神经网络在进行图像识别时的卷积运算的处理效率，进而提升已训练的轻量级卷积神经网络的处理消息。

具体地，可以在车载设备110上部署运行已训练的轻量级卷积神经网络的代码时，对运行已训练的轻量级卷积神经网络的代码进行Neon汇编加速，以使利用已训练的轻量级卷积神经网络对目标区域图像进行图像识别时，支持通过单指令多数据流SIMD对已训练的轻量级卷积神经网络中同一个卷积层的卷积运算进行并行处理，即对上述代码进行Neon汇编加速后，不会改变已训练的轻量级卷积神经网络中各卷积层的输入数据和输出数据的依赖关系，只是将已训练的轻量级卷积神经网络中同一个卷积层中大量卷积运算进行并行处理，以减少各卷积层在进行图像识别时的卷积运算的耗时，缩短了利用已训练的轻量级卷积神经网络对目标区域图像进行图像识别的整体时间，进一步提升图像识别的效率，进而提升了车辆违章检测的效率。

上述Neon是ARM指令集的一个单指令多数据流(Single Instruction MultipleData，SIMD)技术，SIMD技术相对单指令单数据流(Single Instruction Single Data，SISD)技术能够大幅提高代码的并行度，进而提升上述已训练的轻量级卷积神经网络中同一卷积层的卷积运算的处理效率。

步骤S203，基于上述目标区域图像中的道路元素和车辆信息，确定上述目标区域图像存在满足违章条件的车辆时，通过移动通信网络向应用服务器发送违章报告信息，上述违章报告信息至少包括上述目标区域图像。

作为一种实施例，本申请实施例中的违章条件包括跨实线变更车道、不避让行人、闯红灯、超速行驶中的一个条件或多个条件，上述违章条件也可以包括其他的情况，本领域的技术人员可根据实际需求设置。

作为一种实施例，本申请实施例中的车辆信息包括车辆类型，上述违章条件与上述车辆类型对应；如车辆类型包括重型货物车辆时，对应的违章条件可以是重型货物车辆驶入主城区等城市道路；车辆类型包括电动车或自行车时，对应的违章条件可以是电动车或自行车驶入机动车道；车辆类型包括小汽车时，则对应的违章条件可以但不局限于小汽车驶入设置有禁止机动车辆通行的交通标志牌的道路；请参见图4，此处给出一个具体示例，车道线B和车道线C之间的道路中设置有禁止机动车通行的交通标志牌402，但此时小汽车401驶入了车道线B和车道线C之间的道路，则小汽车401满足违章条件。

进一步地，在确定目标区域图像存在满足违章条件的车辆之后，通过移动通信网络向应用服务器发送违章报告信息之前，还可以先将上述违章报告信息显示在车载显示设备上，由车辆100的驾驶人员对违章报告信息进行验证，如将存在满足违章条件的车辆的目标区域图像显示在车辆100的车载显示设备中，进而由车辆100的驾驶人员判断车载显示设备中显示的目标区域图像中是否存在满足违章条件的车辆，若驾驶人员确认存在满足违章条件的车辆后，可通过车载显示设备触发向应用服务器发送违章报告信息，如将违章报告信息发送给交通管理局的应用服务器。

作为一种实施例，上述违章报告信息中还可以包括满足违章条件的车辆的车牌信息、车辆类型、车辆位置以及车辆颜色等一个或多个车辆信息，以便交通管理局对满足违章条件的车辆进行追踪等。

作为一种实施例，在步骤S203基于道路元素和车辆信息，确定目标区域图像是否存在满足违章条件的车辆时，还可以基于从服务器获取的激光雷达的点云数据，以及安装在道路上的摄像头拍摄的图像，确定道路元素中的行人、交通信号灯或车辆信息中的待检测车辆与车辆100的距离，进而基于道路元素、车辆信息以及确定的距离，进一步判断目标区域图像中是否存在满足违章条件的车辆，其中待检测车辆为目标区域图像中的任意车辆。

本申请实施例以下内容对步骤S202中已训练的轻量级卷积神经网络的训练过程进行说明，下述已训练的轻量级卷积神经网络可以包括上述第一轻量级卷积神经网络和第二轻量级卷积神经网络中的一个网络或多个网络。

第一种训练方式：对卷积神经网络的卷积层进行结构优化。

目前卷积神经网络中每个卷积层的计算量较高，可以考虑简化卷积神经网络的每个卷积层的结构，通过减少每个卷积层的计算量以提高卷积神经网络的效率，因此本申请实施例中使用深度可分离卷积层(Depthwise Separable Convolution)替代卷积神经网络中标准的卷积层。

具体地，基于深度学习创建卷积神经网络，其中上述卷积神经网络用于对图像进行图像识别，确定图像中的道路元素和车辆信息，上述卷积神经网络包括第一设定数量的深度可分离卷积层，深度可分离卷积层包括深度卷积depthwise convolution和逐点卷积pointwise convolution，其中对上述第一设定数量不做限定，本领域的技术人员可根据实际需求设置。

进而利用进行数据标注、数据增强后的图像样本数据对上述卷积神经网络进行训练，得到已训练的轻量级卷积神经网络。

上述数据标注包括标注道路元素和车辆信息，对具体如何进行数据标注的方式不做限定，本领域的技术人员可根据实际需求设置。

对于标准的卷积层而言，不同输入通道(input channls)采用同一个卷积核；而对于depthwise convolution而言，一个卷积核与一个输入通道对应，不同的输入通道采用不同的卷积核，depthwise convolution是深度级别的操作；对于pointwise convolution而言，和标准的卷积层一样，不同输入通道采用同一个卷积核，但是pointwise convolution中采用的同一个卷积核为1x1的卷积核。

将卷积神经网络中的标准的卷积层替换为深度可分离卷积层后，能明显减少卷积神经网络的计算量，进而提升卷积神经网络的处理效率；具体地，请参见图5，标准的卷积层和深度可分离卷积层的计算量的差异如下：

图像的输入尺寸为DF×DF×M，标准的卷积层的卷积核的尺寸为DK×DK×M×N，其中DK为卷积核的尺寸，M为卷积层输入的特征图通道数，N为卷积核的个数。

采用标准的卷积层对图像进行卷积，步长为1且padding，则输出尺寸为DF×DF×N，标准的卷积层的计算量为DK×DK×M×N×DF×DF；而采用深度可分离卷积层进行卷积时，首先使用M个depthwise convolution对M个输入通道分别进行卷积得到尺寸为DF×DF×M，这一步的计算量为DK×DK×M×DF×DF；再使用N个1×1×M的卷积核进行逐点卷积得到输出尺寸为DF×DF×N，这一步的计算量为M×N×DF×DF，故深度可分离卷积层总的计算量为DK×DK×M×DF×DF+M×N×DF×DF。

深度可分离卷积层的计算量与标准的卷积层的计算量的比值如下：

且通常情况下N的取值较大，因此如果采用3×3的卷积核(即DK的值为3)，则深度可分离卷积层的计算量相较于标准的卷积层的计算量而言，可以降低约9倍的计算量，故而采用深度可分离卷积层替代标准的卷积层，能明显提升卷积神经网络的处理效率。

第二种训练方式：对卷积神经网络进行剪枝处理。

具体地，利用进行数据标注、数据增强后的图像样本数据，对基于深度学习创建的卷积神经网络进行训练，得到训练后的卷积神经网络，其中上述卷积神经网络用于对图像进行图像识别，确定图像中的道路元素和车辆信息；

确定训练后的卷积神经网络中各卷积核参数的损失影响度，剪去上述训练后的卷积神经网络中损失影响度小于影响度阈值的卷积核，得到上述已训练的轻量级卷积神经网络，其中上述损失影响度表征卷积核参数对上述训练后的卷积神经网络的损失函数的影响度。

上述数据标注包括标注道路元素和车辆信息，对具体如何进行数据标注的方式不做限定，本领域的技术人员可根据实际需求设置。

此处假设D为用于训练的图像样本数据的集合，W为模型参数的集合(W可以为卷积神经网络的卷积核参数的集合)，C()为卷积神经网络的损失函数，则本申请实施例中训练卷积神经网络期望的是C(D|W)的值最小(其中“|”为条件概率的符号)，即在进行剪枝处理的过程中在用于训练的图像样本数据的集合上的损失最小。

具体地，本申请实施例中可以通过如下方式对训练后的卷积神经网络进行剪枝操作：

针对卷积神经网络中任意一个卷积核参数而言，从卷积神经网络中去掉该卷积核参数，得到C(D|W’)，其中W’为去掉该卷积核参数后卷积神经网络的卷积核参数的集合，则将C(D|W)与C(D|W’)的差值或比值确定为该卷积核参数的损失影响度，若该卷积核参数的损失影响值小于影响度阈值，则表明卷积神经网络中存在该卷积核参数或不存在该卷积核参数，对卷积神经网络的损失函数的函数值影响很低，因此可以将该卷积核参数从卷积神经网络中除去，通过减少卷积核参数的方式降低卷积神经网络的规模，进而减少卷积神经网络的计算量，提升卷积神经网络的处理效率。

第三种训练方式：对卷积神经网络进行量化处理。

利用进行数据标注、数据增强后的图像样本数据，对基于深度学习创建的卷积神经网络进行训练，得到训练后的卷积神经网络，其中上述卷积神经网络用于对图像进行图像识别确定图像中的道路元素和车辆信息；

对训练后的卷积神经网络中各卷积核参数的浮点型参数值进行参数值量化处理，得到上述已训练的轻量级卷积神经网络。

其中上述数据标注包括标注道路元素和车辆信息，对具体如何进行数据标注的方式不做限定，本领域的技术人员可根据实际需求设置。

通常情况下卷积神经网络中各卷积核参数的参数值为float32的浮点型参数值，其浮点型参数值的取值范围为(-3.4×10³⁸～+3.4×10³⁸)；因此卷积神经网络在对卷积核参数进行处理时，十分消耗计算能力，因此可以将浮点型参数进行参数值量化处理，将float32的浮点型参数值映射为int8的整型参数值，int8的整型参数值的取值范围为(-128～+127)，进而可以减少卷积神经网络的尺寸，从而提升卷积神经网络的处理效率。

以下给出一种将上述第一种训练方式至第三种训练方式结合，训练轻量级卷积神经网络的过程，如图6所示，具体包括如下步骤：

步骤S601，基于深度学习创建包括第一设定数量的深度可分离卷积层的卷积神经网络，上述深度可分离卷积层包括深度卷积depthwise convolution和逐点卷积pointwiseconvolution，且该卷积神经网络用于对图像进行图像识别确定图像中的道路元素和车辆信息。

步骤S602，利用进行数据标注、数据增强后的图像样本数据对创建的卷积神经网络进行训练，得到训练后的卷积神经网络。

步骤S603，确定训练后的卷积神经网络中各卷积核参数的损失影响度，剪去训练后的卷积神经网络中损失影响度小于影响度阈值的卷积核，得到进行剪枝处理后的卷积神经网络。

步骤S604，对进行剪枝处理后的卷积神经网络中各卷积核参数的浮点型参数值进行参数值量化处理，得到已训练的轻量级卷积神经网络。

作为一种实施例，步骤S202中已训练的轻量级卷积神经网络包括第一轻量级卷积神经网络，或已训练的轻量级卷积神经网络包括第一轻量级卷积神经网络和第二轻量级卷积神经网络；其中第一轻量级卷积神经网络用于对目标区域图像进行目标检测，确定目标区域图像中的车辆信息和除车道线外的道路元素(如行人、交通信号灯、公交站牌等)；第二轻量级卷积神经网络用于对目标区域图像进行车道线检测，确定目标区域图像中的车道线。

具体地，上述第一轻量级卷积神经网络可以是目标检测网络，若步骤S203中的违章条件不涉及车道线，则在车辆违章检测过程中可以仅利用目标检测网络对目标区域图像进行图像识别。

上述第二轻量级卷积神经网络可以是车道线检测网络，若步骤S203中的违章条件涉及车道线，则在车辆违章检测过程中，需利用车道线检测网络识别目标区域图像中的车道线，且需利用目标检测网络识别目标区域图像中的车辆信息或识别车辆信息和除车道线外的道路元素。

上述违章条件为判定目标区域图像中是否存在满足违章条件的车辆时使用的信息。

本申请实施例的以下内容，对上述车道线检测网络进行说明。

本申请实施例中的车道线检测网络可以包括两个网络分支，嵌入网络分支Embedding brach和分割网络分支Segmentation branch，其中分割网络分支用于确定目标区域图像中每一个像素是否是车道线像素，嵌入网络分支对属于车道线像素的像素进行特征映射，从而在检测出车道线的位置的同时将每一条车道线像素区分开。

请参见图7，具体的，将一个目标区域图像输入车道线检测网络后，首先经过共享编码层Shared encoder，进而通过嵌入网络分支和分割网络分支对图像进行处理；其中嵌入网络分支在判断一个像素是否是车道线像素时，会输出一张和输入的目标区域图像相同分辨率的图片(即图7中的像素嵌入图Pixel embeddings)，且分割网络分支将对输入的目标区域图像进行处理后输出一个二值车道线分割图Binary lane segmentation，进而车道线检测网络将像素嵌入图和二值车道线分割图处理为一个像素聚类图clustering，并基于像素聚类图获得输入的目标区域图像的车道线分割结果。

上述过程中，二值车道线分割图中可以将车道线像素的像素值设置为1，将车道线像素外的其他像素的像素值设置为0。

作为一种实施例，车道线包括实线车道线和虚线车道线，即像素包括实线车道线像素和虚线车道线像素；进一步，在输出二值车道分割图时，可以将实线车道线像素的像素值设置为1，将虚线车道线像素的像素值设置为2，将不属于实线车道线像素且不属于虚线车道线像素的非车道像素的像素值设置为0。

上述分割网络分支确定各像素是非车道像素、实线车道线像素和虚线车道线像素后，嵌入网络分支可以对属于车道线像素(即实线车道线像素和虚线车道线像素)的像素进行特征映射；在对像素进行特征映射时，嵌入网络分支能够通过训练做到对属于同一条车道线的像素提取的特征非常相近，而对不同的车道线的像素提取的特征差异较大，这样即可以利用提取的像素的特征的差异，通过聚类将属于同一条车道线的像素进行拟合，得到车道线分割结果中的一条车道线。

本申请实施例的以下内容，对上述目标检测网络进行说明。

目标检测网络可以检测图像中的多个目标，并对检测到的目标进行分类以及确定检测到的目标在图像中的位置。

请参见图8，将目标区域图像输入目标检测网络之后，目标检测网络会输出一个(M，N，C)的三维特征；其中M为输出的特征图的高；N为输出的特征图的宽；C表征每个网格处的特征维数，即表征网格处的目标属于前景还是背景如果目标是前景则该目标所属的目标类别，以及该目标在目标区域图像中的位置。

请继续参见图8，本申请实施例中的目标检测网络可以但不局限于包括特征提取网络Backbone和检测头部网络；将目标区域图像输入目标检测网络后，通过特征提取网络和检测头部网络，为目标区域图像中的每个目标预测一个边界框，通过预测每个目标的边界框来确定每个目标的位置，且确定检测出的目标对应的目标类别的置信度vehicle，如目标801属于车辆vehcile这个目标类别的置信度为95.5％，目标802属于vehcile这个目标类别的置信度为70％，目标803属于vehcile这个目标类别的置信度为90.6％，目标804属于行人person这个目标类别的置信度为85.8％；上述置信度表征检测出的目标属于上述目标的边界框对应的目标类别的概率。

本实施例中，上述目标类别可以但不局限于包括车辆以及道路元素中的行人、交通信号灯、交通标志中的一个元素或多个元素，当目标类别包括交通信号灯时，可以通过如下方式检测交通信号灯的颜色(即红色、绿色或黄色)：

当通过目标检测网络预测的边界框检测到交通信号灯的位置之后，即获得了交通信号灯在图像中的感兴趣区(region of interest，ROI)，分别统计上述ROI中接近红色、绿色、黄色的像素的数量，将像素的数量最多的颜色确定为交通信号灯的颜色，如若ROI中接近红色的像素的数量最多，则交通信号灯当前显示的颜色为红色(即当前的交通信号灯为红灯)。

本申请实施例的以下内容，对步骤S203中判定满足违章条件的车辆的处理过程分别进行说明。

应当说明的是，下述待检测车辆为获取的目标区域图像中的任意一个或多个车辆。

第一种违章判定：跨实线变更车道。

跨实线变更车道即为车辆在变更车道的过程中跨越了实线车道线，本实施例中可以根据车辆的边界框底边中心点与检测出的实线车道线的位置，确定车辆是否满足违章车辆。

本申请实施例中可以仅基于一帧目标区域图像，确定该目标区域图像中是否存在满足跨实线变更车道的车辆；具体地可以根据待检测车辆的边界框底边中心点到实线车道线的距离确定待检测车辆是否满足跨实线变更车道，将边界框底边中心点到检测出的实线车道线的最短距离小于预设距离的待检测车辆，确定为满足跨实线变更车道的车辆。

如图9所示，待检测车辆901的边界框底边中心点O到实线车道线A的距离为待检测车辆901的边界框底边中心点到检测出的实线车道线的最短距离；从图中可看出待检测车辆901的边界框底边中心点O到最近的实线车道线A的距离明显较近，若边界框底边中心点O到最近的实线车道线A的距离小于上述预设阈值，则待检测车辆901满足跨实线变更车道的违章条件。

本申请实施例中，也可以根据连续获取的至少两帧目标区域图像，确定至少两帧目标区域图像中是否存在满足跨实线变更车道的车辆，具体地，可以将至少两帧目标区域图像中，边界框底边中心点从实线车道线的一边跨至另一边的待检测车辆，确定为满足跨实线变更车道的车辆。

请参见图9和图10，假设图10是在图9之前获取的目标区域图像，图10中待检测车辆901的边界框底边中心点O在实线车道线A的右侧，图9中待检测车辆901的边界框底边中心点O在实线车道线A的左侧，图10是在图9之前采集的目标区域图像，进而可获知待检测车辆901的在图10和图中边界框底边中心点O从实线车道线的一边跨至另一边，则判定待检测车辆901满足跨实线变更车道的违章条件。

对上述至少两帧目标区域图像中目标区域图像的具体数量不做限定，本领域的技术人员可根据实际需求设置，如将第一设定时长内采集的目标区域图像确定为上述至少两帧目标区域图像，或将当前处理的目标区域图像之前采集的第二设定数量的目标区域图像和当前处理的目标区域图像确定为上述至少两帧目标区域图像等。

第二种违章判定：闯红灯

若连续获取的至少两帧目标区域图像中交通信号灯当前显示的颜色为红色，则确定行驶状态为前行状态的待检测车辆满足闯红灯的违章条件。

请参见图11，图中上方的目标区域图像1110和图中下方的目标区域图像1120为先后采集的两帧目标区域图像，由这两帧目标区域图像中待检测车辆1101至待检测车辆1103的边界框对应的车辆位置，可得知在采集目标区域图像1110至采集目标区域图像1120的过程中，待检测车辆1101的行驶状态为静止，待检测车辆1102以及待检测车辆1103的行驶状态为前行状态；且由这两帧目标区域图像可得知交通信号灯当前显示的颜色为红色，即当前禁止车辆通信，因此可判定待检测车辆1102和待检测车辆1103满足闯红灯的违章条件。

第三种违章条件：超速行驶

本申请实施例中可以通过单目摄像头进行距离的估算，结合通过目标检测网络确定待检测车辆在先后获取的至少两帧目标区域图像中的位置，以及结合车辆100的速度，计算至少两帧目标区域图像中待检测车辆的速度，进而根据计算结果将速度超过当前道路的限度阈值的待检测车辆，确定为满足超速行驶的违章条件的车辆。

第四种违章条件：不避让行人

基于交通信号灯当前显示的颜色，当检测到前方设定距离内有行人，且根据连续获取的至少两帧目标区域图像确定待检测车辆仍以高于第二速度阈值的速度前行，则确定待检测车辆满足不避让行人的违章条件；或

若上述至少两帧目标区域图像中的同一斑马线上有行人，则可以基于待检测车辆在至少两帧目标区域图像中的位置，确定待检测车辆的行驶状态，该行驶状态可以但不局限于包括加速行驶、匀速行驶、减速行驶、停车等；进而可以将行驶状态为匀速行驶或加速行驶或减速行驶的待检测车辆，确定为满足不避让行人的违章条件的车辆。

本申请实施例的以下内容，提供一个车辆违章检测的具体示例。

该示例中，上述车载设备110为CPU MTK8665 4核A53 1.5GHZ的处理器，车载图像采集设备120为100万像素及以上的摄像设备，已训练的轻量级卷积神经网络包括目标检测网络和车道线检测网络且道路元素中包括车道线。

请参见图12，该示例中主要包括轻量级卷积神经网络的训练过程，以及利用已训练的轻量级卷积神经网络进行车辆违章检测两个过程，其中轻量级卷积神经网络的训练过程主要包括如下步骤：

步骤S1201，基于深度学习创建包含深度可分离卷积层的卷积神经网络。

步骤S1202，对图像样本数据进行数据标注以及数据增强处理。

步骤S1203，利用处理后的图像样本数据对创建的卷积神经网络进行训练。

步骤S1204，对训练后的卷积神经网络进行剪枝处理。

步骤S1205，对进行剪枝处理后的卷积神经网络进行参数值量化处理，得到已训练的轻量级卷积神经网络。

步骤S1206，在车载设备110上部署运行已训练的轻量级卷积神经网络的代码，并对运行已训练的轻量级卷积神经网络的代码进行Neon汇编加速。

上述利用已训练的轻量级卷积神经网络进行车辆违章检测的过程主要包括如下步骤：

步骤S1207，将车载图像采集设备120当前获取的一帧目标区域图像，或者设定时长内连续获取的至少两帧目标区域图像输入已训练的轻量级卷积神经网络，利用目标检测网络检测目标区域图像中的车辆信息以及行人、交通信号灯等道路元素，利用车道线检测网络检测目标区域图像中的车道线。

步骤S1208，基于检测出的车辆信息和道路元素，判断输入的目标区域图像中是否存在满足违章条件的车辆，若存在，则进入步骤S1209，否则进入步骤S1207。

步骤S1209，截取上述输入的目标区域图像，并将截取的目标区域图像显示在车载显示设备中，由车辆100的驾驶人员判断截取的目标区域图像中是否存在满足违章条件的车辆，若存在，则驾驶人员可触发由车载设备向交通管理局的应用服务器发送违章报告信息，该违章报告信息中至少包括截取的目标区域图像。

本申请实施例中通过对卷积神经网络进行处理得到已训练的轻量级卷积神经网络，进而能使得车载设备运行已训练的轻量级卷积神经网络，各车辆的车载设备可直接通过已训练的轻量级卷积神经网络进行图像识别，直接在各车辆的车载设备上识别满足违章条件的车辆，而不必将目标区域图像集中到应用服务器进行处理，一方面提升了车辆违章检测的效率，另一方面也节省了发送目标区域图像消耗的流量。且本申请实施例中采用的是已训练的轻量级卷积神经网络，由于已训练的轻量级卷积神经网络的规模尺寸较一般的卷积神经网络小，因此已训练的轻量级卷积神经网络的处理效率优于一般的卷积神经网络，进一步提升了车辆违章检测的效率。

请参照图13，基于同一发明构思，本申请实施例提供一种车辆违章检测装置1300，包括：

图像采集单元1301，用于获取上述车辆周边的目标区域图像，上述目标区域图像是通过安装在上述车辆上的车载图像采集得到的；

图像识别单元1302，用于利用已训练的轻量级卷积神经网络对上述目标区域图像进行图像识别，确定上述目标区域图像中的道路元素和车辆信息，上述轻量级卷积神经网络是利用进行了数据标注和数据增强后的图像样本数据训练得到的，上述数据标注包括标注道路元素和车辆信息；

违章确定单元1303，基于上述目标区域图像中的道路元素和车辆信息，确定上述目标区域图像存在满足违章条件的车辆时，通过移动通信网络向应用服务器发送违章报告信息，上述违章报告信息至少包括上述目标区域图像。

作为一种实施例，上述已训练的轻量级卷积神经网络包括设定数量的深度可分离卷积层；上述深度可分离卷积层包括depthwise convolution和逐点卷积pointwiseconvolution，且上述设定数量的深度可分离卷积层用于对上述目标区域图像进行多次卷积运算，得到上述目标区域图像中的道路元素和车辆信息。

作为一种实施例，上述图像识别单元具体用于通过如下方式获得上述已训练的轻量级卷积神经网络：

利用上述图像样本数据对基于深度学习创建的卷积神经网络进行训练，得到训练后的卷积神经网络；

确定上述训练后的卷积神经网络中各卷积核参数的损失影响度，剪去上述训练后的卷积神经网络中损失影响度小于影响度阈值的卷积核，得到上述已训练的轻量级卷积神经网络，其中上述损失影响度表征卷积核参数对上述训练后的卷积神经网络的损失函数的影响度。

作为一种实施例，上述图像识别单元具体用于通过如下方式获得上述已训练的轻量级卷积神经网络：

利用上述图像样本数据，对基于深度学习创建的卷积神经网络进行训练，得到训练后的卷积神经网络；

对上述训练后的卷积神经网络中各卷积核参数的浮点型参数值进行参数值量化处理，得到上述已训练的轻量级卷积神经网络。

作为一种实施例，上述道路元素包括车道线、行人、交通信号灯、交通标志中的一个或多个，上述已训练的轻量级卷积神经网络包括第一轻量级卷积神经网络，或上述已训练的轻量级卷积神经网络包括第一轻量级卷积神经网络和第二轻量级卷积神经网络，其中：

上述第一轻量级卷积神经网络用于对上述目标区域图像进行目标检测，确定上述目标区域图像中的车辆信息和除上述车道线外的道路元素；

上述第二轻量级卷积神经网络用于对上述目标区域图像进行车道线检测，确定上述目标区域图像中的车道线。

作为一种实施例，上述车辆违章检测装置还包括：

图像识别加速单元，用于对运行上述已训练的轻量级卷积神经网络的代码进行Neon汇编加速，以使利用上述已训练的轻量级卷积神经网络对上述目标区域图像进行图像识别时，支持通过单指令多数据流SIMD对上述已训练的轻量级卷积神经网络中同一个卷积层的卷积运算进行并行处理。

作为一种实施例，上述违章条件包括跨实线变更车道、不避让行人、闯红灯、超速行驶中的一个条件或多个条件。

作为一种实施例，上述车辆信息包括车辆类型，上述违章条件与上述车辆类型对应。

作为一种实施例，图13中的装置可以用于实现前文论述的任意一种车辆违章检测方法。

基于同一发明构思，本申请实施例提供一种移动终端设备1400，下面对该移动终端进行介绍。

请参照图14，该移动终端设备1400包括显示单元1410、处理器1420、图像采集设备1430以及存储器1440，其中，显示单元1440包括显示面板1441，用于显示由用户输入的信息或提供给用户的信息以及车载图像采集设备120获取的目标区域图像、导航界面等。

该移动终端设备1400可以为车辆100的车载设备110，图像采集设备可以是车辆100的车载图像采集设备120。

可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)或有机发光二极管OLED(Organic Light-Emitting Diode)等形式来配置显示面板1441。

处理器1420用于读取计算机程序，然后执行计算机程序定义的方法，例如处理器1420读取图像采集设备120获取的目标区域图像等，或者读取导航应用，从而在该移动终端设备上运行导航应用，在显示单元1440上显示导航应用的界面。处理器1420可以包括一个或多个通用处理器，还可包括一个或多个DSP(Digital Signal Processor，数字信号处理器)，用于执行相关操作，以实现本申请实施例所提供的技术方案。

存储器1440一般包括内存和外存，内存可以为随机存储器(RAM)，只读存储器(ROM)，以及高速缓存(CACHE)等。外存可以为硬盘、光盘、USB盘、软盘或磁带机等。存储器1440用于存储计算机程序和其他数据，该计算机程序包括客户端对应的应用程序等，其他数据可包括操作***或应用程序被运行后产生的数据，该数据包括***数据(例如操作***的配置参数)和用户数据。本申请实施例中程序指令存储在存储器1440中，处理器1420执行存储其中1440中的程序指令，实现前文图论述的任意的一种车辆违章检测方法。

此中显示单元1440用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势，以及产生与移动终端设备相关的用户设置以及功能控制有关的信号输入等。具体地，本申请实施例中，该显示单元1440可以包括显示面板1441。显示面板1441例如触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在显示面板1441上或在显示面板1441的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，显示面板1441可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测玩家的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1420，并能接收处理器1420发来的命令并加以执行。

其中，显示面板1441可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了显示单元1440，移动终端设备还可以包括输入单元1450，输入单元1450可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

除以上之外，移动终端设备1400还可以包括用于给其他模块供电的电源1460、音频电路1470、近场通信模块14800和RF电路1490。移动终端设备还可以包括一个或多个传感器1411，例如加速度传感器、光传感器、压力传感器等。音频电路1470具体包括扬声器1471和麦克风1472等，例如移动终端设备可以通过麦克风1472采集用户的声音，进行相应的操作等。

作为一种实施例，处理器1420的数量可以是一个或多个，处理器1420和存储器1440可以是耦合设置，也可以是相对独立设置。

作为一种实施例，图14中的处理器1420可以用于实现如图13中的图像采集单元1301、图像识别单元1302和违章确定单元1303的功能。

基于同一技术构思，本申请实施例还一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，当上述计算机指令在计算机上运行时，使得计算机执行如前文论述的车辆违章检测方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种车辆违章检测方法，其特征在于，应用于安装在车辆上的车载设备中，所述车辆违章检测方法包括：

获取所述车辆周边的目标区域图像，所述目标区域图像是通过安装在所述车辆上的车载图像采集得到的；

利用已训练的轻量级卷积神经网络对所述目标区域图像进行图像识别，确定所述目标区域图像中的道路元素和车辆信息，所述轻量级卷积神经网络是利用进行了数据标注和数据增强后的图像样本数据训练得到的，所述数据标注包括标注道路元素和车辆信息；

基于所述目标区域图像中的道路元素和车辆信息，确定所述目标区域图像存在满足违章条件的车辆时，通过移动通信网络向应用服务器发送违章报告信息，所述违章报告信息至少包括所述目标区域图像。

2.如权利要求1所述的方法，其特征在于，所述已训练的轻量级卷积神经网络包括设定数量的深度可分离卷积层；所述深度可分离卷积层包括depthwise convolution和逐点卷积pointwise convolution，且所述设定数量的深度可分离卷积层用于对所述目标区域图像进行多次卷积运算，得到所述目标区域图像中的道路元素和车辆信息。

3.如权利要求1所述的方法，其特征在于，通过如下方式获得所述已训练的轻量级卷积神经网络：

利用所述图像样本数据对基于深度学习创建的卷积神经网络进行训练，得到训练后的卷积神经网络；

确定所述训练后的卷积神经网络中各卷积核参数的损失影响度，剪去所述训练后的卷积神经网络中损失影响度小于影响度阈值的卷积核，得到所述已训练的轻量级卷积神经网络，其中所述损失影响度表征卷积核参数对所述训练后的卷积神经网络的损失函数的影响度。

4.如权利要求1所述的方法，其特征在于，通过如下方式获得所述已训练的轻量级卷积神经网络：

利用所述图像样本数据，对基于深度学习创建的卷积神经网络进行训练，得到训练后的卷积神经网络；

对所述训练后的卷积神经网络中各卷积核参数的浮点型参数值进行参数值量化处理，得到所述已训练的轻量级卷积神经网络。

5.如权利要求1-4任一项所述的方法，其特征在于，所述道路元素包括车道线、行人、交通信号灯、交通标志中的一个或多个，所述已训练的轻量级卷积神经网络包括第一轻量级卷积神经网络，或所述已训练的轻量级卷积神经网络包括第一轻量级卷积神经网络和第二轻量级卷积神经网络，其中：

所述第一轻量级卷积神经网络用于对所述目标区域图像进行目标检测，确定所述目标区域图像中的车辆信息和除所述车道线外的道路元素；

所述第二轻量级卷积神经网络用于对所述目标区域图像进行车道线检测，确定所述目标区域图像中的车道线。

6.如权利要求1-4任一项所述的方法，其特征在于，还包括：

对运行所述已训练的轻量级卷积神经网络的代码进行Neon汇编加速，以使利用所述已训练的轻量级卷积神经网络对所述目标区域图像进行图像识别时，支持通过单指令多数据流SIMD对所述已训练的轻量级卷积神经网络中同一个卷积层的卷积运算进行并行处理。

7.如权利要求1-4任一所述的方法，其特征在于，所述违章条件包括跨实线变更车道、不避让行人、闯红灯、超速行驶中的一个条件或多个条件。

8.一种车辆违章检测装置，其特征在于，包括：

图像采集单元，用于获取所述车辆周边的目标区域图像，所述目标区域图像是通过安装在所述车辆上的车载图像采集得到的；

图像识别单元，用于利用已训练的轻量级卷积神经网络对所述目标区域图像进行图像识别，确定所述目标区域图像中的道路元素和车辆信息，所述轻量级卷积神经网络是利用进行了数据标注和数据增强后的图像样本数据训练得到的，所述数据标注包括标注道路元素和车辆信息；

违章确定单元，用于基于所述目标区域图像中的道路元素和车辆信息，确定所述目标区域图像存在满足违章条件的车辆时，通过移动通信网络向应用服务器发送违章报告信息，所述违章报告信息至少包括所述目标区域图像。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7中任一项权利要求所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的方法。

Images