CN109948416A - 一种基于深度学习的违法占用公交车道自动审核方法 - Google Patents

Abstract

本发明公开了一种基于深度学***公正。

Description

一种基于深度学习的违法占用公交车道自动审核方法

技术领域

本发明涉及目标检测、场景分割等智能图像识别领域，特别涉及一种基于深度学习对违法占用公交车道实现自动化审核的方法和***。

背景技术

近些年来，国内汽车保有量持续快速的增长对道路交通安全带来严峻的挑战，交通部门的违法审核工作因此面临巨大压力。作为交通违章审核的重要组成部分，违法占用公交车道的违章审核事关公共交通效率和安全，占据了违章审核较大的工作量。现有违法占用公交车道的违章审核方法主要仍采用人工审核方式，存在问题包括人工成本较高、效率过低、审核疲劳和人员主观性影响审核的公平公正性。因此寻求智能化自动化审核方式替代或辅助现有的人工审核变得越来越迫切。

发明内容

本发明的目的是：提出一种基于深度学习方法进行违法占用公交车道的智能审核方法，对于违法占用公交车道车辆图片进行智能审核，从而提升审核效率及准确率。

本发明解决其技术问题所采用的技术方案是：基于深度学习的违法占用公交车道智能审核***，其包含如下几个步骤：

S1、获取一组(n帧，n>＝1)待审核违法占用公交车道图片，及违法车辆车牌号信息；

S2、使用yolo-v2的车辆检测算法检测出n帧图像上的所有车辆；

S3、使用caffe-ssd检测n帧图像的所有车辆的车牌位置，并使用lstm+ctc网络识别车牌号信息；

S4、计算S3车牌号信息与S1车牌号信息的编辑距离，分别在n帧图像中取小于阈值条件的最小编辑距离所对应的车辆位置，即定位目标车辆；

S5、对S4未定位到目标车辆的图像帧，采用GoogLenet Inception-V2的网络提取该帧所有车辆的256维特征，与S4中定位到的目标车辆的256维特征计算余弦距离，从而实现n帧图像的目标车辆跟踪定位；

S6、使用场景分割算法deeplab-v2分割出公交车道区域位置；

S7、分别计算n帧图像中目标车辆检测框与公交车道区域的交集，从而判断车辆是否占用公交车道；若n帧中至少存在一帧交集部分面积与目标车辆检测框的面积比例大于设定阈值，则判定目标车辆在公交车道内，即判为占用公交车道，否则判为未占用；

S8、使用基于ResNet18的车辆分类网络，识别目标车辆类别，如私家车、出租车、公交车、警车、救护车等；

S9、根据S7目标车辆是否占用公交车道的判断，结合目标车辆类别信息，给出最终审核结果；若目标车辆未占用公交车道或目标车辆占用公交车道且此车辆为公交车等不作判罚车辆，则判为审核不违法，否则判为审核违法；

进一步，所述的S5基于GoogLenet Inception-V2网络的目标车辆跟踪算法包括步骤如下：

S10、训练GoogLenet Inception-V2特征提取网路，设置最后的全连接层维度为256维，训练时该全连接层连接一个分类层，分类层对不同款车进行分类，每个类别收集了同辆车在不同时刻不同角度下的照片。采用通用的数据扩增方式训练网络，当训练的损失值loss降低到最低时，裁剪掉分类层，保留256维全连接层，此时获取的256维特征能够很好的表征该车辆的特征。

S11、将S4定位到的目标车辆输入到GoogLenet Inception-V2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200＊200分辨率的图像，最后得到一个256维特征向量；

S12、将S4未定位到目标车辆的m(0<m<n)个图像帧中的所有待匹配的车辆输入GoogLenet Inception-V2网络，同S11，得到m组若干256维特征向量；

S13、分别对S12中m组的每一组若干256维特征向量依次与S11中目标车辆的256维特征向量计算余弦相似度，分别取得m组每一组中的相似度最大所对应的256维特征。由于256维特征向量表示了车辆越相似向量夹角越小而相反的车辆越不相似向量夹角越大，所以余弦相似度可反映车辆的相似程度。

S14、由于m帧图像中已经分别检测出若干辆车，用上述算法分别找到m帧中相似度得分最高的车，得分最高所对应的车辆索引号即为跟踪到的车辆。

进一步，所述的S6的deeplab-v2分割公交车道算法包括步骤如下：

S15、收集应用场景的公交车道图片，并人工标注出公交车道区域，即人工标注包围公交车道的闭合多边形；

S16、将人工标注转换为标签矩阵，即将人工标注的闭合多边形内所有像素点对应标签设置为1，其他像素点对应的标签设置为0；

S17、将公交车道图片及对应的标签矩阵输入deeplab-v2分割算法训练，deeplab-v2分割算法采用ResNet-34作为骨干网络，psp_module和unet模块作为解码器，并使用skiplayer引入低维细节特征作为模型网络结构。使用a＊bce_loss+b＊lovasz_loss作为最终loss(0<＝a,b<＝1，人为设定)，并引入辅助损失aux_loss进行训练；

S18、应用训练好的deeplab-v2分割算法预测输入图像像素点类别，将属于公交车道类别的像素点坐标集合输出，从而实现公交车道区域的分割；

进一步，所述的S8的基于ResNet18的车辆分类网络算法包括步骤如下：

S19、收集应用场景车辆，类别包括私家车、出租车、客运车、货运车、公交车、警车、救护车等，构成模型训练集；

S20、使用基于ResNet18的车辆分类网络，设置softmax分类层车辆的类别数，进行车辆类别分类训练；

S21、应用训练好的ResNet18车辆分类网络预测输入的车辆图片，输出预测的车辆类别；

本发明的有益效果是：本发明主要应用于交通违法审核***中违法占用公交车道自动审核中，本发明能够根据事先制定的审核规则进行全自动智能审核，由于网络训练时使用了各种复杂情况场景的训练数据，因此网络的分割与识别结果对于黑天以及模糊的图片具有很好的鲁棒性，与人工审核相比，算法在特殊情况下表现出更好的效果，并且审核时间大大缩短，整个流程在1秒以内即可完成；

附图说明

图1是本发明的违法占用公交车道智能审核***流程图

图2是本发明通过计算编辑距离定位目标车辆示意图

图3是本发明的基于GoogLenet Inception-V2的车辆重识别算法定位目标车辆示意图

图4是本发明违法占用公交车道示意图

具体实施方式

以下结合附图，对本发明作进一步说明。

如图4所示，为车辆违法占用公交车道示意图，该示意图中的黄色“公交车道”字样标示了其所在车道为公交车道，非公交车等不作判罚车辆在该车道内行驶或停留视为违法占用公交车道。

本发明的基于深度学习的违法占用公交车道自动审核***主要包括车辆重识别、场景分割、车辆分类及逻辑判断算法模块。

如图2所示，举例了利用编辑距离对1帧图像定位目标车辆的过程，实际对n帧证据图都需要分别经历此过程。图像帧A是n帧证据图中的其中一帧图像，首先通过yolo-v2检测出该帧图像所有车辆图像，然后对检测出来的每幅车辆图像采用caffe-ssd检测车牌并使用lstm+ctc网络识别车牌号，一辆车上至多只能检测到一张车牌，所以通过车牌可找到唯一确定的车辆。

编辑距离是针对两个字符串差异程度的通用量化量测方法，该量测方法只能通过增、删、替换三种操作，看需要至少多少次这样操作才能将一个字符串变成另一个字符串，相同字符串长度下操作数越少，说明两个字符串越相似。因此该方法可以有效量化两个车牌号信息的相似程度。

假设在图像帧A中共识别到x张车牌图像，通过计算编辑距离定位目标车辆的步骤如下：

1、依次将图像帧A中的x个车牌号与卡口获取的车牌号计算编辑距离，得到x个距离数值；

2、取x个距离数值中最小值并与设定阈值比较；

3、若最小值比阈值小，则取到该最小值对应的车牌，以此车牌确定唯一的车辆检测框，即定位到了图像帧A中的目标车辆；

4、若最小值比阈值大，说明图像帧A中找不到与卡口获取车牌号相似的车牌号，因此图像帧A目标车辆定位失败

若图像帧A未定位目标车辆，则需后续应用基于GoogLenet Inception-V2的车辆重识别算法对其所有检测出的车辆作重识别，重新定位目标车辆。

如图3所示，举例描述了对1帧图像应用基于GoogLenet Inception-V2的车辆重识别算法定位目标车辆的过程。车辆重识别算法通过提取某帧图像中所有车辆特征向量并依次计算与目标车辆特征的余弦相似度来确定该帧的目标车辆。假设图像帧A和图像帧B是属于n帧证据图像中的其中两帧图像，图像帧A中的目标车辆是以上通过计算车牌的编辑距离定位到的，而图像帧B通过以上方式未能定位到目标车，因此需要车辆重识别重新定位目标车辆。车辆重识别包含如下步骤：

1、图像帧A的目标车辆通过基于GoogLenet Inception-V2网络提取出一个256维特征向量

2、图像帧B所有yolo-v2检测出的x幅车辆图像通过基于GoogLenet Inception-V2网络提取出x组256维特征向量

3、依次将步骤2中x组256维特征向量与目标车辆的256维特征向量计算余弦相似度，得x组相似度数值

4、取x组相似度数值中的最大值，并将其与设定阈值比较

5、步骤4中最大值大于设定阈值时，取到该最大值对应的车辆检测框，即定位到图像帧B中的目标车辆

6、步骤4中最大值小于设定阈值时，说明图像帧B中不存在与图像帧A目标车辆相似的车辆，因此图像帧B中目标车辆定位失败。

针对deeplab-v2场景分割算法模块，由于场景分割是对像素点的分类，因此人工标注数据时需要尽可能紧贴分割对象轮廓进行标注，标注难度较大；同时，由于分割训练过程是对每个像素点作分类训练，因此分割训练开销很大。本发明为了减少数据标注工作量，及提升训练效率，采用迁移学习策略实现分割训练，包括步骤如下：

1、采用通用方式对公交车道区域图像数据集扩增，扩增方法包括旋转、平移、随机裁剪、变化亮度对比度色调、增加随机噪声、高斯模糊等，以丰富样本的多样性；

2、对扩增后的数据集按照比例9:1划分，分成检测数据子集和分割数据子集两部分，将检测数据子集用作检测标注，即使用矩形框包围公交车道区域；将分割数据子集用作分割标注，即使用多边形尽可能贴合公交车道轮廓标注；

3、设计分割与检测的网络结构，使两个任务模型具有公共的基网络部分；

4、使用检测数据子集训练步骤3中的检测网络，完成训练，得到公共基网络参数

5、锁定公共基网络参数，对分割网络特有部分进行训练，待训练至收敛，放开锁定的公共基网络参数继续训练直至收敛。此种训练方法与常规直接训练方法相比，达到相同训练效果的情况下，可减少分割数据标注量为原来的1/10，训练时间节约为原来的一半以上。

6、对训练数据中存在各类别数据量不均衡的情况，可通过调整损失权重值取得平衡。如标注图像中背景比公交车道区域像素数量比例大概符合8:1的分布，为了使分割网络对占比比较小的公交车道分割出较好的效果，需要调整此两者类别的损失权重为0.1:0.8。

对于n帧证据图中的其中一帧图像而言，通过以上方法定位到图像帧中的目标车辆，将目标车辆与场景分割算法分割得到的公交车道区域作逻辑判断，从而能判断此目标车辆是否在公交车道内，之后结合车辆分类算法识别的目标车辆类型信息可判断该目标车辆是否违法占用公交车道。根据审核要求，n帧证据图中的只要存在一帧图像满足违法条件即可判为违法。

本发明的实施具体流程如图1所示，一种基于深度学习的违法占用公交车道自动审核***，包括以下步骤：

S1、获取一组(n帧，n>＝1)待审核违法占用公交车道图片，及违法车辆车牌号信息；

S2、使用yolo-v2的车辆检测算法检测出n帧图像上的所有车辆；

S3、使用caffe-ssd检测n帧图像的所有车辆的车牌位置，并使用lstm+ctc网络识别车牌号信息；

S4、计算S3车牌号信息与S1车牌号信息的编辑距离，分别在n帧图像中取小于阈值条件的最小编辑距离所对应的车辆位置，即定位目标车辆；

S5、对S4未定位到目标车辆的图像帧，采用GoogLenet Inception-V2的网络提取该帧所有车辆的256维特征，与S4中定位到的目标车辆的256维特征计算余弦距离，从而实现n帧图像的目标车辆跟踪定位；

S6、使用场景分割算法deeplab-v2分割出公交车道区域位置；

S7、分别计算n帧图像中目标车辆检测框与公交车道区域的交集，从而判断车辆是否占用公交车道；若n帧中至少存在一帧交集部分面积与目标车辆检测框的面积比例大于设定阈值，则判定目标车辆在公交车道内，即判为占用公交车道，否则判为未占用；

S8、使用基于ResNet18的车辆分类网络，识别目标车辆类别，如私家车、出租车、公交车、警车、救护车等；

S9、根据S7目标车辆是否占用公交车道的判断，结合目标车辆类别信息，给出最终审核结果；若目标车辆未占用公交车道或目标车辆占用公交车道且此车辆为公交车等不作判罚车辆，则判为审核不违法，否则判为审核违法；

以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种基于深度学习的违法占用公交车道自动审核方法，其包含如下几个步骤：

S1、获取一组n帧的待审核违法占用公交车道图片，其中n大于等于1，及违法车辆车牌号信息；

S2、使用yolo-v2的车辆检测算法检测出n帧图像上的所有车辆；

S3、使用caffe-ssd检测n帧图像的所有车辆的车牌位置，并使用lstm+ctc网络识别车牌号信息；

S4、计算S3车牌号信息与S1车牌号信息的编辑距离，分别在n帧图像中取小于阈值条件的最小编辑距离所对应的车辆位置，即定位目标车辆；

S5、对S4未定位到目标车辆的图像帧，采用GoogLenetInception-V2的网络提取该帧所有车辆的256维特征，与S4中定位到的目标车辆的256维特征计算余弦距离，从而实现n帧图像的目标车辆跟踪定位；

S6、使用场景分割算法deeplab-v2分割出公交车道区域位置；

S7、分别计算n帧图像中目标车辆检测框与公交车道区域的交集，从而判断车辆是否占用公交车道；若n帧中至少存在一帧交集部分面积与目标车辆检测框的面积比例大于设定阈值，则判定目标车辆在公交车道内，即判为占用公交车道，否则判为未占用；

S8、使用基于ResNet18的车辆分类网络，识别目标车辆类别，如私家车、出租车、公交车、警车、救护车等；

S9、根据S7目标车辆是否占用公交车道的判断，结合目标车辆类别信息，给出最终审核结果；若目标车辆未占用公交车道或目标车辆占用公交车道且此车辆为公交车等不作判罚车辆，则判为审核不违法，否则判为审核违法。

2.如权利要求1所述的一种基于深度学习的违法占用公交车道自动审核方法，其特征在于，所述的S5基于GoogLenetInception-V2网络的目标车辆跟踪算法包括步骤如下：

S10、训练GoogLenetInception-V2特征提取网路，设置最后的全连接层维度为256维，训练时该全连接层连接一个分类层，分类层对不同款车进行分类，每个类别收集了同辆车在不同时刻不同角度下的照片，采用通用的数据扩增方式训练网络，当训练的损失值loss降低到最低时，裁剪掉分类层，保留256维全连接层，此时获取的256维特征能够很好的表征该车辆的特征，

S11、将S4定位到的目标车辆输入到GoogLenet Inception-V2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200＊200分辨率的图像，最后得到一个256维特征向量；

S12、将S4未定位到目标车辆的m个图像帧中的所有待匹配的车辆输入GoogLenetInception-V2网络，其中m大于0，n大于m，同S11，得到m组若干256维特征向量；

S13、分别对S12中m组的每一组若干256维特征向量依次与S11中目标车辆的256维特征向量计算余弦相似度，分别取得m组每一组中的相似度最大所对应的256维特征，由于256维特征向量表示了车辆越相似向量夹角越小而相反的车辆越不相似向量夹角越大，所以余弦相似度可反映车辆的相似程度，

S14、由于m帧图像中已经分别检测出若干辆车，用上述算法分别找到m帧中相似度得分最高的车，得分最高所对应的车辆索引号即为跟踪到的车辆。

3.如权利要求1所述的一种基于深度学习的违法占用公交车道自动审核方法，其特征在于，所述的S6的deeplab-v2分割公交车道算法包括步骤如下：

S15、收集应用场景的公交车道图片，并人工标注出公交车道区域，即人工标注包围公交车道的闭合多边形；

S16、将人工标注转换为标签矩阵，即将人工标注的闭合多边形内所有像素点对应标签设置为1，其他像素点对应的标签设置为0；

S17、将公交车道图片及对应的标签矩阵输入deeplab-v2分割算法训练，deeplab-v2分割算法采用ResNet-34作为骨干网络，psp_module和unet模块作为解码器，并使用skiplayer引入低维细节特征作为模型网络结构，使用a＊bce_loss+b＊lovasz_loss作为最终loss，其中a和b都大于等于0；a和b都小于等于1；并引入辅助损失aux_loss进行训练；

S18、应用训练好的deeplab-v2分割算法预测输入图像像素点类别，将属于公交车道类别的像素点坐标集合输出，从而实现公交车道区域的分割。

4.如权利要求1所述的一种基于深度学习的车辆压线违法自动审核方法，其特征在于，所述的S8的基于ResNet18的车辆分类网络算法包括步骤如下：

S19、收集应用场景车辆，类别包括私家车、出租车、客运车、货运车、公交车、警车、救护车等，构成模型训练集；

S20、使用基于ResNet18的车辆分类网络，设置softmax分类层车辆的类别数，进行车辆类别分类训练；

S21、应用训练好的ResNet18车辆分类网络预测输入的车辆图片，输出预测的车辆类别。