CN109948417A - 一种基于深度学习的车辆逆行违法自动审核方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车辆逆行违法自动审核方法：通过十字路口的视频采集设备采集三个不同时刻的图像和一张疑似违法的车辆特写图，将这四张图拼接成一个四合一的图，利用切分算法切出3张有效图，利用车辆检测算法分别检测这3张有效图的车辆；然后通过第一张图中车牌识别找出的车辆，提取出第一张车辆图的256维特征以及分第二、三张图所有车辆的256维特征，用余弦距离找出第二和第三张图中相似度最高的车；其次用场景分割算法提取出图中的车辆，道路线，导向线等分割信息；最后分类出车辆的车头车尾信息，再通过分割算法找出道路中间的黄线与车辆的相对位置，判断车辆是否逆行违法。

Description

一种基于深度学习的车辆逆行违法自动审核方法

技术领域

本发明涉及车辆逆行违法的人工智能判断技术的交通违章审核领域，特别涉及一种用于车辆逆行违法自动审核方法。

背景技术

随着我国社会经济的不断发展和人民生活水平的不断提高，道路上行驶的车辆越来越多；为了降低发生交通事故的频率，保障人民的安全交通出行，车辆违章审核变的越来越重要。作为交通违章审核的重要组成部分，一种关于车辆逆行违法的自动审核***也显得越发重要。目前在交通违章审核的问题上，一审和二审主要还是通过人工识别。传统的违章审核方法效率不高，准确度低。所以如何设计一种准确地、快速地对车辆逆行违法判断，也是急需解决的技术问题。

发明内容

本发明的目的是：提出一种基于深度学习的车辆逆行违法自动审核方法，能够自动判断道路上行驶车辆是否逆行违法，以满足如今社会对交通违章审核的效率、准确率的需求。

本发明解决其技术问题所采用的技术方案是：一种基于深度学习的车辆逆行违法的自动审核***，包括如下步骤：

一种基于深度学习的用于车辆逆行违法的自动审核方法，其特征在于，包括以下步骤：

S0、通过十字路口的视频采集设备采集三个不同时刻的图像,每张图像之间依次相隔1～2秒。还有一张为第一个时刻目标车辆放大之后的特写图，利用切分算法切出3张有效图，特写图除外；

S1、通过车辆检测算法获取三张有效的图中所有车辆图像；

S2、通过车牌识别方法定位第一张图中正确的车辆位置；

S3、采用GoogLenet网络结构跟踪三张图中上述S2中车辆位置；

S4、用场景分割算法提取出图中的车辆，停止线，导向线，黄线分割信息；

S5、用优化后的GoogLenet小网络结构分类车头车尾信息；

S6、通过分割算法找出的道路黄线与车辆的相对位置以及车头车尾信息，判断车辆是否逆行。

所述采用GoogLenet网络结构对车辆跟踪步骤如下：

S30、在训练特征提取模块时，在网络最后一个256维全连接层接一个分类层，该层对不同款车型进行分类，每一个类别拥有不同帧时刻采集的同一车，并对所有采集的车进行数据增强。当训练的损失值loss降低到最低时，裁剪掉分类层，取出上一个256维全连接层，此时获取的256维特征能够很好的表征该车辆的特征；

S31、对第一张图定位到的车辆输入到GoogLenet Inception-V2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200＊200分辨率的图像，最后得到一个256维特征；

S32、对第二张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S31，得到若干256维特征；

S33、对第三张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S31，得到若干256维特征；

S34、用S31中一个256维特征和S32中若干个256维特征做余弦相似度，由于特征提取模块提取的256维特征已经能够很好的表征该车辆，所以采用余弦相似可以更显现出两辆车之间的差异度，最后取出得分最高所对应的256维特征；

S35、用S32中得分最高的256维特征和S33中若干个256维特征做余弦相似度，取出得分最高所对应的256维特征；

S36、由于第二张图和第三张图通过检测算法已经分别检测出若干辆车，用上述算法找到相似度得分最高的车，取出得分最高所对应的车辆索引号即为跟踪到的车辆。

所述用场景分割算法提取出图中的车辆，停止线，导向线，黄线分割信息，步骤如下：

S41、收集实际应用场景中车辆，停止线，导向线，黄线的图片，并人工标注出这些区域，即人工标注包围车辆，停止线，导向线，黄线的闭合多边形；

S42、将人工标注转换为标签矩阵，即人工标注的车辆闭合区域内所有像素点标签设置为0,停止线闭合区域内所有像素点标签设置为1,导向闭合区域内所有像素点标签设置为2,黄线闭合区域内所有像素点标签设置为3。

S43、将车辆，停止线，导向线，黄线图片及对应的标签矩阵输入deeplab-v2分割算法训练，deeplab-v2分割算法采用ResNet-34作为骨干网络，psp_module和unet模块作为解码器，并使用skip layer引入低维细节特征作为模型网络结构。使用a＊bce_loss+b＊lovasz_loss作为最终loss(0<＝a,b<＝1，人为设定)，并引入辅助损失aux_loss进行训练；

S44、应用训练好的deeplab-v2分割算法预测输入图像像素点类别，将属于车辆，停止线，导向线，黄线各个类别的像素点坐标集合输出，从而实现车辆，停止线，导向线，黄线区域的分割。

所述基于优化后的GoogLenet小网络结构,分类车头车尾的步骤如下：

S51、优化GoogLenet网络，保留网络结构中前三个Inception模块，在第三个模块inception_3c后直接接入pooling层和全连接层；这样裁剪网络的优势在于，在能充分提取车头车尾信息的同时，也能够降低网络的参数数量，降低了过拟合并提高了特征提取的时间；

S52、将车头和车尾数据分别归类到两个文件夹，并记录所有为采用优化后的GoogLenet小网络结构，分类车头车尾信息的方法标签0，所有车尾为标签1；

S53、将S52得到带标签的车头车尾数据集训练优化后的GoogleNet模型，获得其车头车尾数字识别模型；

本发明的有益效果是：本发明主要应用于在交通违章审核领域中，实现了对车辆逆行违法的全程自动审核，提高了逆行违章审核的效率，既节约了人力成本，又保证了车辆逆行违章审核工作的公正、公开。

附图说明

图1是本发明的车辆逆行违法自动审核***的流程图。

图2是本发明的基于GoogLenet网络的车辆重识别示意图。

图3是本发明的基于优化GoogLenet网络的车头车尾分类示意图。

具体实施方式

以下结合附图，对本发明做进一步说明。

本发明主要基于车辆重识别和车头车尾分类模块。

如图2所示，对于车辆重识别模块。首先，对于已经定位到车，将其输入到车辆重识别模块，输出一个256维的特征向量。其次，对于待重识别的车辆，分别输入到车辆重识别网络，输出对应个数的256维特征向量。最后将第一张图车的特征向量与其他待重识别得到的特征向量分别进入余弦相似度模块，并进行一一计算余弦相似度，取出相似度最高的车即为重识别正确的车。对于第二张图到第三张图的车辆重识别，方法同上，取出第二张图得分最高的图与第三张图若干辆车的特征向量也进行余弦相似度计算，得到第三张重识别正确的车。

如图3所示，车辆车头车尾分类模块：具体获取方法如下：

S1、训练数据准备：获取车辆不同背景，噪声，亮度的车头车尾图像；

S2、数据标注：将所有车头的汽车图像放一个文件夹，将所有车尾的汽车图像放另一个文件夹，车头标签为0,车尾标签为1；

S3、模型训练：将带有标注信息的训练数据，输入到已经优化过的GoogleNet模型进行二分类训练；

S4、测试阶段：将待分类的车辆图片输入到模型网络中，通过最后一个网络层得到分数，若标签0的得分大于标签1的得分，则为车头，反之亦然。

本发明的实施具体流程如图1所示，一种基于深度学习的车辆逆行违法自动审核***，包括如下步骤：

S1、通过车辆检测算法获取三张有效的图中所有车辆图像；

S2、通过车牌识别方法定位第一张图中正确的车辆位置；

S3、采用GoogLenet网络结构跟踪三张图中上述S2中车辆位置；

S4、用场景分割算法提取出图中的车辆，道路线，导向线分割信息；

S5、用优化后的GoogLenet小网络结构分类车头车尾信息；

S6、通过分割算法找出的道路黄线与车辆的相对位置以及车头车尾信息，判断车辆是否逆行。

以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种基于深度学习的车辆逆行违法自动审核方法，其特征在于，包括以下步骤：

S0、通过十字路口的视频采集设备采集三个不同时刻的图像,每张图像之间依次相隔1～2秒，还有一张为第一个时刻目标车辆放大之后的特写图，利用切分算法切出3张有效图，特写图除外；

S1、通过车辆检测算法获取三张有效的图中所有车辆图像；

S2、通过车牌识别方法定位第一张图中正确的车辆位置；

S3、采用GoogLenet网络结构跟踪三张图中上述S2中车辆位置；

S4、用场景分割算法提取出图中的车辆，停止线，导向线，黄线分割信息；

S5、用优化后的GoogLenet小网络结构分类车头车尾信息；

S6、通过分割算法找出的道路黄线与车辆的相对位置以及车头车尾信息，判断车辆是否逆行。

2.如权利要求1所述的一种基于深度学习的车辆逆行违法自动审核方法，其特征在于，所述采用GoogLenet网络结构对车辆跟踪步骤如下：

S30、在训练特征提取模块时，在网络最后一个256维全连接层接一个分类层，该层对不同款车型进行分类，每一个类别拥有不同帧时刻采集的同一车，并对所有采集的车进行数据增强，当训练的损失值loss降低到最低时，裁剪掉分类层，取出上一个256维全连接层，用此时获取的256维特征表征该车辆的特征；

S31、对第一张图定位到的车辆输入到GoogLenet Inception-V2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200＊200分辨率的图像，最后得到一个256维特征；

S32、对第二张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S31，得到对应车辆的256维特征；

S33、对第三张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S31，得到对应车辆256维特征；

S34、用S31中一个256维特征和S32中若干个256维特征做余弦相似度，最后取出得分最高所对应的256维特征；

S35、用S32中得分最高的256维特征和S33中若干个256维特征做余弦相似度，取出得分最高所对应的256维特征；

S36、第二张图和第三张图通过检测算法已经分别检测出对应辆车，用上述算法找到相似度得分最高的车，取出得分最高所对应的车辆索引号即为跟踪到的车辆。

3.如权利要求1所述的一种基于深度学习的车辆逆行违法自动审核方法，其特征在于，所述S4中用场景分割算法提取出图中的车辆，停止线，导向线，黄线分割信息，步骤如下：

S41、收集实际应用场景中车辆，停止线，导向线，黄线的图片，并人工标注出这些区域，即人工标注包围车辆，停止线，导向线，黄线的闭合多边形；

S42、将人工标注转换为标签矩阵，即人工标注的车辆闭合区域内所有像素点标签设置为0,停止线闭合区域内所有像素点标签设置为1,导向闭合区域内所有像素点标签设置为2,黄线闭合区域内所有像素点标签设置为3；

S43、将车辆，停止线，导向线，黄线图片及对应的标签矩阵输入deeplab-v2分割算法训练，deeplab-v2分割算法采用ResNet-34作为骨干网络，psp_module和unet模块作为解码器，并使用skip layer引入低维细节特征作为模型网络结构，使用a＊bce_loss+b＊lovasz_loss作为最终loss，其中0<＝a,b<＝1，并引入辅助损失aux_loss进行训练；

S44、应用训练好的deeplab-v2分割算法预测输入图像像素点类别，将属于车辆，停止线，导向线，黄线各个类别的像素点坐标集合输出，从而实现车辆，停止线，导向线，黄线区域的分割。

4.如权利要求1所述的一种基于深度学习的车辆逆行违法自动审核方法，分类车头车尾信息的方法，其特征在于，所述基于优化后的GoogLenet小网络结构,分类车头车尾的步骤如下：

S51、优化GoogLenet网络，保留网络结构中前三个Inception模块，在第三个模块inception_3c后直接接入pooling层和全连接层；

S52、将车头和车尾数据分别归类到两个文件夹，并记录所有为采用优化后的GoogLenet小网络结构，分类车头车尾信息的方法标签0，所有车尾为标签1；

S53、将S52得到带标签的车头车尾数据集训练优化后的GoogleNet模型，获得其车头车尾数字识别模型。