CN111091061B - 一种基于视频分析的车辆刮蹭检测方法 - Google Patents

Abstract

本发明提出了一种基于视频分析的车辆刮蹭检测方法，具体为基于视频语义分割技术的车辆刮蹭的检测方法，它是通过监控摄像机采集监控视频，采用语义分割方法检测并获取监控视频中的车辆，根据获取到的车辆的位置信息划分为过车车辆、停车车辆两类，接着通过本发明所述的刮蹭判断算法判断过车车辆与停车车辆的位置关系来进行车辆刮蹭的检测。本发明以语义分割网络和跟踪算法作为依据，通过视频分析来检测视频中的车辆，并对其跟踪和刮蹭判断，用于解决现有技术中检测效率低、误检率大的问题。

Description

一种基于视频分析的车辆刮蹭检测方法

技术领域

本发明涉及视频语义分割技术领域，具体涉及一种通过视频语义分割技术的基于视频分析的车辆刮蹭检测方法。

背景技术

随着时代的发展，科技的进步，汽车已经逐渐成为每家每户必备的出行工具。但是，随着车辆数量的大量增加，路边的停车位数量随之增加，道路宽度变窄，给停车车辆被过往车辆刮蹭带来了隐患。通过人为的查看监控录像来找出刮蹭车辆的信息，浪费了时间和人力，成本过高。因此，一种基于视频分析的车辆跟踪、车辆刮蹭检测并保存车辆刮蹭信息的方法必不可少。

目前，在有关检测车辆刮蹭的领域，常用下面的方法进行检测：如使用一种用于目标检测的卷积神经网络来对视频下的车辆进行检测及车辆刮蹭的判断，这种方法检测效率高，提高了检测操作的灵活性，但是仅仅用矩形选择框来框取车辆的位置不能反应车辆的轮廓信息，进一步地导致车辆刮蹭的判断的误检率非常高。同时，现有技术中使用的卷积神经网络较为落后，效率还是较为低下，不适合大量的图片训练和使用。

发明内容

为克服现有技术上的不足，本发明的目的在于提供一种基于视频分析的车辆刮蹭检测方法。它以语义分割网络和跟踪算法作为依据，通过视频分析来检测视频中的车辆，并对其跟踪和刮蹭判断，用于解决现有技术中检测效率低、误检率大的问题。

所述的一种基于视频分析的车辆刮蹭检测方法，其特征在于包括如下步骤：

步骤1：用矩形框标定监控视频中的停车区域和过车区域；

步骤2：定义停车车辆集合S＝{s_i|i＝1,2,…,I},过车车辆集合G＝{g_j|j＝1,2,…,J}，其中，s_i表示S中第i辆车的最小外接矩形，I表示停车车辆集合中车辆的数量，g_j表示G中第j辆车的最小外接矩形，J表示过车车辆集合中车辆的数量；初始时S和G均为空集合；

步骤3：从监控视频缓存队列中获一帧图像；

步骤4：采用基于深度学习技术的语义分割方法从步骤3的图像中检测出在过车区域内的车辆，并将结果记为C＝{c_k|k＝1,2,...,K}，其中，c_k表示检测到的第k辆车的最小外接矩形，K表示检测到的车辆数；针对每个c_k，按如下逻辑处理：若c_k完全包含于停车区域内且与所有s_i满足式(1)，则将c_k加入S中；否则，若c_k不完全包含于停车区域且与所有g_j满足式(2)，则将c_k加入G中；

其中，A表示面积计算函数；

步骤5：对步骤4中的停车车辆集合S中的每辆车进行跟踪并更新S，若该车辆超出停车区域的范围，则将其从S中移出；

步骤6：对步骤4中的过车车辆集合G中的每辆车进行跟踪并更新G，若该车辆超出过车区域的范围，则将其从G中移出；

步骤7：针对S中的任意车辆s_i和G中的任意车辆g_j做刮蹭判定，具体步骤为：

步骤7.1：若s_i和g_j未相交，则判定为s_i和g_j未刮蹭；若s_i和g_j相交，则进入步骤7.2进行下一步判定；

步骤7.2：定义s_i的边界点集为SP_i＝{sp_il|l＝1,2,…,L_i}，其中，sp_il表示s_i的第l个边界点，L_i表示s_i的边界点的数量；定义g_j的边界点集为GP_j＝{gp_jt|t＝1,2,…,M_j}，其中，gp_jt表示g_j的第t个边界点，M_j表示g_j的边界点的数量；若SP_i与GP_j中没有相同的元素，则判定s_i和g_j未刮蹭；若SP_i与GP_j中有相同的元素，则判定为s_i和g_j刮蹭，并记录s_i和g_j各自中心点之间的距离，记为d_ij，保存此帧图像；

步骤7.3：重复步骤7.1-7.2，定义上一帧中的s_i和g_j各自中心点之间的距离为

在新的一帧中，比较d_ij与

的大小，若

则将d_ij的数值更新为

并保存此帧图像；若

则不更新d_ij的数值和保存的图像。

通过采用上述方法，与现有方法比起来，本发明的有益效果有：

本发明以语义分割技术作为车辆检测的依据，能够描述车辆轮廓信息而非简单的矩形的选择框，能够提高判断是否刮蹭的准确性；本发明保存刮蹭车辆信息时，通过迭代的方式保存最优图像，保证了有更好的可视化效果。

附图说明

图1为监控视频中停车检测区和过车检测区的定位信息的标定图像。

图中：1-停车检测区，2-过车检测区。

具体实施方式

下面结合实施例来详细阐述本发明的通过视频语义分割技术的车辆刮蹭的检测方法的具体实施方法。

本发明的基于视频分析的车辆刮蹭检测方法，即通过视频语义分割技术的车辆刮蹭的检测方法，具体包括如下步骤：

步骤1：用矩形框标定监控视频中的停车检测区1和过车检测区2，标定情况如图1；

步骤2：定义停车车辆集合S＝{s_i|i＝1,2,…,I},过车车辆集合G＝{g_j|j＝1,2,…,J}，其中，s_i表示S中第i辆车的最小外接矩形，I表示停车车辆集合中元素的个数，g_j表示G中第j辆车的最小外接矩形，J表示过车车辆集合中元素的个数；初始时S和G均为空集合；

步骤3：从监控视频缓存队列中获一帧图像；

步骤4：采用基于深度学习技术的语义分割方法从步骤3的图像中检测出在过车区域内的车辆，并将结果记为C＝{c_k|k＝1,2,...,K}，其中，c_k表示检测到的第k辆车的最小外接矩形，K表示检测到的车辆数；针对每个c_k，按如下逻辑处理：若c_k完全包含于停车区域内且与所有s_i满足式(1)，则将c_k加入S中；否则，若c_k不完全包含于停车区域且与所有g_j满足式(2)，则将c_k加入G中；

其中，A表示面积计算函数；

所诉基于语义分割的车辆检测方法，具体为：

步骤4.1：获取大量监控视角下的图片，在取到的图片中的车辆对其轮廓信息进行标注，得到车辆语义分割数据集，以3：1的数量比将所述数据集划分为训练集和测试集；

步骤4.2：将划分后的训练集输入第一卷积神经网络进行特征提取，将所提取的特征输入第二卷积神经网络实现语义分割的参数训练；将划分后的测试集输入第一和第二卷积神经网络，对比通过训练得到参数的检测效果与测试集图片标定信息，实现参数的优化；

步骤4.3：作为本发明的一种优选方案，选取10层卷积神经网络作为进行特征提取的第一卷积神经网络，依次包括第一卷积层、第二瓶颈层、第三瓶颈层、第四瓶颈层、第五瓶颈层、第六瓶颈层、第七瓶颈层、第八瓶颈层、第九卷积层、第十池化层；所述第一卷积神经网络的图片输入维度为224×224×3，所述第一卷积神经网络的图片输出维度为1×1×1280，第一卷积层的图片输出维度为112×112×32，第二瓶颈层的图片输出维度为112×112×16，第三瓶颈层的图片输出维度为56×56×24，第四瓶颈层的图片输出维度为28×28×32，第五瓶颈层的图片输出维度为14×14×64，第六瓶颈层的图片输出维度为14×14×96，第七瓶颈层的图片输出维度为7×7×160，第八瓶颈层的图片输出维度为7×7×320，第九卷积层的图片输出维度为7×7×1280，第十池化层的图片输出维度为1×1×1280；所述的瓶颈层区别于其他非线性层，包含了所有必要信息，当使用到ReLU等激活函数时不会出现信息丢失的情况；

步骤4.4：作为本发明的一种优选方案，第二卷积神经网络采用编码器-解码器对称结构，实现端到端的像素级别图像分割；所述的第二卷积神经网络将第一卷积神经网络作为预训练的网络，将带有步幅的三个卷积层作为空间路径，接着通过特征融合模块融合这两个组件的输出特征做出最后的预测；在特征表示的层面上，两路网络的特征并不相同：所述以第一卷积神经网络作为预训练的网络输出的特征主要编码语境信息，所述空间路径捕获到的空间信息编码了绝大多数的细节信息，两种特征信息不能简单的加权；为解决该问题，所述第二卷积神经网络特征融合模块在特征的不同层级给定的情况下，首先连接第一卷积神经网络作为预训练网络输出的特征和空间路径输出的特征，接着通过批归一化平衡特征的尺度，下一步把相连接的特征池化为一个特征向量，并计算一个权重向量，所述的权重向量可以重新加权特征，起到特征选择和结合的作用；第二卷积神经网络通过辅助损失函数监督模型的训练，通过主损失函数监督整个第二卷积神经网络的输出，另外还通过添加两个特殊的辅助损失函数监督第一卷积神经网络的输出，就像多层监督一样，借助公式(3)以平衡主损失函数与辅助损失函数的权重，主损失函数和辅助损失函数都使用公式(4)：

其中，X、W分别为主损失函数和辅助损失函数的权重，K表示全部样本的数量，l_p为整个第二卷积神经网络的输出函数，l_i为辅助损失函数的监督函数，X_i为第i个样本的主损失函数的权重，W_i为第i个辅助损失函数的权重，α为平衡主损失函数与辅助损失函数的权重值。

其中，N表示输入样本的编号，y表示第二卷积神经网络的期望输出，a表示第二卷积神经网络的实际输出，ln表示取对数操作，当loss<0.001，完成对输入图像的训练。

步骤4.5：将所述的训练集和测试集输入卷积神经网络中，完成对车辆检测的参数训练；

步骤5：对所述步骤4中的停车车辆集合S中的每辆车进行跟踪并更新S，若该车辆超出停车区域的范围，则将其从S中移出；

步骤6：对所述步骤4中的过车车辆集合G中的每辆车进行跟踪并更新G，若该车辆超出过车区域的范围，则将其从G中移出；

步骤7：针对S中的任意车辆s_i和G中的任意车辆g_j做刮蹭判定，具体步骤为：

步骤7.1：若s_i和g_j未相交，则判定为s_i和g_j未刮蹭；若s_i和g_j相交，则进入步骤7.2进行下一步判定；

步骤7.2：定义s_i的边界点集为SP_i＝{sp_il|l＝1,2,…,L_i}，其中，sp_il表示s_i的第l个边界点，L_i表示s_i的边界点的数量；定义g_j的边界点集为GP_j＝{gp_jt|t＝1,2,…,M_j}，其中，gp_jt表示g_j的第t个边界点，M_j表示g_j的边界点的数量；若SP_i与GP_j中没有相同的元素，则判定s_i和g_j未刮蹭；若SP_i与GP_j中有相同的元素，则判定为s_i和g_j刮蹭，并记录s_i和g_j各自中心点之间的距离，记为d_ij，保存此帧图像；

步骤7.3：重复步骤7.1-7.2，定义上一帧中的s_i和g_j各自中心点之间的距离为

在新的一帧中，比较d_ij与

的大小，若

则将d_ij的数值更新为

并保存此帧图像；若

则不更新d_ij的数值和保存的图像。

本说明书实例所述的内容尽例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟知相关技术的人士皆可在不违背发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (1)

1.一种基于视频分析的车辆刮蹭检测方法，其特征在于包括如下步骤：

步骤1：用矩形框标定监控视频中的停车区域和过车区域；

步骤2：定义停车车辆集合S＝{s_i|i＝1,2,…,I},过车车辆集合G＝{g_j|j＝1,2,…,J}，其中，s_i表示S中第i辆车的最小外接矩形，I表示停车车辆集合中车辆的数量，g_j表示G中第j辆车的最小外接矩形，J表示过车车辆集合中车辆的数量；初始时S和G均为空集合；

步骤3：从监控视频缓存队列中获一帧图像；

步骤4：采用基于深度学习技术的语义分割方法从步骤3的图像中检测出在过车区域内的车辆，并将结果记为C＝{c_k|k＝1,2,...,K}，其中，c_k表示检测到的第k辆车的最小外接矩形，K表示检测到的车辆数；针对每个c_k，按如下逻辑处理：若c_k完全包含于停车区域内且与所有s_i满足式(1)，则将c_k加入S中；否则，若c_k不完全包含于停车区域且与所有g_j满足式(2)，则将c_k加入G中；

其中，A表示面积计算函数；

步骤5：对步骤4中的停车车辆集合S中的每辆车进行跟踪并更新S，若该车辆超出停车区域的范围，则将其从S中移出；

步骤6：对步骤4中的过车车辆集合G中的每辆车进行跟踪并更新G，若该车辆超出过车区域的范围，则将其从G中移出；

步骤7：针对S中的任意车辆s_i和G中的任意车辆g_j做刮蹭判定，具体步骤为：

步骤7.1：若s_i和g_j未相交，则判定为s_i和g_j未刮蹭；若s_i和g_j相交，则进入步骤7.2进行下一步判定；

步骤7.2：定义s_i的边界点集为SP_i＝{sp_il|l＝1,2,…,L_i}，其中，sp_il表示s_i的第l个边界点，L_i表示s_i的边界点的数量；定义g_j的边界点集为GP_j＝{gp_jt|t＝1,2,…,M_j}，其中，gp_jt表示g_j的第t个边界点，M_j表示g_j的边界点的数量；若SP_i与GP_j中没有相同的元素，则判定s_i和g_j未刮蹭；若SP_i与GP_j中有相同的元素，则判定为s_i和g_j刮蹭，并记录s_i和g_j各自中心点之间的距离，记为d_ij，保存此帧图像；

步骤7.3：重复步骤7.1-7.2，定义上一帧中的s_i和g_j各自中心点之间的距离为

在新的一帧中，比较d_ij与

的大小，若

则将d_ij的数值更新为

并保存此帧图像；若

则不更新d_ij的数值和保存的图像。

Images