CN114463724A

CN114463724A - 一种基于机器视觉的车道提取识别方法

Info

Publication number: CN114463724A
Application number: CN202210370999.3A
Authority: CN
Inventors: 倪树新; 陈启光; 李宇盛
Original assignee: Nanjing Huizhu Information Technology Research Institute Co ltd
Current assignee: Nanjing Huizhu Information Technology Research Institute Co ltd
Priority date: 2022-04-11
Filing date: 2022-04-11
Publication date: 2022-05-10

Abstract

本发明提供一种基于机器视觉的车道提取识别方法，所述基于机器视觉的车道提取识别方法包括以下步骤：S1、车辆检测，利用成熟的YOLOv5网络完成对车辆的检测；S2、车辆轨迹提取，利用步骤S1中检测目标框的中心坐标信息拟合成车辆的轨迹信息；S3、车道自动提取，利用步骤S2中生成的车辆轨迹作为图割算法的初始条件，完成车道的自动提取。本发明提供的基于机器视觉的车道提取识别方法具有可直接对车道进行自动提取的优点。

Description

一种基于机器视觉的车道提取识别方法

技术领域

本发明涉及车道提取技术领域，尤其涉及一种基于机器视觉的车道提取识别方法。

背景技术

复杂场景下的车道提取是计算机视觉领域中一种重要的应用技术，在交通管理、城市规划、车道监测等方面发挥着重要作用，诸如车流量统计，路边标识牌的检测和识别，车辆检测和追踪，车道上的异常落物检测等方面，通过对车道的提取可以限定信息提取的范围，为车道上的异常行为检测奠定基础，近年来，车道提取广泛地使用深度学习的算法，但受限于车道样本集的数量，如果某类对象不在训练数据集中，没有通过深度卷积神经网络学习其基本特征，则这类对象的提取性能不高，并且计算量也较大，阈值法是极为经典的图像分割算法之一，利用灰度值的差异，通过人工或者自适应选择阈值的方式可以实现车道区域的提取。

目前，阈值法等方法只适应于感兴趣区域与背景边界清晰，且背景像素简单的图像，不适用于复杂场景下的车道提取，图割算法能够针对车道数据从感兴趣区域中搜索并指定种子点，通过定义相应的“前景”和“背景”，获得了较好的提取结果，但需要人工交互，耗时耗力。

因此，有必要提供一种基于机器视觉的车道提取识别方法以解决上述技术问题。

发明内容

为解决上述技术问题，本发明提供一种可直接对车道进行自动提取的基于机器视觉的车道提取识别方法。

本发明提供的基于机器视觉的车道提取识别方法包括以下步骤：

S1、车辆检测，利用成熟的YOLOv5网络完成对车辆的检测；

S2、车辆轨迹提取，利用步骤S1中检测目标框的中心坐标信息拟合成车辆的轨迹信息；

S3、车道自动提取，利用步骤S2中生成的车辆轨迹作为图割算法的初始条件，完成车道的自动提取。

为了达到能够利用大量数据完成模型的训练，使其泛化能力和鲁棒性更强，更适合复杂多变的实际场景的效果，所述YOLOv5中的YOLO为基于卷积神经网络的目标检测算法，能够利用大量数据完成模型的训练，YOLO车辆检测算法其网络模型分为四个部分，分别为输入端、特征提取网络、多尺度特征融合模块和预测输出端。

为了达到方便丰富数据集，增加网络的普适性的效果，所述输入端包含数据增强、自适应锚框计算和自适应图片缩放三个部分，使用随机裁剪、随机缩放和随机分布将图片拼接，丰富数据集，增加网络的普适性；自适应锚框计算是自适应的计算不同训练集中的最佳锚框值；自适应图片缩放则是将图像统一成标准尺寸。

为了达到方便对特征进行提取的效果，所述特征提取网络中，特征提取的Focus结构将输入的图像进行切片，再经过32个卷积核后得到304×304×32的特征图，YOLOv5借鉴YOLOv4主干网络中的CSP结构。

为了达到方便对特征信息进行融合的效果，所述多尺度特征融合模块使用FPN（特征金字塔网络）与PAN（金字塔注意力网络）结构，FPN自顶向下将高层的特征信息传递融合，传达强语义特征，PAN为自底向上传达强定位特征，两者同时使用加强网络特征融合能力。

为了达到方便衡量目标检测的精度的效果，所述预测输出端包括Boundingbox损失函数和非极大值抑制，YOLO系列的损失计算基于置信度损失，分类损失，定位损失。

为了达到方便对车辆的轨迹信息进行提取的效果，所述步骤S2中车辆轨迹提取包括目标框中心点的获取和运动轨迹的确定，所述目标框中心点的获取，根据获取的车辆ID号，选取目标框，以x、y、w、h记录下该车辆目标框的位置信息，x、y表示目标框左上角坐标，w、h表示目标框的长和宽，则目标框的中心坐标为（x+w/2，y+h/2）。

为了达到方便对车辆运动轨迹进行确定的效果，所述运动轨迹的确定：每跟踪一帧得到一个中心坐标，同时建立一个新的点集列表，将同一车辆目标的连续帧的位置信息放在对应的点集列表中，这样建立起多个车辆位置信息的数据库，最后，将这些位置中心点根据算法拟合成一条运动轨迹。

为了达到方便进行车道信息提取的效果，所述步骤S3中车道自动提取包括结合运动轨迹和图割算法自动提取车道：将得到的运动轨迹信息进行处理，选择最优的轨迹来初始化图割算法中背景和车道的种子点，实现车道区域的自动提取。

为了达到方便进行自动化提取车道信息的效果，所述车道自动提取选择最优车辆轨迹，根据中心坐标（x+w/2，y+h/2）i和（x+w/2，y+h/2）j，用数学方法计算出每个车辆轨迹的长度，i和j分别代表第一帧和最后一帧，将多条轨迹长度求平均值，通过和平均值作比较的方法，来剔除较短的轨迹，遍历保留下来的所有轨迹，找出最长的、最左边和最右边的三条轨迹作为最优轨迹，其中，初始化图割算法将选取的三条最优轨迹平移一个合适的量到非车道区域，初始化图割算法，将最长的轨迹标记为“车道”种子点，将平移后的轨迹定义为背景种子点，即Long-tracklist为车道像素子集，Left-tracklist和Right-tracklist为背景的像素子集，以初始的种子点为基础，使用图割建立各个像素点与前景背景相似度的赋权图，不断迭代，通过计算求解最小割的全局最优，进行车道的自动提取。

与相关技术相比较，本发明提供的基于机器视觉的车道提取识别方法具有如下有益效果：

1、本发明结合YOLOv5车辆检测和图割法提出了一种车道自动提取算法，将YOLOv5检测到的车辆位置信息拟合成一条条运动轨迹，通过运动轨迹信息初始化图割算法，得到最后的提取效果，本发明算法的车辆位置信息来自于开源的YOLOv5网络模型，不需要复杂的训练过程就可完成精准的车辆检测，本发明算法可有效地自动提取出场景中的车道区域，且精度和鲁棒性较高，解决了阈值法等方法只适应于感兴趣区域与背景边界清晰，且背景像素简单的图像，不适用于复杂场景下的车道提取，图割算法能够针对车道数据从感兴趣区域中搜索并指定种子点，通过定义相应的“前景”和“背景”，获得了较好的提取结果，但需要人工交互，耗时耗力的问题；

2、本发明通过利用生成的车辆轨迹作为图割算法的初始条件，完成车道的自动提取，其中，车道自动提取选择最优车辆轨迹，根据中心坐标（x+w/2，y+h/2）i和（x+w/2，y+h/2）j，用数学方法计算出每个车辆轨迹的长度，i和j分别代表第一帧和最后一帧，将多条轨迹长度求平均值，通过和平均值作比较的方法，来剔除较短的轨迹，遍历保留下来的所有轨迹，找出最长的、最左边和最右边的三条轨迹作为最优轨迹，其中，初始化图割算法将选取的三条最优轨迹平移一个合适的量到非车道区域，初始化图割算法，将最长的轨迹标记为“车道”种子点，将平移后的轨迹定义为背景种子点，即Long-tracklist为车道像素子集，Left-tracklist和Right-tracklist为背景的像素子集，以初始的种子点为基础，使用图割建立各个像素点与前景背景相似度的赋权图，不断迭代，通过计算求解最小割的全局最优，进行车道的自动提取。

附图说明

图1为本发明提供的基于机器视觉的车道提取识别方法的一种较佳实施例的方法流程图。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明。

请结合参阅图1，其中，图1为本发明提供的基于机器视觉的车道提取识别方法的一种较佳实施例的方法流程图；

S1、车辆检测，利用成熟的YOLOv5网络完成对车辆的检测；

在具体实施过程中，如图1所示，YOLOv5中的YOLO为基于卷积神经网络的目标检测算法，能够利用大量数据完成模型的训练，YOLO车辆检测算法其网络模型分为四个部分，分别为输入端、特征提取网络、多尺度特征融合模块和预测输出端。

输入端包含数据增强、自适应锚框计算和自适应图片缩放三个部分，使用随机裁剪、随机缩放和随机分布将图片拼接，丰富数据集，增加网络的普适性；自适应锚框计算是自适应的计算不同训练集中的最佳锚框值；自适应图片缩放则是将图像统一成标准尺寸。

特征提取网络中，特征提取的Focus结构将输入的图像进行切片，再经过32个卷积核后得到304×304×32的特征图，YOLOv5借鉴YOLOv4主干网络中的CSP结构。

多尺度特征融合模块使用FPN（特征金字塔网络）与PAN（金字塔注意力网络）结构，FPN自顶向下将高层的特征信息传递融合，传达强语义特征，PAN为自底向上传达强定位特征，两者同时使用加强网络特征融合能力。

预测输出端包括Boundingbox损失函数和非极大值抑制，YOLO系列的损失计算基于置信度损失，分类损失，定位损失。

需要说明的是：输入端包含数据增强、自适应锚框计算和自适应图片缩放三个部分，使用随机裁剪、随机缩放和随机分布将图片拼接，丰富数据集，增加网络的普适性；自适应锚框计算是自适应的计算不同训练集中的最佳锚框值；自适应图片缩放则是将图像统一成标准尺寸，特征提取网络中，特征提取的Focus结构将输入的图像进行切片，再经过32个卷积核后得到304×304×32的特征图，YOLOv5借鉴YOLOv4主干网络中的CSP结构，多尺度特征融合模块使用FPN（特征金字塔网络）与PAN（金字塔注意力网络）结构，FPN自顶向下将高层的特征信息传递融合，传达强语义特征，PAN为自底向上传达强定位特征，两者同时使用加强网络特征融合能力，预测输出端包括Boundingbox损失函数和非极大值抑制，YOLO系列的损失计算基于置信度损失，分类损失，定位损失，使用Glouloss作为boundingbox的损失，Glouloss是一种距离度量，输入是预测框和真实框坐标，输出是损失函数值，用来评价目标框和预测框的位置损失，从而衡量目标检测的精度，将摄像头采集的视频作为YOLOv5网络的输入，提取场景中的车辆目标信息，并用检测框标定出目标位置。

参考图1所示，步骤S2中车辆轨迹提取包括目标框中心点的获取和运动轨迹的确定，目标框中心点的获取，根据获取的车辆ID号，选取目标框，以x、y、w、h记录下该车辆目标框的位置信息，x、y表示目标框左上角坐标，w、h表示目标框的长和宽，则目标框的中心坐标为（x+w/2，y+h/2）。

运动轨迹的确定：每跟踪一帧得到一个中心坐标，同时建立一个新的点集列表，将同一车辆目标的连续帧的位置信息放在对应的点集列表中，这样建立起多个车辆位置信息的数据库，最后，将这些位置中心点根据算法拟合成一条运动轨迹。

需要说明的是：通过对车辆轨迹的提取，提取包括目标框中心点的获取和运动轨迹的确定，目标框中心点的获取，根据获取的车辆ID号，选取目标框，以x、y、w、h记录下该车辆目标框的位置信息，x、y表示目标框左上角坐标，w、h表示目标框的长和宽，则目标框的中心坐标为（x+w/2，y+h/2），可方便对目标框的中心点信息进行获取，且方便建立起多个车辆位置信息的数据库，最后，将这些位置中心点根据算法拟合成一条运动轨迹。

参考图1所示，步骤S3中车道自动提取包括结合运动轨迹和图割算法自动提取车道：将得到的运动轨迹信息进行处理，选择最优的轨迹来初始化图割算法中背景和车道的种子点，实现车道区域的自动提取。

车道自动提取选择最优车辆轨迹，根据中心坐标（x+w/2，y+h/2）i和（x+w/2，y+h/2）j，用数学方法计算出每个车辆轨迹的长度，i和j分别代表第一帧和最后一帧，将多条轨迹长度求平均值，通过和平均值作比较的方法，来剔除较短的轨迹，遍历保留下来的所有轨迹，找出最长的、最左边和最右边的三条轨迹作为最优轨迹，其中，初始化图割算法将选取的三条最优轨迹平移一个合适的量到非车道区域，初始化图割算法，将最长的轨迹标记为“车道”种子点，将平移后的轨迹定义为背景种子点，即Long-tracklist为车道像素子集，Left-tracklist和Right-tracklist为背景的像素子集，以初始的种子点为基础，使用图割建立各个像素点与前景背景相似度的赋权图，不断迭代，通过计算求解最小割的全局最优，进行车道的自动提取。

需要说明的是：通过根据中心坐标（x+w/2，y+h/2）i和（x+w/2，y+h/2）j，用数学方法计算出每个车辆轨迹的长度，i和j分别代表第一帧和最后一帧，将多条轨迹长度求平均值，通过和平均值作比较的方法，来剔除较短的轨迹，遍历保留下来的所有轨迹，找出最长的、最左边和最右边的三条轨迹作为最优轨迹，可方便计算求解最小割的全局最优，进行车道的自动提取。

需要说明的是：本申请提出的方案不仅能实现车道的自动提取，对复杂环境下的车道提取效果也表现较好，为了评估分割性能，采用了四种衡量方法：

（1）交并比（IOU）：分割值和真实标签之间的重叠区域与两者间联合区域的比值：

；

（2）Dice系数（Dicecoefficient）：一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围在[0，1]，其中1表示预测和真实之间的最大相似度：

；

（3）像素准确率P（Precision）：图像中正确分类的像素百分比，即分类正确的像素点占总像素的比例：

；

（4）相对体积误差（RVE）：将分割图与真实标签来比较计算误差值，RVE的值越小说明算法性能越好：

其中，A是分割算法的背景集，B是人工分割真实的背景集。

本申请与GrabCut、阈值法分割结果进行对比，GrabCut和阈值法的分割结果像素准确率较低，相对体积误差较高，尤其是阈值分割，像素准确率低至0.5以下，无法满足道路提取的需求，而申请算法分割结果是相对精确和稳定的，足以表明本申请的精度更好，效果更稳定，不同算法的分割结果数据对比如表1所示。

本发明提供的基于机器视觉的车道提取识别方法的工作原理如下：

在使用时，首先利用成熟的YOLOv5网络完成对车辆的检测，其中，YOLO为基于卷积神经网络的目标检测算法，能够利用大量数据完成模型的训练，YOLO车辆检测算法其网络模型分为四个部分，分别为输入端、特征提取网络、多尺度特征融合模块和预测输出端，输入端包含数据增强、自适应锚框计算和自适应图片缩放三个部分，使用随机裁剪、随机缩放和随机分布将图片拼接，丰富数据集，增加网络的普适性；自适应锚框计算是自适应的计算不同训练集中的最佳锚框值；自适应图片缩放则是将图像统一成标准尺寸，特征提取网络中，特征提取的Focus结构将输入的图像进行切片，再经过32个卷积核后得到304×304×32的特征图，YOLOv5借鉴YOLOv4主干网络中的CSP结构，多尺度特征融合模块使用FPN（特征金字塔网络）与PAN（金字塔注意力网络）结构，FPN自顶向下将高层的特征信息传递融合，传达强语义特征，PAN为自底向上传达强定位特征，两者同时使用加强网络特征融合能力，预测输出端包括Boundingbox损失函数和非极大值抑制，YOLO系列的损失计算基于置信度损失，分类损失，定位损失；再利用检测目标框的中心坐标信息拟合成车辆的轨迹信息；最后利用生成的车辆轨迹作为图割算法的初始条件，完成车道的自动提取，其中，车道自动提取选择最优车辆轨迹，根据中心坐标（x+w/2，y+h/2）i和（x+w/2，y+h/2）j，用数学方法计算出每个车辆轨迹的长度，i和j分别代表第一帧和最后一帧，将多条轨迹长度求平均值，通过和平均值作比较的方法，来剔除较短的轨迹，遍历保留下来的所有轨迹，找出最长的、最左边和最右边的三条轨迹作为最优轨迹，其中，初始化图割算法将选取的三条最优轨迹平移一个合适的量到非车道区域，初始化图割算法，将最长的轨迹标记为“车道”种子点，将平移后的轨迹定义为背景种子点，即Long-tracklist为车道像素子集，Left-tracklist和Right-tracklist为背景的像素子集，以初始的种子点为基础，使用图割建立各个像素点与前景背景相似度的赋权图，不断迭代，通过计算求解最小割的全局最优，进行车道的自动提取。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

以上仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于机器视觉的车道提取识别方法，其特征在于，包括以下步骤：

S1、车辆检测，利用成熟的YOLOv5网络完成对车辆的检测；

2.根据权利要求1所述的基于机器视觉的车道提取识别方法，其特征在于，YOLOv5中的YOLO为基于卷积神经网络的目标检测算法，能够利用大量数据完成模型的训练，YOLO车辆检测算法其网络模型分为四个部分，分别为输入端、特征提取网络、多尺度特征融合模块和预测输出端。

3.根据权利要求2所述的基于机器视觉的车道提取识别方法，其特征在于，所述输入端包含数据增强、自适应锚框计算和自适应图片缩放三个部分，使用随机裁剪、随机缩放和随机分布将图片拼接，丰富数据集，增加网络的普适性；自适应锚框计算是自适应的计算不同训练集中的最佳锚框值；自适应图片缩放则是将图像统一成标准尺寸。

4.根据权利要求2所述的基于机器视觉的车道提取识别方法，其特征在于，所述特征提取网络中，特征提取的Focus结构将输入的图像进行切片，再经过32个卷积核后得到304×304×32的特征图，YOLOv5借鉴YOLOv4主干网络中的CSP结构。

5.根据权利要求2所述的基于机器视觉的车道提取识别方法，其特征在于，所述多尺度特征融合模块使用FPN（特征金字塔网络）与PAN（金字塔注意力网络）结构，FPN自顶向下将高层的特征信息传递融合，传达强语义特征，PAN为自底向上传达强定位特征，两者同时使用加强网络特征融合能力。

6.根据权利要求2所述的基于机器视觉的车道提取识别方法，其特征在于，所述预测输出端包括Boundingbox损失函数和非极大值抑制，YOLO系列的损失计算基于置信度损失，分类损失，定位损失。

7.根据权利要求1所述的基于机器视觉的车道提取识别方法，其特征在于，所述步骤S2中车辆轨迹提取包括目标框中心点的获取和运动轨迹的确定，所述目标框中心点的获取，根据获取的车辆ID号，选取目标框，以x、y、w、h记录下该车辆目标框的位置信息，x、y表示目标框左上角坐标，w、h表示目标框的长和宽，则目标框的中心坐标为（x+w/2，y+h/2）。

8.根据权利要求7所述的基于机器视觉的车道提取识别方法，其特征在于，所述运动轨迹的确定：每跟踪一帧得到一个中心坐标，同时建立一个新的点集列表，将同一车辆目标的连续帧的位置信息放在对应的点集列表中，这样建立起多个车辆位置信息的数据库，最后，将这些位置中心点根据算法拟合成一条运动轨迹。

9.根据权利要求1所述的基于机器视觉的车道提取识别方法，其特征在于，所述步骤S3中车道自动提取包括结合运动轨迹和图割算法自动提取车道：将得到的运动轨迹信息进行处理，选择最优的轨迹来初始化图割算法中背景和车道的种子点，实现车道区域的自动提取。

10.根据权利要求1所述的基于机器视觉的车道提取识别方法，其特征在于，所述车道自动提取选择最优车辆轨迹，根据中心坐标（x+w/2，y+h/2）i和（x+w/2，y+h/2）j，用数学方法计算出每个车辆轨迹的长度，i和j分别代表第一帧和最后一帧，将多条轨迹长度求平均值，通过和平均值作比较的方法，来剔除较短的轨迹，遍历保留下来的所有轨迹，找出最长的、最左边和最右边的三条轨迹作为最优轨迹，其中，初始化图割算法将选取的三条最优轨迹平移一个合适的量到非车道区域，初始化图割算法，将最长的轨迹标记为“车道”种子点，将平移后的轨迹定义为背景种子点，即Long-tracklist为车道像素子集，Left-tracklist和Right-tracklist为背景的像素子集，以初始的种子点为基础，使用图割建立各个像素点与前景背景相似度的赋权图，不断迭代，通过计算求解最小割的全局最优，进行车道的自动提取。