CN115761674A - 一种道路边缘定位检测方法、设备及介质 - Google Patents

Abstract

本申请公开了一种道路边缘定位检测方法、设备及介质，方法包括：采集道路图像，并对道路图像进行预处理；在预处理后的道路信息中，以行为单位，在每行像素中对道路边缘位置进行标注；将标注后的道路图像作为训练样本进行模型训练，并在模型训练中，将anchor设定区域作为特征提取范围进行特征提取，并根据提取得到的浅层特征作为ASPP模块的输入，训练得到神经网络模型；使用训练得到的神经网络模型进行道路边缘检测。区别于图像基于分割的逐像素检测分割的方法，按照行对采集图像进行感兴趣区域划分与检测，输入量为图像中每行的道路边缘位置，特征提取网络选取深层网络Darknet‑53，结合ResNet的特点在保证对特征进行超强表达的同时避免因网络过深带来的梯度问题。

Description

一种道路边缘定位检测方法、设备及介质

技术领域

本申请涉及计算机领域，具体涉及一种道路边缘定位检测方法、设备及介质。

背景技术

在目前多个智慧场景的建设中，智慧交通***由于其有潜力提高***效率和决策，已经成为一个活跃的研究领域。

智能驾驶技术需要加入室外安防机器人的研究领域，增加机器人巡检等行为的安全性能，其中，实现能够辅助驾驶的道路边缘检测与跟踪模型方法可以辅助机器人在室外能够进行遵守正确交通规则的道路行驶，是机器人安全驾驶中的基础环节，能否准确定位出道路边缘的位置并进行实时更新是实现车辆主动安全和辅助驾驶的关键。

道路边缘检测与跟踪算法主要是为了在动态图像中定位当前道路边缘的准确位置，并依次计算出机器人的安全行驶区域，这是实现智能机器人自主在道路上行动的基础保障。目前的道路边缘(俗称“马路牙子”)检测方案可主要分为四类，基于特征、基于模型、基于学习及其他传统方法，其中，基于特征的方法可进一步细分为基于颜色、边缘等特征的检测方法；基于模型的方法主要采用直线、曲线及可变模型；基于学习的方法则涉及到深度神经网络等。随着当前边缘端设备的算力不断的增强，提高检测的实时性以及准确性成为更为重要的参考标准。

发明内容

为了解决上述问题，本申请提出了一种道路边缘定位检测方法，包括：

采集道路图像，并对所述道路图像进行预处理；

在预处理后的所述道路信息中，以行为单位，在每行像素中对道路边缘位置进行标注；

将标注后的道路图像作为训练样本进行模型训练，并在模型训练中，将anchor设定区域作为特征提取范围进行特征提取，并根据提取得到的浅层特征作为ASPP模块的输入，训练得到神经网络模型；

使用训练得到的所述神经网络模型进行道路边缘检测。

另一方面，本申请还提出了一种道路边缘定位检测设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如：

采集道路图像，并对所述道路图像进行预处理；

在预处理后的所述道路信息中，以行为单位，在每行像素中对道路边缘位置进行标注；

将标注后的道路图像作为训练样本进行模型训练，并在模型训练中，将anchor设定区域作为特征提取范围进行特征提取，并根据提取得到的浅层特征作为ASPP模块的输入，训练得到神经网络模型；

使用训练得到的所述神经网络模型进行道路边缘检测。

另一方面，本申请还提出了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

采集道路图像，并对所述道路图像进行预处理；

在预处理后的所述道路信息中，以行为单位，在每行像素中对道路边缘位置进行标注；

将标注后的道路图像作为训练样本进行模型训练，并在模型训练中，将anchor设定区域作为特征提取范围进行特征提取，并根据提取得到的浅层特征作为ASPP模块的输入，训练得到神经网络模型；

使用训练得到的所述神经网络模型进行道路边缘检测。

通过本申请提出的方法能够带来如下有益效果：

运用深度学习方法，设计一种基于相机采集图像高度来自适应学习场景的卷积神经网络应用于道路边缘的检测跟踪，区别于图像基于分割的逐像素检测分割的方法，按照行对采集图像进行感兴趣区域划分与检测，输入量为图像中每行的道路边缘位置，特征提取网络可以选取深层网络Darknet-53，结合ResNet的特点在保证对特征进行超强表达的同时避免因网络过深带来的梯度问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中道路边缘定位检测方法的流程示意图；

图2为本申请实施例中实际拍摄图像以及检测的示意图；

图3为本申请实施例中道路边缘定位检测设备的示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

如图1所示，本申请实施例提供一种道路边缘定位检测方法方法，包括：

S101：采集道路图像，并对所述道路图像进行预处理。

道路图像可以通过相应的摄像头、摄像机器人等采集。预处理可以包括对道路图像进行去噪增强、光照均衡化，对静态图像进行标注时为了防止过拟合现象。并还可以根据道路图像进行图像增强，图像增强包括旋转增强、平移增强，并在移动或者旋转后的空白区域依然进行车道线的延长补全标注。

S102：在预处理后的所述道路信息中，以行为单位，在每行像素中对道路边缘位置进行标注。

按照行对采集图像进行感兴趣区域划分与检测方法大大减少了网络训练的时间，并且可在边缘端的嵌入式设备上实现实时性的检测需求。输入量为图像中每行的道路边缘位置，采用以速度换取部分精度的表示方法。

S103：将标注后的道路图像作为训练样本进行模型训练，并在模型训练中，将anchor设定区域作为特征提取范围进行特征提取，并根据提取得到的浅层特征作为ASPP模块的输入，训练得到神经网络模型。

使用darknet53作为特征提取网络，其后将特征提取网络部分的最后5x部分的feature map作为最终特征输入到辅助分割部分，作为ASPP模块的输入，实现基于图像更大范围的感受野，可适应高速、园区等多种复杂场景的道路边缘检测。可自适应根据输入图像的尺寸大小进行ROI区域捕获选择检测。通过这种方式进行道路边缘检测，很好地满足了在安防机器人智能驾驶辅助场景的实时性需求并大大提高了对场景的适应能力，对于保障安防机器人行驶的安全性具有重要的现实意义。

具体地，根据提取到的五层的特征图(feature map)的浅层特征作为ASPP模块的输入，根据ASPP模块，通过使用空洞卷积以增大卷积核的感受野，实现不做pooling损失信息的基础下，增加所述感受野，让每个卷积输出都包含较大范围的信息。

另外，在神经网络模型的训练过程中，在卷积层之后设置有BN层，以通过BN层减少过拟合，增加网络收敛速度，从而实现加快训练速度。

进一步地，通过ASPP模块，将特征图通过并联方式，将采用不同膨胀速率的空洞卷积层用于捕获多尺度信息，并将输出结果融合。使用concat与上采样得到图像的分割结果，并在训练过程中通过辅助分割模块，在输入的所述道路图像中每隔固定像素画水平线，以将道路图像划分成若干行，并将每一行在垂直方向切割为若干cell块，增强视觉特征。

在常规分割任务上，最终的特征图的大小是H*W*C。分类是沿着通道方向，通道方向向量代表一个cell处位置的特征向量属于哪一个类别，在本实施例中，最终的特征图的大小是h*(w+1)*C。h是要在垂直方向上采样的行的数量(row anchor)，h<H，因为要将道路区域的其他背景区域不作为检测的ROI区域；w是行方向上道路边缘候选点的位置(gridcell)的数量，w<W，因为是多个像素进行合并划分cell。C是道路边缘的设定数量。分类是沿着w方向的，即对每个道路边缘区域，在其预设的垂直方向h上，计算其出现在水平位置上每个grid cell中的概率。

在神经网络模型的训练过程中，通过构建多分类损失函数、分割损失函数与道路边缘的结构损失函数来构成总损失函数。其中，多分类损失函数采用交叉熵损失函数，分割损失采用Dice loss函数，道路边缘的结构损失函数通过结合道路边缘的先验添加正则项来约束预测的道路边缘形状。

结构损失函数L_stru＝L_simp+λL_shap，其中，L_simp是label与预测结果的相似度损失，并在相邻的两个cell中采用L2范式来进行相似度计算方面的损失约束，由于道路边缘大部分区域是直线，L_shap采用二阶差分损失约束道路边缘形状。

道路边缘的数量在图像训练集与测试集标注时进行标注，并且在训练时进行自主定义，并在道路边缘存在的情况下，通过公式Loc_i,j＝argmaxP_i,j,k得到道路边缘所在cell的位置。其中，Loc函数指的是第i条车道的第j个row anchor中车道点的期望，P函数(Prob)指的是第i条车道的第j个row anchor中，第k个位置是车道点的概率，因为道路边缘的存在，k的取值范围是k∈[1,w]。

ROI区域的选择为图像中道路的道路边缘所在区域，以一定分辨率的静态图像作为输入进行训练，ROI区域根据相机拍摄高度与分辨率的不同，根据不同的高度和分辨率分别实行计算涵盖道路边缘100像素左右区域进行提取，图像中行的选择以10-15像素选择为佳，而非将ROI区域完全固定不可变。

S104：使用训练得到的所述神经网络模型进行道路边缘检测。

运用深度学习方法，设计一种基于相机采集图像高度来自适应学习场景的卷积神经网络应用于道路边缘的检测跟踪，区别于图像基于分割的逐像素检测分割的方法，按照行对采集图像进行感兴趣区域划分与检测，输入量为图像中每行的道路边缘位置，特征提取网络可以选取深层网络Darknet-53，结合ResNet的特点在保证对特征进行超强表达的同时避免因网络过深带来的梯度问题。

为了评估工作性能，在公开的真实的高速公路交通数据集上进行了实验Tusimple。实验准确率达到95.8％，在边缘端嵌入式设备上平均运行时间可达到每秒42帧。如图2所示，在安防机器人应用的封闭园区场景进行数据采集制作curb的数据集，采用视频每秒截取3帧的速度进行图像处理，采用安防机器人小车的前置摄像头进行拍摄，图像分辨率为1280*720。

如图3所示，本申请实施例还提供了一种道路边缘定位检测设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如：

采集道路图像，并对所述道路图像进行预处理；

在预处理后的所述道路信息中，以行为单位，在每行像素中对道路边缘位置进行标注；

将标注后的道路图像作为训练样本进行模型训练，并在模型训练中，将anchor设定区域作为特征提取范围进行特征提取，并根据提取得到的浅层特征作为ASPP模块的输入，训练得到神经网络模型；

使用训练得到的所述神经网络模型进行道路边缘检测。

本申请实施例还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

采集道路图像，并对所述道路图像进行预处理；

在预处理后的所述道路信息中，以行为单位，在每行像素中对道路边缘位置进行标注；

将标注后的道路图像作为训练样本进行模型训练，并在模型训练中，将anchor设定区域作为特征提取范围进行特征提取，并根据提取得到的浅层特征作为ASPP模块的输入，训练得到神经网络模型；

使用训练得到的所述神经网络模型进行道路边缘检测。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种道路边缘定位检测方法，其特征在于，包括：

采集道路图像，并对所述道路图像进行预处理；

在预处理后的所述道路信息中，以行为单位，在每行像素中对道路边缘位置进行标注；

将标注后的道路图像作为训练样本进行模型训练，并在模型训练中，将anchor设定区域作为特征提取范围进行特征提取，并根据提取得到的浅层特征作为ASPP模块的输入，训练得到神经网络模型；

使用训练得到的所述神经网络模型进行道路边缘检测。

2.根据权利要求1所述的方法，其特征在于，对所述道路图像进行预处理，具体包括：

对所述道路图像进行去噪增强、光照均衡化，并根据所述道路图像进行图像增强，所述图像增强包括旋转增强、平移增强。

3.根据权利要求1所述的方法，其特征在于，根据提取得到的浅层特征作为ASPP模块的输入，训练得到神经网络模型，具体包括：

根据提取到的五层的特征图的浅层特征作为ASPP模块的输入；

根据所述ASPP模块，通过使用空洞卷积以增大卷积核的感受野，实现不做pooling损失信息的基础下，增加所述感受野。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在所述神经网络模型的训练过程中，在卷积层之后设置有BN层，以通过所述BN层减少过拟合，增加网络收敛速度，从而实现加快训练速度。

5.根据权利要求3所述的方法，其特征在于，根据所述ASPP模块，通过使用空洞卷积以增大卷积核的感受野，具体包括：

通过所述ASPP模块，将所述特征图通过并联方式，将采用不同膨胀速率的空洞卷积层用于捕获多尺度信息，并将输出结果融合；

使用concat与上采样得到图像的分割结果，并在训练过程中通过辅助分割模块，在输入的所述道路图像中每隔固定像素画水平线，以将所述道路图像划分成若干行，并将每一行在垂直方向切割为若干cell块。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

确定所述特征图的大小为h*(w+1)*C，其中，h指的是在垂直方向上采样的行的数量，w指的是行方向上道路边缘候选点的位置的数量，C是道路边缘的设定数量。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述神经网络模型的训练过程中，通过构建多分类损失函数、分割损失函数与道路边缘的结构损失函数来构成总损失函数；

其中，所述多分类损失函数采用交叉熵损失函数，所述分割损失采用Dice loss函数，所述道路边缘的结构损失函数通过结合道路边缘的先验添加正则项来约束预测的道路边缘形状；

所述结构损失函数L_stru＝L_simp+λL_shap，其中，L_simp是label与预测结果的相似度损失，并在相邻的两个cell中采用L2范式来进行相似度计算方面的损失约束，L_shap采用二阶差分损失约束道路边缘形状。

8.根据权利要求7所述的方法，其特征在于，所述道路边缘的数量在图像训练集与测试集标注时进行标注，并且在训练时进行自主定义，并在道路边缘存在的情况下，通过公式Loc_i,j＝argmaxP_i,j,k得到道路边缘所在cell的位置；

其中，Loc函数指的是第i条车道的第j个row anchor中车道点的期望，P函数指的是第i条车道的第j个row anchor中，第k个位置是车道点的概率，k的取值范围是k∈[1,w]。

9.一种道路边缘定位检测设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如：

采集道路图像，并对所述道路图像进行预处理；

在预处理后的所述道路信息中，以行为单位，在每行像素中对道路边缘位置进行标注；

将标注后的道路图像作为训练样本进行模型训练，并在模型训练中，将anchor设定区域作为特征提取范围进行特征提取，并根据提取得到的浅层特征作为ASPP模块的输入，训练得到神经网络模型；

使用训练得到的所述神经网络模型进行道路边缘检测。

10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

采集道路图像，并对所述道路图像进行预处理；

在预处理后的所述道路信息中，以行为单位，在每行像素中对道路边缘位置进行标注；

将标注后的道路图像作为训练样本进行模型训练，并在模型训练中，将anchor设定区域作为特征提取范围进行特征提取，并根据提取得到的浅层特征作为ASPP模块的输入，训练得到神经网络模型；

使用训练得到的所述神经网络模型进行道路边缘检测。

Images