CN114120289B - 一种行车区域与车道线识别方法及*** - Google Patents

Abstract

本发明提供一种行车区域与车道线识别方法及***，该方法包括：获取待识别的结构化道路图像；将待识别的结构化道路图像输入到道路识别模型中，得到由道路识别模型中的基础网络输出的全局语义特征；通过道路识别模型的第一分支网络，对全局语义特征中的行车区域进行提取，得到行车区域语义特征；通过道路识别模型的第二分支网络，对全局语义特征中的车道线进行提取，得到车道线语义特征；通过道路识别模型中的预测层对融合特征进行分类预测，得到待识别的结构化道路图像中的行车区域与车道线，融合特征是由全局语义特征、行车区域语义特征和车道线语义特征进行融合得到的。本发明有效提高了行车区域与车道线识别精度。

Description

一种行车区域与车道线识别方法及***

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种行车区域与车道线识别方法及***。

背景技术

结构化道路指的是边缘比较规则，路面平坦，有明显的车道线及其它人工标记的行车道路，例如：高速公路、城市干道等。这类道路具有清晰的道路标志线，道路的背景环境比较单一，道路的几何特征也比较明显。因此，针对结构化道路检测问题，可以简化为车道线或行车区域的检测。

结构化道路的行车区域与车道线识别，是智能交通领域的热门研究课题之一，也是基于计算机视觉的模式识别应用的一个重要研究方向。这项任务需要将结构化道路图像中的行车区域与车道线分割出来，进行像素级别的分类，为其他下游任务提供上游技术基础，例如，高级驾驶辅助***和智能交通违章检测等。

由于结构化道路场景呈现多种不同的形态，且不同场景中的行车区域与车道线有相似性，现有车道线与行车区域的识别方法，仍存在较多的漏检和误检，识别精度较低。因此，现在亟需一种行车区域与车道线识别方法及***来解决上述问题。

发明内容

针对现有技术存在的问题，本发明提供一种行车区域与车道线识别方法及***。

本发明提供一种行车区域与车道线识别方法，包括：

获取待识别的结构化道路图像；

将所述待识别的结构化道路图像输入到道路识别模型中，得到由所述道路识别模型中的基础网络输出的全局语义特征；

通过所述道路识别模型的第一分支网络，对所述全局语义特征中的行车区域进行提取，得到行车区域语义特征；通过所述道路识别模型的第二分支网络，对所述全局语义特征中的车道线进行提取，得到车道线语义特征；

通过所述道路识别模型中的预测层对融合特征进行分类预测，得到所述待识别的结构化道路图像中的行车区域与车道线，所述融合特征是由所述全局语义特征、所述行车区域语义特征和所述车道线语义特征进行融合得到的；

其中，所述基础网络、所述第一分支网络和所述第二分支网络，是由卷积神经网络构建得到的。

根据本发明提供的一种行车区域与车道线识别方法，在所述通过所述道路识别模型中的预测层对融合特征进行分类预测，得到所述待识别的结构化道路图像中的行车区域与车道线之后，所述方法还包括：

对所述道路识别模型输出的行车区域与车道线的预测结果进行边缘提取处理和均值校正处理，得到处理后的预测结果。

根据本发明提供的一种行车区域与车道线识别方法，所述边缘提取处理的算法为Canny边缘检测算法。

根据本发明提供的一种行车区域与车道线识别方法，所述道路识别模型通过以下步骤训练得到：

通过标记有行车区域标签和车道线标签的结构化道路样本图像，构建得到训练样本集；

将所述训练样本集中的样本图像输入到第一卷积神经网络中进行训练，得到基础网络和由所述基础网络输出的全局语义样本特征；

将所述全局语义样本特征输入到第二卷积神经网络中，以进行行车区域像素特征的提取训练，得到第一分支网络和由所述第一分支网络输出的行车区域语义样本特征；

将所述全局语义样本特征输入到第三卷积神经网络中进行训练，以进行车道线像素特征的提取训练，得到第二分支网络和由所述第二分支网络输出的车道线语义样本特征；

基于所述行车区域语义样本特征和所述车道线语义样本特征，对所述第一分支网络和所述第二分支网络进行交互训练，得到训练好的第一分支网络和训练好的第二分支网络，并输出局部语义增强样本特征；

通过所述全局语义样本特征和所述局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层；

根据所述基础网络、所述训练好的第一分支网络、所述训练好的第二分支网络和所述训练好的预测层，构建得到道路识别模型。

根据本发明提供的一种行车区域与车道线识别方法，所述第一卷积神经网络为HRNetV2模型。

根据本发明提供的一种行车区域与车道线识别方法，所述基于所述行车区域语义样本特征和所述车道线语义样本特征，对所述第一分支网络和所述第二分支网络进行交互训练，得到训练好的第一分支网络和训练好的第二分支网络，并输出局部语义增强样本特征，包括：

基于所述车道线语义样本特征，对所述第一分支网络在样本图像中相同识别区域对应的行车区域语义样本特征进行语义特征对齐处理，得到第一局部语义增强样本特征；

基于所述行车区域语义样本特征，对所述第二分支网络在样本图像中相同识别区域对应的车道线语义样本特征进行语义特征对齐处理，得到第二局部语义增强样本特征；

所述通过所述全局语义样本特征和所述局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层，包括：

通过所述全局语义样本特征、所述第一局部语义增强样本特征和所述第二局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层。

根据本发明提供的一种行车区域与车道线识别方法，在所述通过所述全局语义样本特征、所述第一局部语义增强样本特征和所述第二局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层之前，所述方法还包括：

将所述全局语义样本特征、所述第一局部语义增强样本特征和所述第二局部语义增强样本特征进行拼接，得到拼接后的样本特征；

将所述拼接后的样本特征，输入到一层1×1卷积中，得到样本融合特征，以通过所述样本融合特征，对预训练的预测层进行微调，得到训练好的预测层。

本发明还提供一种行车区域与车道线识别***，包括：

道路图像采集模块，用于获取待识别的结构化道路图像；

第一处理模块，用于将所述待识别的结构化道路图像输入到道路识别模型中，得到由所述道路识别模型中的基础网络输出的全局语义特征；

第二处理模块，用于通过所述道路识别模型的第一分支网络，对所述全局语义特征中的行车区域进行提取，得到行车区域语义特征；通过所述道路识别模型的第二分支网络，对所述全局语义特征中的车道线进行提取，得到车道线语义特征；

行车区域与车道线识别模块，用于通过所述道路识别模型中的预测层对融合特征进行分类预测，得到所述待识别的结构化道路图像中的行车区域与车道线，所述融合特征是由所述全局语义特征、所述行车区域语义特征和所述车道线语义特征进行融合得到的；

其中，所述基础网络、所述第一分支网络和所述第二分支网络，是由卷积神经网络构建得到的。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述行车区域与车道线识别方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述行车区域与车道线识别方法的步骤。

本发明提供的一种行车区域与车道线识别方法及***，基于卷积神经网络构建得到道路识别模型，通过该模型中的基础网络和分支网络的联合训练，从而兼具全局与局部语义特征表示，提升模型对行车区域与车道线识别的鲁棒性和泛化性，降低了道路识别的漏检率和误检率，有效提高了行车区域与车道线识别精度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的行车区域与车道线识别方法的流程示意图；

图2为本发明提供的结构化道路的行车区域与车道线识别结果的后处理示意图；

图3为本发明提供的结构化道路的行车区域与车道线识别模型的总体结构示意图；

图4为本发明提供的行车区域与车道线识别***的结构示意图；

图5为本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于结构化道路场景呈现多种不同的形态，且不同场景中的行车区域与车道线有相似性，因此，行车区域与车道线的特征表示需要有较高的表达能力和判别力才能完成任务。深度学习是近年来机器学习领域一个热门研究方向，已经在计算机视觉和自然语言处理等领域获得了巨大的成功，尤其是深度卷积神经网络，凭借局部感受野、共享权值以及特征下采样这三大结构特点，能够从二维图像中提取出语义信息丰富和判别力强的特征，在大规模图像分类和物体定位、检测、分割任务中均表现出优越的性能。本发明设计了一种深度卷积神经网络，通过基础网络和分支交互网络的联合训练，能够通过一种兼具全局与局部语义特征表示，来提升道路识别模型对行车区域与车道线识别的鲁棒性和泛化性，从而有效提升行车区域与车道线识别精度。

图1为本发明提供的行车区域与车道线识别方法的流程示意图，如图1所示，本发明提供了一种行车区域与车道线识别方法，包括：

步骤101，获取待识别的结构化道路图像。

在本发明中，可通过设置在车辆上的前向摄像头，对目标车辆行驶前面的道路进行拍摄，从而采集到待识别的结构化道路图像，通过后续的道路识别过程，实现驾驶辅助或自动驾驶等功能。需要说明的是，在本发明中，待识别的结构化道路图像也可以通过设置在高速道路或城市干道等结构化道路的路旁摄像头进行定点采集，通过对采集得到的图像进行识别，可用于车辆的行驶违章检测。

步骤102，将所述待识别的结构化道路图像输入到道路识别模型中，得到由所述道路识别模型中的基础网络输出的全局语义特征。

在本发明中，基础模型是通过HRNetV2模型训练得到的。HRNetV2模型将一个高分辨率的卷积流作为第一阶段，逐步逐个添加高分辨率到低分辨率的流，形成新的阶段，并行连接多分辨率流，使得后一阶段的并行流的分辨率由前一阶段的分辨率和更低的分辨率组成，最终提取出保留了图像细节信息的像素特征表示，即基础模型从待识别的结构化道路图像中，提取得到包含有行车区域与车道线对应的全局语义特征。

步骤103，通过所述道路识别模型的第一分支网络，对所述全局语义特征中的行车区域进行提取，得到行车区域语义特征；通过所述道路识别模型的第二分支网络，对所述全局语义特征中的车道线进行提取，得到车道线语义特征。

在本发明中，两个分支网络分别提取各自对应类别的全局语义特征表示，来表征图像中每个像素特征，即第一分支网络提取行车区域所有像素的特征图，第二分支网络提取车道线所有像素的特征图。优选地，在本发明中，两个分支网络各自提取得到的像素特征（即行车区域语义特征和车道线语义特征），可辅助另一个分支网络的特征提取，即第一分支网络将行车区域的信息传递到第二分支网络，第二分支网络将车道线的信息传递到第一分支网络，使得两个分支网络提取得到增强的局部语义特征表示。

步骤104，通过所述道路识别模型中的预测层对融合特征进行分类预测，得到所述待识别的结构化道路图像中的行车区域与车道线，所述融合特征是由所述全局语义特征、所述行车区域语义特征和所述车道线语义特征进行融合得到的；

其中，所述基础网络、所述第一分支网络和所述第二分支网络，是由卷积神经网络构建得到的。

在本发明中，将上述实施例中得到的全局语义特征、行车区域语义特征以及车道线语义特征进行通道融合，进行像素级别分类预测。优选地，将上述实施例中两个分支网络各自输出的增强的局部语义特征表示，与基础网络输出的像素特征表示（即全局语义特征）按照通道维度拼接起来，再经过一层1×1卷积改变通道数，使得输入特征维数为512，输出特征维数为256，从而通过道路识别模型中的预测层进行像素预测，最终分别输出行车区域与车道线区域识别结果。

本发明提供的行车区域与车道线识别方法，基于卷积神经网络构建得到道路识别模型，通过该模型中的基础网络和分支网络的联合训练，从而兼具全局与局部语义特征表示，提升模型对行车区域与车道线识别的鲁棒性和泛化性，降低了道路识别的漏检率和误检率，有效提高了行车区域与车道线识别精度。

在上述实施例的基础上，在所述通过所述道路识别模型中的预测层对融合特征进行分类预测，得到所述待识别的结构化道路图像中的行车区域与车道线之后，所述方法还包括：

对所述道路识别模型输出的行车区域与车道线的预测结果进行边缘提取处理和均值校正处理，得到处理后的预测结果。

在本发明中，为了保持结构化道路图像中行车区域与车道线预测的鲁棒性，以及应用场景中的曲率在短时间内不会发生突变，因此，使用边缘提取与均值校正，对深度卷积神经网络的预测结果进行后处理，其中，所述边缘提取处理的算法为Canny边缘检测算法，从而增强预测结果的准确性与鲁棒性；同时，使应用场景下识别目标的变化渐进过程得到保留。图2为本发明提供的结构化道路的行车区域与车道线识别结果的后处理示意图，可参考图2所示，对于预测得到的行车区域，首先进行边缘提取，再通过均值校正处理得到最终的行车区域预测结果；对于预测得到车道线，对该预测结果进行均值校正后，得到最终的车道线预测结果。

在上述实施例的基础上，所述道路识别模型通过以下步骤训练得到：

通过标记有行车区域标签和车道线标签的结构化道路样本图像，构建得到训练样本集。

在本发明中，为了得到标注的像素级别标签，对于每一张结构化道路样本图像，都标注出图像中的行车区域和该行车区域两侧的车道线类别（例如，白色虚线或黄色实线等）。在完成标注之后，根据标注结果，得到了原始样本图像上的每一个像素的结构化道路类别，从而构建得到关于行车区域与车道线分割的训练样本集。

将所述训练样本集中的样本图像输入到第一卷积神经网络中进行训练，得到基础网络和由所述基础网络输出的全局语义样本特征。

在本发明中，所述第一卷积神经网络为HRNetV2模型，将已标注的结构化道路样本图像输入HRNetV2模型进行训练，提取结构化道路样本图像的全局语义特征。利用行车区域与车道线分割的训练样本集，通过标注的像素级别标签引导学习，在满足预设训练次数之后，从而训练得到基础网络，并输出结构化道路样本图像中的全局语义样本特征表示。

在本发明中，为保留结构化道路图像的细节信息，采用高分辨率的基础网络提取特征。具体地，该基础网络是由HRNetV2模型训练得到的，该模型是通过在高分辨率特征图的主网络上，逐渐并行加入低分辨率特征图的子网络，并在不同网络上实现多尺度融合与特征提取，最终提取出保留了图像细节信息的像素特征表示。

将所述全局语义样本特征输入到第二卷积神经网络中，以进行行车区域像素特征的提取训练，得到第一分支网络和由所述第一分支网络输出的行车区域语义样本特征；

将所述全局语义样本特征输入到第三卷积神经网络中进行训练，以进行车道线像素特征的提取训练，得到第二分支网络和由所述第二分支网络输出的车道线语义样本特征；

基于所述行车区域语义样本特征和所述车道线语义样本特征，对所述第一分支网络和所述第二分支网络进行交互训练，得到训练好的第一分支网络和训练好的第二分支网络，并输出局部语义增强样本特征。

在本发明中，为了获得行车区域与车道线对应位置的特征表示，在两分支网络中分别采用不同的卷积核，对车道线特征和行车区域特征进行提取。具体地，将全局语义样本特征分别输入两个分支网络，提取各分类别对应位置的特征表示，并输出各自提取得到特征表示。

具体地，为了得到可靠的类别特征表示，采用了标注的像素标签来指导各类别语义特征与位置特征表示的生成。在本发明中，使用像素标签对应的特征图，与分支网络中的卷积核进行矩阵乘法运算，首先提取出该图像上属于该类行车区域或车道线的所有像素的特征图，然后，通过不断接近损失函数的最小值，更新各个分支网络主线的卷积核Pi的对应权重wi，其中，i表示第i个卷积核。优选地，将两个分支网络各自提取的类别语义特征对应交互，完成类间卷积核的卷积计算，即将两个分支网络的特征提取出来，通过拼接进行卷积交互，然后，输出卷积计算后的特征（得到各自增强的局部语义特征），作为下一个训练阶段两个分支输入的特征。

通过所述全局语义样本特征和所述局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层；

根据所述基础网络、所述训练好的第一分支网络、所述训练好的第二分支网络和所述训练好的预测层，构建得到道路识别模型。

在本发明中，将全局语义样本特征、行车区域语义样本特征和车道线语义样本特征进行通道融合，通过对预训练的预测层进行像素级别的分类训练，最终得到道路识别模型。

在上述实施例的基础上，所述基于所述行车区域语义样本特征和所述车道线语义样本特征，对所述第一分支网络和所述第二分支网络进行交互训练，得到训练好的第一分支网络和训练好的第二分支网络，并输出局部语义增强样本特征，包括：

基于所述车道线语义样本特征，对所述第一分支网络在样本图像中相同识别区域对应的行车区域语义样本特征进行语义特征对齐处理，得到第一局部语义增强样本特征；

基于所述行车区域语义样本特征，对所述第二分支网络在样本图像中相同识别区域对应的车道线语义样本特征进行语义特征对齐处理，得到第二局部语义增强样本特征；

所述通过所述全局语义样本特征和所述局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层，包括：

通过所述全局语义样本特征、所述第一局部语义增强样本特征和所述第二局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层。

在本发明中，将两个分支网络的特征信息进行交互，该交互过程依赖于侧向类间卷积核进行特征的语义对齐，从而得到增强的局部语义特征。

图3为本发明提供的结构化道路的行车区域与车道线识别模型的总体结构示意图，可参考图3所示，将其中一个分支网络在不同采样阶段得到的特征图，对应传导至另一分支网络的对应层次，即将两个分支网络识别的相同区域所得到的特征进行融合，从而将两个分支网络中输出的语义特征进行相互。具体地，利用分支网络的侧向类间卷积核进行语义特征交互，将其中一个分支网络输出的行车区域或车道线语义特征，与另一个分支网络中对应的相同识别区域的类间卷积核进行卷积操作，提取对应的约束信息，使得行车区域α与车道线β进行匹配，从而将行车区域的信息传递到车道线分支，将车道线的信息传递到行车区域分支。即第二分支网络输出车道线语义样本特征，与第一支线网络该层次的类间卷积核Qi进行卷积操作后，得到第一局部语义增强样本特征；相应地，第一分支网络输出车道线语义样本特征，与第二支线网络该层次的类间卷积核Qi进行卷积操作后，得到第二局部语义增强样本特征。通过不断接近预设损失函数的最小值，更新两个分支网络主线的类间卷积核Qi的对应权重ti。

本发明采用两个分支网络各自提取得到的车道线特征和行车区域特征进行交互传递，来训练两个分支网络学习不同结构化道路类别的区域特征表示，排除了其他干扰信息，生成增强的局部特征表示包含有目标类别的位置信息和语义信息，提升了特征的判别力和可靠性，进一步提高不同交通区域的预测准确性。

需要说明的是，在本发明中，卷积核Pi的对应权重wi，以及类间卷积核Qi的对应权重ti，仅在模型训练时进行迭代更新与计算。在模型测试阶段，本发明直接采用最终更新的通道融合后的卷积核进行特征表示。

在上述实施例的基础上，在所述通过所述全局语义样本特征、所述第一局部语义增强样本特征和所述第二局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层之前，所述方法还包括：

将所述全局语义样本特征、所述第一局部语义增强样本特征和所述第二局部语义增强样本特征进行拼接，得到拼接后的样本特征；

将所述拼接后的样本特征，输入到一层1×1卷积中，得到样本融合特征，以通过所述样本融合特征，对预训练的预测层进行微调，得到训练好的预测层。

在本发明中，为了把增强后的像素特征表示（即第一局部语义增强样本特征和第二局部语义增强样本特征），与基础网络的像素特征表示（即全局语义样本特征）相结合，将基础网络输出的像素特征表示和增强后的特征表示按照通道维度拼接起来，并经过一层1×1卷积改变通道数，再进行像素预测，使得通道融合后的特征兼具局部与全局语义特征，从而增加像素特征的判别力。

在一实施例中，对本发明提供的行车区域与车道线识别方法进行整体说明。在本发明中，提供了一种基于耦合学习的行车区域与车道线识别方法，该方法针对结构化道路中的行车车道与车道线的识别问题，设计了一种深层卷积神经网络与特征后处理的串行解决办法，该网络由基础网络和两个分支网络组成。其中，基础网络通过对HRNetV2网络进行训练，使得训练后得到的基础网络用于提取行车区域与车道线对应的语义丰富的像素特征表示；两个分支网络分别提取各自对应类别的全局语义特征表示，来表征结构化图像中每个像素特征，同时将两分支网络输出的像素特征进行耦合学习，辅助另一个分支网络进行判断。

进一步地，两个分支网络在训练过程中，更新不同行车区域与车道线的特征表示，首先在采用标注的像素级别标签的数据集指导下，前置基础网络学习整个数据集的行车车道与车道线类别区域特征表示，得到一种全局语义特征表示方法，并将该特征输入两个分支网络；两个分支网络分别提取车道线识别与行车区域识别对应的特征，并在此基础上，采用车道线特征与行车区域特征交互的特征传递过程，指导两个分支网络学习不同结构化道路类别的区域特征表示，有效减少无关信息的干扰，增强特征的判别力和可靠性，得到同时包含全局信息与局部信息的特征表示，进一步提高不同交通区域的预测准确性。

在道路识别模型的实际应用阶段，使用更新后的特征表示来表征每个像素特征，计算每个像素特征与各结构化道路类别区域特征的相似度，并使用全局的区域特征来表示每一个像素的特征，从而增强像素特征的判别力，有效改善识别性能。最后，对道路识别模型输出的预测结果进行后处理，由提取边缘与均值修正两部分组成，能够有效提升结构化道路交通区域识别的精度，同时减少识别的漏检和误检，尤其对全局信息敏感的道路区域的识别提升更加显著。

下面对本发明提供的行车区域与车道线识别***进行描述，下文描述的行车区域与车道线识别***与上文描述的行车区域与车道线识别方法可相互对应参照。

图4为本发明提供的行车区域与车道线识别***的结构示意图，如图4所示，本发明提供了一种行车区域与车道线识别***，包括道路图像采集模块401、第一处理模块402、第二处理模块403和行车区域与车道线识别模块404，其中，道路图像采集模块401用于获取待识别的结构化道路图像；第一处理模块402用于将所述待识别的结构化道路图像输入到道路识别模型中，得到由所述道路识别模型中的基础网络输出的全局语义特征；第二处理模块403用于通过所述道路识别模型的第一分支网络，对所述全局语义特征中的行车区域进行提取，得到行车区域语义特征；通过所述道路识别模型的第二分支网络，对所述全局语义特征中的车道线进行提取，得到车道线语义特征；行车区域与车道线识别模块404用于通过所述道路识别模型中的预测层对融合特征进行分类预测，得到所述待识别的结构化道路图像中的行车区域与车道线，所述融合特征是由所述全局语义特征、所述行车区域语义特征和所述车道线语义特征进行融合得到的；其中，所述基础网络、所述第一分支网络和所述第二分支网络，是由卷积神经网络构建得到的。

本发明提供的行车区域与车道线识别***，基于卷积神经网络构建得到道路识别模型，通过该模型中的基础网络和分支网络的联合训练，从而兼具全局与局部语义特征表示，提升模型对行车区域与车道线识别的鲁棒性和泛化性，降低了道路识别的漏检率和误检率，有效提高了行车区域与车道线识别精度。

本发明提供的***是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

图5为本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器（Processor）501、通信接口（Communications Interface）502、存储器（Memory）503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行行车区域与车道线识别方法，该方法包括：获取待识别的结构化道路图像；将所述待识别的结构化道路图像输入到道路识别模型中，得到由所述道路识别模型中的基础网络输出的全局语义特征；通过所述道路识别模型的第一分支网络，对所述全局语义特征中的行车区域进行提取，得到行车区域语义特征；通过所述道路识别模型的第二分支网络，对所述全局语义特征中的车道线进行提取，得到车道线语义特征；通过所述道路识别模型中的预测层对融合特征进行分类预测，得到所述待识别的结构化道路图像中的行车区域与车道线，所述融合特征是由所述全局语义特征、所述行车区域语义特征和所述车道线语义特征进行融合得到的；其中，所述基础网络、所述第一分支网络和所述第二分支网络，是由卷积神经网络构建得到的。

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的行车区域与车道线识别方法，该方法包括：获取待识别的结构化道路图像；将所述待识别的结构化道路图像输入到道路识别模型中，得到由所述道路识别模型中的基础网络输出的全局语义特征；通过所述道路识别模型的第一分支网络，对所述全局语义特征中的行车区域进行提取，得到行车区域语义特征；通过所述道路识别模型的第二分支网络，对所述全局语义特征中的车道线进行提取，得到车道线语义特征；通过所述道路识别模型中的预测层对融合特征进行分类预测，得到所述待识别的结构化道路图像中的行车区域与车道线，所述融合特征是由所述全局语义特征、所述行车区域语义特征和所述车道线语义特征进行融合得到的；其中，所述基础网络、所述第一分支网络和所述第二分支网络，是由卷积神经网络构建得到的。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的行车区域与车道线识别方法，该方法包括：获取待识别的结构化道路图像；将所述待识别的结构化道路图像输入到道路识别模型中，得到由所述道路识别模型中的基础网络输出的全局语义特征；通过所述道路识别模型的第一分支网络，对所述全局语义特征中的行车区域进行提取，得到行车区域语义特征；通过所述道路识别模型的第二分支网络，对所述全局语义特征中的车道线进行提取，得到车道线语义特征；通过所述道路识别模型中的预测层对融合特征进行分类预测，得到所述待识别的结构化道路图像中的行车区域与车道线，所述融合特征是由所述全局语义特征、所述行车区域语义特征和所述车道线语义特征进行融合得到的；其中，所述基础网络、所述第一分支网络和所述第二分支网络，是由卷积神经网络构建得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种行车区域与车道线识别方法，其特征在于，包括：

获取待识别的结构化道路图像；

将所述待识别的结构化道路图像输入到道路识别模型中，得到由所述道路识别模型中的基础网络输出的全局语义特征；

通过所述道路识别模型的第一分支网络，对所述全局语义特征中的行车区域进行提取，得到行车区域语义特征；通过所述道路识别模型的第二分支网络，对所述全局语义特征中的车道线进行提取，得到车道线语义特征；

通过所述道路识别模型中的预测层对融合特征进行分类预测，得到所述待识别的结构化道路图像中的行车区域与车道线，所述融合特征是由所述全局语义特征、所述行车区域语义特征和所述车道线语义特征进行融合得到的；

其中，所述基础网络、所述第一分支网络和所述第二分支网络，是由卷积神经网络构建得到的；

所述道路识别模型通过以下步骤训练得到：

通过标记有行车区域标签和车道线标签的结构化道路样本图像，构建得到训练样本集；

将所述训练样本集中的样本图像输入到第一卷积神经网络中进行训练，得到基础网络和由所述基础网络输出的全局语义样本特征；

将所述全局语义样本特征输入到第二卷积神经网络中，以进行行车区域像素特征的提取训练，得到第一分支网络和由所述第一分支网络输出的行车区域语义样本特征；

将所述全局语义样本特征输入到第三卷积神经网络中进行训练，以进行车道线像素特征的提取训练，得到第二分支网络和由所述第二分支网络输出的车道线语义样本特征；

基于所述行车区域语义样本特征和所述车道线语义样本特征，对所述第一分支网络和所述第二分支网络进行交互训练，得到训练好的第一分支网络和训练好的第二分支网络，并输出局部语义增强样本特征；

通过所述全局语义样本特征和所述局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层；

根据所述基础网络、所述训练好的第一分支网络、所述训练好的第二分支网络和所述训练好的预测层，构建得到道路识别模型；

所述基于所述行车区域语义样本特征和所述车道线语义样本特征，对所述第一分支网络和所述第二分支网络进行交互训练，得到训练好的第一分支网络和训练好的第二分支网络，并输出局部语义增强样本特征，包括：

基于所述车道线语义样本特征，对所述第一分支网络在样本图像中相同识别区域对应的行车区域语义样本特征进行语义特征对齐处理，得到第一局部语义增强样本特征；

基于所述行车区域语义样本特征，对所述第二分支网络在样本图像中相同识别区域对应的车道线语义样本特征进行语义特征对齐处理，得到第二局部语义增强样本特征；

所述通过所述全局语义样本特征和所述局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层，包括：

通过所述全局语义样本特征、所述第一局部语义增强样本特征和所述第二局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层。

2.根据权利要求1所述的行车区域与车道线识别方法，其特征在于，在所述通过所述道路识别模型中的预测层对融合特征进行分类预测，得到所述待识别的结构化道路图像中的行车区域与车道线之后，所述方法还包括：

对所述道路识别模型输出的行车区域与车道线的预测结果进行边缘提取处理和均值校正处理，得到处理后的预测结果。

3.根据权利要求2所述的行车区域与车道线识别方法，其特征在于，所述边缘提取处理的算法为Canny边缘检测算法。

4.根据权利要求1所述的行车区域与车道线识别方法，其特征在于，所述第一卷积神经网络为HRNetV2模型。

5.根据权利要求1所述的行车区域与车道线识别方法，其特征在于，在所述通过所述全局语义样本特征、所述第一局部语义增强样本特征和所述第二局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层之前，所述方法还包括：

将所述全局语义样本特征、所述第一局部语义增强样本特征和所述第二局部语义增强样本特征进行拼接，得到拼接后的样本特征；

将所述拼接后的样本特征，输入到一层1×1卷积中，得到样本融合特征，以通过所述样本融合特征，对预训练的预测层进行微调，得到训练好的预测层。

6.一种行车区域与车道线识别***，其特征在于，包括：

道路图像采集模块，用于获取待识别的结构化道路图像；

第一处理模块，用于将所述待识别的结构化道路图像输入到道路识别模型中，得到由所述道路识别模型中的基础网络输出的全局语义特征；

第二处理模块，用于通过所述道路识别模型的第一分支网络，对所述全局语义特征中的行车区域进行提取，得到行车区域语义特征；通过所述道路识别模型的第二分支网络，对所述全局语义特征中的车道线进行提取，得到车道线语义特征；

行车区域与车道线识别模块，用于通过所述道路识别模型中的预测层对融合特征进行分类预测，得到所述待识别的结构化道路图像中的行车区域与车道线，所述融合特征是由所述全局语义特征、所述行车区域语义特征和所述车道线语义特征进行融合得到的；

其中，所述基础网络、所述第一分支网络和所述第二分支网络，是由卷积神经网络构建得到的；

所述道路识别模型通过以下步骤训练得到：

通过标记有行车区域标签和车道线标签的结构化道路样本图像，构建得到训练样本集；

将所述训练样本集中的样本图像输入到第一卷积神经网络中进行训练，得到基础网络和由所述基础网络输出的全局语义样本特征；

将所述全局语义样本特征输入到第二卷积神经网络中，以进行行车区域像素特征的提取训练，得到第一分支网络和由所述第一分支网络输出的行车区域语义样本特征；

将所述全局语义样本特征输入到第三卷积神经网络中进行训练，以进行车道线像素特征的提取训练，得到第二分支网络和由所述第二分支网络输出的车道线语义样本特征；

基于所述行车区域语义样本特征和所述车道线语义样本特征，对所述第一分支网络和所述第二分支网络进行交互训练，得到训练好的第一分支网络和训练好的第二分支网络，并输出局部语义增强样本特征；

通过所述全局语义样本特征和所述局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层；

根据所述基础网络、所述训练好的第一分支网络、所述训练好的第二分支网络和所述训练好的预测层，构建得到道路识别模型；

所述基于所述行车区域语义样本特征和所述车道线语义样本特征，对所述第一分支网络和所述第二分支网络进行交互训练，得到训练好的第一分支网络和训练好的第二分支网络，并输出局部语义增强样本特征，包括：

基于所述车道线语义样本特征，对所述第一分支网络在样本图像中相同识别区域对应的行车区域语义样本特征进行语义特征对齐处理，得到第一局部语义增强样本特征；

基于所述行车区域语义样本特征，对所述第二分支网络在样本图像中相同识别区域对应的车道线语义样本特征进行语义特征对齐处理，得到第二局部语义增强样本特征；

所述通过所述全局语义样本特征和所述局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层，包括：

通过所述全局语义样本特征、所述第一局部语义增强样本特征和所述第二局部语义增强样本特征，对预训练的预测层进行微调，得到训练好的预测层。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述行车区域与车道线识别方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述行车区域与车道线识别方法的步骤。

Images