CN114743126A - 一种基于图注意力机制网络的车道线标志分割方法 - Google Patents

Abstract

本发明涉及一种基于图注意力机制网络的车道线标志分割方法，包括：步骤S1，构建基于图注意力机制网络的交通标志分割模型；步骤S2，采集车道线标志数据集，根据采集到的车道线标志数据集对交通标志分割模型进行训练，得到训练好的交通标志分割模型；步骤S3，获取初始路况图像，对获取到的初始路况图像进行预处理，得到预处理后的路况图像；步骤S4，将预处理后的路况图像输入至训练好的交通标志分割模型，获取分割出来的车道线标志，并在初始路况图像中标记分割出来的车道线标志。本发明能够使图像的全局特征与各子区域特征在空间和语义上得到充分融合，同时对特征按重要性进行筛选，能够在复杂场景在准确分割出车道线标志信息。

Description

一种基于图注意力机制网络的车道线标志分割方法

技术领域

本发明涉及交通标志的分割技术领域，更具体地涉及一种基于图注意力机制网络的车道线标志分割方法。

背景技术

汽车保有量增加会带来交通隐患，其部分原因是因为驾驶员及车辆未能良好地识别交通标志信息。交通标志分割技术能够为驾驶员提供良好的交通信息并辅助其做出判断，降低交通事故率；同时，作为环境感知的重要部分，车道线识别能够为行驶车辆提供良好地车道标志信息，提升驾驶体验。

当前的车道线标志分割方法可分为两大类，一类基于传统的机器学习算法，例如AdaBoost、支持向量机等，这类方法主要依靠在线的训练分类器来区分目标与背景，然后利用分类器从候选区域定位到目标；另一类基于深度学习算法，例如卷积神经网络，这类算法首先在大规模的车道线标志数据集上进行离线训练，然后再对车道线标志进行分割。机器学习方法对光照敏感性强，在有阴影、亮度低、存在遮挡和运动模糊的情况下难以取得较好的识别效果。深度学习算法依托强大的特征表示能力，能够解决运动模糊、存在遮挡等问题，在分割精度上远远超过了传统的机器学习算法。

然而，目前的深度学习算法仅关注图像特征表达，难以处理由光照变化和遮挡干扰导致的类别，从而使得当车道线标志处于复杂场景时，前后景之间的分界不明显，无法准确分割出车道线标志信息。

发明内容

为解决上述现有技术中的问题，本发明提供一种基于图注意力机制网络的车道线标志分割方法，能够在复杂场景在准确分割出车道线标志信息。

本发明提供的一种基于图注意力机制网络的车道线标志分割方法，包括：

步骤S1，构建基于图注意力机制网络的交通标志分割模型；

步骤S2，采集车道线标志数据集，根据采集到的车道线标志数据集对所述交通标志分割模型进行训练，得到训练好的交通标志分割模型；

步骤S3，获取初始路况图像，对获取到的初始路况图像进行预处理，得到预处理后的路况图像；

步骤S4，将预处理后的路况图像输入至训练好的交通标志分割模型，获取分割出来的车道线标志，并在所述初始路况图像中标记分割出来的车道线标志。

进一步地，所述交通标志分割模型包括依次连接的初始特征提取模块、金字塔池化模块、图注意力机制网络、上采样模块以及前馈神经网络，且上采样模块与融合神经网络连接。

进一步地，所述交通标志分割模型的损失函数按照下式表达：

L_total＝αL_cls+βL_seg

L_cls＝{l₁，l₂，…，l_N}l_i＝-w_i[y_ilogx_i+(1-y_i)log(1-x_i)]

L_seg＝{l₁，l₂，...，l_N}，

式中，L_total表示交通标志分割模型的总损失函数，α和β是加权系数，L_cls表示分类损失函数，L_seg表示分割损失函数；w_i为权重矩阵，y_i为原始分类结果，x_i为模型分类预测值，

为原始分割结果，

为模型分割预测值。

进一步地，所述步骤S3包括：

步骤S31，通过车载摄像头拍摄路况视频，并按照设定的帧率对路况视频进行抽帧，得到初始路况图像；

步骤S32，调整初始路况图像的大小，并对调整大小后的初始路况图像进行增强，得到预处理后的路况图像。

进一步地，所述步骤S32中采用RetinexNet对所述初始图像进行增强。

进一步地，所述步骤S4包括：

步骤S41，将预处理后的路况图像输入所述初始特征提取模块，获取初始特征图；

步骤S42，将所述初始特征图输入所述金字塔池化模块，获取全局池化特征图以及若干子区域池化特征图；

步骤S43，将所述全局池化特征图以及所述子区域池化特征图输入所述图注意力机制网络，获取多头注意力特征图；

步骤S44，通过所述融合神经网络，对所述多头注意力特征图进行降维，并将降维后的多头注意力特征图输入所述上采样模块，得到上采样后的特征图，然后将上采样后的特征图与所述初始特征图进行连接，得到融合特征图；

步骤S45，通过所述前馈神经网络，对所述融合特征图中的各像素点进行分类，得到分割出来的车道线标志。

本发明能够使图像的全局特征与各子区域特征在空间和语义上得到充分融合，同时对特征按重要性进行筛选，能够在复杂场景在准确分割出车道线标志信息。

附图说明

图1是按照本发明的基于图注意力机制网络的车道线标志分割方法的流程图。

具体实施方式

下面结合附图，给出本发明的较佳实施例，并予以详细描述。

如图1所示，本发明提供的基于图注意力机制网络的车道线标志分割方法，包括以下步骤：

步骤S1，构建基于图注意力机制网络的交通标志分割模型。具体地，交通标志分割模型包括依次连接的初始特征提取模块、金字塔池化模块、图注意力机制网络、上采样模块以及前馈神经网络，且上采样模块与融合神经网络连接。

交通标志分割模型的损失函数如下所示：

L_total＝αL_cls+βL_seg

式中，L_total表示交通标志分割模型的总损失函数，α和β是加权系数，L_cls表示分类损失函数，L_seg表示分割损失函数。

L_cls＝{l₁，l₂，…，l_N}l_i＝-w_i[y_ilogx_i+(1-y_i)log(1-x_i)]

L_seg＝{l₁，l₂，...，l_N}

式中，w_i为权重矩阵，y_i为原始分类结果，x_i为模型分类预测值，

为原始分割结果，

为模型分割预测值。其中，

和

包括预测框的中心坐标以及长、宽，用于得到目标检测的轮廓信息。

步骤S2，采集车道线标志数据集，根据采集到的车道线标志数据集对步骤S1构建的交通标志分割模型进行训练，得到训练好的交通标志分割模型。训练时，按照预设的分割阈值将车道线标志数据集自动划分为训练集、测试集以及验证集，根据划分出的训练集、测试集以及验证集训练交通标志分割模型。

步骤S3，获取初始路况图像，对获取到的初始路况图像进行预处理，得到预处理后的路况图像。

具体地，步骤S3包括：

步骤S31，通过车载摄像头拍摄路况视频，并按照设定的帧率对路况视频进行抽帧，得到若干图像，这些图像即构成初始路况图像。

步骤S32，调整初始路况图像的大小，并对调整大小后的初始路况图像进行增强，得到预处理后的路况图像。

具体地，将初始路况图像的大小统一为512×512像素。并且，由于在雾天、阴雨天、夜晚等光照条件比较弱的条件下所拍摄的图像质量较差，对比度很低，图像细节严重丢失，可视性难以达到要求，所以对于低照度图像需要进行增强。在本实施例中，采用RetinexNet对图像进行增强处理。RetinexNet是一种有效的微光图像增强工具，其原理为：先通过分解网络对图像进行分解；其次，在分解的基础上，利用增强网络对图像进行光照图的调整；最后，联合去噪对反射率进行去噪操作。

步骤S4，将预处理后的路况图像输入至训练好的交通标志分割模型，获取分割出来的车道线标志，并在初始路况图像中标记分割出来的车道线标志。

具体地，步骤S4包括：

步骤S41，将预处理后的路况图像输入交通标志分割模型的初始特征提取模块，获取初始特征图。具体地，初始特征提取模块为残差网络结构，通过多层的卷积运算以及残差结构得到提取出来的初始特征图，初始特征图可用于表示路况图像信息的语义和空间特征信息，可能包含路况中不同目标的边缘信息或细节特征信息。

步骤S42，将初始特征图输入交通标志分割模型的金字塔池化模块，获取全局池化特征图以及若干子区域池化特征图。在金字塔池化模块中，将初始特征图划分为若干不同尺度的子区域，例如1×1像素、2×2像素、3×3像素、6×6像素、12×12像素的子区域，然后对这些子区域进行全局平均池化操作，得到这些子区域对应的池化特征图。全局池化特征图则是指整个图像的池化特征图，包括整个图像的背景信息。

步骤S43，将全局池化特征图以及子区域池化特征图输入交通标志分割模型的图注意力机制网络，获取多头注意力特征图，用于表示各子区域的目标之间的语义以及各子区域空间结构的相互联系。

图神经网络是以图结构为基础，在图上运行的一种神经网络结构。而图注意力机制网络在图神经网络的基础上引入多头注意力机制，其计算原理如下：

1)提取池化特征图中的像素点作为节点，对所有节点进行特征转换，以将池化后的特征通道数F转换为降维后的通道数F’，转换公式为：

z_j＝Wh_j

式中，z_j为转换后的特征，h_j为图注意力机制网络各节点的原始输入特征，W∈R^F′×F为权重矩阵，用来完成所有节点的特征转换过程。

2)在图结构中引入多头注意力机制，在图注意力机制网络中，使用自注意力机制(self-attention)，使用一个共享的注意力计算函数，其计算公式为：

e_ij＝W_ih_i||W_jh_j

式中，e_ij表示节点j的特征对于节点i的贡献度，W_i表示节点i的权重矩阵，h_i表示节点i的原始输入特征，“||”表示向量的拼接，W_j表示节点j的权重矩阵，h_j表示节点j的原始输入特征。

3)对各个邻接节点k的贡献度进行归一化以更好地分配权重，其计算公式为：

在这一过程中，使用Leaky激活函数对贡献度进行激活。式中，α_ij表示指节点i与节点j的相关度；N_i表示节点i的一阶邻居节点的集合(表示与i节点直接有关的节点)，e_ik表示节点i与节点k的相关度；k表示节点i的一阶邻居节点集合中的一个。

4)在计算完节点i的每一个相邻节点的贡献度之后，根据权重对节点i的所有相邻节点进行特征求和更新，作为节点i的最终输出。为了稳定注意力机制学习的过程，采用多头注意力机制，其计算公式为：

式中，

表示图注意力机制网络的输出，K为多头注意力机制的数量，||表示K个多头注意力机制的结果进行连接，σ表示sigmoid激活函数，

表示节点i和节点j的第k个多头注意力值(相关度)，W^k表示第k个多头注意力的(相关度)的变换矩阵，

表示图注意力机制网络的输入。

步骤S44，通过交通标志分割模型的融合神经网络，对步骤S43得到的多头注意力特征图进行降维，并将降维后的多头注意力特征图输入交通标志分割模型的上采样模块，得到上采样后的特征图，上采样后的特征图与步骤S41获取的初始特征图尺度一致，然后将上采样后的特征图与初始特征图进行连接，得到融合特征图。

其中，对多头注意力特征图进行降维的目的是将多头注意力特征进行融合，使网络更好地学习多头注意力特征之间的关系，并提取出重要的特征。

步骤S45，通过交通标志分割模型的前馈神经网络，对融合特征图中的各像素点进行分类，得到分割出来的车道线标志。具体地，判断融合特征图中各像素点是否为预测目标，若是，则将其判断为车道线标志；否则，则将其判断为背景。如此，最终可以形成完整的车道线标志形状。

本发明能够使图像的全局特征与各子区域特征在空间和语义上得到充分融合，同时对特征按重要性进行筛选，能够在复杂场景在准确分割出车道线标志信息。与传统的基于纯视觉的语义分割方法相比，本发明不需要向算法中融入大量精心设计和高度任务定制化的专家经验知识，实现上更加简单和方便。此外，本发明可应用于其他计算机视觉场景中，扩展性较强，可以接入更一般的智能***。

以上所述的，仅为本发明的较佳实施例，并非用以限定本发明的范围，本发明的上述实施例还可以做出各种变化。即凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。本发明未详尽描述的均为常规技术内容。

Claims (6)

1.一种基于图注意力机制网络的车道线标志分割方法，其特征在于，包括：

步骤S1，构建基于图注意力机制网络的交通标志分割模型；

步骤S2，采集车道线标志数据集，根据采集到的车道线标志数据集对所述交通标志分割模型进行训练，得到训练好的交通标志分割模型；

步骤S3，获取初始路况图像，对获取到的初始路况图像进行预处理，得到预处理后的路况图像；

步骤S4，将预处理后的路况图像输入至训练好的交通标志分割模型，获取分割出来的车道线标志，并在所述初始路况图像中标记分割出来的车道线标志。

2.根据权利要求1所述的基于图注意力机制网络的车道线标志分割方法，其特征在于，所述交通标志分割模型包括依次连接的初始特征提取模块、金字塔池化模块、图注意力机制网络、上采样模块以及前馈神经网络，且上采样模块与融合神经网络连接。

3.根据权利要求1所述的基于图注意力机制网络的车道线标志分割方法，其特征在于，所述交通标志分割模型的损失函数按照下式表达：

L_total＝αL_cls+βL_seg，

L_cls＝{l₁，l₂，...，l_N}l_i＝-w_i[y_ilogx_i+(1-y_i)log(1-x_i)]，

L_seg＝{l₁，l₂，...，l_N}，

式中，L_total表示交通标志分割模型的总损失函数，α和β是加权系数，L_cls表示分类损失函数，L_seg表示分割损失函数；w_i为权重矩阵，y_i为原始分类结果，x_i为模型分类预测值，

为原始分割结果，

为模型分割预测值。

4.根据权利要求1所述的基于图注意力机制网络的车道线标志分割方法，其特征在于，所述步骤S3包括：

步骤S31，通过车载摄像头拍摄路况视频，并按照设定的帧率对路况视频进行抽帧，得到初始路况图像；

步骤S32，调整初始路况图像的大小，并对调整大小后的初始路况图像进行增强，得到预处理后的路况图像。

5.根据权利要求4所述的基于图注意力机制网络的车道线标志分割方法，其特征在于，所述步骤S32中采用RetinexNet对所述初始图像进行增强。

6.根据权利要求2所述的基于图注意力机制网络的车道线标志分割方法，其特征在于，所述步骤S4包括：

步骤S41，将预处理后的路况图像输入所述初始特征提取模块，获取初始特征图；

步骤S42，将所述初始特征图输入所述金字塔池化模块，获取全局池化特征图以及若干子区域池化特征图；

步骤S43，将所述全局池化特征图以及所述子区域池化特征图输入所述图注意力机制网络，获取多头注意力特征图；

步骤S44，通过所述融合神经网络，对所述多头注意力特征图进行降维，并将降维后的多头注意力特征图输入所述上采样模块，得到上采样后的特征图，然后将上采样后的特征图与所述初始特征图进行连接，得到融合特征图；

步骤S45，通过所述前馈神经网络，对所述融合特征图中的各像素点进行分类，得到分割出来的车道线标志。

Images