CN112149526B - 一种基于长距离信息融合的车道线检测方法及*** - Google Patents
一种基于长距离信息融合的车道线检测方法及*** Download PDFInfo
- Publication number
- CN112149526B CN112149526B CN202010928733.7A CN202010928733A CN112149526B CN 112149526 B CN112149526 B CN 112149526B CN 202010928733 A CN202010928733 A CN 202010928733A CN 112149526 B CN112149526 B CN 112149526B
- Authority
- CN
- China
- Prior art keywords
- module
- lane line
- feature
- convolution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000009467 reduction Effects 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于长距离信息融合的车道线检测方法和***，所述方法包括：对待检测图片进行预处理；将预处理后的图像输入预先训练好的车道检测模型，得到车道线与背景分割的检测图像，其中，白色表示车道线，黑色表示背景；车道线检测模型包括：特征降维模块、长距离特征关联模块、全局信息融合模块、特征重建模块和补丁判别模块；特征降维模块，用于对预处理后的待检测图像进行降维并提取低层图像特征；长距离特征关联模块，用于针对车道线的特殊性，增强车道线远距离特征点间的关联性；全局信息融合模块，用于计算全局关联性，进行图像全局的信息融合；特征重建模块，用于得到重建图像；所述补丁判别模块，用于判别重建图像的置信度。
Description
技术领域
本发明涉及机器视觉及深度学习技术领域，特别涉及一种基于长距离信息融合的车道线检测方法及***。
背景技术
自动驾驶，是人们一直在追求的技术方向。在实现上有很多难点，其中最重要的便是环境感知问题。车道线检测作为车辆视觉环境感知的重要组成部分，是实现自动驾驶技术的一个关键步骤。
多年来，人们尝试基于激光雷达、摄像头等多种不同类型的传感器设备来探索车道线准确高效的车道线检测方法。其中，雷达设备的高成本限制了它的实际应用价值。由于摄像头的低成本，获取图像的信息丰富性及图像处理技术的发展，基于视觉的车道线检测方法获得了更广泛的研究。
经过近十年的发展，基于视觉的车道线检测方法流程已基本统一。我们可将其分为以下几个过程：图像获取与预处理、感兴趣区域剪切、特征提取、特征融合和车道线拟合。这些方法通常依赖人工决定选择特征的类型，选取的特征属性依赖于预处理场景。因此，该类方法自带场景局限性。这种局限性也限制了这些方法的实际应用。如何使得检测方法能够自适应选择图像特征，便是基于视觉的车道线检测方法走向实际应用的关键步骤。随着大数据技术的发展，从大规模数据中提取感兴趣特征的方法得到了广泛研究。其中，针对大规模图像特征提取，最为有效的方法为卷积神经网络。
卷积神经网络的提出在很大程度上促进了计算机视觉的发展，包括图像分类、语义分割、目标检测等领域。卷积神经网络由多层感知机发展而来，其核心思想是模拟人类大脑对视觉的学习机制，通过堆叠的层级结构，构造深层神经网路模型。通过这种思想及学习机制的设计，卷积神经网络可以在训练的过程中自适应的提取目标特征。这种自适应提取目标特征的方法相比于人工启发式选取的方法有了很大的进步。
基于视觉的车道线检测方法作为一种图像处理的应用任务，依赖于图像处理技术的发展获得了很大的进步。基于视觉的车道线检测方法的特征提取过程已逐渐由卷积神经网络所取代。现有的多种基于卷积神经网络模型的车道线检测方法相比于人工选取特征的方法准确率已有了很大的提升。然而，如何设计出更具有任务针对性的网络结构及策略，依旧是需要深入研究的问题。
发明内容
本发明的目的在于克服现有车道线检测方法存在的技术缺陷，提出了一种基于长距离信息融合的车道线检测方法及***。
为了实现上述目的，本发明提出了一种基于长距离信息融合的车道线检测方法，所述方法包括：
对待检测的图片进行预处理；
将预处理得到的图像输入预先训练好的车道检测模型，得到车道线与背景分割的检测图像，其中，白色表示车道线，黑色表示背景；
所述车道线检测模型包括：特征降维模块、长距离特征关联模块、全局信息融合模块、特征重建模块和补丁判别模块；其中，
所述特征降维模块，用于对输入的预处理后的待检测图像进行降维并提取低层图像特征；
所述长距离特征关联模块，用于对低层图像特征进行扩展，针对车道线的特殊性，增强车道线远距离特征点间的关联性；
所述全局信息融合模块，用于计算深层车道线特征与非车道线特征间的全局关联性，进行图像全局的信息融合；
所述特征重建模块，用于将全局信息融合后的特征、长距离关联特征及低层图像特征重建为图像输入维度，得到与输入图像同等大小的重建图像；
所述补丁判别模块，用于判别重建图像的置信度。
作为上述方法的一种改进，所述预处理具体为：采用双线性插值的方法对待检测的图片进行裁剪，得到尺寸为256×512×3的图像。
作为上述方法的一种改进，所述特征降维模块包括依次连接的第一卷积块和第二卷积块；其中，
所述第一卷积块包括2层3×3，步长为1的卷积和一个ReLU函数；
所述第二卷积块包括3层3×3，步长为1的卷积和一个ReLU函数。
作为上述方法的一种改进，所述长距离特征关联模块包括非对称卷积单元和拼接单元；其中，
所述非对称卷积单元包括并行的第一分支和第二分支；第一分支为n×1，步长为1的卷积层；第二分支为1×n，步长为1的卷积层；上述卷积层均采用ReLU作为激活函数；n为大于1的整数；
所述拼接单元的输入为第一分支的输出x1和第二分支的输出x2，所述拼接单元的输出为经扩展后的特征图X，所述拼接单元的处理过程为：
X＝concat(x1,x2)。
作为上述方法的一种改进，所述全局信息融合模块包括并联的位置注意力模块和通道注意力模块；其中，
所述位置注意力模块包括3个1×1卷积块，该位置注意力模块的具体处理为：计算不同像素点的相关性，并对特征进行加权求和；
不同像素点的相关性sji表示为：
加权求和Ej表示为：
其中，B、C和D分别表示输入矩阵A通过3个1×1卷积层的输出矩阵，每个矩阵的维度均为C×H×W，其中C、H和W分别表示特征图的通道数、高度和宽度，Bi,Cj,Di分别表示矩阵B的第i个行向量、矩阵C的第j个列向量，以及矩阵D的第i个行向量，sji表示全局像素点间相关性矩阵S的第(j,i)个元素，Ej表示特征图E的第j个列向量，Aj表示输入矩阵A的第j个列向量，α表示权重系数，N表示特征图像素点个数，Σ表示求和运算；
所述通道注意力模块的具体处理为：计算特征图不同通道的相关性，并对特征进行加权求和；
不同通道的相关性Gqk表示为：
其中，Gqk表示通道相关性矩阵G的第(q,k)个元素，Ak表示输入矩阵A的第k个行向量，Aq表示输入矩阵A的第q个列向量；
加权求和Fq表示为：
其中，Fq表示特征图F的第q个列向量，β表示权和后矩阵的加权权重大小；
将两个并行的分支输出的特征图E和F进行元素级相加，特征图X表示如下：
X＝E+F。
作为上述方法的一种改进，所述特征重建模块包括级联的5个步长为2的转置卷积层和5个批归一化层；其中，所述转置卷积层，用于实现高层抽象特征向输出层输出结果的特征映射，并将特征图大小放大两倍；
所述批归一化层，用于将特征图归一化。
作为上述方法的一种改进，所述补丁判别模块包括级联的4个卷积块和1个1×1、步长为1的卷积块；前4个卷积块均包括1个3×3、步长为2的卷积层、1个批归一化层和1个LeakRelu激活函数；1个1×1、步长为1的卷积块用于将特征图由16×32×512的维度转化为16×32×1的置信度图。
作为上述方法的一种改进，所述方法还包括车道线检测模型的训练步骤；具体包括：
步骤1)选取图片经预处理后建立训练集；
步骤2)对训练集的图片进行标注，得到有标签的训练集，并按每组u张随机分成U组；
步骤3)随机选取一组图片输入车道线检测模型，输出一组检测图像；
步骤4)采用加权交叉熵计算检测结果与真实标签的误差：
其中，表示真实标签/>与检测结果y之间的平均误差，p(xr)表示第r个样本的模型前向输出结果，q(xr)表示第r个样本的真实标签，m表示分类的类别数；
步骤5)基于梯度下降法对模型的所有参数进行调整，得到新的模型参数组合，转入步骤3)；不断反复，直至U组图片全部输入模型，进入步骤6)；
步骤6)对训练集的图片进行重新洗牌，转至步骤1)；直至训练出模型的最优参数组合，得到训练好的车道线检测模型。
一种基于长距离信息融合的车道线检测***，所述***包括：预处理模块、检测模块和训练好的车道线检测模型；其中，
所述预处理模块，用于对待检测的图片进行预处理，采用双线性插值的方法对待检测的图片进行裁剪，得到尺寸为256×512×3的图片；
所述检测模块，用于将预处理后的图片输入训练好的车道线检测模型，得到车道线与背景分割的检测图像，其中，白色表示车道线，黑色表示背景；
所述车道线检测模型包括：特征降维模块、长距离特征关联模块、全局信息融合模块、特征重建模块和补丁判别模块；其中，
所述特征降维模块，用于对输入的预处理后的待检测图像进行降维并提取低层图像特征；
所述长距离特征关联模块，用于对低层图像特征进行扩展，针对车道线的特殊性，增强车道线远距离特征点间的关联性；
所述全局信息融合模块，用于计算深层车道线特征与非车道线特征间的全局关联性，进行图像全局的信息融合；
所述特征重建模块，用于将全局信息融合后的特征、长距离关联特征及低层图像特征重建为图像输入维度，得到与输入图像同等大小的重建图像；
所述补丁判别模块，用于判别重建图像的置信度。
与现有技术相比，本发明的优势在于：
1、本发明的方法不仅提升了车道线检测方法的性能，并且对于复杂情况下的车道线检测也取得了很好的检测效果；
2、本发明的方法提出了针对车道线检测，提升算法长距离依赖的思想。针对现存多种方法检测结果种车道线边缘发散问题，对模型结构进行了合理的设计。最终以数据驱动的方式让模型挖掘并学习车道线特征，从而有效提升了车道线检测方法的表现；
3、本发明的构建的车道线检测模型能够自动提取并学习车道线特征，这样的特征对车道线边缘及车道线长距离关系具有更好的刻画能力；
4、本发明构建的车道线检测模型通过对车道线的线性特征通过非对称卷积进行扩展以及注意力机制进行像素点间的关联性计算，使得深度学习模型对车道线线性特征具有更强的针对性，同时对车道遮挡等情况下的车道线检测具有极好的泛化能力；在测试基准数据集时，本发明的方法取得了超过现有方法的性能；因此本发明能够满足实际车道线检测应用的需求。
附图说明
图1是本发明的车道线检测模型示意图；
图2(a)是本发明的全局信息融合模块的位置注意力结构示意图；
图2(b)是本发明的全局信息融合模块的通道注意力结构示意图；
图3是本发明的补丁判别模块的结构示意图；
图4是本发明的方法全局结构示意图；
图5是本发明的车道线检测模型训练步骤的流程图。
具体实施方式
本发明的方法包括：
对待检测的图片进行预处理；
将预处理得到的图像输入训练完成的初步特征提取网络，得到初步车道图像特征。该初步车道特征作为预先训练完成的长距离信息融合网络的输入，增强车道特征点间的长距离信息融合。最终得到车道线与背景分割的检测图像，其中，白色表示车道线，黑色表示背景。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
本发明的实施例1提出了一种基于长距离信息融合的车道线检测方法，该方法包括：
步骤1)建立的车道线检测模型；
如图1所示，所述车道线检测模型包括：特征降维模块、长距离特征关联模块、全局信息融合模块、特征重建模块和补丁判别模块；
所述特征降维模块，用于对输入的图片特征进行降维并提取车道线特征；该模块由5个卷积块组成，包含两种类型：第一卷积块和第二卷积块。所述第一卷积块由两层大小为3×3，步长为1的卷积和一个ReLU激活函数组成；所述第二卷积块由三层大小为3×3，步长为1的卷积和一个ReLU函数组成。每个卷积块的输出特征图维度分别为：128×256×64，64×128×128，32×64×256，16×32×512，8×16×512；不同大小和不同深度的特征图从输入图像中提取不同的车道线特征。
所述长距离特征关联模块用于对特征降维模块第三个卷积块输出特征图进行操作；该模块由两个并行的非对称卷积组成，包含两个并行的分支：第一分支和第二分支；所述第一分支包含大小为5×1，步长为1，填补为2的卷积层；所述第二分支由大小为1×5，步长为1，填补为2的卷积层；所述卷积层均采用ReLU作为激活函数；
将两个并行的分支生成的特征图按照通道维进行拼接；所述拼接方式表示如下：
X＝concat(x1,x2)
其中，X表示拼接后生成的特征图，concat(.)表示拼接操作，x1,x2分别对应第一个分支，第二个分支的输出特征图；x1,x2的输出特征图大小均为32×64×256，X的输出特征图大小为32×64×512。X最终作为特征重建模块第三个卷积块的输入之一，进行特征重建。
所述全局信息融合模块用来进一步增强像素间的全局依赖性，如图2(a)和图2(b)所示。该模块作用于特征提取模块第五个卷积块之后，其输入特征图维度为8×16×512。该模块包含两个并联的注意力模块：位置注意力模块和通道注意力模块；所述位置注意力模块由3个1×1卷积组成，作用在于计算不同像素点相关性及对特征进行加权求和。
不同像素点的相关性sji表示为：
加权求和Ej表示为：
其中，B、C和D分别表示输入矩阵A通过3个1×1卷积层的输出矩阵，每个矩阵的维度均为C×H×W，其中C、H和W分别表示特征图的通道数、高度和宽度，大小分别为512，8和16。Bi,Cj,Di分别表示矩阵B的第i个行向量、矩阵C的第j个列向量，以及矩阵D的第i个行向量，sji表示全局像素点间相关性矩阵S的第(j,i)个元素，Ej表示位置注意力模块的输出特征图E的第j个列向量，Aj表示输入矩阵A的第j个列向量，α表示权重系数，N表示特征图像素点个数，Σ表示求和运算；
所述通道注意力模块由位置注意力模块改造组成，作用在于计算特征图不同通道相关性及对特征进行加权求和。
不同通道的相关性Gqk表示为：
其中，Gqk表示通道相关性矩阵G的第(q,k)个元素，Ak表示输入矩阵A的第k个行向量，Aq表示输入矩阵A的第q个列向量；
加权求和Fq表示为：
其中，Fq表示特征图F的第q个列向量，β表示权和后矩阵的加权权重大小；特征图F的大小为8×16×512。
将两个并行的分支输出的特征图E和F进行元素级相加，所述求和方式表示如下：
X＝E+F
最终，特征图X的大小为8×16×512。该特征图作为特征重建模块第一个卷积块的输入进行特征重建。
所述特征重建模块包含级联的5个转置卷积模块。每个转置卷积模块由一个转置卷积层，一个批归一化层组成。转置卷积层用来实现高层抽象特征向输出层输出结果的特征映射及将特征图大小放大两倍。批归一化层用来将特征图归一化，利于网络快速收敛及防止损失发散。
所述补丁判别模块包含级联的4个卷积块，如图3所示。每个卷积块由一个卷积核大小为3×3、步长为2的卷积层，一个批归一化层和一个LeakRelu激活函数组成。最后由1个卷积核大小1×1、步长为1的卷积将特征图由512个通道转化至1个通道。最终得到大小为16×32×1大小的补丁。
如图4所示，是本发明的方法全局结构示意图。
步骤2)利用训练集的图片对建立的车道线检测模型进行训练，如图5所示，包括：
步骤2-1)采用双线性插值的方法对训练集的所有图片进行裁剪，大小为：256×512×3；
步骤2-2)将训练集的图片按每组n张随机分成N组；
步骤2-3)随机读取一组图片，将一组图片输入特征降维模块进行降维并提取低层特征；
步骤2-4)将特征降维模块第三个卷积块得到的特征图输入长距离特征关联模块，实现浅层特征间的长距离关联，得到第三个卷积块后长距离关联的特征图；
步骤2-5)将特征降维模块第五个卷积块得到的特征图输入全局信息融合模块，实现深层特征的全局信息融合；
步骤2-6)将全局信息融合模块得到特征图输入特征重建模块第一层重建卷积块，第2、第4、第5重建卷积块输入为上一个重建卷积层的输出与对应特征降维卷积层输出的拼接。第3重建卷积块的输入为第2重建卷积块的输出与长距离特征关联模块输出的拼接。对特征重建后的特征维度进行输出结果的特征映射，输出一组检测图像；
步骤2-7)将检测图像与输入图像进行拼接，作为补丁判别模块的输入。由补丁判别模块判定检测图像的真实度。
步骤2-8)采用梯度下降法对模型中的参数进行更新；反复迭代，直至训练出模型的最优参数组合；包括：
步骤2-8-1)将模型输出的结果与真实标签进行误差求取；所述误差求取采用交叉熵，表示为：
其中，表示一组真实标签/>与一组检测结果y之间的平均误差，p(xi)表示模型的前向输出结果，q(xi)表示真实标签，Σ表示求和；
步骤2-8-2)采用步骤2-7-1)得到的参数作为本次迭代的权重值；从剩余的图片中随机选取一组图片，经步骤2-1)、步骤2-2)、步骤2-3)、步骤2-4)、步骤2-5)、步骤2-6)、步骤2-7)和步骤2-8-1)，得到新的参数组合；反复迭代，直至完成一次迭代；
步骤2-8-3)对训练图片进行重新洗牌，转至步骤2-2)；反复执行，直至训练出模型的最优参数组合。
步骤3)将待检测的图片采用双线性插值的方法对待检测的图片进行裁剪，使其满足车道线检测模型输入所需大小：256×512×3，然后输入具有最优参数组合的车道线检测模型，输出道路图像的车道线检测结果。
利用一组图片对训练好的车道线检测模型进行验证：
对于待检测的图片，利用双线性插值将待测图片的尺寸调整至模型输入所需大小256×512×3；
将调整后的图片输入至具有最优参数的车道线检测模型，经模型前向传输得到预测结果；
将输出结果最大概率值所对应的类别预测图与真实标签图进行比较，若一致，则预测正确，反之，则预测错误；
执行上述步骤，检测全部待测图片，根据比较结果可以发现本发明的方法检测准确度很高。
实施例2
基于上述方法，本发明的实施例2提出了一种基于长距离信息融合的车道线检测***。该***包括：训练好的车道线检测模型、预处理模块和检测模块；其中，
所述预处理模块，用于对待检测的图片进行预处理，采用双线性插值的方法对待检测的图片进行裁剪，得到尺寸为256×512×3的图片；
所述检测模块，用于将预处理后的图片输入预先训练好的车道线检测模型，得到车道线与背景分割的检测图像，其中，白色表示车道线，黑色表示背景。
所述车道线检测模型包括：特征降维模块、长距离特征关联模块、全局信息融合模块、特征重建模块和补丁判别模块；其中，
所述特征降维模块，用于对输入的预处理后的待检测图像进行降维并提取低层图像特征；
所述长距离特征关联模块，用于对低层图像特征进行扩展，针对车道线的特殊性，增强车道线远距离特征点间的关联性；
所述全局信息融合模块，用于计算深层车道线特征与非车道线特征间的全局关联性，进行图像全局的信息融合；
所述特征重建模块，用于将全局信息融合后的特征、长距离关联特征及低层图像特征重建为图像输入维度，得到与输入图像同等大小的重建图像；
所述补丁判别模块，用于判别重建图像的置信度。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于长距离信息融合的车道线检测方法，所述方法包括：
对待检测的图片进行预处理；
将预处理得到的图像输入预先训练好的车道线检测模型，得到车道线与背景分割的检测图像，其中，白色表示车道线，黑色表示背景；
所述车道线检测模型包括：特征降维模块、长距离特征关联模块、全局信息融合模块、特征重建模块和补丁判别模块；其中，
所述特征降维模块，用于对输入的预处理后的待检测图像进行降维并提取低层图像特征；
所述长距离特征关联模块，用于对低层图像特征进行扩展，针对车道线的特殊性，增强车道线远距离特征点间的关联性；
所述全局信息融合模块，用于计算深层车道线特征与非车道线特征间的全局关联性，进行图像全局的信息融合；
所述特征重建模块，用于将全局信息融合后的特征、长距离关联特征及低层图像特征重建为图像输入维度，得到与输入图像同等大小的重建图像；
所述补丁判别模块，用于判别重建图像的置信度；
所述长距离特征关联模块包括非对称卷积单元和拼接单元；其中，
所述非对称卷积单元包括并行的第一分支和第二分支；第一分支为n×1，步长为1的卷积层；第二分支为1×n，步长为1的卷积层；上述卷积层均采用ReLU作为激活函数；n为大于1的整数；
所述拼接单元的输入为第一分支的输出x1和第二分支的输出x2，所述拼接单元的输出为经扩展后的特征图X，所述拼接单元的处理过程为：
X＝concat(x1,x2)；
所述全局信息融合模块包括并联的位置注意力模块和通道注意力模块；其中，
所述位置注意力模块包括3个1×1卷积块，该位置注意力模块的具体处理为：计算不同像素点的相关性，并对特征进行加权求和；
不同像素点的相关性sji表示为：
加权求和Ej表示为：
其中，B、C和D分别表示输入矩阵A通过3个1×1卷积层的输出矩阵，每个矩阵的维度均为C×H×W，其中C、H和W分别表示特征图的通道数、高度和宽度，Bi,Cj,Di分别表示矩阵B的第i个行向量、矩阵C的第j个列向量，以及矩阵D的第i个行向量，sji表示全局像素点间相关性矩阵S的第(j,i)个元素，Ej表示特征图E的第j个列向量，Aj表示输入矩阵A的第j个列向量，α表示权重系数，N表示特征图像素点个数，∑表示求和运算；
所述通道注意力模块的具体处理为：计算特征图不同通道的相关性，并对特征进行加权求和；
不同通道的相关性Gqk表示为：
其中，Gqk表示通道相关性矩阵G的第(q,k)个元素，Ak表示输入矩阵A的第k个行向量，Aq表示输入矩阵A的第q个列向量；
加权求和Fq表示为：
其中，Fq表示特征图F的第q个列向量，β表示权重系数；
将两个并行的分支输出的特征图E和F进行元素级相加，特征图X表示如下：
X＝E+F。
2.根据权利要求1所述的基于长距离信息融合的车道线检测方法，其特征在于，所述预处理具体为：采用双线性插值的方法对待检测的图片进行裁剪，得到尺寸为256×512×3的图像。
3.根据权利要求2所述的基于长距离信息融合的车道线检测方法，其特征在于，所述特征降维模块包括依次连接的第一卷积块和第二卷积块；其中，
所述第一卷积块包括2层3×3，步长为1的卷积和一个ReLU函数；
所述第二卷积块包括3层3×3，步长为1的卷积和一个ReLU函数。
4.根据权利要求3所述的基于长距离信息融合的车道线检测方法，其特征在于，所述特征重建模块包括级联的5个步长为2的转置卷积层和5个批归一化层；其中，所述转置卷积层，用于实现高层抽象特征向输出层输出结果的特征映射，并将特征图大小放大两倍；
所述批归一化层，用于将特征图归一化。
5.根据权利要求4所述的基于长距离信息融合的车道线检测方法，其特征在于，所述补丁判别模块包括级联的4个卷积块和1个1×1、步长为1的卷积块；前4个卷积块均包括1个3×3、步长为2的卷积层、1个批归一化层和1个LeakRelu激活函数；1个1×1、步长为1的卷积块用于将特征图由16×32×512的维度转化为16×32×1的置信度图。
6.根据权利要求5所述的基于长距离信息融合的车道线检测方法，其特征在于，所述方法还包括车道线检测模型的训练步骤；具体包括：
步骤1)选取图片经预处理后建立训练集；
步骤2)对训练集的图片进行标注，得到有标签的训练集，并按每组u张随机分成U组；
步骤3)随机选取一组图片输入车道线检测模型，输出一组检测图像；
步骤4)采用加权交叉熵计算检测结果与真实标签的误差：
其中，表示真实标签y与检测结果y之间的平均误差，p(xr)表示第r个样本的模型前向输出结果，q(xr)表示第r个样本的真实标签，m表示分类的类别数；
步骤5)基于梯度下降法对模型的所有参数进行调整，得到新的模型参数组合，转入步骤3)；不断反复，直至U组图片全部输入模型，进入步骤6)；
步骤6)对训练集的图片进行重新洗牌，转至步骤1)；直至训练出模型的最优参数组合，得到训练好的车道线检测模型。
7.一种基于长距离信息融合的车道线检测***，其特征在于，所述***包括：预处理模块、检测模块和训练好的车道线检测模型；其中，
所述预处理模块，用于对待检测的图片进行预处理，采用双线性插值的方法对待检测的图片进行裁剪，得到尺寸为256×512×3的图片；
所述检测模块，用于将预处理后的图片输入训练好的车道线检测模型，得到车道线与背景分割的检测图像，其中，白色表示车道线，黑色表示背景；
所述车道线检测模型包括：特征降维模块、长距离特征关联模块、全局信息融合模块、特征重建模块和补丁判别模块；其中，
所述特征降维模块，用于对输入的预处理后的待检测图像进行降维并提取低层图像特征；
所述长距离特征关联模块，用于对低层图像特征进行扩展，针对车道线的特殊性，增强车道线远距离特征点间的关联性；
所述全局信息融合模块，用于计算深层车道线特征与非车道线特征间的全局关联性，进行图像全局的信息融合；
所述特征重建模块，用于将全局信息融合后的特征、长距离关联特征及低层图像特征重建为图像输入维度，得到与输入图像同等大小的重建图像；
所述补丁判别模块，用于判别重建图像的置信度；
所述长距离特征关联模块包括非对称卷积单元和拼接单元；其中，
所述非对称卷积单元包括并行的第一分支和第二分支；第一分支为n×1，步长为1的卷积层；第二分支为1×n，步长为1的卷积层；上述卷积层均采用ReLU作为激活函数；n为大于1的整数；
所述拼接单元的输入为第一分支的输出x1和第二分支的输出x2，所述拼接单元的输出为经扩展后的特征图X，所述拼接单元的处理过程为：
X＝concat(x1,x2)；
所述全局信息融合模块包括并联的位置注意力模块和通道注意力模块；其中，
所述位置注意力模块包括3个1×1卷积块，该位置注意力模块的具体处理为：计算不同像素点的相关性，并对特征进行加权求和；
不同像素点的相关性sji表示为：
加权求和Ej表示为：
其中，B、C和D分别表示输入矩阵A通过3个1×1卷积层的输出矩阵，每个矩阵的维度均为C×H×W，其中C、H和W分别表示特征图的通道数、高度和宽度，Bi,Cj,Di分别表示矩阵B的第i个行向量、矩阵C的第j个列向量，以及矩阵D的第i个行向量，sji表示全局像素点间相关性矩阵S的第(j,i)个元素，Ej表示特征图E的第j个列向量，Aj表示输入矩阵A的第j个列向量，α表示权重系数，N表示特征图像素点个数，∑表示求和运算；
所述通道注意力模块的具体处理为：计算特征图不同通道的相关性，并对特征进行加权求和；
不同通道的相关性Gqk表示为：
其中，Gqk表示通道相关性矩阵G的第(q,k)个元素，Ak表示输入矩阵A的第k个行向量，Aq表示输入矩阵A的第q个列向量；
加权求和Fq表示为：
其中，Fq表示特征图F的第q个列向量，β表示权重系数；
将两个并行的分支输出的特征图E和F进行元素级相加，特征图X表示如下：
X＝E+F。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010928733.7A CN112149526B (zh) | 2020-09-07 | 2020-09-07 | 一种基于长距离信息融合的车道线检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010928733.7A CN112149526B (zh) | 2020-09-07 | 2020-09-07 | 一种基于长距离信息融合的车道线检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112149526A CN112149526A (zh) | 2020-12-29 |
| CN112149526B true CN112149526B (zh) | 2023-11-28 |
Family
ID=73890788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010928733.7A Active CN112149526B (zh) | 2020-09-07 | 2020-09-07 | 一种基于长距离信息融合的车道线检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112149526B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011338B (zh) * | 2021-03-19 | 2023-08-22 | 华南理工大学 | 一种车道线检测方法及*** |
| CN114550135B (zh) * | 2022-02-22 | 2023-04-18 | 无锡物联网创新中心有限公司 | 一种基于注意力机制和特征聚合的车道线检测方法 |
| CN115471732B (zh) * | 2022-09-19 | 2023-04-18 | 温州丹悦线缆科技有限公司 | 电缆的智能化制备方法及其*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242127A (zh) * | 2020-01-15 | 2020-06-05 | 上海应用技术大学 | 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法 |
| CN111401373A (zh) * | 2020-03-04 | 2020-07-10 | 武汉大学 | 基于分组非对称卷积的高效语义分割方法 |
| CN111582201A (zh) * | 2020-05-12 | 2020-08-25 | 重庆理工大学 | 一种基于几何注意力感知的车道线检测*** |
| CN111611879A (zh) * | 2020-04-30 | 2020-09-01 | 杭州电子科技大学 | 一种基于空间逐点注意力机制的场景解析方法 |
-
2020
- 2020-09-07 CN CN202010928733.7A patent/CN112149526B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242127A (zh) * | 2020-01-15 | 2020-06-05 | 上海应用技术大学 | 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法 |
| CN111401373A (zh) * | 2020-03-04 | 2020-07-10 | 武汉大学 | 基于分组非对称卷积的高效语义分割方法 |
| CN111611879A (zh) * | 2020-04-30 | 2020-09-01 | 杭州电子科技大学 | 一种基于空间逐点注意力机制的场景解析方法 |
| CN111582201A (zh) * | 2020-05-12 | 2020-08-25 | 重庆理工大学 | 一种基于几何注意力感知的车道线检测*** |
Non-Patent Citations (1)
| Title |
|---|
| EL-GAN: Embedding Loss Driven Generative Adversarial Networks for Lane Detection;Mohsen Ghafoorian 等;ECCV 2018;第1-17页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112149526A (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325751B (zh) | 基于注意力卷积神经网络的ct图像分割*** | |
| CN108509978B (zh) | 基于cnn的多级特征融合的多类目标检测方法及模型 | |
| CN107564025B (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
| CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及*** | |
| CN111563508A (zh) | 一种基于空间信息融合的语义分割方法 | |
| CN113642390B (zh) | 一种基于局部注意力网络的街景图像语义分割方法 | |
| CN111369522B (zh) | 基于生成对抗卷积神经网络的光场显著性目标检测方法 | |
| CN111932577B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| CN110020658B (zh) | 一种基于多任务深度学习的显著目标检测方法 | |
| CN115035361A (zh) | 基于注意力机制和特征交叉融合的目标检测方法及*** | |
| CN113076957A (zh) | 一种基于跨模态特征融合的rgb-d图像显著性目标检测方法 | |
| CN111079739A (zh) | 一种多尺度注意力特征检测方法 | |
| CN111027576A (zh) | 基于协同显著性生成式对抗网络的协同显著性检测方法 | |
| CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
| CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及*** | |
| CN111815526B (zh) | 基于图像滤波和cnn的有雨图像雨条纹去除方法及*** | |
| CN116612283A (zh) | 一种基于大卷积核骨干网络的图像语义分割方法 | |
| CN112800932B (zh) | 海上背景下显著船舶目标的检测方法及电子设备 | |
| CN116452900A (zh) | 一种基于轻量级神经网络的目标检测方法 | |
| CN113962332B (zh) | 基于自优化融合反馈的显著目标识别方法 | |
| CN115147727A (zh) | 一种遥感影像不透水面提取方法及*** | |
| CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
| CN117557775B (zh) | 基于红外和可见光融合的变电站电力设备检测方法及*** | |
| CN117689890B (zh) | 一种基于晴雾场景的语义分割方法、装置及存储介质 | |
| CN117392392B (zh) | 一种割胶线识别与生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |