CN114463721A - 一种基于空间特征交互的车道线检测方法 - Google Patents

一种基于空间特征交互的车道线检测方法 Download PDF

Info

Publication number
CN114463721A
CN114463721A CN202210113686.XA CN202210113686A CN114463721A CN 114463721 A CN114463721 A CN 114463721A CN 202210113686 A CN202210113686 A CN 202210113686A CN 114463721 A CN114463721 A CN 114463721A
Authority
CN
China
Prior art keywords
feature
lane line
interaction
spatial
line detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210113686.XA
Other languages
English (en)
Inventor
宋立新
焦守文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202210113686.XA priority Critical patent/CN114463721A/zh
Publication of CN114463721A publication Critical patent/CN114463721A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空间特征交互的车道线检测方法。将车道线检测问题定义为基于空间特征交互的行方向上的位置选择、分类。目的是在保证更快检测速度的同时，通过空间特征的交互，使每个位置都能感知同一特征图中的所有空间信息，可以很好地改善在受到车辆遮挡、地面磨损、光线环境等因素影响下检测效果不好的问题。另外，本发明在上采样阶段提出了一种结合粗粒度和细粒度特征的双边上采样，可以精确地将低分辨率特征图恢复为像素级预测。本发明包括以下步骤：步骤一：对训练数据进行处理；步骤二：构建基于空间特征交互的车道线检测网络；步骤三：车道线检测模型的训练。步骤四：车道线检测模型的测试。本发明属于自动驾驶技术领域。

Description

一种基于空间特征交互的车道线检测方法
技术领域
本发明涉及汽车辅助驾驶或者自动驾驶技术领域，尤其涉及一种车道线检测方法。
背景技术
车道线检测是自动感知标记车道线形状和位置的过程，是自动驾驶***的关键组成部分。车道线检测作为自动驾驶中的一个基本模块，在车辆实时定位、行驶路线规划、车道保持辅助和自适应巡航控制等应用中起着至关重要的作用。由于严重的遮挡、恶劣的天气条件、模糊的路面以及车道本身固有的细长特性，这让车道线检测仍然存在许多挑战。
传统的车道线检测方法通常依靠手工操作来提取特征，然后通过后处理来拟合车道线的形状。然而，传统方法无法在真实场景中保持鲁棒性，因为手工设计的模型无法处理不同场景中车道线的多样性。
近年来，关于车道线检测的大多数研究都集中在深度学习。早期的基于深度学习的方法是通过分割来检测车道线，但由于自动驾驶对于实时性的严苛要求，一个更快的检测速度是车道线检测算法必不可少的。为此，行向检测的方法提出将车道线检测定义为寻找车道线在图像中某些行的位置的集合，即基于行方向上的位置选择、分类。尽管该方法拥有更快的检测速度，但由于车道线的细长特性，标注车道线像素的数量远小于背景像素，上述方法往往难以提取出细微的车道线特征，导致检测性能低下。更具有挑战性的情况是，车道线可能几乎完全被拥挤的汽车遮挡，只能用常识推测这条车道线。因此，普通CNN提取的低质量特征往往会降低细微的车道线特征，在复杂的场景中效果较差。其实，车道线之间有高度相关性，研究如何获得这种相关性，将对在具有弱视觉线索的复杂场景中更准确地检测车道线带来希望。
发明内容
本发明的目的在于克服上述现有技术的缺点，提出了一种基于空间特征交互的车道线检测方法。该方法将车道线检测问题定义为基于空间特征交互的行方向上的位置选择、分类。目的是在保证更快检测速度的同时，通过空间特征的交互，可以很好地改善在受到车辆遮挡、地面磨损、光线环境等因素影响下检测效果不好的问题，有效提高了车道线检测的精确性和鲁棒性。
上述的目的通过以下技术方案实现：
一种基于空间特征交互的车道线检测方法，该方法包括如下步骤：
步骤一：对训练数据进行处理；
步骤二：构建基于空间特征交互的车道线检测网络；
步骤三：利用步骤一处理后的数据对步骤二中所建立的网络模型进行训练，通过Adam优化策略对模型进行参数学习，保存最终训练模型；
步骤四：对步骤三中的最终网络模型进行测试。
所述的一种基于空间特征交互的车道线检测方法，其特征在于，所述的步骤一包括如下过程：
首先，将原始图像大小调整为288×800。然后，为了提高泛化能力，对缩放后的图像采用旋转、垂直和水平移动相结合的数据增强方法。此外，由于增强后图像边缘可能出现空缺，为了保持车道结构，将车道线延伸到图像的边界。
所述的一种基于空间特征交互的车道线检测方法，其特征在于，所述的步骤二包括如下过程：
(1)车道线检测网络整体结构
本发明将车道线检测问题定义为基于空间特征交互的行方向上的位置选择、分类。整个网络结构主要由三部分组成：特征提取器、空间特征交互模块、基于分类的预测器。另外，还有一个辅助分割模块，需要注意的是，辅助分割任务仅在训练阶段使用，在测试阶段会将其删除。
(2)特征提取器
在这一阶段将提取出初步的特征，将ResNet去除全连接层后作为特征提取器。该特征提取器由17层卷积层组成，每层卷积后都跟一个批量标准化层、ReLU激活函数层。
(3)空间特征交互模块
将特征提取器提取的特征图送入到空间特征交互模块，该模块通过在垂直和水平方向上移动切片特征图来达到空间信息的交互。在每次迭代中，切片特征图将在4个方向上循环移动，并在垂直和水平方向传递信息。最终需要进行K次迭代，确保每个位置都能接收到整个特征图中的信息。具体来说，设有一个大小为C×H×W的三维特征图张量X，其中C、H和W分别表示通道数、行数和列数。
Figure BDA0003495606960000021
表示第k次迭代时特征图X的值，其中c、i和j分别表示通道、行和列的索引。那么空间特征交互模块的正向计算公式(1)、(2)、(3)、(4)如下所示：
Figure BDA0003495606960000022
Figure BDA0003495606960000023
Figure BDA0003495606960000024
Figure BDA0003495606960000025
其中，k是迭代次数，K＝log2L。式(1)和式(2)中的L分别为W和H。f为非线性激活函数，本发明使用ReLU。上标为'的X表示已更新的元素。sk是第k次迭代中的移动步幅。式(1)、式(2)分别是垂直和水平方向信息传递公式。F是一组一维卷积核，其中m，c，n分别表示输入通道、输出通道、卷积核宽度的索引。这里输入通道数和输出通道数都等于C。式(1)和式(2)中的Z是信息传递的中间结果。注意，特征图X在水平方向上分为H个切片，在垂直方向上分为W个切片。移动步幅sk由迭代次数k控制，动态确定信息传递距离。
信息传递有四个方向，本发明使用“从下到上”、“从上到下”作为垂直信息交互，“从左到右”、“从右到左”作为水平信息交互。通过在垂直和水平方向上不断地移动切片特征图，使每个位置都能交互和感知同一特征图中的所有空间信息。
(4)基于分类的预测器
为追求更快的检测速度，网络的预测部分是在每个预定义的行上做车道线位置的选择、分类。根据训练数据选择h个预定义行，每个预定义行被划分成(w+1)个小单元。在进行基于分类的预测时，将空间特征交互模块学习到的丰富的特征图通过两个全连接层映射到逐行分类所需维度的特征图m×h×(w+1)，其中m表示车道线的数量。然后在h个预定义行上分别作(w+1)维的分类。把所有预定义行上的车道线位置都找到，那么整条车道线也就预测出来了。
(5)辅助分割模块
因分割网络对车道线边缘有更精细的预测，但因其更大的计算量，本发明仅在训练阶段使用分割任务，辅助主网络更好地训练模型。这样，即使增加了额外的分割任务，也不会影响检测速度。在辅助分割任务中，首先将空间特征交互模块处理过后的特征图与特征提取器提取的两个不同尺度的特征图统一成同样大小的特征图，然后将三者拼接，得到的特征图通过一层卷积层，再通过双边上采样将其上采样至与原图大小一致的特征图作分割预测。其中双边上采样分为两部分，一部分依赖于双线性差值，可得到粗粒度的上采样特征；另一部分依赖于转置卷积，来微调粗粒度的细微信息丢失。两部分的结果通过加和操作来融合。
所述的一种基于空间特征交互的车道线检测方法，其特征在于，所述的步骤三包括如下过程：
将处理后的车道线图像作为网络的输入，使用Adam优化算法使得复合损失函数最小来训练模型。复合损失为：Ltotal＝Lcls+βLseg。其中，Lcls为分类损失，Lseg为分割损失，β为损失系数。本发明使用焦点损失作为分类损失，使用交叉熵作为辅助分割损失。Lcls和Lseg如公式(5)、(6)所示：
Figure BDA0003495606960000031
其中，p∈[0,1]是模型对于标签y＝1的预测概率，α∈[0,1]是平衡因子，(1-p)γ是样本难度权重调制因子。
Figure BDA0003495606960000032
其中，p∈[0,1]是模型对于标签y＝1的预测概率，α∈[0,1]是平衡因子。
模型训练采用早停的策略来防止发生过拟合，训练完成后，保存最终训练模型。
所述的一种基于空间特征交互的车道线检测方法，其特征在于，所述的步骤四包括如下过程：
首先把原始图像大小调整为288×800。将处理后的车道线图像作为网络的输入，加载训练好的模型，经过正向传播，即可得到车道线的检测结果。
本发明具有以下有益效果：
本发明所述的基于空间特征交互的车道线检测方法，相比于现有方法，鲁棒性增强，能够更好地适应复杂道路状况，不同光线条件的道路状况等。通过在垂直和水平方向上不断地移动切片特征图，使每个位置都能交互和感知同一特征图中的所有空间信息。车道线检测是一项高度依赖于周围线索的任务。如果一条车道线被遮挡或者磨损，但因车道线具有较强的形状先验信息，可以通过捕获行和列之间像素的空间关系，从其他车道、汽车方向、道路形状或其他视觉线索来推断它。另外，本发明在上采样阶段提出了一种结合粗粒度和细粒度特征的双边上采样，它可以精确地将低分辨率特征图恢复为像素级预测。最后，本发明所述检测方法是在每个预定义的行上做车道线位置的选择、分类。因预定义的行数远远小于图像的高度，所以本发明所述的车道线检测方法可以达到更快的检测速度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的流程示意图；
图2为本发明的车道线检测网络结构示意图；
图3为本发明的空间特征交互模块示意图；
图4为本发明的空间特征交互“从右到左”信息传递示意图；
图5为本发明的双边上采样结构示意图；
图6为本发明的车道线检测效果图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明所述的一种基于空间特征交互的车道线检测方法，包括以下步骤：一、对训练数据进行处理；二、构建基于空间特征交互的车道线检测网络；三、利用步骤一处理后的数据对步骤二中所建立的网络模型进行训练，通过Adam优化策略对模型进行参数学习，保存最终训练模型；四、对步骤三中的最终网络模型进行测试。
步骤一：对训练数据进行处理；
本实施例使用CULane数据集，由安装在六辆由北京不同驾驶员驾驶的不同车辆上的摄像机收集。CULane数据集收集了超过55小时的视频，并提取了133,235帧。其中训练集大小为88880帧，验证集大小为9675帧，测试集大小为34680帧。该数据集包含9种不同的场景，包括正常、拥挤、弯道、眩光、夜晚、无车道、阴影、十字路口和市区箭头场景。
首先，为了平衡检测的速度，将原始数据集的图像大小缩放至288×800。然后，为了提高泛化能力，对缩放后的图像采用旋转、垂直和水平移动相结合的数据增强方法。此外，由于增强后图像边缘可能出现空缺，为了保持车道结构，将车道线延伸到图像的边界。
步骤二：构建基于空间特征交互的车道线检测网络；
(1)车道线检测网络整体结构
本发明将车道线检测问题定义为基于空间特征交互的行方向上的位置选择、分类。整个网络结构如图2所示，主要由三部分组成：特征提取器、空间特征交互模块、基于分类的预测器。另外，还有一个辅助分割模块，需要注意的是，辅助分割任务仅在训练阶段使用，在测试阶段会将其删除。
(2)特征提取器
在这一阶段将提取出初步的特征，将ResNet去除全连接层后作为特征提取器。该特征提取器由17层卷积层组成，每层卷积后都跟一个批量标准化层、ReLU激活函数层。
(3)空间特征交互模块
将特征提取器提取的特征图送入到空间特征交互模块，该模块通过在垂直和水平方向上移动切片特征图来达到空间信息的交互。在每次迭代中，切片特征图将在4个方向上循环移动，并在垂直和水平方向传递信息。最终需要进行K次迭代，确保每个位置都能接收到整个特征图中的信息。具体来说，设有一个大小为C×H×W的三维特征图张量X，其中C、H和W分别表示通道数、行数和列数。
Figure BDA0003495606960000041
表示第k次迭代时特征图X的值，其中c、i和j分别表示通道、行和列的索引。那么空间特征交互模块的正向计算公式(1)、(2)、(3)、(4)如下所示：
Figure BDA0003495606960000042
Figure BDA0003495606960000043
Figure BDA0003495606960000044
Figure BDA0003495606960000051
其中，k是迭代次数，K＝log2L。式(1)和式(2)中的L分别为W和H。f为非线性激活函数，本发明使用ReLU。上标为'的X表示已更新的元素。sk是第k次迭代中的移动步幅。式(1)、式(2)分别是垂直和水平方向信息传递公式。F是一组一维卷积核，其中m，c，n分别表示输入通道、输出通道、卷积核宽度的索引。这里输入通道数和输出通道数都等于C。式(1)和式(2)中的Z是信息传递的中间结果。注意特征图X在水平方向上分为H个切片，在垂直方向上分为W个切片，如图3(a)和图3(b)所示。移动步幅sk由迭代次数k控制，动态确定信息传递距离。
信息传递有四个方向，本发明使用“从下到上”(如图3(a)所示)、“从上到下”作为垂直信息交互，“从左到右”、“从右到左”(如图3(b)所示)作为水平信息交互。通过在垂直和水平方向上不断地移动切片特征图，使每个位置都能交互和感知同一特征图中的所有空间信息。这里以“从右到左”的信息传递作一个说明，如图4所示。当迭代次数k＝1时，s1＝1，每个Xi的列可以接收到Xi+1的特征。由于重复移动，在末尾处的列也可以接收到另一侧的特征，即Xw-1可以接收到X0的特征。当迭代次数k＝2时，s2＝2，每个Xi的列可以接收到Xi+2的特征。以X0为例，X0在第二次迭代中可以接收到X2的信息，考虑到在前一次迭代中，X0收到了来自X1的信息，而X2收到了来自X3的信息，现在X0仅在两次迭代中就收到了来自X0、X1、X2、X3的信息。接下来的迭代类似于上面的过程。经过所有K次迭代后，当迭代次数k＝K时，每个Xi都可以感知整个特征图中的信息。
(4)基于分类的预测器
为追求更快的检测速度，网络的预测部分是在每个预定义的行上做车道线位置的选择、分类。根据训练数据选择h个预定义行，每个预定义行被划分成(w+1)个小单元。在进行基于分类的预测时，将空间特征交互模块学习到的丰富的特征图通过两个全连接层映射到逐行分类所需维度的特征图m×h×(w+1)，其中m表示车道线的数量。然后在h个预定义行上分别作(w+1)维的分类。把所有预定义行上的车道线位置都找到，那么整条车道线也就预测出来了。
(5)辅助分割模块
因分割网络对车道线边缘有更精细的预测，但因其更大的计算量，本发明仅在训练阶段使用分割任务，辅助主网络更好地训练模型。这样，即使增加了额外的分割任务，也不会影响检测速度。在辅助分割任务中，首先将空间特征交互模块处理过后的特征图与特征提取器提取的两个不同尺度的特征图统一成同样大小的特征图，然后将三者拼接，得到的特征图通过一层卷积层，再通过双边上采样将其上采样至与原图大小一致的特征图作分割预测。
双边上采样由粗粒度分支和细粒度分支组成，其结构如图5所示。粗粒度分支将从上一层快速获取粗略的上采样特征。首先用1×1卷积将通道数减少到输入特征图的1/2，然后双线性插值直接用于对输入特征图进行上采样。细粒度分支用于微调粗粒度分支的细微信息丢失，且路径比粗粒度分支更深。使用带有步长为2的转置卷积对特征图进行上采样，同时将通道数量减少1/2。之后，堆叠了两个非瓶颈块(non-bottleneck)。非瓶颈块由具有BN和ReLU的4个3×1和1×3卷积组成，可以保持特征图的形状，并通过分解的方式高效提取信息。最后将两个分支进行加和操作。
步骤三：利用步骤一处理后的数据对步骤二中所建立的网络模型进行训练，通过Adam优化策略对模型进行参数学习，保存最终训练模型；
对于CULane数据集，本发明使用由数据集定义的行。具体来说，图像高度为590的CULane数据集的行的范围为260到580，步长为10。每个预定义行上单元格的数量设置为200。优化过程中，将处理后的车道线图像作为网络的输入，使用Adam优化算法使得复合损失函数最小来训练模型，其动量为0.9，以4e-4初始化的余弦衰减学习率，批量大小为16，训练迭代次数为50。复合损失为：Ltotal＝Lcls+βLseg。其中，Lcls为分类损失，Lseg为分割损失，β为损失系数，这里将β设为1。本发明使用焦点损失作为分类损失，使用交叉熵作为辅助分割损失。Lcls和Lseg如公式(5)、(6)所示：
Figure BDA0003495606960000061
其中，p∈[0,1]是模型对于标签y＝1的预测概率，α∈[0,1]是平衡因子，(1-p)γ是样本难度权重调制因子。
Figure BDA0003495606960000062
其中，p∈[0,1]是模型对于标签y＝1的预测概率，α∈[0,1]是平衡因子。
模型训练采用早停的策略来防止发生过拟合，训练完成后，保存最终训练模型。
步骤四：对步骤三中的最终网络模型进行测试。
首先把原始图像大小缩放至288×800。将处理后的车道线图像作为网络的输入，加载训练好的模型，经过正向传播，即可得到车道线的检测结果。从图6中可以看出，本发明方法在夜晚车辆拥挤时也能准确的检测出车道线。对于CULane数据集，每条车道线被视为一条30像素宽的线。如果车道线的预测值和真实值的交并比(IoU)大于阈值(0.5)，则认为是真阳性(TP)。F1分数作为评价指标,如公式(7)所示：
Figure BDA0003495606960000063
其中，
Figure BDA0003495606960000064
FP和FN分别为假阳性和假阴性。在CULane数据集下测试结果如表1所示。
表1实验结果：
Figure BDA0003495606960000065
上述实施例只是对本发明的示例性说明，并不限于它的保护范围，本领域技术人员还可以对其局部进行改变，只要没有超出本发明的精神实质，都在本发明的保护范围内。

Claims (9)

1.一种基于空间特征交互的车道线检测方法，其特征在于，包括以下步骤：
步骤一：对训练数据进行处理；
步骤二：构建基于空间特征交互的车道线检测网络；
步骤三：利用步骤一处理后的数据对步骤二中所建立的网络模型进行训练，通过Adam优化策略对模型进行参数学习，保存最终训练模型；
步骤四：对步骤三中的最终网络模型进行测试。
2.根据权力要求1所述的一种基于空间特征交互的车道线检测方法，其特征在于，所述步骤一中对训练数据进行处理包括如下过程：
首先，将原始图像大小调整为288×800；然后，为了提高泛化能力，对缩放后的图像采用旋转、垂直和水平移动相结合的数据增强方法；此外，由于增强后图像边缘可能出现空缺，为了保持车道结构，将车道线延伸到图像的边界。
3.根据权力要求1所述的一种基于空间特征交互的车道线检测方法，其特征在于，所述步骤二中车道线检测网络结构主要由三部分组成：特征提取器、空间特征交互模块、基于分类的预测器；另外，还有一个辅助分割模块，需要注意的是，辅助分割任务仅在训练阶段使用，在测试阶段会将其删除。
4.根据权力要求3所述的方法，其特征在于，所述的特征提取器是将ResNet去除全连接层后得到；该特征提取器由17层卷积层组成，每层卷积后都跟一个批量标准化层、ReLU激活函数层。
5.根据权力要求3所述的方法，其特征在于，所述的空间特征交互模块通过在垂直和水平方向上移动切片的特征图来达到空间信息的交互；
信息传递有四个方向，本发明使用“从下到上”、“从上到下”作为垂直信息交互，“从左到右”、“从右到左”作为水平信息交互；通过在垂直和水平方向上不断地移动切片特征图，进行K次迭代，使每个位置都能交互和感知同一特征图中的所有空间信息；具体来说，设有一个大小为C×H×W的三维特征图张量X，其中C、H和W分别表示通道数、行数和列数，
Figure FDA0003495606950000011
表示第k次迭代时特征图X的值，其中c、i和j分别表示通道、行和列的索引；那么空间特征交互模块的正向计算公式(1)、(2)、(3)、(4)如下所示：
Figure FDA0003495606950000012
Figure FDA0003495606950000013
Figure FDA0003495606950000014
Figure FDA0003495606950000015
其中，k是迭代次数，K＝log2 L，式(1)和式(2)中的L分别为W和H，f为非线性激活函数，上标为'的X表示已更新的元素，sk是第k次迭代中的移动步幅；式(1)、式(2)分别是垂直和水平方向信息传递公式，F是一组一维卷积核，其中m，c，n分别表示输入通道、输出通道、卷积核宽度的索引，这里输入通道数和输出通道数都等于C，式(1)和式(2)中的Z是信息传递的中间结果，注意特征图X在水平方向上分为H个切片，在垂直方向上分为W个切片；移动步幅sk由迭代次数k控制，动态确定信息传递距离。
6.根据权力要求3所述的方法，其特征在于，所述的基于分类的预测器要在每个预定义的行上做车道线位置的选择、分类；
首先根据训练数据选择h个预定义行，每个预定义行被划分成(w+1)个小单元；在进行基于分类的预测时，将空间特征交互模块学习到的丰富的特征图通过两个全连接层映射到逐行分类所需维度的特征图m×h×(w+1)，其中m表示车道线的数量；然后在h个预定义行上分别作(w+1)维的分类，把所有预定义行上的车道线位置都找到，那么整条车道线也就预测出来了。
7.根据权力要求3所述的方法，其特征在于，所述的辅助分割模块仅在训练阶段使用，包括如下过程：
在辅助分割任务中，首先将空间特征交互模块处理过后的特征图与特征提取器提取的两个不同尺度的特征图统一成同一大小的特征图，然后将三者拼接，得到的特征图通过一层卷积层，再通过双边上采样将其上采样至与原图大小一致的特征图作分割预测；其中双边上采样分为两部分，一部分依赖于双线性差值，可得到粗粒度的上采样特征；另一部分依赖于转置卷积，来微调粗粒度的细微信息丢失。
8.根据权力要求7所述的方法，其特征在于，所述的双边上采样由粗粒度分支和细粒度分支组成。
粗粒度分支将从上一层快速获取粗略的上采样特征，首先用1×1卷积将通道数减少到输入特征图的1/2，然后双线性插值直接用于对输入特征图进行上采样；细粒度分支用于微调粗粒度分支的细微信息丢失，且路径比粗粒度分支更深，使用带有步长为2的转置卷积对特征图进行上采样，同时将通道数量减少1/2，之后堆叠了两个非瓶颈块(non-bottleneck)，非瓶颈块由具有BN和ReLU的4个3×1和1×3卷积组成，可以保持特征图的形状，并通过分解的方式高效提取信息；最后将两个分支进行加和操作。
9.根据权力要求1所述的一种基于空间特征交互的车道线检测方法，其特征在于，所述步骤三中网络模型训练采用Adam优化策略，其动量为0.9，以4e-4初始化的余弦衰减学习率，批量大小为16，训练迭代次数为50；模型训练采用早停的策略来防止发生过拟合。
CN202210113686.XA 2022-01-30 2022-01-30 一种基于空间特征交互的车道线检测方法 Pending CN114463721A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210113686.XA CN114463721A (zh) 2022-01-30 2022-01-30 一种基于空间特征交互的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210113686.XA CN114463721A (zh) 2022-01-30 2022-01-30 一种基于空间特征交互的车道线检测方法

Publications (1)

Publication Number Publication Date
CN114463721A true CN114463721A (zh) 2022-05-10

Family

ID=81412498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210113686.XA Pending CN114463721A (zh) 2022-01-30 2022-01-30 一种基于空间特征交互的车道线检测方法

Country Status (1)

Country Link
CN (1) CN114463721A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294548A (zh) * 2022-07-28 2022-11-04 烟台大学 一种基于行方向上位置选择和分类方法的车道线检测方法
CN115376091A (zh) * 2022-10-21 2022-11-22 松立控股集团股份有限公司 一种利用图像分割辅助的车道线检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294548A (zh) * 2022-07-28 2022-11-04 烟台大学 一种基于行方向上位置选择和分类方法的车道线检测方法
CN115376091A (zh) * 2022-10-21 2022-11-22 松立控股集团股份有限公司 一种利用图像分割辅助的车道线检测方法

Similar Documents

Publication Publication Date Title
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
CN108509978B (zh) 基于cnn的多级特征融合的多类目标检测方法及模型
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN111563909B (zh) 一种复杂街景图像语义分割方法
CN111222396B (zh) 一种全天候多光谱行人检测方法
CN110929578A (zh) 一种基于注意力机制的抗遮挡行人检测方法
CN112766188B (zh) 一种基于改进yolo算法的小目标行人检测方法
CN113627228B (zh) 一种基于关键点回归与多尺度特征融合的车道线检测方法
CN111368830B (zh) 基于多视频帧信息和核相关滤波算法的车牌检测识别方法
CN114463721A (zh) 一种基于空间特征交互的车道线检测方法
CN111652081B (zh) 一种基于光流特征融合的视频语义分割方法
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN110910413A (zh) 一种基于U-Net的ISAR图像分割方法
CN113762209A (zh) 一种基于yolo的多尺度并行特征融合路标检测方法
CN114120069B (zh) 基于方向自注意力的车道线检测***、方法和存储介质
CN112651423A (zh) 一种智能视觉***
CN114120272A (zh) 一种融合边缘检测的多监督智能车道线语义分割方法
CN112990065A (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN115035295A (zh) 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法
CN112766056A (zh) 一种基于深度神经网络的弱光环境车道线检测方法、装置
CN115527096A (zh) 一种基于改进YOLOv5的小目标检测方法
CN116486080A (zh) 一种基于深度学习的轻量化图像语义分割方法
CN116503709A (zh) 一种基于改进YOLOv5的雾霾天气下车辆检测方法
CN115294548B (zh) 一种基于行方向上位置选择和分类方法的车道线检测方法
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination