CN112241728A - 采用注意力机制学习上下文信息的实时车道线检测方法及*** - Google Patents

采用注意力机制学习上下文信息的实时车道线检测方法及*** Download PDF

Info

Publication number
CN112241728A
CN112241728A CN202011193555.4A CN202011193555A CN112241728A CN 112241728 A CN112241728 A CN 112241728A CN 202011193555 A CN202011193555 A CN 202011193555A CN 112241728 A CN112241728 A CN 112241728A
Authority
CN
China
Prior art keywords
feature map
lane line
layer
branch
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011193555.4A
Other languages
English (en)
Other versions
CN112241728B (zh
Inventor
孔斌
张露
杨静
王灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202011193555.4A priority Critical patent/CN112241728B/zh
Publication of CN112241728A publication Critical patent/CN112241728A/zh
Application granted granted Critical
Publication of CN112241728B publication Critical patent/CN112241728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种采用注意力机制学习上下文信息的实时车道线检测方法及***，采用编码‑解码结构，在编码过程中，设计了一个融合模块，通过建立特征提取网络的每一卷积层与注意力机制之间的相关性来学习上下文信息。然后，在解码过程中，在两个分支同步融合，可以更好将特征提取网络的细节特征以及上下文信息补充到上采样的操作中。来补偿丢失的细节信息，并在车道上生成精确的点。实现了利用注意力机制学习上下文信息的实时车道线检测算法，有效提升了算法的精度，且每张图像的处理时间仅为10ms。因此，更适合于智能驾驶场景下的车道线检测。

Description

采用注意力机制学习上下文信息的实时车道线检测方法及 ***
技术领域
本发明涉及智能汽车行驶安全技术领域，具体来说是一种采用注意力机制学习上下文信息的实时车道线检测方法及***。
背景技术
在智能汽车的环境感知中，车道线检测是一个基本功能模块，是车辆按照交通法规正确行驶的前提，正确的车道线检测能够使智能汽车对自己的位置与状态有进一步的决策与判断，车辆控制***基于这种决策改变自身的位置，保证车辆以安全的状态行驶。目前针对车道线的检测算法主要分为两类，分别为基于传统视觉的车道线检测算法和基于神经网络的车道线检测算法。基于传统视觉的车道线检测算法通过提取车道线的固有特征，比如颜色、纹理以及边缘信息等。之后，利用透视变换将图像转为鸟瞰图。最后，采用霍夫变换检测车道线。基于深度学习的车道线检测算法通过对大量的样本进行训练并自主学习特征，在光照变化、阴影、夜间、弯道等复杂驾驶环境皆具有较强的鲁棒性。大多数车道线检测算法采用end-to-end的方式将任务分成两个模块，一个是车道定位模块，另一个是后处理模块。车道定位模块输出图像中像素的类别(背景或车道线)，并没有考虑到像素之间的依赖关系或结构。因此，需要采用后处理模块过滤出错误检测，并采用聚类算法对定位出来的车道线进行聚类，形成最终车道。
现有的基于深度学习的车道线检测算法受制于训练标签的影响，只能检测到固定数目的车道线。由于行车中的并道等操作，车道线的数目是时刻在变换的。其次，网络中的池化操作会降低特征的分辨率，导致特征所携带的信息丢失。
如申请号为202010398306.2公开的一种基于几何注意力感知的车道线检测***，包括主干网络，设于主干网络之后的语义分割分支和几何距离嵌入分支，作用于解码器相邻两个阶段上采样层之间即设在整个车道线语义分割分支和几何距离嵌入分支之间的注意力信息传播模块，设于语义分割分支和几何距离嵌入分支末端的几何注意力感知模块，以及与主干网络和几何注意力感知模块连接的跳跃金字塔融合上采样模块。该***采用多任务分支网络结构，除了车道线分割任务以外还增加了几何距离嵌入分支，该分支通过学习车道线中心到边界的连续距离表示去指导车道线分割，从而改善由于高度依赖稀疏车道线标注而无法从复杂道路场景下有效检测车道线的问题。虽然该***能够一定程度上解决复杂道路场景下的车道线检测问题，但是由于其采用的是语义信息进行辅助分类，且只采用一个分支的几何信息融合了一次，且将注意力机制放在两个分支之间。该方法无法将卷积层特征和注意力机制联系起来，且未在两个分支同步融合，导致对于特征提取网络的细节特征及上下文信息补充不全面。
发明内容
本发明所要解决的技术问题在于如何提供一种适用复杂场景下的车道线检测方法。
本发明通过以下技术手段实现解决上述技术问题的：
采用注意力机制学习上下文信息的实时车道线检测方法，包括以下步骤：
S01.编码过程，将原图片输入卷积神经网络，卷积神经网络的第一层对原图片进行卷积操作，得到第一特征图；然后将第一特征输入注意力模型，注意力模型输出第二特征图，将第一特征图和第二特征图融合输出第三特征图，将第三特征图作为卷积神经网络下一层的输入，执行与上一层同样的操作，依次类推，直至最后一层，输出第四特征图；
S02.解码过程，将第四特征图分成二值化分支和可嵌入分支；针对二值化分支，将编码过程的提取的第四特征图首先进行一次上采样操作，将得到的特征图和卷积神经网络最后一层输出的第三特征图1×1的卷积操作后的特征进行concat操作，将得出的结果作为下一层的输入，然后执行与上一层相同的操作，以此类推，直至将编码阶段第1层提取的特征图和上采样结果进行融合后，进行一次3×3卷积操作，即得到二值化分支的特征图；针对可嵌入分支，采用与二值化分支相同的方法，直至编码阶段第一层提取的第三特征和上采样结果进行融合后，再进行一次上采样操作，即得到可嵌入分支的特征图；然后将二值化分支的特征与可陷入分支的特征图的元素相乘，得到属于车道线的像素位置；
S03.将所述像素位置聚类到不同的车道上，从而得到属于特定车道的车道点。
进一步的，其特征在于：所述步骤S01中，采用CBAM作为注意力模型，第一特征图输入注意力模型后，先采用公式(1)计算出通道注意力特征图，
Figure BDA0002753396670000031
然后将通道注意力特征图与第一特征图相乘得到中间特征图，再利用公式(2)计算出空间注意力特征图，
Figure BDA0002753396670000032
最后将空间注意力特征图和中间特征图相乘得到第三特征图；
其中，f代表特征图，AP代表平均池化层，MP代表最大池化层，w1和w0代表权重信息，公式(2)中符号；表示concat操作，σ表示sigmoid函数。
3、根据权利要求1所述的采用注意力机制学习上下文信息的实时车道线检测方法，其特征在于：所述步骤S02中，采用加权交叉熵损失函数训练二值分隔网络，公式如下：
Figure BDA0002753396670000033
其中，Lb表示损失函数。N表示像素的数目，yi表示像素i的类别0或者1，0表示像素类别为背景，1表示像素类别为车道线，pi表示像素i的类别的预测概率，wi表示像素i的权重信息。
进一步的，其特征在于：采用方差损失函数Lv和距离损失函数Ld相结合的方式进行训练可嵌入分割网络：
Figure BDA0002753396670000034
Figure BDA0002753396670000035
f(x)＝max(0,x)
其中M为车道线的数目，Ni为类别属于车道线i的像素的数目，μi为类别属于车道线i的所有像素平均值，pj为类别属于车道线i的像素j的值，μMi为类别属于车道线Mi的所有像素平均值。μMj为类别属于车道线Mj的所有像素平均值。
方差损失函数Lv和距离损失函数Ld的具体结合过程为：通过定义两个损失的权重系数a1和a2，分别和求出的方差损失和距离损失进行相乘，同时为了保证每个实例的中心和原点的距离接近，增加一个正则项进行约束α，最后的损失函数为
L＝a1×Lv+a2×Ld+α。
进一步的，其特征在于：所述步骤S03中，在聚类之后，还通过多项式拟合进行验证聚类效果；所述多项式拟合采用二次多项式拟合。
本发明还提供一种采用注意力机制学习上下文信息的实时车道线检测***，包括
编码模块，将原图片输入卷积神经网络，卷积神经网络的第一层对原图片进行卷积操作，得到第一特征图；然后将第一特征输入注意力模型，注意力模型输出第二特征图，将第一特征图和第二特征图融合输出第三特征图，将第三特征图作为卷积神经网络下一层的输入，执行与上一层同样的操作，依次类推，直至最后一层，输出第四特征图；
解码模块，将第四特征图分成二值化分支和可嵌入分支；针对二值化分支，将编码过程的提取的第四特征图首先进行一次上采样操作，将得到的特征图和卷积神经网络最后一层输出的第三特征图1×1的卷积操作后的特征进行concat操作，将得出的结果作为下一层的输入，然后执行与上一层相同的操作，以此类推，直至将编码阶段第1层提取的特征图和上采样结果进行融合后，进行一次3×3卷积操作，即得到二值化分支的特征图；针对可嵌入分支，采用与二值化分支相同的方法，直至编码阶段第一层提取的第三特征和上采样结果进行融合后，再进行一次上采样操作，即得到可嵌入分支的特征图；然后将二值化分支的特征与可嵌入分支的特征图的元素相乘，得到属于车道线的像素位置；
后处理模块，将所述像素位置聚类到不同的车道上，从而得到属于特定车道的车道点。
进一步的，所述编码模块中，采用CBAM作为注意力模型，第一特征图输入注意力模型后，先采用公式(1)计算出通道注意力特征图，
Figure BDA0002753396670000041
然后将通道注意力特征图与第一特征图相乘得到中间特征图，再利用公式(2)计算出空间注意力特征图，
Figure BDA0002753396670000051
最后将空间注意力特征图和中间特征图相乘得到第三特征图；
其中，f代表特征图，AP代表平均池化层，MP代表最大池化层，w1和w0代表权重信息，公式(2)中符号；表示concat操作，σ表示sigmoid函数。
进一步的，所述解码模块中，采用加权交叉熵损失函数训练二值分隔网络，公式如下：
Figure BDA0002753396670000052
其中，Lb表示损失函数。N表示像素的数目，yi表示像素i的类别0或者1，0表示像素类别为背景，1表示像素类别为车道线，pi表示像素i的类别的预测概率，wi表示像素i的权重信息。
进一步的，采用方差损失函数Lv和距离损失函数Ld相结合的方式进行训练可嵌入分割网络：
Figure BDA0002753396670000053
Figure BDA0002753396670000054
其中M为车道线的数目，Ni为类别属于车道线i的像素的数目，μi为类别属于车道线i的所有像素平均值，pj为类别属于车道线i的像素j的值，μMi为类别属于车道线Mi的所有像素平均值。μMj为类别属于车道线Mj的所有像素平均值。
方差损失函数Lv和距离损失函数Ld的具体结合过程为：通过定义两个损失的权重系数a1和a2，分别和求出的方差损失和距离损失进行相乘，同时为了保证每个实例的中心和原点的距离接近，增加一个正则项进行约束α，最后的损失函数为
L＝a1×Lv+a2×Ld+α。
进一步的，所述后处理模块中，在聚类之后，还通过多项式拟合进行验证聚类效果；所述多项式拟合采用二次多项式拟合。
本发明的优点在于：
本发明采用编码-解码结构，将车道线检测任务作为实例分割任务，可以检测任意数目的车道线。
具体的，在编码中，本发明设计了一个融合模块，通过建立特征提取网络的每一卷积层与注意力机制之间的相关性来学习上下文信息。然后，在解码中，在两个分支同步融合，可以更好将特征提取网络的细节特征以及上下文信息补充到上采样的操作中。来补偿丢失的细节信息，并在车道上生成精确的点。实现了利用注意力机制学习上下文信息的实时车道线检测算法，有效提升了算法的精度，且每张图像的处理时间仅为10ms。因此，更适合于智能驾驶场景下的车道线检测。
通过方差损失函数和距离损失函数相结合的方式，可以实现每个实例的中心点与远点的距离接近，可以更好的学习实例分割特征图。
通过多项式拟合，可以验证聚类效果，进一步保证检测的准确性。
附图说明
图1为本发明实施例中车道线检测流程框图；
图2为本发明实施例中编码阶段的特征提取网络结构图；
图3为本发明实施例中注意力模型CBAM的结构图；
图4为图1各步骤展开流程框图；
图5为本发明实施例中车道线检测方法在不同场景下的车道线检测结果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供一种采用注意力机制学习上下文信息的实时车道线检测方法，采用编码-解码结构，编码结构用来提取车道线的特征信息，解码结构获取车道线的实例分割特征图，方法具体包括以下步骤：
步骤1、编码过程：
如图1所示，本实施例的特征提取网络是以VGG16为基础。VGG16是一个分类网络，网络最终输出1000维的特征向量表示1000类的分数。若将最后的全连接层替换为卷积层，最终得到的特征图尺寸只有输入图像的1/32。又因为VGG16的网络结构中包含5个最大池化层，每经过一个最大池化层，特征图的分辨率便会缩小一倍，同时特征图所携带的信息也会丢失。因此，本实施例构建了一个融合模块，进而建立卷积特征与注意力机制特征之间的相关性来学习上下文信息。本实施例采用跳跃金字塔融合模块进行融合。
在神经网络中，卷积层通过卷积核和原始特征的线性结合得到输出特征。由于卷积核通常是局部的，为了增加感受野，往往采取堆叠卷积层的方式，实际上这种处理方式并不高效。注意力机制可以通过捕捉全局的信息来获得更大的感受野和上下文信息。由于CBAM是一个轻量的通用模块，可以将其融入到各种卷积神经网络中进行端到端的训练。因此，本实施例采用CBAM作为注意力机制模块。图2为CBAM的结构示意图。
编码过程具体为：将原图片输入卷积神经网络VGG16，卷积神经网络VGG16的第一层对原图片进行卷积操作，得到第一特征图；然后将第一特征输入注意力模型，注意力模型输出第二特征图，将第一特征图和第二特征图融合输出第三特征图，将第三特征图作为卷积神经网络下一层的输入，执行与上一层同样的操作，依次类推，直至最后一层，输出第四特征图。
由图2可看出，针对第一特征图，首先利用公式(1)求出通道注意力特征图，其次将通道注意力特征图与输入的特征图相乘得到中间特征图。之后利用公式(2)计算出空间注意力特征图，并将两者相乘得到最终的输出第二特征图。
Figure BDA0002753396670000071
Figure BDA0002753396670000072
其中，f代表特征图,AP代表平均池化层,MP代表最大池化层,w1和w0代表权重信息。公式(2)中符号；表示concat操作，σ表示sigmoid函数。
步骤2、解码过程：
本实施例将编码的最后一层分成二值化分支和可嵌入分支。二值化分支的功能是为了定位车道线的位置，可嵌入分支的功能是为了获取每条车道线的实例信息。为了保证输出图像与输入图像的大小一致，本实施例在解码阶段使用了上采样层。但是，如果本实施例直接通过上采样层提取特征，会丢失很多细节。因此，本实施例将编码阶段提取的特征与上采样结果进行融合，具体如图3所示。对于编码阶段的每一层提取出的特征均进行一次1×1的卷积操作进行降维。针对二值化分支，将编码阶段最后一层第五层提取出的特征首先进行一次上采样操作，将其得到的特征和1×1的卷积操作后的特征进行concat操作，将得出的结果送入下一层。以此类推，将编码阶段第1层提取的特征和上采样结果进行融合后，进行一次3×3卷积操作，即可得到与原图保持一样大小的二值化分支的特征图。可嵌入分支采用同样的流程，不同之处在于将编码阶段第1层提取的特征和上采样结果进行融合后，再进行一次3×3的上采样操作，即可得到可嵌入分支的特征图。这样就可以在特征提取过程中充分利用编码阶段提取的特征来弥补上采样层丢失的细节信息。
车道线的形状是细长，在整个图像中占据了很小的区域。背景信息远远大于车道线的信息，会造成类别不平衡。为了消除类别不平衡的影响，采用加权交叉熵损失函数训练二值分割网络，如公式(3)所示。
Figure BDA0002753396670000081
其中，Lb表示损失函数。N表示像素的数目，yi表示像素i的类别0或者1，0表示像素类别为背景，1表示像素类别为车道线，pi表示像素i的类别的预测概率，wi表示像素i的权重信息。
为了更好的学习实例分割特征图，采用方差损失和距离损失相结合的方式。方差损失Lv使得属于同一条车道线的像素之间的距离最小。距离损失Ld使得不属于同一条车道线的像素之间的距离最大。先距离，后方差
Figure BDA0002753396670000082
Figure BDA0002753396670000083
其中M为车道线的数目，Ni为类别属于车道线i的像素的数目，μi为类别属于车道线i的所有像素平均值，pj为类别属于车道线i的像素j的值，μMi为类别属于车道线Mi的所有像素平均值。μMj为类别属于车道线Mj的所有像素平均值。
采用方差损失和距离损失具体结合过程为：通过定义两个损失的权重系数a1和a2，分别和求出的方差损失和距离损失进行相乘。同时为了保证每个实例的中心(μ)和原点(图像的像素点)的距离不要过远，增加一个正则项进行约束α，最后的损失函数函数：a1×Lv+a2×Ld+α。其中，本实施例中，a1＝a2＝1.0，α＝0.005。
步骤3、后处理过程
通过前面的编码过程和解码过程可以得出两个分支的分割特征图。紧接着，将二值化分支生成的语义分割图的元素和可嵌入分支生成的分割图的元素相乘。这样可以得到更精确的属于车道线的像素位置。然后，将结果发送到后处理模块。后处理模块包含一个聚类算法，一般采用均值聚类算法将像素聚类到不同的车道上，从而得到属于特定车道的车道点。车道线检测流程如图4所示。为了验证聚类效果，聚类之后，还通过二次多项式拟合进行验证聚类效果。
为了验证本实施例的实验效果，和其他方法进行对比，由表1可以看出，本实施例不仅取得最高的准确率，耗时也最小，更加符号智能驾驶场景实时性的要求。
表4.不同算法的实验结果
准确率 FPR FNR 耗时(ms)
Densenet 0.871 0.122 0.575 42
Enet 0.899 0.094 0.436 86
Erfnet 0.940 0.058 0.174 53
Mobilenet 0.719 0.285 0.035 50
Ours 0.949 0.049 0.093 10
图5展示了不同场景下本实施例的检测效果。可见本实施例可以应对不同场景下的车道线检测，且取得较好的检测效果。其中最后结果图为采用本实施例方法获得的结果，真是结果图为实际结果。
本实施例首先通过在编码过程中建立卷积提取的特征与注意力机制提取的特征之间的相关性，以学习上下文信息，可以利用上下文信息来改善车道识别特征不明显的情况。其次，在解码模块中，利用编码模块学习到的上下文信息与上采样提取的特征融合来补偿丢失的细节信息。在公开数据集TuSimple中验证了本实施例的有效性。结果证明，本实施例可以处理不确定数量的车道，有效提升了算法的精度，且每张图像的处理时间仅为10ms。因此，更适合于智能驾驶场景下的车道线检测。
本实施例还对应的提供一种采用注意力机制学习上下文信息的实时车道线检测***，包括：
编码模块：
如图1所示，本实施例的特征提取网络是以VGG16为基础。VGG16是一个分类网络，网络最终输出1000维的特征向量表示1000类的分数。若将最后的全连接层替换为卷积层，最终得到的特征图尺寸只有输入图像的1/32。又因为VGG16的网络结构中包含5个最大池化层，每经过一个最大池化层，特征图的分辨率便会缩小一倍，同时特征图所携带的信息也会丢失。因此，本实施例构建了一个融合模块，进而建立卷积特征与注意力机制特征之间的相关性来学习上下文信息。本实施例采用跳跃金字塔融合模块进行融合。
在神经网络中，卷积层通过卷积核和原始特征的线性结合得到输出特征。由于卷积核通常是局部的，为了增加感受野，往往采取堆叠卷积层的方式，实际上这种处理方式并不高效。注意力机制可以通过捕捉全局的信息来获得更大的感受野和上下文信息。由于CBAM是一个轻量的通用模块，可以将其融入到各种卷积神经网络中进行端到端的训练。因此，本实施例采用CBAM作为注意力机制模块。图2为CBAM的结构示意图。
编码过程具体为：将原图片输入卷积神经网络VGG16，卷积神经网络VGG16的第一层对原图片进行卷积操作，得到第一特征图；然后将第一特征输入注意力模型，注意力模型输出第二特征图，将第一特征图和第二特征图融合输出第三特征图，将第三特征图作为卷积神经网络下一层的输入，执行与上一层同样的操作，依次类推，直至最后一层，输出第四特征图。
由图2可看出，针对第一特征图，首先利用公式(1)求出通道注意力特征图，其次将通道注意力特征图与输入的特征图相乘得到中间特征图。之后利用公式(2)计算出空间注意力特征图，并将两者相乘得到最终的输出第二特征图。
Figure BDA0002753396670000101
Figure BDA0002753396670000111
其中，f代表特征图,AP代表平均池化层,MP代表最大池化层,w1和w0代表权重信息。公式(2)中符号；表示concat操作，σ表示sigmoid函数。
解码模块：
本实施例将编码的最后一层分成二值化分支和可嵌入分支。二值化分支的功能是为了定位车道线的位置，可嵌入分支的功能是为了获取每条车道线的实例信息。为了保证输出图像与输入图像的大小一致，本实施例在解码阶段使用了上采样层。但是，如果本实施例直接通过上采样层提取特征，会丢失很多细节。因此，本实施例将编码阶段提取的特征与上采样结果进行融合，具体如图3所示。对于编码阶段的每一层提取出的特征均进行一次1×1的卷积操作进行降维。针对二值化分支，将编码阶段最后一层第五层提取出的特征首先进行一次上采样操作，将其得到的特征和1×1的卷积操作后的特征进行concat操作，将得出的结果送入下一层。以此类推，将编码阶段第1层提取的特征和上采样结果进行融合后，进行一次3×3卷积操作，即可得到与原图保持一样大小的二值化分支的特征图。可嵌入分支采用同样的流程，不同之处在于将编码阶段第1层提取的特征和上采样结果进行融合后，再进行一次3×3的上采样操作，即可得到可嵌入分支的特征图。这样就可以在特征提取过程中充分利用编码阶段提取的特征来弥补上采样层丢失的细节信息。
车道线的形状是细长，在整个图像中占据了很小的区域。背景信息远远大于车道线的信息，会造成类别不平衡。为了消除类别不平衡的影响，采用加权交叉熵损失函数训练二值分割网络，如公式(3)所示。
Figure BDA0002753396670000112
其中，Lb表示损失函数。N表示像素的数目，yi表示像素i的类别0或者1，0表示像素类别为背景，1表示像素类别为车道线，pi表示像素i的类别的预测概率，wi表示像素i的权重信息。
为了更好的学习实例分割特征图，采用方差损失和距离损失相结合的方式。方差损失Lv使得属于同一条车道线的像素之间的距离最小。距离损失Ld使得不属于同一条车道线的像素之间的距离最大。先距离，后方差
Figure BDA0002753396670000121
Figure BDA0002753396670000122
其中M为车道线的数目，Ni为类别属于车道线i的像素的数目，μi为类别属于车道线i的所有像素平均值，pj为类别属于车道线i的像素j的值，μMi为类别属于车道线Mi的所有像素平均值。μMj为类别属于车道线Mj的所有像素平均值。
采用方差损失和距离损失具体结合过程为：通过定义两个损失的权重系数a1和a2，分别和求出的方差损失和距离损失进行相乘。同时为了保证每个实例的中心(μ)和原点(图像的像素点)的距离不要过远，增加一个正则项进行约束α，最后的损失函数函数：a1*Lv+a2*Ld+α。其中，本实施例a1＝a2＝1.0，α＝0.005。
后处理模块：
通过前面的编码过程和解码过程可以得出两个分支的分割特征图。紧接着，将二值化分支生成的语义分割图的元素和可嵌入分支生成的分割图的元素相乘。这样可以得到更精确的属于车道线的像素位置。然后，将结果发送到后处理模块。后处理模块包含一个聚类算法，一般采用均值聚类算法将像素聚类到不同的车道上，从而得到属于特定车道的车道点。车道线检测流程如图4所示。为了验证聚类效果，聚类之后，还通过二次多项式拟合进行验证聚类效果。
为了验证本实施例的实验效果，和其他方法进行对比，由表1可以看出，本实施例不仅取得最高的准确率，耗时也最小，更加符号智能驾驶场景实时性的要求。
表4.不同算法的实验结果
准确率 FPR FNR 耗时(ms)
Densenet 0.871 0.122 0.575 42
Enet 0.899 0.094 0.436 86
Erfnet 0.940 0.058 0.174 53
Mobilenet 0.719 0.285 0.035 50
Ours 0.949 0.049 0.093 10
图5展示了不同场景下本实施例的检测效果。可见本实施例可以应对不同场景下的车道线检测，且取得较好的检测效果。其中最后结果图为采用本实施例方法获得的结果，真是结果图为实际结果。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.采用注意力机制学习上下文信息的实时车道线检测方法，其特征在于：包括以下步骤：
S01.编码过程，将原图片输入卷积神经网络，卷积神经网络的第一层对原图片进行卷积操作，得到第一特征图；然后将第一特征输入注意力模型，注意力模型输出第二特征图，将第一特征图和第二特征图融合输出第三特征图，将第三特征图作为卷积神经网络下一层的输入，执行与上一层同样的操作，依次类推，直至最后一层，输出第四特征图；
S02.解码过程，将第四特征图分成二值化分支和可嵌入分支；针对二值化分支，将编码过程的提取的第四特征图首先进行一次上采样操作，将得到的特征图和卷积神经网络最后一层输出的第三特征图1×1的卷积操作后的特征进行concat操作，将得出的结果作为下一层的输入，然后执行与上一层相同的操作，以此类推，直至将编码阶段第1层提取的特征图和上采样结果进行融合后，进行一次3×3卷积操作，即得到二值化分支的特征图；针对可嵌入分支，采用与二值化分支相同的方法，直至编码阶段第一层提取的第三特征和上采样结果进行融合后，再进行一次上采样操作，即得到可嵌入分支的特征图；然后将二值化分支的特征与可嵌入分支的特征图的元素相乘，得到属于车道线的像素位置；
S03.将所述像素位置聚类到不同的车道上，从而得到属于特定车道的车道点。
2.根据权利要求1所述的采用注意力机制学习上下文信息的实时车道线检测方法，其特征在于：所述步骤S01中，采用CBAM作为注意力模型，第一特征图输入注意力模型后，先采用公式(1)计算出通道注意力特征图，
Figure FDA0002753396660000011
然后将通道注意力特征图与第一特征图相乘得到中间特征图，再利用公式(2)计算出空间注意力特征图，
Figure FDA0002753396660000012
最后将空间注意力特征图和中间特征图相乘得到第三特征图；
其中，f代表特征图，AP代表平均池化层，MP代表最大池化层，w1和w0代表权重信息，公式(2)中符号；表示concat操作，σ表示sigmoid函数。
3.根据权利要求1所述的采用注意力机制学习上下文信息的实时车道线检测方法，其特征在于：所述步骤S02中，采用加权交叉熵损失函数训练二值分隔网络，公式如下：
Figure FDA0002753396660000021
其中，Lb表示损失函数。N表示像素的数目，yi表示像素i的类别0或者1，0表示像素类别为背景，1表示像素类别为车道线，pi表示像素i的类别的预测概率，wi表示像素i的权重信息。
4.根据权利要求1所述的采用注意力机制学习上下文信息的实时车道线检测方法，其特征在于：采用方差损失函数Lv和距离损失函数Ld相结合的方式进行训练可嵌入分割网络：
Figure FDA0002753396660000022
Figure FDA0002753396660000023
其中M为车道线的数目，Ni为类别属于车道线i的像素的数目，μi为类别属于车道线i的所有像素平均值，pj为类别属于车道线i的像素j的值，μMi为类别属于车道线Mi的所有像素平均值。μMj为类别属于车道线Mj的所有像素平均值；
方差损失函数Lv和距离损失函数Ld的具体结合过程为：通过定义两个损失的权重系数a1和a2，分别和求出的方差损失和距离损失进行相乘，同时为了保证每个实例的中心和原点的距离接近，增加一个正则项进行约束α，最后的损失函数为
L＝a1×Lv+a2×Ld+α。
5.根据权利要求4所述的采用注意力机制学习上下文信息的实时车道线检测方法，其特征在于：所述步骤S03中，在聚类之后，还通过多项式拟合进行验证聚类效果；所述多项式拟合采用二次多项式拟合。
6.采用注意力机制学习上下文信息的实时车道线检测***，其特征在于：
编码模块，将原图片输入卷积神经网络，卷积神经网络的第一层对原图片进行卷积操作，得到第一特征图；然后将第一特征输入注意力模型，注意力模型输出第二特征图，将第一特征图和第二特征图融合输出第三特征图，将第三特征图作为卷积神经网络下一层的输入，执行与上一层同样的操作，依次类推，直至最后一层，输出第四特征图；
解码模块，将第四特征图分成二值化分支和可嵌入分支；针对二值化分支，将编码过程的提取的第四特征图首先进行一次上采样操作，将得到的特征图和卷积神经网络最后一层输出的第三特征图1×1的卷积操作后的特征进行concat操作，将得出的结果作为下一层的输入，然后执行与上一层相同的操作，以此类推，直至将编码阶段第1层提取的特征图和上采样结果进行融合后，进行一次3×3卷积操作，即得到二值化分支的特征图；针对可嵌入分支，采用与二值化分支相同的方法，直至编码阶段第一层提取的第三特征和上采样结果进行融合后，再进行一次上采样操作，即得到可嵌入分支的特征图；然后将二值化分支的特征与可嵌入分支的特征图的元素相乘，得到属于车道线的像素位置；
后处理模块，将所述像素位置聚类到不同的车道上，从而得到属于特定车道的车道点。
7.根据权利要求6所述的采用注意力机制学习上下文信息的实时车道线检测***，其特征在于：所述编码模块中，采用CBAM作为注意力模型，第一特征图输入注意力模型后，先采用公式(1)计算出通道注意力特征图，
Figure FDA0002753396660000031
然后将通道注意力特征图与第一特征图相乘得到中间特征图，再利用公式(2)计算出空间注意力特征图，
Figure FDA0002753396660000032
最后将空间注意力特征图和中间特征图相乘得到第三特征图；
其中，f代表特征图，AP代表平均池化层，MP代表最大池化层，w1和w0代表权重信息，公式(2)中符号；表示concat操作，σ表示sigmoid函数。
8.根据权利要求6所述的采用注意力机制学习上下文信息的实时车道线检测***，其特征在于：所述解码模块中，采用加权交叉熵损失函数训练二值分隔网络，公式如下：
Figure FDA0002753396660000041
其中，Lb表示损失函数。N表示像素的数目，yi表示像素i的类别0或者1，0表示像素类别为背景，1表示像素类别为车道线，pi表示像素i的类别的预测概率，wi表示像素i的权重信息。
9.根据权利要求6所述的采用注意力机制学习上下文信息的实时车道线检测***，其特征在于：采用方差损失函数Lv和距离损失函数Ld相结合的方式进行训练可嵌入分割网络：
Figure FDA0002753396660000042
Figure FDA0002753396660000043
其中M为车道线的数目，Ni为类别属于车道线i的像素的数目，μi为类别属于车道线i的所有像素平均值，pj为类别属于车道线i的像素j的值，μMi为类别属于车道线Mi的所有像素平均值。μMj为类别属于车道线Mj的所有像素平均值；
方差损失函数Lv和距离损失函数Ld的具体结合过程为：通过定义两个损失的权重系数a1和a2，分别和求出的方差损失和距离损失进行相乘，同时为了保证每个实例的中心和原点的距离接近，增加一个正则项进行约束α，最后的损失函数为
L＝a1×Lv+a2×Ld+α。
10.根据权利要求5所述的采用注意力机制学习上下文信息的实时车道线检测***，其特征在于：所述后处理模块中，在聚类之后，还通过多项式拟合进行验证聚类效果；所述多项式拟合采用二次多项式拟合。
CN202011193555.4A 2020-10-30 2020-10-30 采用注意力机制学习上下文信息的实时车道线检测方法及*** Active CN112241728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011193555.4A CN112241728B (zh) 2020-10-30 2020-10-30 采用注意力机制学习上下文信息的实时车道线检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011193555.4A CN112241728B (zh) 2020-10-30 2020-10-30 采用注意力机制学习上下文信息的实时车道线检测方法及***

Publications (2)

Publication Number Publication Date
CN112241728A true CN112241728A (zh) 2021-01-19
CN112241728B CN112241728B (zh) 2023-04-07

Family

ID=74170352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011193555.4A Active CN112241728B (zh) 2020-10-30 2020-10-30 采用注意力机制学习上下文信息的实时车道线检测方法及***

Country Status (1)

Country Link
CN (1) CN112241728B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966569A (zh) * 2021-02-09 2021-06-15 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备及存储介质
CN113011360A (zh) * 2021-03-29 2021-06-22 江苏思玛特科技有限公司 一种基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法及***
CN113158768A (zh) * 2021-03-03 2021-07-23 中山大学 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN113158790A (zh) * 2021-03-15 2021-07-23 河北工业职业技术学院 基于几何上下文编码网络模型的处理边缘车道线检测***
CN113468967A (zh) * 2021-06-02 2021-10-01 北京邮电大学 基于注意力机制的车道线检测方法、装置、设备及介质
CN113591670A (zh) * 2021-07-27 2021-11-02 中国科学院合肥物质科学研究院 一种基于卷积神经网络的车道线检测方法
CN114022863A (zh) * 2021-10-28 2022-02-08 广东工业大学 基于深度学习的车道线检测方法、***、计算机及存储介质
CN114550135A (zh) * 2022-02-22 2022-05-27 无锡物联网创新中心有限公司 一种基于注意力机制和特征聚合的车道线检测方法
CN115131968A (zh) * 2022-06-28 2022-09-30 重庆长安汽车股份有限公司 一种基于车道线点集与注意力机制的匹配融合方法
CN116343301A (zh) * 2023-03-27 2023-06-27 滨州市沾化区退役军人服务中心 基于人脸识别的人员信息智能校验***
CN116363712A (zh) * 2023-03-21 2023-06-30 中国矿业大学 一种基于模态信息度评估策略的掌纹掌静脉识别方法
CN116935349A (zh) * 2023-09-15 2023-10-24 华中科技大学 一种基于Zigzag变换的车道线检测方法、***、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028598A (ja) * 2008-07-23 2010-02-04 Sony Corp 無線通信システム、無線通信装置及び無線通信方法、エンコード装置及びエンコード方法、並びにコンピュータ・プログラム
US20150324946A1 (en) * 2014-05-09 2015-11-12 Graphiclead LLC System and method for embedding of a two dimensional code with an image
US10311578B1 (en) * 2019-01-23 2019-06-04 StradVision, Inc. Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same
CN111242037A (zh) * 2020-01-15 2020-06-05 华南理工大学 基于结构信息的车道线检测方法
CN111582201A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于几何注意力感知的车道线检测***
CN111738124A (zh) * 2020-06-15 2020-10-02 西安电子科技大学 基于Gabor变换和注意力的遥感图像云检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028598A (ja) * 2008-07-23 2010-02-04 Sony Corp 無線通信システム、無線通信装置及び無線通信方法、エンコード装置及びエンコード方法、並びにコンピュータ・プログラム
US20150324946A1 (en) * 2014-05-09 2015-11-12 Graphiclead LLC System and method for embedding of a two dimensional code with an image
US10311578B1 (en) * 2019-01-23 2019-06-04 StradVision, Inc. Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same
CN111242037A (zh) * 2020-01-15 2020-06-05 华南理工大学 基于结构信息的车道线检测方法
CN111582201A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于几何注意力感知的车道线检测***
CN111738124A (zh) * 2020-06-15 2020-10-02 西安电子科技大学 基于Gabor变换和注意力的遥感图像云检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LUKAS STAPPEN: "Context Modelling Using Hierarchical Attention Networks for Sentiment and Self-assessed Emotion Detection in Spoken Narratives", 《ICASSP 2019 - 2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
刘媛媛: "一种新的DWT视频动态水印算法", 《 吉林大学学报(工学版) 》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966569A (zh) * 2021-02-09 2021-06-15 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备及存储介质
CN112966569B (zh) * 2021-02-09 2022-02-11 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备及存储介质
CN113158768B (zh) * 2021-03-03 2023-02-24 中山大学 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN113158768A (zh) * 2021-03-03 2021-07-23 中山大学 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN113158790A (zh) * 2021-03-15 2021-07-23 河北工业职业技术学院 基于几何上下文编码网络模型的处理边缘车道线检测***
CN113011360A (zh) * 2021-03-29 2021-06-22 江苏思玛特科技有限公司 一种基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法及***
CN113011360B (zh) * 2021-03-29 2023-11-24 江苏思玛特科技有限公司 基于注意力胶囊网络模型的道路交通标志线检测方法及***
CN113468967A (zh) * 2021-06-02 2021-10-01 北京邮电大学 基于注意力机制的车道线检测方法、装置、设备及介质
CN113468967B (zh) * 2021-06-02 2023-08-18 北京邮电大学 基于注意力机制的车道线检测方法、装置、设备及介质
CN113591670A (zh) * 2021-07-27 2021-11-02 中国科学院合肥物质科学研究院 一种基于卷积神经网络的车道线检测方法
CN113591670B (zh) * 2021-07-27 2023-12-01 中国科学院合肥物质科学研究院 一种基于卷积神经网络的车道线检测方法
CN114022863A (zh) * 2021-10-28 2022-02-08 广东工业大学 基于深度学习的车道线检测方法、***、计算机及存储介质
CN114550135A (zh) * 2022-02-22 2022-05-27 无锡物联网创新中心有限公司 一种基于注意力机制和特征聚合的车道线检测方法
CN115131968A (zh) * 2022-06-28 2022-09-30 重庆长安汽车股份有限公司 一种基于车道线点集与注意力机制的匹配融合方法
CN115131968B (zh) * 2022-06-28 2023-07-11 重庆长安汽车股份有限公司 一种基于车道线点集与注意力机制的匹配融合方法
CN116363712A (zh) * 2023-03-21 2023-06-30 中国矿业大学 一种基于模态信息度评估策略的掌纹掌静脉识别方法
CN116363712B (zh) * 2023-03-21 2023-10-31 中国矿业大学 一种基于模态信息度评估策略的掌纹掌静脉识别方法
CN116343301A (zh) * 2023-03-27 2023-06-27 滨州市沾化区退役军人服务中心 基于人脸识别的人员信息智能校验***
CN116343301B (zh) * 2023-03-27 2024-03-08 滨州市沾化区退役军人服务中心 基于人脸识别的人员信息智能校验***
CN116935349A (zh) * 2023-09-15 2023-10-24 华中科技大学 一种基于Zigzag变换的车道线检测方法、***、设备及介质
CN116935349B (zh) * 2023-09-15 2023-11-28 华中科技大学 一种基于Zigzag变换的车道线检测方法、***、设备及介质

Also Published As

Publication number Publication date
CN112241728B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112241728B (zh) 采用注意力机制学习上下文信息的实时车道线检测方法及***
CN111967305B (zh) 一种基于轻量级卷积神经网络的实时多尺度目标检测方法
CN110222591B (zh) 一种基于深度神经网络的车道线检测方法
CN109726627B (zh) 一种神经网络模型训练及通用接地线的检测方法
CN112380921A (zh) 一种基于车联网的道路检测方法
CN104809443A (zh) 基于卷积神经网络的车牌检测方法及***
CN112395951B (zh) 一种面向复杂场景的域适应交通目标检测与识别方法
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN111008632B (zh) 一种基于深度学习的车牌字符分割方法
CN113313031B (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
Cho et al. Semantic segmentation with low light images by modified CycleGAN-based image enhancement
CN113011308A (zh) 一种引入注意力机制的行人检测方法
CN112766056A (zh) 一种基于深度神经网络的弱光环境车道线检测方法、装置
CN111062347B (zh) 一种自动驾驶中交通要素分割方法、电子设备及存储介质
CN111178363A (zh) 文字识别方法、装置、电子设备以及可读存储介质
CN117726954A (zh) 一种遥感图像海陆分割方法及***
CN114359554A (zh) 一种基于多感受野上下文语义信息的图像语义分割方法
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN113158954A (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
Cho et al. Modified perceptual cycle generative adversarial network-based image enhancement for improving accuracy of low light image segmentation
CN113033363A (zh) 一种基于深度学习的车辆稠密目标检测方法
CN112418229A (zh) 一种基于深度学习的无人船海上场景图像实时分割方法
CN114821510B (zh) 基于改进U-Net网络的车道线检测方法及装置
CN110555462A (zh) 基于卷积神经网络的无固定多字符验证码识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant