CN114677442B - 一种基于序列预测的车道线检测***、装置和方法 - Google Patents

一种基于序列预测的车道线检测***、装置和方法 Download PDF

Info

Publication number
CN114677442B
CN114677442B CN202210583847.1A CN202210583847A CN114677442B CN 114677442 B CN114677442 B CN 114677442B CN 202210583847 A CN202210583847 A CN 202210583847A CN 114677442 B CN114677442 B CN 114677442B
Authority
CN
China
Prior art keywords
sequence
key point
image
prediction
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210583847.1A
Other languages
English (en)
Other versions
CN114677442A (zh
Inventor
华炜
邱奇波
毛瑞琛
黄刚
韩正勇
马也驰
高海明
冯权
张顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210583847.1A priority Critical patent/CN114677442B/zh
Publication of CN114677442A publication Critical patent/CN114677442A/zh
Application granted granted Critical
Publication of CN114677442B publication Critical patent/CN114677442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于序列预测的车道线检测***、装置和方法，所述方法对待检测的图像数据进行归一化操作得到归一化后的图像，并查找相应的预测关键点序列；提取归一化后的图像的特征向量，对该特征向量进行降维得到降维特征，将该降维特征按高宽维度展开，得到图像序列特征；基于降维特征的维度计算图像位置编码，将图像序列特征和图像位置编码相加，再共同进行编码得到编码记忆；对预测关键点序列进行特征提取得到解码序列特征；对编码记忆、预测关键点序列的位置编码与解码序列特征进行解码，得到待预测关键点的隐状态向量；将待预测关键点的隐状态向量转化为关键点的坐标。本发明提高了车道线的密集关键点的预测准确率，并实现快速预测。

Description

一种基于序列预测的车道线检测***、装置和方法
技术领域
本发明属于车道线检测技术领域，尤其涉及一种基于序列预测的车道线检测***、装置和方法。
背景技术
车道线检测是无人驾驶视觉感知中的重要技术，目前该领域研究成果集中于单帧图片的使用，基于单帧图片的车道线检测技术主要分为基于分割（segmentation-based）、基于锚点（anchor-based）、按行搜索（row-wise）、参数预测（Parametric Prediction）四大类。
由于车道线检测结果的使用方通常要求车道线通过曲线参数或者曲线关键点的方式给出，因此基于分割、基于锚点和按行搜索方法还需要经过后处理，尤其基于分割方法的后处理更加耗时；参数预测方法的结果需要的后处理较少，目前此类方法如《End-to-endLane Shape Prediction with Transformers》在产生曲线参数的时候，还没有显式的利用已推理出的车道线信息；《Spatial As Deep: Spatial CNN for Traffic SceneUnderstanding》中开源的车道线数据集culane，每张图片按照预定间距划水平线，每条车道线的位置通过其与这些水平线的关键点集合来表示，目前主流的车道线检测算法不直接预测输出这些关键点，而是通过关键点生成分割掩码或者曲线参数，使用前述四大类方法的一类。该方法基于分割方法需要耗时的后处理，基于曲线参数的方法，在引入曲线假设的时候会带入差误。
本发明提出了一种按顺序预测这些密集关键点的方法，可以在快速预测的同时，显式利用已推理出的车道线结构信息，提升准确度。
发明内容
针对现有技术不足，本发明提出了一种基于序列预测的车道线检测***、装置和方法。
为实现上述目的，本发明的技术方案为：本发明实施例的第一方面提供了一种基于序列预测的车道线检测方法，具体包括以下步骤：
S1，对待检测的图像数据进行归一化操作，得到归一化后的图像，并查找相应的预测关键点序列；
S2，提取归一化后的图像的特征向量，对归一化后的图像的特征向量进行降维得到降维特征，将该降维特征按高宽维度展开，得到图像序列特征；
S3，基于降维特征的维度计算图像位置编码，将图像序列特征和图像位置编码相加，再共同进行编码得到编码记忆；
S4，对步骤S1得到的预测关键点序列进行特征提取，得到解码序列特征；
S5，获取预测关键点序列的位置编码，对编码记忆、预测关键点序列的位置编码与解码序列特征进行解码，得到待预测关键点的隐状态向量；
S6，将待预测关键点的隐状态向量转化为关键点的坐标。
进一步地，所述步骤S1中，查找相应的预测关键点序列的过程具体为：
对归一化后的图像按单位像素delta纵向划分水平线，用一曲线表示归一化后的图像中的第i条车道线的真值，取曲线与其余每条水平线的交点组成为关键点集合；按顺序从关键点集合中取出纵坐标为（q-1)*delta、（q-2)*delta、…3*delta、2*delta、delta、0的关键点的横坐标组成长度为q的短序列，如果短序列长度未达到q，即表示纵坐标对应的点不存在，则用自定义的数值default表示其横坐标；并在每条短序列的结尾加上自定义的阈值lane_end作为当前短序列的结尾，最终每条车道线对应长度为q+1的短序列；
设待检测的图像数据中单张图片出现车道线的最大值为m，对于单张图片中出现 的所有
Figure 475364DEST_PATH_IMAGE001
条车道线进行排序，组成长度为（q+1)*
Figure 828985DEST_PATH_IMAGE002
的序列，如果
Figure 830439DEST_PATH_IMAGE003
<m，则表示m-
Figure 435864DEST_PATH_IMAGE003
条车道线 缺失，用q个default加上阈值lane_end来表示每一条缺失的车道线；
在长序列的起始位置加上自定义的阈值seq_start得到归一化后的图像对应的预测关键点序列k。
进一步地，所述步骤S2具体为：将归一化后的图像输入主干网络，经过预先设置的卷积层，输出大小为Cb* Hb * Wb的特征向量；Cb、Hb、Wb分别表示通道数、高度和宽度；将该特征向量feat_backbone输入一卷积神经网络，其输入通道数为Cb，输出通道数为hidden_dim，得到维度为hidden_dim*Hb * Wb的降维特征featrue； 将降维特征的按高宽两个维度展开，得到长度Hb * Wb的编码序列特征。
进一步地，所述步骤S3中，基于降维特征的维度计算图像位置编码具体为：对于降维特征高宽方向组成的面上的每个位置，其对应的高宽取值分别为x和y；基于x和y分别计算一个位置编码，编码长度为hidden_dim/2；对于x或者y，其值为奇数时采用正弦函数，偶数位置采用余弦函数，或者其值为偶数时采用正弦函数，奇数位置采用余弦函数，将两个位置编码拼接为长度为hidden_dim的图像位置编码，该图像位置编码尺寸为len_enc*hidden_dim，len_enc表示高宽面上的位置个数，hidden_dim为每个位置的位置编码长度。
进一步地，所述步骤S3中，共同进行编码得到编码记忆的过程具体为：将图像序列特征和图像位置编码相加作为输入特征输入由若干层自注意力层组成的编码模块，其中第一层自注意力层的查询矩阵、键矩阵、值矩阵均为输入特征，之后每一层自注意力层的查询矩阵、键矩阵、值矩阵均为前一层的输出特征，每层自注意力层首先基于查询矩阵和键矩阵进行运算，得到自注意力分布，在对自注意力分布归一化后与值矩阵进行运算，得到本层的输出特征；将最后一层自注意力层的输出特征作为编码模块的最终输出，即编码记忆。
进一步地，所述步骤S4具体为：在预测关键点序列的第T个元素处，截取长度为lw的序列，将截取后的序列输入到由若干一维卷积层组成的解码序列特征提取模块中，得到解码序列特征。
进一步地，所述步骤S5中，获取预测关键点序列的位置编码的计算过程具体为：构建一位置嵌入层，将每一个位置编码转化为one-hot编码，通过一个全连接层转换得到长度为1*hidden_dim的预测关键点序列的位置编码。
本发明实施例的第二方面提供了一种基于序列预测的车道线检测***，包括：数据处理模块、主干网络模块、编码模块、解码序列特征提取模块、解码模块和关键点预测模块；
所述数据处理模块用于将待检测图像进行归一化处理，并得到关键点标注信息；
所述主干网络模块用于提取归一化处理后的图像的图像序列特征；
所述编码模块用于将图像序列特征转化为编码；
所述解码序列特征提取模块用于将预测关键点序列转化为解码序列特征；
所述解码模块用于将编码记忆和解码序列特征转化为待预测关键点隐状态向量；
所述关键点预测模块用于将待预测关键点隐状态向量转化为关键点的坐标。
本发明实施例的第三方面提供了一种基于序列预测的车道线检测装置，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的基于序列预测的车道线检测方法。
本发明实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，=所述程序被处理器执行时实现上述的基于序列预测的车道线检测方法。
本发明的有益效果为：本发明提出的基于序列预测的车道线检测方法，通过查找相应的预测关键点序列，对归一化后的图像的特征向量进行降维得到降维特征，展开得到图像序列特征；将图像序列特征和图像位置编码相加，再共同进行编码得到编码记忆；对预测关键点序列进行特征提取得到解码序列特征；对编码记忆、预测关键点序列的位置编码与解码序列特征进行解码，得到待预测关键点的隐状态向量；将待预测关键点的隐状态向量转化为关键点的坐标。本发明方法提高了车道线的密集关键点的预测准确率，并实现了快速预测。
附图说明
图1为本发明方法的流程图；
图2为本发明***的结构图；
图3为本发明实施例提供的车道线检测图；
图4为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面结合附图，对本发明的基于序列预测的车道线检测***、装置和方法进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
本发明提出了基于序列预测的车道线检测***，如图1所示，包括数据处理模块、主干网络模块、编码模块、解码序列特征提取模块、解码模块和关键点预测模块。
所述数据处理模块的输入为待检测的图像数据，输出归一化之后的图像及相应关键点标注信息；所述主干网络模块输入为归一化之后的图像，输出为图像序列特征；所述编码模块的输入为图像序列特征，输出为编码记忆；所述解码序列特征提取模块输入为已知关键点坐标，输出为解码序列特征；所述解码模块，输入为编码记忆和解码序列特征，输出为待预测关键点隐状态向量；所述关键点预测模块，输入为待预测关键点隐状态向量，输出为关键点的坐标。
本发明提出了基于序列预测的车道线检测方法，如图2所示，具体包括以下步骤：
步骤S1，对待检测的图像数据进行归一化操作，得到归一化之后的图像，并查找相应的预测关键点序列；具体为：
步骤S101，将当前待检测图像输入数据预处理模块Data_propress，所述当前待检测图像的尺寸为C*H*W，分别表示通道数、高度、宽度；将待检测图像做减均值除方差的归一化操作，得到归一化后的图像img；
步骤S102，查找相应预测关键点序列；将归一化后的图像数据img纵向每隔delta个像素画一条水平线，于是有q条水平线，其中q = H/delta+1，所述水平线包括图像上下边；所述delta的值为自定义取值。
用一条曲线li表示归一化后的图像img中的第i条车道线的真值，取曲线li跟每条水平线的交点组成关键点集合，按顺序从关键点集合中取出纵坐标为（q-1)*delta、（q-2)*delta、…3*delta、2*delta、delta、0的关键点的横坐标组成长度为q的短序列，如果短序列长度未达到q，即表示有些纵坐标对应的点不存在，则用数值default表示其横坐标，default的值由预先定义，每条短序列的结尾加上阈值lane_end作为当前短序列的结尾，阈值lane_end的值由预先定义，最终每条车道线对应长度为q+1的短序列。
计算待检测的图像数据单张图片出现车道线的最大值为m，对于单张图片中出现 的所有
Figure 635901DEST_PATH_IMAGE001
条车道线按照预先设定的策略排序，排序策略包括从左到右、随机排序、从长到 短、从弯到直，组成长度为（q+1)*
Figure 35790DEST_PATH_IMAGE002
的序列，如果
Figure 586857DEST_PATH_IMAGE003
<m，则有m-
Figure 228928DEST_PATH_IMAGE003
条车道线缺失，用q个 default加上1个lane_end来表示每一条缺失的车道线，因此每张图片中的车道线都可以用 长度为max_len =（q+1)*m的长序列表示。
在长序列的起始位置加上阈值seq_start得到img对应的预测关键点序列k，所述阈值seq_shart的值由预先定义。
步骤S2，提取归一化后的图像中的特征向量，对特征向量进行降维得到降维特征，将降维特征按高宽维度展开，得到图像序列特征；具体为：
构造主干网络模块Backbone，输入归一化后的图像img，经过预先设置的卷积层，输出大小为Cb* Hb * Wb的特征向量feat_backbone。Cb、 Hb 、Wb分别表示通道数、高度和宽度。
将主干网络模块中的特征向量feat_backbone输入一卷积神经网络（Convolutional Neural Networks，CNN），其输入通道数为Cb，输出通道数为hidden_dim，卷积核为1*1，步长为1*1，得到维度为hidden_dim*Hb * Wb的降维特征featrue。其中hidden_dim为通道数，尺寸需与编解码模块的隐向量一致且长度为偶数，Hb为高，Wb为宽。
将降维特征featrue的按高宽两个维度展开，得到长度len_enc=Hb * Wb的编码序列特征src，其中编码序列特征src的每一个元素用尺寸为1*hidden_dim的向量表示。
步骤S3，基于降维特征的维度计算图像位置编码，将图像序列特征和图像位置编码相加，再共同进行编码得到编码记忆；具体包括以下子步骤：
S301，基于降维特征的维度计算图像位置编码img_pos_embd：对于降维特征feature高宽方向组成的面上的每个位置，其对应的高宽取值分别为x和y；基于x和y分别计算一个位置编码，编码长度为hidden_dim/2。对于x或者y，其值为奇数时采用正弦函数，偶数位置采用余弦函数，或者其值为偶数时采用正弦函数，奇数位置采用余弦函数，将两个位置编码拼接为长度为hidden_dim的图像位置编码img_pos_embd，该图像位置编码尺寸为len_enc*hidden_dim，len_enc表示高宽面上的位置个数，hidden_dim为每个位置的位置编码长度。
S302，将步骤S2得到的图像序列特征src和步骤S301得到的图像位置编码img_pos_embd相加，得到编码模块的输入特征enc_seq，其尺寸为len_enc*hidden_dim。
S303，构建编码模块：所述编码模块由num_attn层自注意力层组成，num_attn由预先设定。
S304，将步骤S302得到的输入特征enc_seq输入编码模块，其中第一层自注意力层的查询矩阵、键矩阵、值矩阵均为输入特征enc_seq，之后每一层自注意力层的查询矩阵、键矩阵、值矩阵均为前一层的输出特征，每层自注意力层首先基于查询矩阵和键矩阵进行运算，得到自注意力分布，在对自注意力分布归一化后与值矩阵进行运算，得到本层的输出特征。将最后一层自注意力层的输出特征作为编码模块的最终输出，即编码记忆memory，尺寸为len_enc*hidden_dim。
步骤S4，对预测关键点序列进行特征提取，得到解码序列特征；具体为：
在预测关键点序列k的第T个元素的时候，序列k中的第1个到第T-1个元素是已知的，即k1，k2， …，kT-1已知，截取长度为lw的序列，lw由预先设定，即kT-lw，kT-lw-1，kT-lw-2 …kT-1，长度不足用预定义的数值start填充，将该序列输入到解码序列特征提取模块，得到解码序列特征seq_feat。
所述解码序列特征提取模块（Seq_cnn）的由num_tcn个一维卷积层组成，卷积层数、卷积核大小、每层的输入输出大小可以由预先设定，需要满足第一层卷积层的输入大小为1*lw，最后一层的卷积层的输出大小为1*hidden_dim。
步骤S5，通过位置嵌入层来获取位置编码，将编码记忆、位置编码与解码序列特征进行解码，得到待预测关键点隐状态向量；具体为：
S501，计算输入预测关键点序列k的位置编码，该位置编码通过构建一个位置嵌入层来获取，其作用是将每一个位置编码转化为one-hot编码，通过一个全连接层转换为长度为1*hidden_dim的位置编码query_pos_embd。
S502，构建解码模块：所述解码模块由n1个自注意力层和n2个编解码注意力层组成，n1、n2的值以及两种注意力层的先后顺序由预先设定。
S503，将步骤S3得到的编码记忆memory、步骤S501得到的预测关键点序列的位置编码query_pos_embd与步骤S4得到的解码序列特征seq_feat输入步骤S502构建的解码模块进行解码，得到待预测关键点隐状态向量。
S504，其中第一个注意力层的输入为解码序列特征seq_feat，其后每个注意力层的输入为上一个注意力层的输出特征与解码序列特征seq_feat的相加；每个自注意力层的查询矩阵、键矩阵为本层输入与位置编码query_pos_embd相加，值矩阵为本层输入；每个编解码注意力层的查询矩阵为本层输入与位置编码query_pos_embd相加，键矩阵和值矩阵为编译记忆memory。在预测第T个关键点的时候，根据已知的编码记忆memory、解码序列特征seq_feat、位置编码query_pos_embd解码出隐状态向量hsT其尺寸为1*hidden_dim。
步骤S6，将待预测关键点隐状态向量转化为关键点的坐标。具体为：
构建关键点预测模块（Pred-net）：该关键点预测模块（Pred-net）由num_ffn个全连接层组成，num_ffn由预先设定。
将步骤S5得到的隐状态向量hsT输入到关键点预测模块（Pred-net）中，输出为对应关键点横坐标位置kT。
实施例1
本发明实施例提出了基于序列预测的车道线检测方法，具体包括以下步骤：
步骤S1，构建数据预处理模块Data_propress，输入当前待检测图像，尺寸为3*720*1280，分别表示通道数，高度，宽度；将待检测图像做减均值除方差的归一化操作，得到归一化后的图像img，将图像数据纵向每隔10个像素画一条水平线，于是有73（720/10+1）条水平线，包括图像上下边。
用一条曲线li表示图像img中的第i条车道线的真值，取曲线li跟每条水平线的交点组成关键点集合，按顺序从关键点集合中取出纵坐标为720、710、700……30、20、10、0的关键点的横坐标组成长度为73的短序列，如果短序列长度未达到73，即有些纵坐标对应的点不存在，则用特定的值-1表示其横坐标，每条短序列的结尾加上数字2000作为当前短序列的结尾，最终每条车道线对应长度为74的短序列。
整个训练集中单张图片最多有4条车道线，所有车道线从左到右排序，可以组成长度为296（74*4）的长序列，如果车道线不足4条，用73个-1加上1个2000来表示每一条缺失的车道线。
在长序列的起始位置加上起始符号1500得到img对应的输入关键点序列k。
步骤S2,构造主干网络模块Backbone，输入img，得到对应的特征张量，尺寸为2048* 23 * 40，将该特征张量输入1个卷积层，输入通道数2048，输出通道数256，卷积核1*1,步长1*1，得到256*23*40的降维特征featrue，其中256为通道数，23为高，40为宽，将featrue的高宽两个维度展开，得到长度23*40的图像序列特征src，其中src的每一个元素用尺寸为1*256的向量表示。
步骤S3，计算图像位置编码img_pos_embd，对于feature高宽方向组成的面上的每个位置，其对应的高宽取值分别为x和y，基于x和y分别计算一个位置编码，编码长度为128，对于x或者y，其值为奇数时采用正弦函数，偶数位置采用余弦函数，将两个位置编码拼接为长度为256的图像位置编码img_pos_embd，尺寸为920*256，920表示高宽面上位置个数，256为每个位置的位置编码长度。
构建编码模块Encode_net,由6层自注意力层组成，将src和图像位置编码img_pos_embd相加得到编码模块的输入enc_seq,尺寸为920*256，得到编码模块的最终输出memory，尺寸为920*256。
步骤S4，构建解码序列特征提取模块Seq_cnn，包含3层一维卷积层，其卷积核大小分别为1*3、1*5、1*10，输出长度分别为64、128、256，在预测输入序列k的第T个元素是，第1个到第T-1个元素是已知的，即k1， …，kT-1已知，截取长度为10的序列，即kT-10、kT-9、kT-8 …kT-1，长度不足用起始符合1500填充，将该序列输入到Seq_cnn，得到解码序列特征seq_feat。
步骤S5，计算输入序列k的位置编码query_pos_embd，位置编码通过构建一个位置嵌入层来获取，其作用是将每一个位置编码为one-hot编码，通过一个全连接层转换为长度为1*256的向量。
构建解码模块Decode_net，由6个自注意力层和6个编解码注意力层交叠组成，其中自注意力层在前, 第一个注意力层的输入为seq_feat，其后每个注意力层的输入为上一个注意力层的输出特征与seq_feat的相加；每个自注意力层的查询矩阵、键矩阵为本层输入与query_pos_embd相加，值矩阵为本层输入；每个编解码注意力层的查询矩阵为本层输入与query_pos_embd相加，键矩阵和值矩阵为编译记忆memory。
在预测第T个关键点时，根据已知的memory、seq_feat、query_pos_embd解码出隐状态向量hsT其尺寸为1*256。
步骤S6，构建关键点预测模块Pred_net，其由1个全连接层组成，输入为当前的隐状态向量hsT，输出为当前点对应的横坐标位置kT。
本发明实施例得到的车道线检测图如图3所示，图中白色的关键点为本发明实施例预测得到的关键点，图中若干的预测的关键点组成预测的车道线。由此，本发明方法提高了车道线的密集关键点的预测准确率，能够实现快速预测。
与前述基于序列预测的车道线检测方法的实施例相对应，本发明还提供了基于序列预测的车道线检测装置的实施例。
参见图4，本发明实施例提供的一种基于序列预测的车道线检测装置，包括一个或多个处理器，用于实现上述实施例中的基于序列预测的车道线检测方法。
本发明基于序列预测的车道线检测装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明基于序列预测的车道线检测装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于序列预测的车道线检测方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (8)

1.一种基于序列预测的车道线检测方法，其特征在于，具体包括以下步骤：
S1，对待检测的图像数据进行归一化操作，得到归一化后的图像，并查找相应的预测关键点序列；
所述步骤S1中，查找相应的预测关键点序列的过程具体为：
对归一化后的图像按单位像素delta纵向划分水平线，用一曲线表示归一化后的图像中的第i条车道线的真值，取曲线与其余每条水平线的交点组成为关键点集合；按顺序从关键点集合中取出纵坐标为（q-1)*delta、（q-2)*delta、…3*delta、2*delta、delta、0的关键点的横坐标组成长度为q的短序列，如果短序列长度未达到q，即表示纵坐标对应的点不存在，则用自定义的数值default表示其横坐标；并在每条短序列的结尾加上自定义的阈值lane_end作为当前短序列的结尾，最终每条车道线对应长度为q+1的短序列；
设待检测的图像数据中单张图片出现车道线的最大值为m，对于单张图片中出现的所 有
Figure 662976DEST_PATH_IMAGE001
条车道线进行排序，组成长度为（q+1)*
Figure 925330DEST_PATH_IMAGE001
的序列，如果
Figure 184273DEST_PATH_IMAGE001
<m，则表示m-
Figure 407444DEST_PATH_IMAGE001
条车道线 缺失，用q个default加上阈值lane_end来表示每一条缺失的车道线；每张图片中的车道线 都可以用长度为max_len =（q+1)*m的长序列表示；
在长序列的起始位置加上自定义的阈值seq_start得到归一化后的图像对应的预测关键点序列k；
S2，提取归一化后的图像的特征向量，对归一化后的图像的特征向量进行降维得到降维特征，将该降维特征按高宽维度展开，得到图像序列特征；
S3，基于降维特征的维度计算图像位置编码，将图像序列特征和图像位置编码相加，再共同进行编码得到编码记忆；
所述步骤S3中，共同进行编码得到编码记忆的过程具体为：将图像序列特征和图像位置编码相加作为输入特征输入由若干层自注意力层组成的编码模块，其中第一层自注意力层的查询矩阵、键矩阵、值矩阵均为输入特征，之后每一层自注意力层的查询矩阵、键矩阵、值矩阵均为前一层的输出特征，每层自注意力层首先基于查询矩阵和键矩阵进行运算，得到自注意力分布，在对自注意力分布归一化后与值矩阵进行运算，得到本层的输出特征；将最后一层自注意力层的输出特征作为编码模块的最终输出，即编码记忆；
S4，对步骤S1得到的预测关键点序列进行特征提取，得到解码序列特征；
S5，获取预测关键点序列的位置编码，对编码记忆、预测关键点序列的位置编码与解码序列特征进行解码，得到待预测关键点的隐状态向量；
S6，将待预测关键点的隐状态向量转化为关键点的坐标。
2.根据权利要求1所述的基于序列预测的车道线检测方法，其特征在于，所述步骤S2具体为：将归一化后的图像输入主干网络，经过预先设置的卷积层，输出大小为Cb* Hb * Wb的特征向量；Cb、Hb、Wb分别表示通道数、高度和宽度；将该特征向量feat_backbone输入一卷积神经网络，其输入通道数为Cb，输出通道数为hidden_dim，得到维度为hidden_dim*Hb * Wb的降维特征featrue； 将降维特征的按高宽两个维度展开，得到长度Hb * Wb的编码序列特征。
3.根据权利要求1所述的基于序列预测的车道线检测方法，其特征在于，所述步骤S3中，基于降维特征的维度计算图像位置编码具体为：对于降维特征高宽方向组成的面上的每个位置，其对应的高宽取值分别为x和y；基于x和y分别计算一个位置编码，编码长度为hidden_dim/2；对于x或者y，其值为奇数时采用正弦函数，偶数位置采用余弦函数，或者其值为偶数时采用正弦函数，奇数位置采用余弦函数，将两个位置编码拼接为长度为hidden_dim的图像位置编码，该图像位置编码尺寸为len_enc*hidden_dim，len_enc表示高宽面上的位置个数，hidden_dim为每个位置的位置编码长度。
4.根据权利要求1所述的基于序列预测的车道线检测方法，其特征在于，所述步骤S4具体为：在预测关键点序列的第T个元素处，截取长度为lw的序列，将截取后的序列输入到由若干一维卷积层组成的解码序列特征提取模块中，得到解码序列特征。
5.根据权利要求1所述的基于序列预测的车道线检测方法，其特征在于，所述步骤S5中，获取预测关键点序列的位置编码的计算过程具体为：构建一位置嵌入层，将每一个位置编码转化为one-hot编码，通过一个全连接层转换得到长度为1*hidden_dim的预测关键点序列的位置编码。
6.一种基于序列预测的车道线检测***，用于实现权利要求1~5任一项所述的基于序列预测的车道线检测方法，其特征在于，包括：数据处理模块、主干网络模块、编码模块、解码序列特征提取模块、解码模块和关键点预测模块；
所述数据处理模块用于将待检测图像进行归一化处理，并得到预测关键点序列；
所述主干网络模块用于提取归一化处理后的图像的图像序列特征；
所述编码模块用于将图像序列特征转化为编码；
所述解码序列特征提取模块用于将预测关键点序列转化为解码序列特征；
所述解码模块用于将编码记忆和解码序列特征转化为待预测关键点隐状态向量；
所述关键点预测模块用于将待预测关键点隐状态向量转化为关键点的坐标。
7.一种基于序列预测的车道线检测装置，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-5任一项所述的基于序列预测的车道线检测方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的基于序列预测的车道线检测方法。
CN202210583847.1A 2022-05-26 2022-05-26 一种基于序列预测的车道线检测***、装置和方法 Active CN114677442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210583847.1A CN114677442B (zh) 2022-05-26 2022-05-26 一种基于序列预测的车道线检测***、装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210583847.1A CN114677442B (zh) 2022-05-26 2022-05-26 一种基于序列预测的车道线检测***、装置和方法

Publications (2)

Publication Number Publication Date
CN114677442A CN114677442A (zh) 2022-06-28
CN114677442B true CN114677442B (zh) 2022-10-28

Family

ID=82080852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210583847.1A Active CN114677442B (zh) 2022-05-26 2022-05-26 一种基于序列预测的车道线检测***、装置和方法

Country Status (1)

Country Link
CN (1) CN114677442B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
CN106228125B (zh) * 2016-07-15 2019-05-14 浙江工商大学 基于集成学习级联分类器的车道线检测方法
US10303956B2 (en) * 2017-08-23 2019-05-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
CN110567469B (zh) * 2018-06-05 2021-07-20 北京市商汤科技开发有限公司 视觉定位方法、装置、电子设备及***
CN111460984B (zh) * 2020-03-30 2023-05-23 华南理工大学 一种基于关键点与梯度均衡损失的全局车道线检测方法
CN111753749A (zh) * 2020-06-28 2020-10-09 华东师范大学 一种基于特征匹配的车道线检测方法
CN113313031B (zh) * 2021-05-31 2022-04-22 南京航空航天大学 一种基于深度学习的车道线检测和车辆横向定位方法
CN113313047B (zh) * 2021-06-11 2022-09-06 中国科学技术大学 一种基于车道结构先验的车道线检测方法及***

Also Published As

Publication number Publication date
CN114677442A (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN111798400B (zh) 基于生成对抗网络的无参考低光照图像增强方法及***
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN110008997B (zh) 图像纹理相似度识别方法、装置及计算机可读存储介质
CN112101359B (zh) 文本公式的定位方法、模型训练方法及相关装置
CN111199507B (zh) 一种图像隐写分析方法、智能终端及存储介质
CN109165654B (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN107808394B (zh) 一种基于卷积神经网络的图像处理方法及移动终端
CN112001285A (zh) 一种美颜图像的处理方法、装置、终端和介质
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN111639667A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
CN113095310B (zh) 人脸位置检测方法、电子设备和存储介质
CN117934254A (zh) 水印处理模型训练方法、水印处理方法、装置和设备
CN111753729B (zh) 一种假脸检测方法、装置、电子设备及存储介质
CN114677442B (zh) 一种基于序列预测的车道线检测***、装置和方法
CN110659641A (zh) 一种文字识别的方法、装置及电子设备
CN115630660B (zh) 基于卷积神经网络的条码定位方法和装置
CN111861878A (zh) 通过潜在空间正则化对监督式生成对抗网络进行优化
CN113468906B (zh) 图形码提取模型构建方法、识别方法、装置、设备和介质
Huang et al. Anti-forensics for double JPEG compression based on generative adversarial network
CN107766863B (zh) 图像表征方法和服务器
KR102590926B1 (ko) 왜곡 이미지의 이미지 복원 방법 및 장치
CN115661929B (zh) 一种时序特征编码方法、装置、电子设备及存储介质
CN111723868B (zh) 用于去除同源图片的方法、装置及服务器
US20240161362A1 (en) Target-augmented material maps
US11878464B2 (en) Predicting thermal behavior in 3D printers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant