CN114445801A - 一种基于跨层优化的车道线检测方法 - Google Patents

一种基于跨层优化的车道线检测方法 Download PDF

Info

Publication number
CN114445801A
CN114445801A CN202210088294.2A CN202210088294A CN114445801A CN 114445801 A CN114445801 A CN 114445801A CN 202210088294 A CN202210088294 A CN 202210088294A CN 114445801 A CN114445801 A CN 114445801A
Authority
CN
China
Prior art keywords
lane line
level
feature map
pyramid
line detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210088294.2A
Other languages
English (en)
Other versions
CN114445801B (zh
Inventor
郑途
黄亦非
刘洋
唐文剑
杨政
何晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fabu Technology Co Ltd
Original Assignee
Hangzhou Fabu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fabu Technology Co Ltd filed Critical Hangzhou Fabu Technology Co Ltd
Priority to CN202210088294.2A priority Critical patent/CN114445801B/zh
Publication of CN114445801A publication Critical patent/CN114445801A/zh
Application granted granted Critical
Publication of CN114445801B publication Critical patent/CN114445801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于跨层优化的车道线检测方法。输入道路图片并用卷积神经网络得到金字塔层次特征图；利用高层次通过检测器初步检测定位车道线参数，再将检测定位到的车道线参数作为低层次输入继续检测；不断重复步骤得到最终预测的车道线；训练车道线检测模型，重复步骤用损失函数进行优化直到收敛；对实时待测的道路图片输入训练后的车道线检测模型得到道路图片中的车道线位置。本发明结合高层次和低层次的网络特征来检测车道线，提升检测精度，具有优越性。

Description

一种基于跨层优化的车道线检测方法
技术领域
本发明涉及计算机视觉领域的一种车道线图像处理方法，具体涉及一种基于跨层优化的车道线检测方法。
背景技术
车道线检测是计算机视觉领域的重要任务。它是与深度学习相互促进和发展的领域，可以应用到自动驾驶或者辅助驾驶中，为其提供道路车道线的信息，进而帮助智能车辆更好的定位车辆位置。
车道线检测是计算机视觉中一个非常具有挑战性的任务。车道线是一个交通标志，具有非常高层次语义信息。车道线的形状和一些路标相似，但是在它们有着不同的语义信息。高层向的特征对车道线检测非常重要。但是车道线的外观简单，需要低级的局部特征来准确定位。因此，在车道线检测任务中，利用高级和低级特征来预测车道线的位置非常重要。以往的方法也有致力于利用高级或者低级特征来改进车道线检测方法的。在国际顶级会议ECCV2020上发表的《Ultra Fast Structure-aware Deep Lane Detection》利用了高级的全局特征来检测车道线。而在国际顶级会议CVPR2021上发表的《Detecting LaneMarker from Bottom Up via Key Point》则提出一种基于局部线段检测再聚合成一整段车道线的方法。这两种方法，前者只关注了高级的全局特征，而后者则只注重局部的特征。这些方法没有结合使用高级和低级的特征，因此检测精度不高。
发明内容
为了解决背景技术中存在的问题，本发明提供了一种基于跨层优化的车道线检测方法。该方法很好地结合了高级特征和低级特征来优化车道线检测的过程，并提升检测效果。
本发明所采用的技术方案如下：
(1)输入道路图片并利用卷积神经网络提取得到道路图片中的金字塔层次特征图；
所述的道路图片是由车辆车头前方、侧方、后方其中之一或者多种结合下的摄像头朝向行驶前方采集获得。
(2)利用较高层次的金字塔层次特征图来通过检测器初步检测定位车道线参数，再将检测定位到的车道线参数作为相对较低层次特征的输入继续检测；
(3)不断重复步骤(2)的优化过程并达到预设次数，得到最终预测的车道线；
(4)训练由(1)-(3)构成的车道线检测模型，重复步骤(1)-(3)并利用损失函数进行车道线检测模型优化，直到车道线检测模型收敛；
(5)车道线检测模型训练完毕后，将训练后的车道线检测模型用于车道线检测的任务，对实时待测的道路图片得到道路图片中的车道线位置。
所述步骤(1)中，所述的卷积神经网络包括多个卷积模块，输入的道路图片经过连续多个卷积模块处理后再将相邻不同的卷积模块处理后的结果进行传递叠加获得多幅金字塔层次特征图。
所述的卷积模块是主要由卷积、非线性变化、批量归一化等依次连接构成。
所述步骤(1)中，卷积神经网络具体是将输入的道路图片经过连续多个卷积模块处理，每次卷积模块处理后获得骨干特征图。
所述的包含三个卷积模块，以三个卷积模块为例，按照三个卷积模块的顺序依次共获得高层次、中层次、低层次的三幅骨干特征图，将高层次的骨干特征图再经过一次卷积模块处理后获得高层次的金字塔层次特征图，将中层次的骨干特征图再经过一次卷积模块处理后获得的结果和高层次的金字塔层次特征图相加获得中层次的金字塔层次特征图，将低层次的骨干特征图再经过一次卷积模块处理后获得的结果和中层次的金字塔层次特征图相加获得低层次的金字塔层次特征图。
高层次、中层次、低层次的三幅金字塔层次特征图分辨率逐渐增大，语义信息逐渐减少。
所述步骤(2)中，在高层次、中层次、低层次的三幅金字塔层次特征图之间通过多个检测器进行传递。
所述步骤(2)中，将高层次的金字塔层次特征图和预定义好的车道线参数P0输入到第一个检测器处理中获得第一定位车道线参数Refine P0，将车道线参数Refine P0和中层次的金字塔层次特征图进行ROIAlign处理提取获得第一车道线参数P1；
再将中层次的金字塔层次特征图和第一车道线参数P1经过第二个检测器处理获得第二定位车道线参数Refine P1，将第二定位车道线参数Refine P1和低层次的金字塔层次特征图进行ROIAlign处理提取获得第二车道线参数P2；
再将低层次的金字塔层次特征图和第二车道线参数P2经过第三个检测器处理获得第三定位车道线参数Refine P2，作为车道线检测模型的输出。
所述的步骤(1)中通过特征金字塔网络FPN提取获得了不同层次的金字塔层次特征图，L0,L1，…，LN-1,分别表示N层金字塔层次特征图，从L0到LN-1特征的分辨率逐渐增大，语义信息逐渐减少；
然后在步骤(2)中，按照以下公式表示的优化过程定义如下：
Figure BDA0003488099160000031
Figure BDA0003488099160000032
Pt＝argmin Loss(Pt，G)
其中，Ft-1对应车道线的特征，
Figure BDA0003488099160000033
表示优化函数Rt之后的车道线参数估计值；Rt表示第t个检测器中的优化过程，Lt-1(Pt-1)表示ROIAlign，G表示车道线的真值，Koss(Pt，G)表示计算损失函数，argmin表示优化损失函数得到最优的参数。
所述步骤(5)中，对于车道线分类采用损失函数为Focal loss，对车道线位置回归采用损失函数为Smooth-l1 loss。
卷积神经网络的输入都是图片，卷积神经网络是车道线(包含类别分类和位置回归)，生成P1，P2的过程就是回归和分类的过程。
本发明方法具有以下有益效果：
本发明提出基于基于跨层优化的车道线检测方法，该方法结合高层次和低层次的网络特征来检测车道线，提升检测精度。
本发明可以很好的运用到各种车道线检测网络中，在主流车道线检测数据集CULane上有很大的精度提升，展示了算法的优越性。
附图说明
图1为本发明提出的框架图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。
如图1所示，本发明的实施例情况包括如下：
(1)输入道路图片并利用卷积神经网络提取得到道路图片中的金字塔层次特征图；
步骤(1)中，卷积神经网络包括多个卷积模块，输入的道路图片经过连续多个卷积模块处理后再将相邻不同的卷积模块处理后的结果进行传递叠加获得多幅金字塔层次特征图。
卷积神经网络具体是将输入的道路图片经过连续三个卷积模块处理，每次卷积模块处理后获得一幅骨干特征图，按照三个卷积模块的顺序依次共获得高层次、中层次、低层次的三幅骨干特征图，将高层次的骨干特征图再经过一次卷积模块处理后获得最高层次的金字塔层次特征图，将中层次的骨干特征图再经过一次卷积模块处理后获得的结果和最高层次的金字塔层次特征图相加获得中层次的金字塔层次特征图，将低层次的骨干特征图再经过一次卷积模块处理后获得的结果和中层次的金字塔层次特征图相加获得低层次的金字塔层次特征图。
高层次、中层次、低层次的三幅金字塔层次特征图分辨率逐渐增大，语义信息逐渐减少。
(2)利用较高层次的金字塔层次特征图来通过检测器初步检测定位车道线参数，再将检测定位到的车道线参数作为相对较低层次特征的输入继续检测；
所述步骤(2)中，将高层次的金字塔层次特征图和预定义好的车道线参数P0输入到第一个检测器处理中获得第一定位车道线参数Refine P0，将车道线参数Refine P0和中层次的金字塔层次特征图进行ROIAlign处理提取获得第一车道线参数P1；
再将中层次的金字塔层次特征图和第一车道线参数P1经过第二个检测器处理获得第二定位车道线参数Refine P1，将第二定位车道线参数Refine P1和低层次的金字塔层次特征图进行ROIAlign处理提取获得第二车道线参数P2；
再将低层次的金字塔层次特征图和第二车道线参数P2经过第三个检测器处理获得第三定位车道线参数Refine P2，作为车道线检测模型的输出。
预定义好的车道线参数P0输入到第一个检测器中，最后一个检测器的输出作为车道线检测模型的输出结果。
通过特征金字塔网络FPN提取获得了不同层次的金字塔层次特征图，L0,L1，…，LN-1,分别表示N层金字塔层次特征图，从L0到LN-1特征的分辨率逐渐增大，语义信息逐渐减少；
然后在步骤(2)中，设定每个优化过程为R1，…，RN，每层优化得到的车道线的参数为P1，…，PN，则按照以下公式表示的优化过程定义如下：
Figure BDA0003488099160000041
Figure BDA0003488099160000042
Pt＝argmin Loss(Pt，G)
其中，Ft-1对应车道线的特征，
Figure BDA0003488099160000043
表示优化函数Rt之后的车道线参数估计值；Rt表示第t个检测器中的优化过程，Lt-1(Pt-1)表示ROIAlign，G表示车道线的真值，Loss(Pt，G)表示计算损失函数，argmin表示优化损失函数得到最优的参数。N在本发明中为3。
P0表示预定义好的车道线参数，是预先设定的。优选地，步骤(3)迭代次数设置为3，即N为3。
(3)不断重复步骤(2)的优化过程并达到预设次数，得到最终预测的车道线；
(4)由上述(1)-(3)构成的车道线检测模型，利用预先已知采集获得的道路图片及其中的车道线定位训练由(1)-(3)构成的车道线检测模型，重复步骤(1)-(3)并利用损失函数进行车道线检测模型优化，直到车道线检测模型收敛；
(5)车道线检测模型训练完毕后，将训练后的车道线检测模型用于车道线检测的任务，对实时待测的道路图片得到道路图片中的车道线位置。
对于车道线分类采用损失函数为Focal loss，对车道线位置回归采用损失函数为Smooth-l1 loss。
具体实施中，Focal loss损失函数中的参数分别设定为α＝0.5，γ＝2.0。Smooth-l1 loss损失函数中的参数设定为β＝1.0。
本发明在CULane数据集上进行了实验，并且本发明提出的结构CLRNet来进行实验。结果如下表。
表1
Figure BDA0003488099160000051
表中，Setting表示不同优化过程的配置，mF1,F1@50,F1@75,F1@90分别表示不同的评估指标。
在表中可以看到，仅利用高层次的特征来优化(R0)或者低层次的特征来优化(R2)取得了相似的效果，在同一层上做多次迭代优化有一定效果提升，但提升效果有限。结合了高层次的特征和低层次的特征可以得到将近2个点的提升，说明了本发明的有效性。

Claims (8)

1.一种基于跨层优化的车道线检测方法，其特征在于：方法包括以下步骤：
(1)输入道路图片并利用卷积神经网络提取得到道路图片中的金字塔层次特征图；
(2)利用较高层次的金字塔层次特征图来通过检测器初步检测定位车道线参数，再将检测定位到的车道线参数作为相对较低层次特征的输入继续检测；
(3)不断重复步骤(2)的优化过程并达到预设次数，得到最终预测的车道线；
(4)训练由(1)-(3)构成的车道线检测模型，重复步骤(1)-(3)并利用损失函数进行车道线检测模型优化，直到车道线检测模型收敛；
(5)车道线检测模型训练完毕后，将训练后的车道线检测模型用于车道线检测的任务，对实时待测的道路图片得到道路图片中的车道线位置。
2.根据权利要求1所述的一种基于跨层优化的车道线检测方法，其特征在于：所述步骤(1)中，所述的卷积神经网络包括多个卷积模块，输入的道路图片经过连续多个卷积模块处理后再将相邻不同的卷积模块处理后的结果进行传递叠加获得多幅金字塔层次特征图。
3.根据权利要求1或2所述的一种基于跨层优化的车道线检测方法，其特征在于：所述步骤(1)中，卷积神经网络具体是将输入的道路图片经过连续多个卷积模块处理，每次卷积模块处理后获得骨干特征图。
4.根据权利要求3所述的一种基于跨层优化的车道线检测方法，其特征在于：所述的包含三个卷积模块，按照三个卷积模块的顺序依次共获得高层次、中层次、低层次的三幅骨干特征图，将高层次的骨干特征图再经过一次卷积模块处理后获得高层次的金字塔层次特征图，将中层次的骨干特征图再经过一次卷积模块处理后获得的结果和高层次的金字塔层次特征图相加获得中层次的金字塔层次特征图，将低层次的骨干特征图再经过一次卷积模块处理后获得的结果和中层次的金字塔层次特征图相加获得低层次的金字塔层次特征图。
5.根据权利要求1或者4所述的一种基于跨层优化的车道线检测方法，其特征在于：所述步骤(2)中，在高层次、中层次、低层次的三幅金字塔层次特征图之间通过多个检测器进行传递。
6.根据权利要求5所述的一种基于跨层优化的车道线检测方法，其特征在于：所述步骤(2)中，将高层次的金字塔层次特征图和预定义好的车道线参数P0输入到第一个检测器处理中获得第一定位车道线参数Refine P0，将车道线参数Refine P0和中层次的金字塔层次特征图进行ROIAlign处理提取获得第一车道线参数P1；
再将中层次的金字塔层次特征图和第一车道线参数P1经过第二个检测器处理获得第二定位车道线参数Refine P1，将第二定位车道线参数Refine P1和低层次的金字塔层次特征图进行ROIAlign处理提取获得第二车道线参数P2；
再将低层次的金字塔层次特征图和第二车道线参数P2经过第三个检测器处理获得第三定位车道线参数Refine P2，作为车道线检测模型的输出。
7.根据权利要求1或2所述的一种基于跨层优化的车道线检测方法，其特征在于：所述的步骤(1)中通过特征金字塔网络FPN提取获得了不同层次的金字塔层次特征图，L0，L1，…，LN-1，分别表示N层金字塔层次特征图，从L0到LN-1特征的分辨率逐渐增大，语义信息逐渐减少；
然后在步骤(2)中，按照以下公式表示的优化过程定义如下：
Figure FDA0003488099150000021
Figure FDA0003488099150000022
Pt＝argmin Loss(Pt，G)
其中，Ft-1对应车道线的特征，
Figure FDA0003488099150000023
表示优化函数Rt之后的车道线参数估计值；Rt表示第t个检测器中的优化过程，Lt-1(Pt-1)表示ROIAlign，G表示车道线的真值，Loss(Pt，G)表示计算损失函数，argmin表示优化损失函数得到最优的参数。
8.根据权利要求1所述的一种基于跨层优化的车道线检测方法，其特征在于：所述步骤(5)中，对于车道线分类采用损失函数为Focal loss，对车道线位置回归采用损失函数为Smooth-l1 loss。
CN202210088294.2A 2022-01-25 2022-01-25 一种基于跨层优化的车道线检测方法 Active CN114445801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210088294.2A CN114445801B (zh) 2022-01-25 2022-01-25 一种基于跨层优化的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210088294.2A CN114445801B (zh) 2022-01-25 2022-01-25 一种基于跨层优化的车道线检测方法

Publications (2)

Publication Number Publication Date
CN114445801A true CN114445801A (zh) 2022-05-06
CN114445801B CN114445801B (zh) 2022-10-21

Family

ID=81369909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210088294.2A Active CN114445801B (zh) 2022-01-25 2022-01-25 一种基于跨层优化的车道线检测方法

Country Status (1)

Country Link
CN (1) CN114445801B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234072A1 (en) * 2019-01-21 2020-07-23 Boe Technology Group Co., Ltd. Method and Apparatus for Detecting Target Objects in Images
CN111460919A (zh) * 2020-03-13 2020-07-28 华南理工大学 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法
CN111582201A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于几何注意力感知的车道线检测***
CN111738110A (zh) * 2020-06-10 2020-10-02 杭州电子科技大学 基于多尺度注意力机制的遥感图像车辆目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234072A1 (en) * 2019-01-21 2020-07-23 Boe Technology Group Co., Ltd. Method and Apparatus for Detecting Target Objects in Images
CN111460919A (zh) * 2020-03-13 2020-07-28 华南理工大学 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法
CN111582201A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于几何注意力感知的车道线检测***
CN111738110A (zh) * 2020-06-10 2020-10-02 杭州电子科技大学 基于多尺度注意力机制的遥感图像车辆目标检测方法

Also Published As

Publication number Publication date
CN114445801B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN109902806B (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN110210551B (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN108509978B (zh) 基于cnn的多级特征融合的多类目标检测方法及模型
CN110533084B (zh) 一种基于自注意力机制的多尺度目标检测方法
CN110516536B (zh) 一种基于时序类别激活图互补的弱监督视频行为检测方法
CN109285162A (zh) 一种基于局部区域条件随机场模型的图像语义分割方法
CN113627228B (zh) 一种基于关键点回归与多尺度特征融合的车道线检测方法
CN114067143B (zh) 一种基于双子网络的车辆重识别方法
CN110598692B (zh) 一种基于深度学习的椭圆识别方法
CN105512684A (zh) 基于主成分分析卷积神经网络的车标自动识别方法
Pan et al. A generic FCN-based approach for the road-network extraction from VHR remote sensing images–using openstreetmap as benchmarks
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN112489054A (zh) 一种基于深度学习的遥感图像语义分割方法
CN117079139B (zh) 一种基于多尺度语义特征的遥感图像目标检测方法及***
CN110909741A (zh) 一种基于背景分割的车辆再识别方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及***
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN114283162A (zh) 基于对比自监督学习的现实场景图像分割方法
CN111815526B (zh) 基于图像滤波和cnn的有雨图像雨条纹去除方法及***
CN112861840A (zh) 基于多特征融合卷积网络的复杂场景字符识别方法及***
CN114037640A (zh) 图像生成方法及装置
CN115661777A (zh) 一种联合语义的雾天道路目标检测算法
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及***
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant