CN114782915B - 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***及设备 - Google Patents

基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***及设备 Download PDF

Info

Publication number
CN114782915B
CN114782915B CN202210373936.3A CN202210373936A CN114782915B CN 114782915 B CN114782915 B CN 114782915B CN 202210373936 A CN202210373936 A CN 202210373936A CN 114782915 B CN114782915 B CN 114782915B
Authority
CN
China
Prior art keywords
lane line
decoder
polynomial
line detection
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210373936.3A
Other languages
English (en)
Other versions
CN114782915A (zh
Inventor
潘惠惠
常学鹏
高会军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210373936.3A priority Critical patent/CN114782915B/zh
Publication of CN114782915A publication Critical patent/CN114782915A/zh
Application granted granted Critical
Publication of CN114782915B publication Critical patent/CN114782915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***及设备，属于人工智能及检测技术领域。为了解决目前车道线检测算法尚没有一种能够兼顾算法精度和计算效率的检测方法的问题。本发明首先利用主干网络提取图像中的车道线特征，并利用多项式解码器解码特征获得车道线多项式模型参数，并加入了语义分割分支用于强化主干网络的特征提取能力；同时提出教学模块与测试模块，以类似知识蒸馏的策略将信息从语义分割解码器传送到多项式解码器，从而提升多项式解码器检测的精度；在模型训练时模型的全部结构参与对图像进行处理；在模型部署时，仅部署主干网络模型与多项式解码器，满足智能汽车车道线检测实时性的要求。主要用于车道线的检测。

Description

基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***及设备
技术领域
本发明涉及一种车道线检测***，属于人工智能及检测技术领域。
背景技术
感知、决策、控制是智能汽车实现真正落地应用的核心技术，环境感知作为决策和控制的先导技术，对智能汽车行驶的安全性、可靠性、舒适性起到至关重要的作用。车道线检测作为智能汽车环境感知的任务之一，是利用车载相机或激光雷达对道路表面的车道线标识进行检测和识别，为后续的规划和决策提供约束信息，是环境感知的基础任务。然而，真实道路交通场景中的车道线检测不仅要求算法要保证精度和速度，还要在遮挡、炫光、恶劣天气等环境下实现准确、鲁棒的检测，这是十分困难的。
2012年深度学习技术兴起后，深度学习成为了车道线检测的主流方法，按照对车道线的描述方式可以把这些方法划分为四种：1)基于图像分割(segmentation)；2)基于锚定模型(anchor)；3)基于行分类(row-wise)；4)基于多项式模型(polynomial)。方法1)是利用图像分割对图片上所有的像素进行分类，提取出属于车道线的像素，这种方法精度较高，但需要分类所有像素，效率很低；方法2)利用预设好的锚定模型来描述车道线，并预测真实车道线与锚定模型间的偏差，相对方法1)效率有所提高，但自由度较低，并且往往需要非极大值抑制算法进行后处理；方法3)先对图像按行进行分组，仅预测车道线像素是否在该组上，相较方法1)在计算速度上有较大提升。按前三种车道线描述方式设计的模型，模型的输出不能直接给后续的规划、决策模块，而是需要聚类、回归等后处理，才能生成规划需要的车道线参数模型。方法4)能直接预测车道线的几何参数模型，例如二次多项式或三次多项式，但该方法的精度与其他方法相比不足以应用到实际场景中。
在复杂的智能汽车车辆***中，端到端的实现，及算法输出能直接应用于后续模块是算法设计的目标方向。然而现有的端到端车道线检测的方法精度低，非端到端算法精度高计算效率却很低。因此，设计一种高精度、端到端的车道线检测算法是目前智能汽车无人驾驶场景下车道线检测算法需要解决的难题。
发明内容
本发明是为了解决目前车道线检测算法尚没有一种能够兼顾算法精度和计算效率的检测方法的问题。
基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***，包括：
路况图像获取单元，用于获取路况图像并提供给车道线的检测单元进行处理；
车道线的检测单元，利用车道线检测神经网络模型对路况图像进行车道线的检测；
所述车道线检测神经网络模型包括：
特征提取网络：用于对输入图像进行特征提取，获得不同尺度的车道线特征，并分别输入到多项式解码器和分割解码器；
多项式解码器：以特征提取网络得到的最高维特征作为输入，经过两层卷积以及两层全连接操作，最终获得车道线的曲线参数，多项式解码器的输出参数为N*(a+b+1)个，其中N表示图像中车道线的数量，a表示多项式的系数数量，b表示这条车道线在图像坐标中的定义域，1表示车道线存在的概率；输出了车道线的曲线参数就确定了车道线模型，所述的车道线模型为多项式，车道线曲线即多项式对应的曲线；
分割解码器：以特征提取网络的不同尺度的特征图作为输入，分别对其进行卷积和上采样操作，然后拼接成融合特征图，融合特征图是与输出分割掩码相同尺寸的特征图，再对该特征图进行卷积获得最终的分割掩码；
教学模块：对多项式解码器的第一层输出的特征进行上采样得到三种尺度的特征图，多项式解码器对应的上采样之后的特征图大小分别与分割解码器中不同尺度的特征图大小相同；然后与分割解码器的不同尺度的特征进行特征相似度的衡量，进行特征相似度的衡量的过程中先对不同尺度的特征进行全局平均金字塔池化，使每种尺度的特征分别生成三种不同尺度的新特征，再利用均方差损失函数评判多项式解码器侧的新特征和分割解码器侧的新特征对应的特征间的相似度；
测试模块：以多项式解码器的第二层输出特征和分割解码器的融合特征图作为输入，先多项式解码器的第二层输出特征进行上采样，上采样之后的特征图大小与分割解码器中的融合特征图大小相同；然后分别对多项式解码器上采样之后的特征图和分割解码器中的融合特征图进行通道求和与空间softmax操作，之后利用均方误差损失评判输出特征间的相似度；
车道线检测神经网络模型分为训练模式下、部署模式下的处理方式：
训练模式用于车道线检测神经网络模型的训练过程，利用车道线检测用的训练集进行训练，训练过程中将训练集分批次输入到模型中，按照所述的车道线检测神经网络模型的全部结构对图像进行处理，输出车道线参数和分割掩码；训练过程中将多项式解码器的输出与分割解码器的输出作为教学模块和测试模块的输入，使得多项式解码器能够学习到分割解码器的能力；
部署模式用于车道线的检测，在模型部署下仅部署车道线检测神经网络模型的特征提取网络和多项式解码器，输出车道线参数，以确定车道线模型。
进一步地，在车道线检测神经网络模型的训练过程中，将教学模块、测试模块、多项式解码器、分割解码器的损失函数进行加权求和，作为模型最终的损失，根据最终的损失对车道线检测神经网络模型训练。
进一步地，所述的特征提取网络获得三种不同尺度的车道线特征。
进一步地，所述特征提取网络为ResNet模型的主干网络。
进一步地，采用二次多项式或三次多项式描述车道线模型。
进一步地，所述的路况图像获取单元包括：
图像获取模块，用于获取车载相机拍摄的路况图像；
分辨率调整模块，用于调整车载相机拍摄的路况图像的分辨率，将调整后的图像作为车道线检测神经网络模型的输入。
进一步地，车道线检测神经网络模型的输入的图像大小为288*800。
基于辅助监督和知识蒸馏的智能汽车端到端车道线检测方法，首先利用车载相机拍摄路况图像，然后将车载相机拍摄的路况图像输入所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***进行车道线的检测。
一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***。
一种基于辅助监督和知识蒸馏的智能汽车端到端车道线检测设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***。
有益效果：
1、本发明提出的车道线检测模型为端到端模型，能根据输入图像直接输出车道线参数用于后续规划、决策算法。部署流程简单，消除了后处理对算法实时性和复杂度的影响。
2、本发明提出的车道线检测算法利用语义分割多任务分支作为辅助监督，强化了主干网络对车道线相关特征的提取能力；此外，提出的教学和测试模块充分发挥了分割算法检测车道线精度高的优势，将分割解码器的知识传递给多项式解码器，从而解决了基于多项式的车道线检测算法精度低的问题。
3、本发明在训练阶段运用多任务辅助监督、知识蒸馏等手段提升模型的精度，并在部署阶段仅使用主干模型和多项式解码器以保证算法计算效率，实现了准确性与实时性的平衡。
附图说明
图1为车道线检测神经网络模型结构图；
图2为CULane数据集中正常场景下检测出的车道线可视化结可视化结果；
图3为CULane数据集中拥挤场景下检测出的车道线可视化结果；
图4为CULane数据集中炫光场景下检测出的车道线可视化结果；
图5为CULane数据集中阴影场景下检测出的车道线可视化结果；
图6为CULane数据集中有标识箭头标识场景下检测出的车道线可视化结果；
图7为CULane数据集中无标识箭头标识场景下检测出的车道线可视化结果；
图8为CULane数据集中弯曲道路场景下检测出的车道线可视化结果；
图9为CULane数据集中夜晚场景下检测出的车道线可视化结果；
图10为TuSimple数据集的测试集下检测出的车道线可视化结果；
图11为TuSimple数据集的测试集下检测出的车道线可视化结果；
图12为TuSimple数据集的测试集下检测出的车道线可视化结果；
图13为TuSimple数据集的测试集下检测出的车道线可视化结果。
具体实施方式
本发明的目的是设计一个端到端的车道线检测神经网络模型，应用于智能汽车无人驾驶场景，解决目前车道线检测领域难以同时满足速度和精度的问题。应用本算法后，智能汽车能以超过200帧/秒的速度实现1080p视频下的高精度端到端车道线检测。并且该算法受环境因素影响较小，在常规道路、拥堵道路(遮挡)、暗光环境、炫光环境下均能实现准确的检测功能，为智能汽车提供安全可靠的感知输出。下面结合具体实施方式对本发明进行说明。
具体实施方式一：
基于辅助监督和知识蒸馏的智能汽车端到端车道线检测方法依赖基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***来实现。
本实施方式为基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***，包括：
路况图像获取单元，用于获取路况图像并提供给车道线的检测单元进行处理；
所述的路况图像获取单元包括：
图像获取模块，用于获取车载相机拍摄的路况图像；
分辨率调整模块，用于调整车载相机拍摄的路况图像的分辨率，将调整后的图像作为车道线检测神经网络模型的输入；本实施方式中，将图像的分辨率压缩为288*800以降低模型的计算量；
车道线的检测单元，利用车道线检测神经网络模型对路况图像进行车道线的检测；
所述车道线检测神经网络模型的结构如图1所示，车道线检测神经网络模型的处理过程如下：
将输入图像经过特征提取网络实现对输入图像进行特征提取，本实施方式中，特征提取网络选择ResNet模型的主干网络(图1中浅蓝色长方体)，获得三种不同尺度的车道线特征(图1中后三个长方体块堆后向下或向右输出的箭头)，这些特征分别输入到多项式解码器和分割解码器中完成各自的车道线预测任务；其中，
多项式解码器是利用特征提取网络得到的最高维特征作为输入，经过两层卷积，以及两层全连接操作，最终获得车道线的曲线参数，进而确定描述车道线模型，所述的车道线模型为多项式，车道线曲线即多项式对应的曲线；本发明中使用二次多项式或三次多项式来描述车道线模型；
以二次多项式为例，多项式解码器的输出参数为N*(3+2+1)个，其中N表示图像中车道线的数量，3表示二次多项式的三个系数，2表示这条车道线在图像坐标中的定义域，1表示这条车道线存在的概率。
分割解码器以三种不同尺度的特征图作为输入，分别对其进行卷积和上采样操作后，将其拼接成融合特征图，融合特征图是与输出分割掩码(mask)相同尺寸的特征图，再对该特征图进行卷积获得最终的分割掩码。
车道线检测神经网络模型需要经过训练，才能部署到实际应用中，因此这里分别介绍车道线检测神经网络模型的训练和部署过程。
(1)训练过程：车道线检测有许多公开数据集，如CULane，TuSimple等，这里以CULane数据集为例进行说明。
将数据集的训练集分批次输入到模型中，按照所述的车道线检测神经网络模型结构对图像进行处理，输出车道线参数和分割掩码。训练过程中将多项式解码器第一层的输出特征与分割解码器的三种不同尺度的特征作为教学模块的输入，使多项式解码器学习到分割解码器的能力，并利用多项式解码器的第二层输出特征和分割解码器融合特征图作为测试模块的输入，来确保多项式解码器已经切实学习到了分割解码器的相关特征；
教学模块对多项式解码器的第一层输出的中间特征进行上采样得到三种尺度的特征图，上采样之后的特征图大小分别与分割解码器中三种不同尺度的特征图大小相同；然后与分割解码器的三种不同尺度的特征进行特征相似度的衡量，首先对这些特征进行全局平均金字塔池化，使每种尺度的特征分别生成三种不同尺度的新特征，再利用均方差损失函数评判多项式解码器侧的新特征和分割解码器侧的新特征对应的特征间的相似度。
测试模块则是利用多项式解码器的第二层输出特征和分割解码器的融合特征图作为输入，首先对多项式解码器的第二层输出特征进行上采样，上采样之后的特征图大小与分割解码器中的融合特征图大小相同；然后分别将多项式解码器上采样之后的特征图和分割解码器中的融合特征图在进行通道求和与空间softmax操作，之后利用均方误差损失评判输出特征间的相似度，保证两个编码器信息切实完成了传递。
针对教学模块、测试模块、多项式解码器、分割解码器，对以上四部分的损失函数进行加权求和，作为模型最终的损失，利用优化算法(例如梯度下降法)完成模型参数的更新，从而完成对车道线检测神经网络模型的训练。
(2)部署过程：为了保证模型实际运行时的实时性，在模型部署时，仅部署车道线检测神经网络模型的特征提取网络和多项式解码器(即浅蓝色长方体部分和多项式解码器所在虚线框部分)，因为此时的多项式解码器已经拥有了准确检测图像中车道线的能力，无需分割解码器进行辅助监督。此时车道线检测神经网络模型的运行过程是：车载相机的视频流以连续图像帧的形式输入到模型中，图像经过降采样到288*800后，经过特征提取网络和多项式解码器，直接输出车道线参数模型给后续的规划模块，实现端到端的车道线检测。
具体实施方式二：
本实施方式所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测方法，包括以下步骤：
首先获取车载相机拍摄的路况图像，然后将车载相机拍摄的路况图像输入车道线检测神经网络模型进行车道线的检测；本实施方式中利用车道线检测神经网络模型进行车道线的检测的具体过程包以下步骤：
步骤一、准备车道线检测公开数据集，如TuSimple，CULane等，按数据集规定将其划分为训练集、验证集和测试集，并为训练集和验证集准备匹配的标签；
步骤二、对步骤一所述的原始图像进行降采样，将分辨率降为288*800，并对训练集进行随机旋转、裁剪和水平翻转等数据增强处理用于神经网络模型训练；
步骤三、设计端到端神经网络模型，此模型是本发明不同于现有技术的主要部分，也是本发明的创新主要体现。本发明提出的车道线检测神经网络模型的结构如附图1所示，该模型的结构介绍和工作原理如下。该模型以车载相机拍摄的路况图像为输入，经过步骤二的预处理后，输入到ResNet模型的主干网络(附图1中浅蓝色长方体)实现对输入图像进行特征提取，获得三种不同尺度的车道线特征(附图1中后三个长方体块堆后向下或向右输出的箭头)，这些特征分别输入到多项式解码器和分割解码器中完成各自的车道线预测任务。其中多项式解码器是利用最高维特征作为输入，经过两层卷积，以及两层全连接操作，最终获得车道线的曲线参数。本发明中使用二次多项式或三次多项式来描述车道线，本实施例中采用二次多项式，多项式解码器的输出参数为N*(3+2+1)个，其中N表示图像中车道线的数量，3表示二次多项式的三个系数，2表示这条车道线在图像坐标中的定义域，1表示这条车道线存在的概率。分割解码器以三种不同尺度的特征图作为输入，分别对其进行卷积和上采样操作后，将其拼接成与输出分割掩码(mask)相同尺寸的特征图，再对该特征图进行卷积获得最终的分割掩码。
步骤四、端到端车道线检测模型训练。将数据集的训练集分批次输入到模型中，按照步骤三描述的模型结构对图像进行处理，输出车道线参数和分割掩码。训练过程中将多项式解码器的中间输出与分割解码器的中间输出作为教学模块和测试模块的输入，使得多项式解码器能够学***均池化，利用均方差损失函数评判特征间的相似度。测试模块则是利用多项式解码器和分割解码器最后的特征，在通道求和和空间softmax操作后利用均方误差损失评判输出特征间的相似度，保证两个编码器信息切实完成了传递。最后，教学模块、测试模块、多项式解码器、分割解码器，对以上四部分的损失函数进行加权求和，作为模型最终的损失，利用优化算法(例如梯度下降法)完成模型参数的更新。
步骤五、端到端车道线检测模型部署。为了保证模型实际运行时的实时性，在模型部署时，仅部署模型的主干网络(即特征提取网络)和多项式解码器(即附图1中浅蓝色长方体部分和多项式解码器所在虚线框部分)，因为此时的多项式解码器已经拥有了准确检测图像中车道线的能力，无需分割解码器进行辅助监督。此时模型的运行过程是：车载相机的视频流以连续图像帧的形式输入到模型中，图像经过降采样到288*800后，经过主干网络和多项式解码器，直接输出车道线参数模型给后续的规划模块，实现端到端的车道线检测。
本发明提出的车道线检测模型可以依据具体的实际需求更改细节结构。其中可更改的内容有特征提取网路和车道线模型(即车道线的曲线)。其中本方法使用的主干网络模型为ResNet-34的特征提取部分，若实际对速度或精度有其他要求，可将其替换为ResNet-18，ShuffleNet，MobileNet等常规神经网络的主干网络，替换后对模型进行微调即可；车道线模型根据实际道路情况，可以替换为一次多项式、三次多项式或者更高次的多项式模型，具体替换方式为将多项式解码器的最后一层全连接层的输出维度替换为N*(M+1+2+1)，其中M为多项式模型的最高次数，替换后再对模型进行微调即可。
将本发明提出的车道线检测算法利用语义分割多任务分支作为辅助监督，强化了主干网络对车道线相关特征的提取能力；此外，提出的教学和测试模块充分发挥了分割算法检测车道线精度高的优势，将分割解码器的知识传递给多项式解码器，从而提升多项式解码器预测车道线模型的精度。在实际部署应用时，仅主干网络和多项式解码器工作，能够端到端地检测出车道线的曲线模型，并且保持较高的精度。
在实施例中，将本发明在TuSimple和CULane这两个车道线检测数据集上和现有方法进行了对比。其中TuSimple使用精度(Accuracy)作为评价指标，而CULane使用F1-Measure作为评价指标。二者的计算公式如下：
Figure BDA0003590033200000081
Figure BDA0003590033200000082
其中，Sclip是一个序列中属于车道线像素的真值点的个数，Cclip是预测结果正确的像素点的个数，Precision是精度，Recall是召回率。将本方法的结果同现有的四类车道线检测算法中的性能最佳的方法进行对比，对比结果见表1和表2。
表1 TuSimple比较结果
Figure BDA0003590033200000083
表2 CULane比较结果
Figure BDA0003590033200000084
Figure BDA0003590033200000091
从表1和表2可以看出，本发明提出的端到端车道线检测模型在精度和速度上均达到了最佳方法的水平，并且更适合在实际无人驾驶场景中部署。在CULane数据集的测试结果中，本方法在达到了最高的F1-Measure的同时，模型的运行速度也是所有方法中最高的，体现出本方法相较现有方法的优越性。本发明在CULane数据集的测试集下的可视化结果如图2至图9所示，图2至图9展示了八种不同场景下本方法的车道线检测情况，在拥挤、炫光、暗光等环境下均能准确检测出车道线。本发明在TuSimple数据集的测试集下的可视化结果如图10至图13所示。
具体实施方式三：
本实施方式为一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***。
应当理解，包括本发明描述的任何方法对应的可以被提供为计算机程序产品、软件或计算机化方法，其可以包括其上存储有指令的非暂时性机器可读介质，所述指令可以用于编程计算机***，或其他电子装置，以执行的过程。存储介质可以包括但不限于磁存储介质，光存储介质；磁光存储介质包括：只读存储器ROM、随机存取存储器RAM、可擦除可编程存储器(例如，EPROM和EEPROM)以及闪存层；或者适合于存储电子指令的其他类型的介质。
具体实施方式四：
本实施方式为所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测设备，所述设备包括处理器和存储器，应当理解，包括本发明描述的任何包括处理器和存储器的设备，设备还可以包括其他通过信号或指令进行显示、交互、处理、控制等以及其他功能的单元、模块；
所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***，其特征在于，包括：
路况图像获取单元，用于获取路况图像并提供给车道线的检测单元进行处理；
车道线的检测单元，利用车道线检测神经网络模型对路况图像进行车道线的检测；
所述车道线检测神经网络模型包括：
特征提取网络：用于对输入图像进行特征提取，获得不同尺度的车道线特征，并分别输入到多项式解码器和分割解码器；
多项式解码器：以特征提取网络得到的最高维特征作为输入，经过两层卷积以及两层全连接操作，最终获得车道线的曲线参数，多项式解码器的输出参数为N*(a+b+1)个，其中N表示图像中车道线的数量，a表示多项式的系数数量，b表示这条车道线在图像坐标中的定义域，1表示车道线存在的概率；输出了车道线的曲线参数就确定了车道线模型，所述的车道线模型为多项式，车道线曲线即多项式对应的曲线；
分割解码器：以特征提取网络的不同尺度的特征图作为输入，分别对其进行卷积和上采样操作，然后拼接成融合特征图，融合特征图是与输出分割掩码相同尺寸的特征图，再对该特征图进行卷积获得最终的分割掩码；
教学模块：对多项式解码器的第一层输出的特征进行上采样得到三种尺度的特征图，多项式解码器对应的上采样之后的特征图大小分别与分割解码器中不同尺度的特征图大小相同；然后与分割解码器的不同尺度的特征进行特征相似度的衡量，进行特征相似度的衡量的过程中先对不同尺度的特征进行全局平均金字塔池化，使每种尺度的特征分别生成三种不同尺度的新特征，再利用均方差损失函数评判多项式解码器侧的新特征和分割解码器侧的新特征对应的特征间的相似度；
测试模块：以多项式解码器的第二层输出特征和分割解码器的融合特征图作为输入，先多项式解码器的第二层输出特征进行上采样，上采样之后的特征图大小与分割解码器中的融合特征图大小相同；然后分别对多项式解码器上采样之后的特征图和分割解码器中的融合特征图进行通道求和与空间softmax操作，之后利用均方误差损失评判输出特征间的相似度；
车道线检测神经网络模型分为训练模式下、部署模式下的处理方式：
训练模式用于车道线检测神经网络模型的训练过程，利用车道线检测用的训练集进行训练，训练过程中将训练集分批次输入到模型中，按照所述的车道线检测神经网络模型的全部结构对图像进行处理，输出车道线参数和分割掩码；训练过程中将多项式解码器的输出与分割解码器的输出作为教学模块和测试模块的输入，使得多项式解码器能够学习到分割解码器的能力；
部署模式用于车道线的检测，在模型部署下仅部署车道线检测神经网络模型的特征提取网络和多项式解码器，输出车道线参数，以确定车道线模型。
2.根据权利要求1所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***，其特征在于，在车道线检测神经网络模型的训练过程中，将教学模块、测试模块、多项式解码器、分割解码器的损失函数进行加权求和，作为模型最终的损失，根据最终的损失对车道线检测神经网络模型训练。
3.根据权利要求2所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***，其特征在于，所述的特征提取网络获得三种不同尺度的车道线特征。
4.根据权利要求3所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***，其特征在于，所述特征提取网络为ResNet模型的主干网络。
5.根据权利要求4所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***，其特征在于，采用二次多项式或三次多项式描述车道线模型。
6.根据权利要求1至5之一所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***，其特征在于，所述的路况图像获取单元包括：
图像获取模块，用于获取车载相机拍摄的路况图像；
分辨率调整模块，用于调整车载相机拍摄的路况图像的分辨率，将调整后的图像作为车道线检测神经网络模型的输入。
7.根据权利要求6所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***，其特征在于，车道线检测神经网络模型的输入的图像大小为288*800。
8.基于辅助监督和知识蒸馏的智能汽车端到端车道线检测方法，其特征在于，首先利用车载相机拍摄路况图像，然后将车载相机拍摄的路况图像输入权利要求1至7之一所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***进行车道线的检测。
9.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7之一所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***。
10.一种基于辅助监督和知识蒸馏的智能汽车端到端车道线检测设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7之一所述的基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***。
CN202210373936.3A 2022-04-11 2022-04-11 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***及设备 Active CN114782915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210373936.3A CN114782915B (zh) 2022-04-11 2022-04-11 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210373936.3A CN114782915B (zh) 2022-04-11 2022-04-11 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***及设备

Publications (2)

Publication Number Publication Date
CN114782915A CN114782915A (zh) 2022-07-22
CN114782915B true CN114782915B (zh) 2023-04-07

Family

ID=82429362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210373936.3A Active CN114782915B (zh) 2022-04-11 2022-04-11 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***及设备

Country Status (1)

Country Link
CN (1) CN114782915B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376091A (zh) * 2022-10-21 2022-11-22 松立控股集团股份有限公司 一种利用图像分割辅助的车道线检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066986A (zh) * 2017-04-21 2017-08-18 哈尔滨工业大学 一种基于单目视觉的车道线与前方障碍物检测方法
CN111242037A (zh) * 2020-01-15 2020-06-05 华南理工大学 基于结构信息的车道线检测方法
CN112528878A (zh) * 2020-12-15 2021-03-19 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN112883807A (zh) * 2021-01-22 2021-06-01 中汽创智科技有限公司 车道线检测方法和***
CN113158768A (zh) * 2021-03-03 2021-07-23 中山大学 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN113591670A (zh) * 2021-07-27 2021-11-02 中国科学院合肥物质科学研究院 一种基于卷积神经网络的车道线检测方法
CN113780132A (zh) * 2021-08-31 2021-12-10 武汉理工大学 一种基于卷积神经网络的车道线检测方法
CN113920100A (zh) * 2021-10-19 2022-01-11 成都一尧科技有限公司 基于知识蒸馏的弱监督骨扫描图像热点分割方法及***
CN114120069A (zh) * 2022-01-27 2022-03-01 四川博创汇前沿科技有限公司 基于方向自注意力的车道线检测***、方法和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003920B2 (en) * 2018-11-13 2021-05-11 GM Global Technology Operations LLC Detection and planar representation of three dimensional lanes in a road scene

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066986A (zh) * 2017-04-21 2017-08-18 哈尔滨工业大学 一种基于单目视觉的车道线与前方障碍物检测方法
CN111242037A (zh) * 2020-01-15 2020-06-05 华南理工大学 基于结构信息的车道线检测方法
CN112528878A (zh) * 2020-12-15 2021-03-19 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN112883807A (zh) * 2021-01-22 2021-06-01 中汽创智科技有限公司 车道线检测方法和***
CN113158768A (zh) * 2021-03-03 2021-07-23 中山大学 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN113591670A (zh) * 2021-07-27 2021-11-02 中国科学院合肥物质科学研究院 一种基于卷积神经网络的车道线检测方法
CN113780132A (zh) * 2021-08-31 2021-12-10 武汉理工大学 一种基于卷积神经网络的车道线检测方法
CN113920100A (zh) * 2021-10-19 2022-01-11 成都一尧科技有限公司 基于知识蒸馏的弱监督骨扫描图像热点分割方法及***
CN114120069A (zh) * 2022-01-27 2022-03-01 四川博创汇前沿科技有限公司 基于方向自注意力的车道线检测***、方法和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Flexible lane detection using CNNs;Li Haixia，et al;《2021 international conference on computer technology and media convergence design(CTMCD)》;20210716;235-238 *
一种采用区域知识蒸馏网络的车道线检测方法;叶飞等;《小型微型计算机***》;20211025;第43卷(第11期);2348-2353 *
基于卷积神经网络的车道线检测与车道保持控制研究;刘泽凌;《中国优秀硕士学位论文全文数据库工程科技II辑》;20220315;C035-579 *
基于目标特征蒸馏的车道线检测;龙建武等;《重庆理工大学学报(自然科学)》;20200930;第34卷(第9期);198-208 *

Also Published As

Publication number Publication date
CN114782915A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN108694386B (zh) 一种基于并联卷积神经网络的车道线检测方法
CN113126115B (zh) 基于点云的语义slam方法、装置、电子设备和存储介质
CN111738037B (zh) 一种自动驾驶方法及其***、车辆
CN113468967A (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN111738111A (zh) 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法
CN108520238B (zh) 一种基于深度预测编码网络的夜视图像的场景预测方法
CN113095152B (zh) 一种基于回归的车道线检测方法及***
CN109902610A (zh) 交通标志识别方法和装置
CN113591617B (zh) 基于深度学习的水面小目标检测与分类方法
CN114743119A (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN115285143A (zh) 一种基于场景分类的自动驾驶车辆导航方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN114120272A (zh) 一种融合边缘检测的多监督智能车道线语义分割方法
CN117765373B (zh) 一种自适应裂缝尺寸的轻量化道路裂缝检测方法及***
CN113052108A (zh) 基于深度神经网络的多尺度级联航拍目标检测方法和***
CN114782915B (zh) 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测***及设备
CN114067142A (zh) 一种实现场景结构预测、目标检测和车道级定位的方法
CN115273032A (zh) 交通标志识别方法、装置、设备及介质
CN115049948A (zh) 基于神经网络模型的无人机巡检方法、装置及相关设备
CN115049130A (zh) 一种基于时空金字塔的自动驾驶轨迹预测方法
CN114550023A (zh) 一种交通目标静态信息提取装置
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
CN114549970A (zh) 融合全局细粒度信息的夜间小目标果实检测方法及***
CN115294548B (zh) 一种基于行方向上位置选择和分类方法的车道线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant