CN116311140A - 用于检测车道线的方法、设备和存储介质 - Google Patents

用于检测车道线的方法、设备和存储介质 Download PDF

Info

Publication number
CN116311140A
CN116311140A CN202310526923.XA CN202310526923A CN116311140A CN 116311140 A CN116311140 A CN 116311140A CN 202310526923 A CN202310526923 A CN 202310526923A CN 116311140 A CN116311140 A CN 116311140A
Authority
CN
China
Prior art keywords
image
lane line
view
lane
instance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310526923.XA
Other languages
English (en)
Other versions
CN116311140B (zh
Inventor
王鸿飞
姚佳丽
李波
赖福辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jika Intelligent Robot Co ltd
Original Assignee
Jika Intelligent Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jika Intelligent Robot Co ltd filed Critical Jika Intelligent Robot Co ltd
Priority to CN202310526923.XA priority Critical patent/CN116311140B/zh
Publication of CN116311140A publication Critical patent/CN116311140A/zh
Application granted granted Critical
Publication of CN116311140B publication Critical patent/CN116311140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及用于检测车道线的方法、设备和存储介质。该方法包括获取将用于训练车道线检测模型的车道线图像集，车道线图像集包括目标车辆在相同时刻捕获的左前、左后、右前、右后视角图像；确定与车道线图像集中图像的车道线相关联的车道线实例点集信息和车道线实例分类信息；合并左前与右前视角图像以得到前视合并图像，合并左后和右后视角图像以得到后视合并图像，并且分别将前视合并图像和后视合并图像进行缩放；对缩放后图像的车道线实例点集信息进行转换；以及基于车道线实例分类信息和经转换的车道线实例点集信息，得到用于训练车道线检测模型的目标数据集。以此方式，能够实现对侧向视角下不同表现形式、位置和特征的车道线的准确检测。

Description

用于检测车道线的方法、设备和存储介质
技术领域
本公开一般地涉及智能交通和图像检测领域，特别地涉及用于检测车道线的方法、设备和存储介质。
背景技术
车道线作为道路交通中的基本组成部分，车道线检测技术在自动驾驶领域中是实现自动导航和车辆轨迹规划的重要依据。通过对车道线的准确检测，自动驾驶车辆可以实现在车道内自动行驶、超车、换道等操作，从而提高安全性和效率，并且也可以为驾驶员提供实时的车道线信息和警告，帮助驾驶员保持车辆在正确的车道内行驶，减少交通事故的风险。
目前车道线检测方法主要分为两类：传统车道线检测算法和基于深度学习的车道线检测算法。
传统的车道线检测方法通常基于视觉信息线索来解决车道线检测问题，例如通过提取图像特征、应用边缘检测算法、拟合直线或曲线等方式进行车道线检测，然而，这样的车道线检测方法对于因光照变化、复杂背景、遮挡等情况的鲁棒性较差，检测的效果容易受到环境因素的影响。
基于深度学习的车道线检测算法能够对于目标特征在模型训练过程中自动学习并自动修正学习参数，能够在一定程度上提升车道线检测算法的鲁棒性和准确性。然而，目前对车道线检测算法的研究方向主要集中在前向视角，对侧向视角车道线检测的检测研究较少。
为了保证自动驾驶安全，自动驾驶***不能仅依靠前视摄像头，还要进行多视角的感知。对于多视角的感知，其感知的范围不仅局限于前向视角下的车道线，同时也需要检测出侧向视角的车道线，由于侧向和前向视角的车道线表现形式、位置和特征不一致，直接将训练好的前视车道线检测模型应用在侧视上，对网络本身的泛化能力要求特别高，通常难以实现。对于某些模型，其由于侧向车道线相对于前向的车道线特征发生较大变化，导致其无法用于侧向的检测。
中国专利申请CN115205800A《自动驾驶周视车道线模型训练和检测方法》中针对Line Anchor难以适用侧向小视角车道线的检测，将侧向视角采取“先旋转后合并”的策略使侧向视角车道线与前向视角样本空间一致，进而实现对侧向车道线的检测。然而，这种方法需要依赖较强的先验信息，对于车道线检测的泛化性和准确率较差。而且，该模型计算量较大，对于硬件要求较高。
因此，急需一种侧向多视角下车道线检测方案，以至少部分地解决现有技术中存在的技术问题。
发明内容
根据本公开的示例实施例，提供了一种用于检测车道线的方案。
在本公开的第一方面中，提供了一种用于训练车道线检测模型的方法。该车道线检测模型用于侧向多视角下的车道线检测，该方法包括：获取将用于训练车道线检测模型的车道线图像集，车道线图像集包括目标车辆在相同时刻捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像；确定与车道线图像集中图像的车道线相关联的车道线实例点集信息和车道线实例分类信息；合并左前视角图像与右前视角图像以得到前视合并图像，合并左后视角图像和右后视角图像以得到后视合并图像，并且分别将前视合并图像和后视合并图像进行缩放；对缩放后的前视合并图像和缩放后的后视合并图像的车道线实例点集信息进行转换；以及基于车道线实例分类信息和经转换的车道线实例点集信息，得到用于训练车道线检测模型的目标数据集。
在一些实施例中，获取将用于训练车道线检测模型的车道线图像集可以包括：利用设置在目标车辆上的摄像头获得左前侧向视角、左后侧向视角、右前侧向视角和右后侧向视角的多段视频数据；以及基于预设抽帧频率，在多段视频数据中抽取得到车道线图像集。
在一些实施例中，确定与车道线图像集中图像的车道线相关联的车道线实例点集信息和车道线实例分类信息可以包括：以点集的方式对车道线进行标注并且针对车道线进行分类信息标注，以得到车道线实例点集信息。
在一些实施例中，合并左前视角图像与右前视角图像以得到前视合并图像，合并左后视角图像和右后视角图像以得到后视合并图像，并且分别将前视合并图像和后视合并图像进行缩放可以包括：将左前视角图像与右前视角图像在水平方向上合并，并且左前视角图像处于左侧，右前视角图像处于右侧；将左后视角图像和右后视角图像在水平方向上合并，并且左后视角图像处于右侧，右后视角图像处于左侧；以及将前视合并图像和后视合并图像缩放为单一尺寸图像大小。
在一些实施例中，对缩放后的前视合并图像和缩放后的后视合并图像的车道线实例点集信息进行转换可以包括：对于左前视角图像和右后视角图像中车道线实例点集转换规则可以为：Uafter= Ubefore/ 2，Vafter= Vbefore；对于右前视角图像和左后视角图像中车道线实例点集转换规则可以为：Uafter= Ubefore/ 2 + w / 2，Vafter= Vbefore；其中Uafter和Vafter表示转换后的坐标点，Ubefore和Vbefore表示转换前的坐标点，w为缩放后的前视合并图像或缩放后的后视合并图像的宽度。
在一些实施例中，基于车道线实例分类信息和经转换的车道线实例点集信息，得到用于训练车道线检测模型的目标数据集可以包括：将车道线实例点集信息进行连接，得到车道线实例分割图；对车道线起始点坐标进行处理，得到车道线实例起点热图；根据车道线实例分类信息进行进一步标识，生成车道线实例分类参数；以及基于车道线实例分割图、车道线实例起点热图以及车道线实例分类参数得到目标数据集。
在本公开的第二方面中，提供了一种用于检测车道线的方法。车道线包括侧向多视角车道线，并且该方法包括：获取待检测图像，待检测图像包括目标车辆在相同时刻捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像；以及利用根据本公开第一方面的车道线检测模型对待检测图像进行检测，获得车道线检测结果。
在一些实施例中，该方法还可以包括：分别合并左前视角图像与右前视角图像以得到前视合并图像、左后视角图像与右后视角图像以得到后视合并图像，并且分别将前视合并图像和后视合并图像进行缩放；确定缩放后的前视合并图像和缩放后的后视合并图像所对应的车道线实例分割图和车道线实例分类信息；基于确定的车道线实例分割图和车道线实例分类信息，确定左右车道线的实际坐标。
在本公开的第三方面中，提供了一种电子设备。该设备包括一个或多个处理器；以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作，动作包括：获取将用于训练车道线检测模型的车道线图像集，车道线图像集包括目标车辆在相同时刻捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像；确定与车道线图像集中图像的车道线相关联的车道线实例点集信息和车道线实例分类信息；合并左前视角图像与右前视角图像以得到前视合并图像，合并左后视角图像和右后视角图像以得到后视合并图像，并且分别将前视合并图像和后视合并图像进行缩放；对缩放后的前视合并图像和缩放后的后视合并图像的车道线实例点集信息进行转换；以及基于车道线实例分类信息和经转换的车道线实例点集信息，得到用于训练车道线检测模型的目标数据集。
在本公开的第四方面中，提供了一种电子设备。该设备包括一个或多个处理器；以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作，动作包括：获取待检测图像，待检测图像包括目标车辆在相同时刻捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像；以及利用根据本公开第一方面的车道线检测模型对待检测图像进行检测，获得车道线检测结果。
在本公开的第五方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。
在本公开的第六方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第二方面的方法。
根据本公开的各个实施例至少能够起到如下技术效果：
检测模型训练过程中，针对侧向视角下车道线的表现形式、位置和特征与前向视角下所存在的明显区别，对多个侧向图像数据进行合并后缩放，并对缩放后的图像进行转换，得到目标训练数据，实现模型对侧向视角下车道线的准确检测。经训练的模型可以同时预测多个侧向视角图像中的车道线，使得车道线检测能够较佳地适应侧向视角。
合并缩放图片所需要的参数相对较少，并且缩放单一尺寸图像多个参数可以复用，可以显著降低模型计算时所需要的算力，降低硬件成本。
车道线预测模型在学习过程中充分结合主分支和辅助分支，提升模型网络的学习能力，而在推理时可以选择性地仅保留主分支，提升模型运行速度的同时能够得到较好的推理结果，模型鲁棒性和准确性高。
模型网络能够充分应用于侧向视角下的车道线检测，不需要考虑将不同角度车道线的图片进行不同角度的旋转，即可得到准确的推理结果，并且不需要依赖于较强的先验信息，提升***泛化性和准确率。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。附图用于更好地理解本方案，不构成对本公开的限定，其中：
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；
图2示出了根据本公开的一些实施例的用于训练车道线检测模型的过程的示意流程图；
图3示出了根据本公开的一些实施例的车道线检测网络结构示意图；
图4示出了根据本公开的一些实施例的待检测图像车道线标注示意图；
图5示出了根据本公开的一些实施例的原图图像和对应的实例分割标签对比示意图；
图6示出了根据本公开的一些实施例的用于检测车道线的过程的示意流程图；
图7示出了根据本公开的一些实施例的用于训练车道线检测模型的装置的示意性框图；
图8示出了根据本公开的一些实施例的用于检测车道线的装置的示意性框图；以及
图9示出了能够实施本公开的多个实施例的示例计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如前文所述，目前的传统车道线检测方法对于因光照变化、复杂背景、遮挡等情况的鲁棒性较差，检测的效果容易受到环境因素的影响。基于深度学习的检测方法主要集中在前向视角，对侧向视角车道线检测的检测研究不足，而且现有的检测方法网络本身的泛化能力不足，对于侧向视角的检测准确性不足，甚至无法用于侧向检测。另外，现有的模型计算量大，对于硬件要求高，不利于节约成本。
为此，本公开提供了一种用于检测车道线的方案。该方案在检测模型训练过程中，针对侧向视角下车道线的表现形式、位置和特征与前向视角下所存在的明显区别，对多个侧向图像数据进行合并后缩放，并对缩放后的图像进行转换，得到目标训练数据，实现模型对侧向视角下车道线的准确检测。经训练的模型可以预测同一时间戳下的多个侧向视角图像中的车道线，使得车道线检测能够较佳地适应侧向视角。而且，合并缩放图片操作所需要的模型参数相对较少，并且缩放单一尺寸图像时多个参数可以复用，可以显著降低模型计算时所需要的算力，降低硬件成本。
下文将结合图1至图9介绍本公开的示例性实施例。
图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，如图1所示，本公开以车道线实体检测模型为例示出了模型训练和应用的方式。总体地，示例环境100中包括目标车辆101、待检测车道线图像集110、计算设备120和检测结果130、检测模型140以及待训练车道线图像集150。其中检测模型140以及待训练车道线图像集150组成模型训练***160，并且待检测车道线图像集110、计算设备120、检测结果130组成模型应用***170。
在一些实施例中，目标车辆101可以是用于采集待训练车道线图像集150的车辆，其采集的图像可以输入到检测模型140用于模型训练。目标车辆101也可以是道路上正在行驶的车辆，其捕获待检测图像集，并输入计算设备120进行检测，从而输出最终的车道线检测结果，以辅助目标车辆101的自动驾驶或半自动驾驶。也就是说，目标车辆101可以通过设置在自身上的摄像头捕获待训练车道线图像集150用于检测模型140的训练，也可以捕获待检测车道线图像集110作为输入，利用模型应用***170进行车道线检测。在其他实施例中，待训练车道线图像集150也可以通过其他任意合适的方式获取，本公开对此不作限制。
在图1的示例中，目标车辆101可以是可以承载人和/或物并且通过发动机等动力***移动的任何类型的车辆，包括但不限于轿车、卡车、巴士、电动车、摩托车、房车、火车、采集车等等。在一些实施例中，环境100中的目标车辆101可以是具有一定自动驾驶能力的车辆，这样的车辆也被称为无人驾驶车辆或自动驾驶车辆。在一些实施例中，目标车辆101也可以是具有半自动驾驶能力的车辆。
在一些实施中，如图1所示，目标车辆101可以在车身上安装多个数据采集的摄像头，例如安装4个摄像头，分别对左前、左后、右前和右后4个视角的数据进行采集，任意一侧2个摄像头的视角有部分是重叠的，确保可以覆盖车辆左右两侧视野的盲区，采集的原始数据为这4个摄像头记录车辆行驶过程的视频数据。
继续参考图1，在一些实施例中，在一些实施例中，计算设备120可以通信地耦合到目标车辆101。虽然被示出为单独的实体，但计算设备120可以被嵌入在目标车辆101中。计算设备120也可以是目标车辆101外部的实体，并且可以经由无线网络与目标车辆101通信。计算设备120可以是任何具有计算能力的设备。
在一些实施例中，计算设备120可以包括但不限于个人计算机、服务器计算机、手持或膝上型设备、移动设备（诸如移动电话、个人数字助理PDA、媒体播放器等）、消费电子产品、小型计算机、大型计算机、云计算资源等。
下文将以机器或深度学习模型对计算设备120中的模型的训练和使用进行描述。如图1所示，在示例环境100中，模型训练***160和/或模型应用***170例如可以在如图1所示的计算设备120中实现。应当理解，仅出于示例性的目的描述示例环境100的结构和功能并不旨在限制本文所描述主题的范围。本文所描述主题可以在不同的结构和/或功能中实施。
如前所述，确定待检测车道线图像集110的检测结果130的过程可以分为两个阶段：模型训练阶段和模型应用阶段。作为示例，在模型训练阶段中，模型训练***160可以利用待训练数据图像集150中的目标数据集来训练用于实现侧向多视角下车道线检测的检测模型140。在模型应用阶段中，模型应用***170可以接收经训练的检测模型140，从而由检测模型140基于待检测车道线图像集110来确定车道线的检测结果130。
在一些实施例中，检测模型140可以被构建为深度或机器学习网络。在一些实施例中，该学习网络可以包括多个网络，其中每个网络可以是一个多层神经网络，其可以由大量的神经元组成。通过训练过程，每个网络中的神经元的相应参数能够被确定。检测模型140的训练过程可以以迭代方式来被执行，直至检测模型140的参数中的至少部分参数收敛或者直至达到预定迭代次数，由此获得最终的模型参数。
为了实现本公开的各个实施例，车道线的检测模型140的车道线检测网络需要根据检测需求进行特殊设定，例如可以采用图3所示的网络结构。图3示出了根据本公开的一些实施例的车道线检测网络结构示意图。
如图3所示，总体地，车道线检测网络总体可以分为编码网络和解码网络，编码网络对输入图像提取其中的车道线多尺度特征，编码网络进行解码得到需要的车道线信息，包括侧向视角下以采集车为例的目标车辆左右各两条车道线实例以及对应的车道线实例的颜色、线型和是否鱼骨线等分类信息，同时采用车道线实例起点热图作为辅助分支来提高网络的学习能力。
具体地，对于编码网络，通过分析车道线的特征可知，车道线一般为路面背景中白色或黄色的条形区域，且被遮挡、磨损后会造成特征提取困难，采用传统的图像处理算法难以准确提取图像中的车道线特征，须采用深度学习网络进行特征提取。在一些实施例中，可以采用残差网络ResNet作为主干网络提取图像的多尺度特征。假设输入图像的大小为（h，w，3），通过编码网络后，输出特征图大小为（h/n，w/n，c）；其中h代表图像的高度，w代表图像的宽度，3代表输入的图像采用RGB通道，n代表下采样倍数，c代表所提取的特征图的通道数。该编码网络通过卷积网络能够提取丰富的语义信息，同时通过调整下采样的倍数n能够均衡空间分辨率和处理计算量。
对于解码网络，解码网络可以负责将提取的车道线特征进行解码输出，可以包括实例分割主分支、车道线实例分类主分支、车道线实例起点辅助分支。
在一个实施例中，车道线实例起点辅助分支例如可以利用编码网络中的ResNet网络提取出来的特征图，通过一个1*1的卷积核将特征图的通道降为一层，进而预测车道线实例的起点热图，作为辅助分支只用于模型训练，提高网络学习的性能，在测试时，网络只保留主分支，提高模型运行的速度。
在一个实施例中，车道线实例分割主分支例如可以利用编码网络中的ResNet网络提取出来的特征图，通过一个1*1的卷积和将特征图的通道数缩小。在此基础上，基于车道线稀疏性的特征，即车道线相对于道路背景，形状是条形，细长且稀疏，利用车道线的强形状先验信息和捕捉像素间跨行、列的空间信息，将特征图的切片在水平和垂直方向上反复移动，使得每个像素都能获得全局信息。上采样阶段将特征图恢复到送入网络的图像大小，不同于语义分割，实例分割区分每一条车道线，其输入大小为（h/n，w/n，c）的特征图，输出的实例分割特征图大小为（h，w，5），其中5代表车道线实例分割的数目（包含背景）。
在一个实施例中，车道线实例分类分支包含的分类信息分支可以有车道线实例是否存在分支、车道线实例颜色分支、车道线实例线型分支和车道线实例是否鱼骨线分支四个。四个分支的网络结构一致。以车道线实例是否存在分支为例介绍网络分类分支的基本结构。输入采用编码网络中ResNet网络提取出的特征图为（h/n，w/n，c），首先通过一个1*1的卷积和将特征图的通道数缩小，再将特征图展平后通过全连接网络进行预测，全接连网络输出层的大小取决于预测的实例个数，这里一般设置为4，分别对应不同车道线实例的分类信息（不包含背景）。
需要理解，模型训练***160的训练主要是对车道线的检测模型140的检测网络进行的训练。也即，将待训练数据图像集150处理成能够用于训练检测模型140的目标数据集，下文将结合图2进行更详细地介绍。
上文描述的技术方案仅用于示例，而非限制本公开。应理解，还可以按照其他方式和连接关系来布置各个网络。为了更清楚地解释本公开方案的原理，下文将参考图2来更详细描述模型训练的过程。
图2示出了根据本公开的一些实施例的用于训练车道线检测模型的过程200的示意流程图。在某些实施例中，过程200可以在图1的计算设备120中实现。现参照图2并结合图1描述根据本公开实施例的用于训练模型的过程200。为了便于理解，在下文描述中提及的具体实例均是示例性的，并不用于限定本公开的保护范围。
在框201，获取将用于训练车道线检测模型的车道线图像集，车道线图像集包括目标车辆在相同时刻捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像。其中，将用于训练车道线检测模型的车道线图像集可以是图1所示的待训练车道线图像集150。
在一个实施例中，可以利用设置在目标车辆101上的摄像头获得左前侧向视角、左后侧向视角、右前侧向视角和右后侧向视角的多段视频数据，随后可以基于预设抽帧频率，在多段视频数据中抽取得到待训练车道线图像集150。待训练车道线图像集150可以包括多组同一时间戳下的目标车辆101所捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像，每组同一时间戳下的前视角图像、左后视角图像、右前视角图像、右后视角图像的集合可以视为一个训练组。
这样，针对目标车辆101行驶过程获得的视频数据，按照一定的抽帧频率，抽取出具有相同时间戳四个侧向一定量的图像数据，按照数据多样性的原则，能够筛选不同场景的车道线数据。
在框203，确定与车道线图像集中图像的车道线相关联的车道线实例点集信息和车道线实例分类信息。在抽取到待训练的车道线图像集之后，可以对这些图像进行标注，标注可以采用图1中的计算设备120自动完成，也可以利用人工实现标注或者半自动标注，本公开对此不作限制。
图4示出了根据本公开的一些实施例的待检测图像车道线标注示意图。参照图4，左前视角图像中左侧车道线标注为1，右侧车道线标注为2；右前视角图像中左侧车道线标注为3，右侧车道线标注为4；左后视角图像中左侧车道线标注为3，右侧车道线标注为4；并且右后视角图像中左侧车道线标注为1，右侧车道线标注为2。
在一个实施例中，可以通过如下的规则进行标注，得到如图4的车道线标注示意图（以采集车作为示例）：
a)标注类型：车道线标注为点集，即每条车道线实例表示为点的集合；
b)标注范围：以采集车为准，标注采集车左右各两条车道线实例总共四条车道线实例；
c)标注位置：标注的车道线实例点集为靠近采集车一侧的边缘位置；
d)标注信息：车道线标注与实例分割存在强关联性，每条车道线实例需要标注的类别信息如下表（1）所示：
表（1）：车道线实例分类信息表
Figure SMS_1
。
然后将经过标注的图像集输入如前所述的检测模型140的检测网络，得到原始的车道线数据集以及车道线检测网络需要的训练标签，具体包含车道线实例分割标签图、车道线实例起点热图和车道线实例分类信息参数矩阵。
在框205，合并左前视角图像与右前视角图像以得到前视合并图像，合并左后视角图像和右后视角图像以得到后视合并图像，并且分别将前视合并图像和后视合并图像进行缩放。
图5示出了根据本公开的一些实施例的原图图像和对应的实例分割标签对比示意图。在一个实施例中，如图5左所示，可以将左前视角图像与右前视角图像在水平方向上合并，并且左前视角图像处于左侧，右前视角图像处于右侧。随后，将左后视角图像和右后视角图像在水平方向上合并，并且左后视角图像处于右侧，右后视角图像处于左侧，最后将前视合并图像和后视合并图像缩放为单一尺寸图像大小。
在这样的实施例中，具体地，单一侧向视角下车道线样本空间与前向视角下车道线样本空间具有较大差距，在解码网络中对车道线实例分割网络中采取的特征增强操作具有明显的局限性，进一步分析四个侧向视角车道线样本空间，采取如下的策略：首先得到同一时间戳的四个侧向视角图像数据以及标注的车道线信息。
在一个实施例中，随后将左前侧向和右前侧向两个图像进行水平方向合并，合并时左前图像在左侧、右前图像在右侧；对左后侧向和右后侧向两个图像进行水平方向合并，合并时左后图像在右侧、右后图像在左侧；拼接得到的两张图像再进行缩放回单一尺寸图像大小后，得到的两张图像的车道线样本空间与前向视角相对一致。这样一来，由于两张合并图像大小一致，在模型学习过程中可以共用检测网络参数，降低所需算力，减少硬件成本。
在框207，对缩放后的前视合并图像和缩放后的后视合并图像的车道线实例点集信息进行转换。四张图片合并后会得到新的图像数据和新的车道线标注信息。其中标注的车道线信息中车道线实例ID、车道线实例颜色、线型和是否鱼骨线保持不变，但是由于合并缩放后车道线实例点集发生改变，因此需要对标注的车道线实例点集进行转换。
在一个实施例中，可以采用如下的方式对标注的车道线实例点集进行转换。对于左前视角图像和右后视角图像中车道线实例点集转换规则可以为Uafter= Ubefore/ 2；Vafter=Vbefore，并且对于右前视角图像和左后视角图像中车道线实例点集转换规则可以为Uafter=Ubefore/ 2 + w / 2；Vafter= Vbefore。其中，Uafter和Vafter表示转换后的坐标点，Ubefore和Vbefore表示转换前的坐标点，w为缩放后的所述前视合并图像或缩放后的所述后视合并图像的宽度。
在框209，基于车道线实例分类信息和经转换的车道线实例点集信息，得到用于训练车道线检测模型的目标数据集。对车道线实例点集进行转换之后，可以结合车道线实例分类信息得到目标数据集，目标数据集可以包括车道线实例分割标签信息、车道线实例起点热图标签信息和车道线实例分类信息。
在一些实施例中，可以将车道线实例点集信息进行连接，得到车道线实例分割图。然后，对车道线起始点坐标进行处理，得到车道线实例起点热图。继而，根据车道线实例分类信息进行再标识，生成车道线实例分类参数。最后，基于车道线实例分割图、车道线实例起点热图以及车道线实例分类参数得到目标数据集。
在一个实施例中，如图5右所示，为了生成图像实例分割标签，可以将点集的标注信息进行连接，并设置宽度为16格像素，得到最终的图像标签。实例分割的ID与原始标注的车道线实例ID保持一致。原始标签和对应的实例分割标签图如图5所示。其中，真实标签图中的车道线像素点可以用0、1、2、3、4表示，但在图5中为了可以清晰表示标签数据，可以用黑、红、黄、绿、蓝五种颜色或者不同灰度的颜色代替原始图像标签中的0、1、2、3、4像素点。
需要说明，上述颜色或者灰度线条替代仅仅是示例性的，还可以采用其他合适的手段来替换原始图像标签，本公开对此不作限制。
在一个实施例中，为了增强网络对于车道线检测的准确性，可以增加车道线实例起点热图监督分支。具体地，对输入图像中的车道线起始点坐标进行处理，为车道线起点检测模块提供监督信息：首先构建一个大小为（h/n, w/n, 1）的起始点矩阵，每个点对应输入图像的n*n区域，然后根据标注的信息获取所有车道线在输入图像上的起始点坐标，以起始点为中心，在起始点矩阵对应的位置生成一个高斯模糊核。其中h为图像的高度，w为图像的宽度，n表示特征编码网络缩放的倍数，并且n*n表示缩放后任一个像素点对应原始输入图像中的大小。
在一个实施例中，车道线实例分类信息作为车道线检测中不可或缺的一部分，需要对检测出来的车道线实例进行更具体的标识。根据原始的标注信息会生成一个4*4的矩阵，矩阵第一行对应车道线实例是否存在，0表示不存在，1表示存在；矩阵第二行对应车道线实例颜色，0表示白色，1表示黄色；矩阵第三行对应车道线实例线型，0表示实线，1表示虚线；矩阵第四行对应车道线实例是否鱼骨线，0表示否，1表示是。
这样一来，通过上述数据处理可以得到车道线检测网络进行训练必须的标签数据，即得到目标数据集，用于检测模型的训练。
在一些实施例中，利用上述数据预处理得到的训练数据集，根据设计的车道线检测损失函数，对构建的车道线检测网络进行端到端训练，迭代多次后得到收敛的车道线检测模型。所述的车道线检测损失函数例如可以包括车道线实例分割损失函数、车道线实例分类损失函数以及车道线实例起点损失函数。
在一个实施例中，车道线实例分割和车道线实例分类损失函数分别指用于车道线实例分割模块任务的损失函数和车道线实例分类模块任务的损失函数，都是采用交叉熵损失，计算公式可以为：
Figure SMS_2
；
其中L为待计算的分类损失，i表示预测样本，c代表对应的实例类别，N代表所有计算损失的单元的数量，M表示实例分割的数量（实例分割损失中例如取5，实例分类损失中例如取4）；yic为符号函数（0或1），如果预测样本i的真实类别等于c则取1，否则取0；pic表示预测样本i属于类别c的预测概率。
在一个实施例中，车道线实例起点损失函数是指用于车道线实例起点预测模块任务的损失函数，可以采用Focal Loss损失函数，计算的公式可以为：
Figure SMS_3
；
其中lpoint为待计算的车道线实例起点损失，α和β代表可调节因子，i和j对应起点热图的行列坐标，yij表示（i,j）位置处的标签，pij为该位置处的预测值。
应当理解，上述车道线检测损失函数仅仅是示例性的，本领域技术人员还可以采用其他任意合适的损失函数，本公开对此不作限制。
图6示出了根据本公开的一些实施例的用于检测车道线的过程600的示意流程图。
在框601，获取待检测图像，待检测图像包括目标车辆在相同时刻捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像。目标车辆101可以通过摄像头获取待检测车道线图像集110，并且将待检测车道线图像集110输入包括检测模型140的计算设备120中，以备检测。
在一个实施例中，具体地，对于某一特定时间戳，可以首先收集四个侧向摄像头同步采集的四个视角图片，对于侧前和侧后，分别进行合并后再缩放回原图大小。
在框603，利用车道线检测模型对待检测图像进行检测，获得车道线检测结果。通过检测模型140的检测，最终输出检测结果130。在这样的实施例中，将上述经过数据预处理后的两张图像数据进行推理，检测出对应的车道线实例分割图和对应的车道线实例分类信息。检测结果例如是呈现在图像上的可视化数据矩阵。
为了进一步提升检测结果130的输出效果，还可以对得到的数据矩阵进行后处理。在一个实施例中，后处理可以包括两步操作。首先将得到的车道线实例分割图进行采取纵向等间隔的方式选取对应实例分割图中对应行中概率大于指定阈值的最大的像素点，通过上述操作可以得到对应实例车道线的连续像素点坐标（Udet,Vdet）后，再以图像中线为界，将左右两侧分开，对应左侧的车道线实际的坐标为：Uafter_left= 2 * Udet；Vafter_left= Vdet。右侧的车道线实际坐标为：Uafter_left= 2 * （Udet- w/2）；Vafter_left= Vdet。其中，（Udet,Vdet）对应网络检测出来的车道线坐标点、（Uafter_left，Vafter_left）对应获得原始图像上的车道线坐标点，w为缩放后的图像宽度。至此，车道线检测流程处理完毕，呈现检测的车道线结果在原图上的可视化效果。
根据本公开的各个实施例的检测模型训练过程中，针对侧向视角下车道线的表现形式、位置和特征与前向视角下所存在的明显区别，对多个侧向图像数据进行合并后缩放，并对缩放后的图像进行转换，得到目标训练数据，实现模型对侧向视角下车道线的准确检测。经训练的模型可以同时预测多个侧向视角图像中的车道线，使得车道线检测能够较佳地适应侧向视角。合并缩放图片所需要的参数相对较少，并且缩放单一尺寸图像多个参数可以复用，可以显著降低模型计算时所需要的算力，降低硬件成本。车道线预测模型在学习过程中充分结合主分支和辅助分支，提升模型网络的学习能力，而在推理时可以选择性地仅保留主分支，提升模型运行速度的同时能够得到较好的推理结果，模型鲁棒性和准确性高。模型网络能够充分应用于侧向视角下的车道线检测，不需要考虑将不同角度车道线的图片进行不同角度的旋转，即可得到准确的推理结果，并且不需要依赖于较强的先验信息，提升***泛化性和准确率。
图7示出了根据本公开的一些实施例的用于训练车道线检测模型的装置700的示意性框图。如图7所示，装置700包括：待训练车道线图像集获取模块701，被配置为获取将用于训练车道线检测模型的车道线图像集，车道线图像集包括目标车辆在相同时刻捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像；车道线实例点集信息和分类信息确定模块703，被配置为确定与车道线图像集中图像的车道线相关联的车道线实例点集信息和车道线实例分类信息；图像合并缩放模块705，被配置为合并左前视角图像与右前视角图像以得到前视合并图像，合并左后视角图像和右后视角图像以得到后视合并图像，并且分别将前视合并图像和后视合并图像进行缩放；车道线点集信息转换模块707，被配置为对缩放后的前视合并图像和缩放后的后视合并图像的车道线实例点集信息进行转换；以及目标数据集生成模块709，被配置为基于车道线实例分类信息和经转换的车道线实例点集信息，得到用于训练车道线检测模型的目标数据集。
在一些实施例中，车道线实例点集信息和分类信息确定模块703还可以被配置为以点集的方式对车道线进行标注并且针对车道线进行分类信息标注，以得到车道线实例点集信息。
在一些实施例中，图像合并缩放模块705还可以被配置为将左前视角图像与右前视角图像在水平方向上合并，并且左前视角图像处于左侧，右前视角图像处于右侧；将左后视角图像和右后视角图像在水平方向上合并，并且左后视角图像处于右侧，右后视角图像处于左侧；以及将前视合并图像和后视合并图像缩放为单一尺寸图像大小。
在一些实施例中，车道线点集信息转换模块707还可以被配置为：对于左前视角图像和右后视角图像中车道线实例点集转换规则可以为：Uafter= Ubefore/ 2，Vafter= Vbefore；对于右前视角图像和左后视角图像中车道线实例点集转换规则可以为：Uafter= Ubefore/ 2 + w/ 2，Vafter= Vbefore；其中Uafter和Vafter表示转换后的坐标点，Ubefore和Vbefore表示转换前的坐标点，w为缩放后的前视合并图像或缩放后的后视合并图像的宽度。
在一些实施例中，目标数据集生成模块709还可以被配置为将车道线实例点集信息进行连接，得到车道线实例分割图；对车道线起始点坐标进行处理，得到车道线实例起点热图；根据车道线实例分类信息进行进一步标识，生成车道线实例分类参数；以及基于车道线实例分割图、车道线实例起点热图以及车道线实例分类参数得到目标数据集。
图8示出了根据本公开的一些实施例的用于检测车道线的装置800的示意性框图。如图8所示，装置800包括：待检测图像获取模块801，被配置为获取待检测图像，待检测图像包括目标车辆在相同时刻捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像；以及车道线检测模型应用模块803，被配置为利用车道线检测模型对待检测图像进行检测，获得车道线检测结果。
综上，根据本公开的各个实施例的检测模型训练过程中，针对侧向视角下车道线的表现形式、位置和特征与前向视角下所存在的明显区别，对多个侧向图像数据进行合并后缩放，并对缩放后的图像进行转换，得到目标训练数据，实现模型对侧向视角下车道线的准确检测。经训练的模型可以同时预测多个侧向视角图像中的车道线，使得车道线检测能够较佳地适应侧向视角。合并缩放图片所需要的参数相对较少，并且缩放单一尺寸图像多个参数可以复用，可以显著降低模型计算时所需要的算力，降低硬件成本。车道线预测模型在学习过程中充分结合主分支和辅助分支，提升模型网络的学习能力，而在推理时可以选择性地仅保留主分支，提升模型运行速度的同时能够得到较好的推理结果，模型鲁棒性和准确性高。模型网络能够充分应用于侧向视角下的车道线检测，不需要考虑将不同角度车道线的图片进行不同角度的旋转，即可得到准确的推理结果，并且不需要依赖于较强的先验信息，提升***泛化性和准确率。
图9示出了能够实施本公开的多个实施例的示例计算设备900的框图。设备900可以用于实现图1的计算设备120。如图9所示，设备900包括中央处理单元（CPU）901，其可以根据存储在只读存储器（ROM）902中的计算机程序指令或者从存储单元908加载到随机访问存储器（RAM）903中的计算机程序指令，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出（I/O）接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元901执行上文所描述的各个方法和处理，例如过程200和/或过程600。例如，在一些实施例中，过程200和/或过程600可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM903并由CPU 901执行时，可以执行上文描述的过程200和/或过程600的一个或多个步骤。备选地，在其他实施例中，CPU 901可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行过程200和/或过程600。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上***的***（SOC）、负载可编程逻辑设备（CPLD）等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

1.一种用于训练车道线检测模型的方法，所述车道线检测模型用于侧向多视角下的车道线检测，其特征在于，包括：
获取将用于训练所述车道线检测模型的车道线图像集，所述车道线图像集包括目标车辆在相同时刻捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像；
确定与所述车道线图像集中图像的车道线相关联的车道线实例点集信息和车道线实例分类信息；
合并所述左前视角图像与所述右前视角图像以得到前视合并图像，合并所述左后视角图像和所述右后视角图像以得到后视合并图像，并且分别将所述前视合并图像和所述后视合并图像进行缩放；
对缩放后的所述前视合并图像和缩放后的所述后视合并图像的所述车道线实例点集信息进行转换；以及
基于所述车道线实例分类信息和经转换的所述车道线实例点集信息，得到用于训练所述车道线检测模型的目标数据集。
2.根据权利要求1所述的方法，其特征在于，获取将用于训练所述车道线检测模型的车道线图像集包括：
利用设置在所述目标车辆上的摄像头获得左前侧向视角、左后侧向视角、右前侧向视角和右后侧向视角的多段视频数据；以及
基于预设抽帧频率，在多段所述视频数据中抽取得到所述车道线图像集。
3.根据权利要求1所述的方法，其特征在于，确定与所述车道线图像集中图像的车道线相关联的车道线实例点集信息和车道线实例分类信息包括：
以点集的方式对所述车道线进行标注并且针对所述车道线进行分类信息标注，以得到所述车道线实例点集信息。
4.根据权利要求1所述的方法，其特征在于，合并所述左前视角图像与所述右前视角图像以得到前视合并图像，合并所述左后视角图像和所述右后视角图像以得到后视合并图像，并且分别将所述前视合并图像和所述后视合并图像进行缩放包括：
将所述左前视角图像与所述右前视角图像在水平方向上合并，并且所述左前视角图像处于左侧，所述右前视角图像处于右侧；
将所述左后视角图像和所述右后视角图像在水平方向上合并，并且所述左后视角图像处于右侧，所述右后视角图像处于左侧；以及
将所述前视合并图像和所述后视合并图像缩放为单一尺寸图像大小。
5.根据权利要求1所述的方法，其特征在于，对缩放后的所述前视合并图像和缩放后的所述后视合并图像的所述车道线实例点集信息进行转换包括：
对于所述左前视角图像和所述右后视角图像中车道线实例点集转换规则为：
Uafter = Ubefore / 2；
Vafter = Vbefore；以及
对于所述右前视角图像和所述左后视角图像中车道线实例点集转换规则为：
Uafter = Ubefore / 2 + w / 2；
Vafter = Vbefore；
其中Uafter和Vafter表示转换后的坐标点，Ubefore和Vbefore表示转换前的坐标点，w为缩放后的所述前视合并图像或缩放后的所述后视合并图像的宽度。
6.根据权利要求1所述的方法，其特征在于，基于所述车道线实例分类信息和经转换的所述车道线实例点集信息，得到用于训练所述车道线检测模型的目标数据集包括：
将所述车道线实例点集信息进行连接，得到车道线实例分割图；
对车道线起始点坐标进行处理，得到车道线实例起点热图；
根据所述车道线实例分类信息进行再标识，生成车道线实例分类参数；以及
基于所述车道线实例分割图、所述车道线实例起点热图以及所述车道线实例分类参数得到所述目标数据集。
7.一种用于检测车道线的方法，所述车道线包括侧向多视角车道线，其特征在于，包括：
获取待检测图像，所述待检测图像包括目标车辆在相同时刻捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像；以及
利用根据权利要求1至6中任一项所述的车道线检测模型对所述待检测图像进行检测，获得车道线检测结果。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
分别合并所述左前视角图像与所述右前视角图像以得到前视合并图像、所述左后视角图像与所述右后视角图像以得到后视合并图像，并且分别将所述前视合并图像和所述后视合并图像进行缩放；
确定缩放后的所述前视合并图像和缩放后的所述后视合并图像所对应的车道线实例分割图和车道线实例分类信息；
基于所述确定的车道线实例分割图和车道线实例分类信息，确定左右车道线的实际坐标。
9.一种电子设备，包括：
处理器；以及
与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被处理器执行时使所述设备执行动作，所述动作包括：
获取将用于训练车道线检测模型的车道线图像集，所述车道线图像集包括目标车辆在相同时刻捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像；
确定与所述车道线图像集中图像的车道线相关联的车道线实例点集信息和车道线实例分类信息；
合并所述左前视角图像与所述右前视角图像以得到前视合并图像，合并所述左后视角图像和所述右后视角图像以得到后视合并图像，并且分别将所述前视合并图像和所述后视合并图像进行缩放；
对缩放后的所述前视合并图像和缩放后的所述后视合并图像的所述车道线实例点集信息进行转换；以及
基于所述车道线实例分类信息和经转换的所述车道线实例点集信息，得到用于训练所述车道线检测模型的目标数据集。
10.一种电子设备，包括：
处理器；以及
与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被处理器执行时使所述设备执行动作，所述动作包括：
获取待检测图像，所述待检测图像包括目标车辆在相同时刻捕获的左前视角图像、左后视角图像、右前视角图像、右后视角图像；以及
利用根据权利要求1至6中任一项所述的车道线检测模型对所述待检测图像进行检测，获得车道线检测结果。
11.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至6中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求7或8所述的方法。
CN202310526923.XA 2023-05-11 2023-05-11 用于检测车道线的方法、设备和存储介质 Active CN116311140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310526923.XA CN116311140B (zh) 2023-05-11 2023-05-11 用于检测车道线的方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310526923.XA CN116311140B (zh) 2023-05-11 2023-05-11 用于检测车道线的方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN116311140A true CN116311140A (zh) 2023-06-23
CN116311140B CN116311140B (zh) 2023-08-15

Family

ID=86796203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310526923.XA Active CN116311140B (zh) 2023-05-11 2023-05-11 用于检测车道线的方法、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116311140B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106064587A (zh) * 2016-07-06 2016-11-02 北方工业大学 一种基于车牌识别的多车道车间距识别方法及装置
CN110334634A (zh) * 2019-06-28 2019-10-15 广州鹰瞰信息科技有限公司 一种车道线类别的检测方法和预警装置
CN111881878A (zh) * 2020-08-07 2020-11-03 吉林大学 一种环视复用的车道线识别方法
CN114821510A (zh) * 2022-05-26 2022-07-29 重庆长安汽车股份有限公司 基于改进U-Net网络的车道线检测方法及装置
CN114943942A (zh) * 2022-05-12 2022-08-26 西安电子科技大学广州研究院 一种基于车道线语义信息的鲁棒的agv定位方法
CN115205800A (zh) * 2022-06-09 2022-10-18 重庆长安汽车股份有限公司 自动驾驶周视车道线模型训练和检测方法
CN115880658A (zh) * 2022-12-16 2023-03-31 华南理工大学 一种夜间场景下汽车车道偏离预警方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106064587A (zh) * 2016-07-06 2016-11-02 北方工业大学 一种基于车牌识别的多车道车间距识别方法及装置
CN110334634A (zh) * 2019-06-28 2019-10-15 广州鹰瞰信息科技有限公司 一种车道线类别的检测方法和预警装置
CN111881878A (zh) * 2020-08-07 2020-11-03 吉林大学 一种环视复用的车道线识别方法
CN114943942A (zh) * 2022-05-12 2022-08-26 西安电子科技大学广州研究院 一种基于车道线语义信息的鲁棒的agv定位方法
CN114821510A (zh) * 2022-05-26 2022-07-29 重庆长安汽车股份有限公司 基于改进U-Net网络的车道线检测方法及装置
CN115205800A (zh) * 2022-06-09 2022-10-18 重庆长安汽车股份有限公司 自动驾驶周视车道线模型训练和检测方法
CN115880658A (zh) * 2022-12-16 2023-03-31 华南理工大学 一种夜间场景下汽车车道偏离预警方法及***

Also Published As

Publication number Publication date
CN116311140B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及***
Choi et al. Thermal image enhancement using convolutional neural network
WO2022126377A1 (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN105100640B (zh) 一种局部配准并行视频拼接方法及***
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
Özkanoğlu et al. InfraGAN: A GAN architecture to transfer visible images to infrared domain
Xu et al. Fast vehicle and pedestrian detection using improved Mask R‐CNN
US11170470B1 (en) Content-adaptive non-uniform image downsampling using predictive auxiliary convolutional neural network
Schilling et al. Detection of vehicles in multisensor data via multibranch convolutional neural networks
Zhou et al. Embedded control gate fusion and attention residual learning for RGB–thermal urban scene parsing
WO2024037408A1 (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
CN103324958B (zh) 一种复杂背景下基于投影法和svm的车牌定位方法
Liu et al. CAFFNet: channel attention and feature fusion network for multi-target traffic sign detection
Rasib et al. Pixel level segmentation based drivable road region detection and steering angle estimation method for autonomous driving on unstructured roads
CN112446292B (zh) 一种2d图像显著目标检测方法及***
Chen et al. Satellite video single object tracking: A systematic review and an oriented object tracking benchmark
Ling et al. Optimization of autonomous driving image detection based on RFAConv and triplet attention
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及***
CN115588188A (zh) 一种机车、车载终端和驾驶员行为识别方法
CN116311140B (zh) 用于检测车道线的方法、设备和存储介质
CN107506777A (zh) 一种基于小波变化和支持向量机的实时多车牌识别方法和装置
Zou et al. Hft: Lifting perspective representations via hybrid feature transformation for bev perception
Coca et al. Automatic Real-Time Road Crack Identification System
CN112580424A (zh) 一种复杂车路环境的偏振特征多尺度池化分类算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant