CN118279845A - 车道线检测的方法、装置和计算机可读存储介质 - Google Patents

Abstract

本公开提供一种车道线检测方法，包括接收从影像传感器收集到的图像；对图像进行编码，得到对应图像的二维图像特征；基于影像传感器的位置，建立三维空间及在三维空间中的至少一锚线；计算至少一锚线中的每条锚线投影至二维图像特征上的锚线特征；对每条锚线的锚线特征进行车道线建模运算，得到每条锚线的锚线信息，其中锚线信息包括在三维空间中锚线与车道线之间的锚线偏移量；及基于锚线信息，产生三维车道线信息。除此之外，本公开也提供了可执行上述方法的车道线检测装置和计算机可读存储介质。

Description

车道线检测的方法、装置和计算机可读存储介质

技术领域

本公开涉及一种车道线检测技术，特别涉及一种单目三维车道线检测的方法、装置和计算机可读存储介质。

背景技术

现有的单目三维(3D)车道线检测方案有两类。第一类为基于鸟瞰视角(Bird'sEye View,BEV)的单目三维车道线检测方案，这类方案首先利用逆投影变换(InversePerspective Mapping,IPM)将输入图像转换到BEV空间，之后在BEV空间中进行车道线检测和车道线高度预测，最后将二者相结合得到三维车道线的估计结果。然而由于逆投影变换依赖于地平面假设，因此在遇到上下坡或颠簸的路况时，容易出现三维车道线的坐标估计偏差。另一方面，由于在逆投影变换的过程中只保留了地面相关的信息，损失掉了重要的环境上下文信息，导致在变换后的图像上或其特征上估计三维车道线的坐标准确性不足。第二类为基于深度估计的单目三维车道线检测方案，这类通过分别对输入图像进行二维(2D)车道线分割以及密集深度估计，之后将车道线的2D分割结果与深度相结合，恢复出三维车道线的坐标。然而这一类方案本质上是一种分割技术的扩展，缺乏对车道线的结构化建模，因此在估计三维车道线的坐标准确性上不足。

当前基于单目图像估计车道线在3D空间中的坐标，由于图像在2D空间中，缺乏深度信息，因此将从图像中检测出的二维车道线投影到3D空间中存在困难。现有技术中，基于BEV的技术利用逆投影变换将输入图像转换到BEV空间中进行预测，然而由于逆投影变换过程中损失了较多环境信息(例如，路上车辆或道路两旁的植被)，导致进行三维车道线的坐标估计的时候难以估计准确。另外，基于深度估计的技术缺乏对三维车道线的结构化建模，因而在拟合三维车道线形状时存在困难。

针对三维车道线估计不准确的问题，有通过加入激光雷达数据辅助3D坐标预测的方案，然而该方案需要增加更多的传感器，而这会带来更高的成本以及更多的计算程序。

发明内容

有鉴于此，本公开提出一种车道线检测的方法、装置和计算机可读储存介质，可以利用3D结构化建模方式来对车道线进行预测，并在此基础上省去逆投影变换过程，直接计算出三维车道线的坐标，以缓解环境信息损失带来的精度不足问题。

本公开的第一个方面提出了一种车道线检测方法，包括接收从影像传感器收集到的图像；对图像进行编码，得到对应图像的二维图像特征；基于影像传感器的位置，建立三维空间及在三维空间中的至少一锚线；计算至少一锚线中的每条锚线投影至二维图像特征上的锚线特征；对每条锚线的锚线特征进行车道线建模运算，得到每条锚线的锚线信息，其中锚线信息包括在三维空间中锚线与车道线之间的锚线偏移量；及基于锚线信息，产生三维车道线信息。

本公开的第二个方面提出了一种车道线检测装置，包括一个或多个处理器，以及存储程序的存储器。程序包括指令，此指令在由处理器执行时使车道线检测装置执行上述的车道线检测方法。

本公开的第三个方面提出了一种存储有程序的计算机可读存储介质，此程序包括指令，此指令在由计算装置的一个或者多个处理器执行时，致使计算装置执行上述的车道线检测方法。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1是示出可以在其中实现本文公开的各种技术的车辆的示意图；

图2是示出根据本公开一实施例的车道线检测方法的流程图；

图3是示出根据本公开一实施例的车道线检测过程的示意图；

图4是示出根据本公开一实施例的三维空间中建立锚线的示意图；

图5是示出根据本公开一实施例的双线性插值运算得到锚线特征的示意图；

图6是示出根据本公开一实施例的计算设备的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本公开中，术语“多个”是指两个或两个以上，除非另有说明。在本公开中，术语“和/或”，描述关联对象的关联关系，涵盖所列出的对象中的任何一个以及全部可能的组合方式。字符“/”一般表示前后关联对象是一种“或”的关系。

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等是用于区别类似的对象，而不意图限定其位置关系、时序关系或重要性关系。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的方式实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、***、产品或设备固有的其它步骤或单元。

图1是示出可以在其中实现本文公开的各种技术的车辆的示意图。

请参考图1，车辆100可以是轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、挖土机、摩托雪橇、航空器、旅游休闲车、游乐园车辆、农场装置、建筑装置、有轨电车、高尔夫车、火车、无轨电车，或其它车辆。车辆100可以完全地或部分地以自动驾驶模式进行运行。车辆100在自动驾驶模式下可以控制其自身，例如车辆100可以确定车辆的当前状态以及车辆所处环境的当前状态，确定在该环境中的至少一个其它车辆的预测行为，确定该至少一个其它车辆执行所预测行为的可能性所对应信任等级，并且基于所确定的信息来控制车辆100自身。在处于自动驾驶模式时，车辆100可以在无人交互的情况下运行。

车辆100可以包括各种车辆***，例如驱动***142、传感器***144、控制***146、用户接口***148、计算***150以及通信***152。车辆100可以包括更多或更少的***，每个***可以包括多个单元。进一步地，车辆100的每个***和单元之间可以是互联的。例如，计算***150能够与驱动***142、传感器***144、控制***146、用户接口***148和通信***152中的一个或多个进行数据通信。从而，车辆100的一个或多个所描述的功能可以被划分为附加的功能性部件或者实体部件，或者结合为数量更少的功能性部件或者实体部件。在更进一步的例子中，附加的功能性部件或者实体部件可以增加到如图1所示的示例中。

驱动***142可以包括为车辆100提供动能的多个可操作部件(或单元)。在一些实施例中，驱动***142可以包括发动机或电动机、车轮、变速器、电子***、以及动力(或动力源)。发动机或者电动机可以是如下装置的任意组合：内燃机、电机、蒸汽机、燃料电池发动机、丙烷发动机、或者其它形式的发动机或电动机。在一些实施例中，发动机可以将一种动力源转换为机械能。在一些实施例中，驱动***142可以包括多种发动机或电动机。例如，油电混合车辆可以包括汽油发动机和电动机，也可以包括其它的情况。

车辆100的车轮可以是标准车轮。车辆100的车轮可以是多种形式的车轮，包括独轮、双轮、三轮、或者四轮形式，例如轿车或卡车上的四轮。其它数量的车轮也是可以的，例如六轮或者更多的车轮。车辆100的一个或多个车轮可***作为与其他车轮的旋转方向不同。车轮可以是至少一个与变速器固定连接的车轮。车轮可以包括金属与橡胶的结合，或者是其他物质的结合。变速器可以包括可操作来将发动机的机械动力传送到车轮的单元。出于这个目的，变速器可以包括齿轮箱、离合器、差动齿轮和传动轴。变速器也可以包括其它单元。传动轴可以包括与车轮相匹配的一个或多个轮轴。电子***可以包括用于传送或控制车辆100的电子信号的单元。这些电子信号可用于启动车辆100中的多个灯、多个伺服机构、多个电动机，以及其它电子驱动或者控制装置。动力源可以是全部或部分地为发动机或电动机提供动力的能源。也即，发动机或电动机能够将动力源转换为机械能。示例性地，动力源可以包括汽油、石油、石油类燃料、丙烷、其它压缩气体燃料、乙醇、燃料电池、太阳能板、电池以及其它电能源。动力源可以附加的或者可选地包括燃料箱、电池、电容、或者飞轮的任意组合。动力源也可以为车辆100的其它***提供能量。

传感器***144可以包括多个传感器，这些传感器用于感测车辆100的环境和条件的信息。例如，传感器***144可以包括惯性测量单元(IMU)、全球导航卫星***(GNSS)收发器(例如全球定位***(GPS)收发器)、无线电探测和测距装置(RADAR，简称为雷达)、激光探测及测距***(LiDAR，简称为激光雷达)、声学传感器、超声波传感器以及图像捕捉装置(例如相机)。传感器***144可以包括用于监控车辆100的多个感应器(例如，氧气(O₂)监控器、油量表传感器、发动机油压传感器，以及温度、湿度、压力传感器等等)。当然，在其它实施方式中，还可以配置其它传感器。包括在传感器***144中的一个或多个传感器可以被单独驱动或者被集体驱动，以更新一个或多个传感器的位置、方向，或者这二者。

IMU可以包括传感器的结合(例如加速器和陀螺仪)，用于基于惯性加速来感应车辆100的姿态变化(例如，位置变化和方向变化)。GPS收发器可以是任何用于估计车辆100的地理位置的传感器。出于该目的，GPS收发器可以包括接收器/发送器以提供车辆100相对于地球的位置信息。需要说明的是，GPS是全球导航卫星***的一个示例，因此，在一些实施例中，GPS收发器可以替换为北斗卫星导航***收发器或者伽利略卫星导航***收发器。雷达单元可以使用无线电信号来感应车辆100所在环境中的对象。在一些实施例中，除感应对象之外，雷达单元还可以用于感应接近车辆100的物体的速度和前进方向。LiDAR单元可以是任何使用激光来感应车辆100所在环境中的物体的传感器。在一些实施例中，LiDAR单元可以包括激光源、激光扫描仪、以及探测器。LiDAR单元用于以连续(例如使用外差检测)或者不连续的检测模式进行工作。图像捕捉装置可以包括用于捕捉车辆100所在环境的多个图像的装置。图像捕捉装置的一个例子是相机，相机可以是静态图像相机或者动态视频相机。

控制***146用于控制对车辆100及其部件(或单元)的操作。相应地，控制***146可以包括各种单元，例如转向单元、动力控制单元、制动单元和导航单元。

转向单元可以是调整车辆100前进方向的机械的组合。动力控制单元(例如可以为油门)，例如可以被用于控制发动机的运转速度，进而控制车辆100的速度。制动单元可以包括用于对车辆100进行减速的机械的组合。制动单元可以以标准方式利用摩擦力来使车辆减速。在其他实施例中，制动单元可以将车轮的动能转化为电流。制动单元也可以采用其它形式。导航单元可以是任何为车辆100确定驾驶路径或路线的***。导航单元还可以在车辆100行进的过程中动态的更新驾驶路径。控制***146还可以附加地或者可选地包括其它未示出或未描述的部件(或单元)。

用户接口***148可以用于允许车辆100与外部传感器、其它车辆、其它计算机***和/或车辆100的用户之间的互动。例如，用户接口***148可以包括标准视觉显示装置(例如，等离子显示器、液晶显示器(LCD)、触屏显示器、头戴显示器，或其它类似的显示器)，扬声器或其它音频输出装置，麦克风或者其它音频输入装置。例如，用户接口***148还可以包括导航接口以及控制车辆100的内部环境(例如温度、风扇，等等)的接口。

通信***152可以为车辆100提供与一个或多个设备或者周围其它车辆进行通信的方式。在一个示例性的实施例中，通信***152可以直接或者通过通信网络与一个或多个设备进行通信。通信***152例如可以是无线通信***。例如，通信***可以使用3G蜂窝通信(例如CDMA、EVDO、GSM/GPRS)或者4G蜂窝通信(例如WiMAX或LTE)，还可以使用5G蜂窝通信。可选地，通信***可以与无线本地局域网(WLAN)进行通信(例如，使用)。在一些实施例中，通信***152可以直接与一个或多个设备或者周围其它车辆进行通信，例如，使用红外线，或者ZIGBEE。其它无线协议，例如各种车载通信***，也在本申请公开的范围之内。例如，通信***可以包括一个或多个专用短程通信(DSRC)装置、V2V装置或者V2X装置，这些装置会与车辆和/或路边站进行公开或私密的数据通信。

计算***150能控制车辆100的部分或者全部功能。计算***150中的自动驾驶控制单元可以用于识别、评估、以及避免或越过车辆100所在环境中的潜在障碍。通常，自动驾驶控制单元可以用于在没有驾驶员的情况下控制车辆100，或者为驾驶员控制车辆提供辅助。在一些实施例中，自动驾驶控制单元用于将来自传感器的数据，例如GPS收发器的数据、雷达数据、LiDAR数据、相机数据、以及来自其它车辆***的数据结合起来，来确定车辆500的行驶路径或轨迹。自动驾驶控制单元可以被激活以使车辆100能够以自动驾驶模式被驾驶。

计算***150可以包括至少一个处理器(其可以包括至少一个微处理器)，处理器执行存储在非易失性计算机可读介质(例如数据存储装置或存储器)中的处理指令(即机器可执行指令)。计算***150也可以是多个计算装置，这些计算装置分布式地控制车辆100的部件或者***。在一些实施例中，存储器中可以包含被处理器执行来实现车辆100的各种功能的处理指令(例如，程序逻辑)。在一些实施例中，计算***150能够与驱动***142、传感器***144、控制***146、用户接口***148、和/或通信***152进行数据通信。计算***中的接口用于促进计算***150和驱动***142、传感器***144、控制***146、用户接口***148、以及通信***152之间的数据通信。

存储器还可以包括其它指令，包括用于数据发送的指令、用于数据接收的指令、用于互动的指令、或者用于控制驱动***142、传感器***144、或控制***146或用户接口***148的指令。

除存储处理指令之外，存储器可以存储多种信息或数据，例如图像处理参数、道路地图、和路径信息。在车辆100以自动方式、半自动方式和/或手动模式运行的期间，这些信息可以被车辆100和计算***150所使用。

尽管自动驾驶控制单元被示为与处理器和存储器分离，但是应当理解，在一些实施方式中，自动驾驶控制单元的某些或全部功能可以利用驻留在一个或多个存储器(或数据存储装置)中的程序代码指令来实现并由一个或多个处理器执行，并且自动驾驶控制单元在某些情况下可以使用相同的处理器和/或存储器(或数据存储装置)来实现。在一些实施方式中，自动驾驶控制单元可以至少部分地使用各种专用电路逻辑，各种处理器，各种现场可编程门阵列(“FPGA”)，各种专用集成电路(“ASIC”)，各种实时控制器和硬件来实现。

计算***150可以根据从各种车辆***(例如，驱动***142，传感器***144，以及控制***146)接收到的输入，或者从用户接口***148接收到的输入，来控制车辆100的功能。例如，计算***150可以使用来自控制***146的输入来控制转向单元，来避开由传感器***144检测到的障碍物。在一些实施例中，计算***150可以用来控制车辆100及其***的多个方面。

虽然图1中显示了集成到车辆100中的各种部件(或单元)，这些部件(或单元)中的一个或多个可以搭载到车辆100上或单独关联到车辆100上。例如，计算***150可以部分或者全部地独立于车辆100存在。从而，车辆100能够以分离的或者集成的设备单元的形式而存在。构成车辆100的设备单元之间可以以有线通信或者无线通信的方式实现相互通信。在一些实施例中，可以将附加部件或单元添加到各个***或从***中移除一个或多个以上的部件或单元(例如，图1所示的LiDAR或雷达)。

图2是示出根据本公开一实施例的车道线检测方法200的流程图。

请参考图2，本公开实施例的车道线检测方法200可应用于车辆100。在步骤202中，车辆100或计算***150接收从影像传感器收集到的图像。在步骤204中，车辆100或计算***150对图像进行编码，得到对应图像的二维图像特征。在步骤206中，车辆100或计算***150基于影像传感器的位置，建立3D空间及在3D空间中的至少一锚线。在步骤208中，车辆100或计算***150计算每条锚线投影至二维图像特征上的锚线特征。在步骤210中，车辆100或计算***150对每条锚线的锚线特征进行车道线建模运算，得到每条锚线的锚线信息，其中锚线信息包括在3D空间中锚线与车道线之间的锚线偏移量。在步骤212中，车辆100或计算***150基于锚线信息，产生三维车道线信息。

在一些实施例中，影像传感器可為图像捕捉装置、相机或摄像头。

在一些实施例中，例如在步骤206中，3D空间中的锚线为基于起始点以及以下至少其中之一所决定的射线：俯仰角(pitch)、偏航角(yaw)及翻滚角(roll)。

在一些实施例中，例如在步骤206中，3D空间为通过相机坐标系或地面坐标系建构的空间。

在一些实施例中，例如在步骤208中，计算每条锚线投影至二维图像特征上的锚线特征进一步包含以下过程：

车辆100或计算***150基于三维空间中的第一轴方向，在每条锚线上撷取多个3D采样点，接着通过影像传感器的内参数及外参数的至少其中之一，将多个3D采样点投影至二维图像特征，得到每条锚线的锚线图像特征。锚线图像特征包含多个3D采样点对应的多个2D采样点，以及多个2D采样点对应的图像特征。最后，车辆100或计算***150对多个2D采样点对应的图像特征进行拼接运算，得到每条锚线的锚线特征。

在一些实施例中，车辆100或计算***150进一步对上述多个2D采样点中的第一采样点进行双线性插值运算，得到第一采样点对应的第一图像特征，接着才利用经过双线性插值运算的第一图像特征进行拼接运算，得到锚线特征。

在一些实施例中，例如在步骤210中，用来得到锚线信息的车道线建模运算包含分类运算及回归运算，其过程详细说明如下：

车辆100或计算***150对锚线特征进行分类运算，得出锚线分类结果。同步地，车辆100或计算***150对锚线特征进行回归运算，得出在3D空间中多个3D采样点中的每个采样点相对于车道线(例如在影像传感器收集到的图像中)上的每个采样点的坐标回归量。坐标回归量为在3D空间中多个3D采样点中的每个采样点相对于车道线上的每个采样点在3D空间中的第二轴方向与第三轴方向的坐标差异。值得注意的是，3D采样点中的每个采样点与车道线上的每个采样点在第一轴方向上具有相同的坐标。最后，车辆100或计算***150基于每个采样点对应的坐标回归量，得到每条锚线对应的锚线偏移量，进而得到每条锚线的锚线信息。

在一些实施例中，车辆100或计算***150对锚线特征进行回归运算，更得出多个3D采样点中的每个采样点对应的车道线上的每个采样点在图像中是否可见的指示值。

在一些实施例中，锚线分类结果包含锚线的类别总数，以及用来表示锚线被分类为对应类别的数值。

在一些实施例中，车道线是通过多个可见点的坐标构成的序列及对应车道线类别的编码来表示。

在一些实施例中，例如在步骤212中，基于锚线信息，产生三维车道线信息的过程，进一步说明如下：

车辆100或计算***150基于锚线信息中的锚线分类结果、每条锚线的指示值(即锚线上的多个3D采样点中的每个采样点对应的车道线上的每个采样点在图像中是否可见的指示值)，以及关于锚线偏移量的坐标回归量，产生三维车道线信息。三维车道线信息包括车道线类别、在3D空间中车道线上的多个采样点的多个坐标，以及在3D空间中车道线上的多个采样点的多个坐标是否可见。在3D空间中车道线上的每个采样点的坐标是由车道线对应的锚线的多个3D采样点中的每个采样点的坐标和坐标回归量相加得到。

在一些实施例中，车辆100或计算***150进一步地将产生的三维车道线作为在3D空间中的新的锚线，并重复上述步骤208、步骤210及步骤212。具体来说，车辆100或计算***150计算新的锚线投影至二维图像特征上的第二锚线特征，对第二锚线特征进行上述的车道线建模运算，得到新的锚线的第二锚线信息，其中第二锚线信息包括在3D空间中新的锚线与车道线之间的第二锚线偏移量，最后基于第二锚线信息，产生新的三维车道线信息。

以下通过实施例，针对本公开所提出的车道线检测方法200作进一步的细节说明。

本公开实施例的车道线检测方法200可归纳为四个部分，分别是：1)图像特征提取；2)三维锚线特征提取；3)三维车道线预测；4)迭代回归。图3是示出根据本公开一实施例的车道线检测过程的示意图。

1)图像特征提取

请回到图2，在步骤202中，接收从影像传感器收集到的图像，以及在步骤204中，对图像进行编码，得到对应图像的二维图像特征的具体动作，详细说明如下。

如图3所示，单个相机拍摄的图像或一段连续的视频(以下称为单目图像300)输入主干网络302进行特征编码得到高维特征编码F’，再经过变换器层304对高维特征编码F’进行全局编码得到图像特征F。

在一些实施例中，主干网络可为采用ResNet18作为图像特征提取的主干网络。

在一些实施例中，图像特征F的特征大小为H_f*W_f*C，其中H_f和W_f为图像特征F的高和宽，C为特征维度。

2)三维锚线特征提取

请回到图2，在步骤206中，基于影像传感器的位置，建立3D空间及在3D空间中的至少一锚线的具体动作，详细说明如下。

如图3所示，在一些实施例中，3D空间310为任意坐标系定义的空间，例如以相机光心为原点，相机平面为xy平面，垂直于相机平面向前的方向为z轴正方向的相机坐标系，或以相机光心垂直投影到地面的点为原点，水平向右为x轴正方向，水平向前为y轴正方向，垂直向上为z轴正方向的地面坐标系。

在一些实施例中，三维锚线为定义在3D空间310中的射线，每条锚线由起始点、俯仰角、偏转角唯一确定。图4是示出根据本公开一实施例的三维空间中锚线的示意图。如图4所示，通过起始坐标x₀、偏转角及俯仰角θ计算锚线上第i点的坐标(x_i,y_i,z_i)，进而定义出锚线。

请回到图2，在步骤208中，计算至少一锚线中的每条锚线投影至二维图像特征上的锚线特征的具体动作，详细说明如下。

如图3所示，在每条三维锚线上沿y轴均匀采样N个点，利用相机参数将三维锚线采样点坐标(x,y,z)投影到图像特征F上得到包含2D采样点坐标(u,v)与2D采样点对应的图像特征的锚线图像特征312。

三维锚线采样点坐标(x,y,z)投影到图像特征F上的2D采样点坐标(u,v)可通过公式(1)-(3)得出：

u＝u_d/d公式(2)

v＝v_d/d公式(3)

在一些实施例中，2D采样点(u,v)通过双线性插值运算得到投影后的2D采样点(u,v)的图像特征。最后，将每一条三维锚线上所有采样点的图像特征进行拼接得到每条三维锚线对应的锚线特征314。在一些实施例中，拼接后的锚线特征314表示为：[f11,f12,…f1C,f21,f22,…f2C,..fN1,fN2,…,fNC]，fij表示第i个点的第j个特征值，锚线特征314的大小为N*C。

在一些实施例中，相机坐标系的3D空间310是通过相机内参将三维锚线采样点(x,y,z)投影到图像特征F上，而地面坐标系的3D空间310是通过相机内参和相机外参将三维锚线采样点(x,y,z)投影到图像特征F上。具体来说，相机内参K为相机坐标系到图像的变换矩阵，相机外参T为相机坐标系到地面坐标系的变换矩阵，用来将3D空间310中的采样点投影到图像上。

图5是示出根据本公开一实施例的双线性插值运算得到锚线特征的示意图。

图5为双线性插值得到2D采样点的图像特征的计算方式。以2D采样点P为例，当2D采样点P的坐标(u,v)不是整数时，2D采样点P的图像特征值需要由其周围最近的四个整数点的图像特征值在u、v两个方向进行双线性插值运算得到。例如，对2D采样点Q₁₁、Q₁₂、Q₂₁、Q₂₂的坐标(u₁,v₁)、(u₂,v₁)、(u₁,v₂)、(u₂,v₂)进行双线性插值运算，得出2D采样点P的图像特征值F(P)。换句话说，2D采样点P的图像特征值F(P)是通过2D采样点Q₁₁、Q₁₂、Q₂₁、Q₂₂对应的图像特征值F(Q₁₁)、F(Q₁₂)、F(Q₂₁)、F(Q₂₂)计算出，例如,F(P)＝F(Q₁₁)(u-u₁)(v-v₁)+F(Q₁₂)(u₂-u)(v-v₁)+F(Q₂₁)(u-u₁)(v₂-v)+F(Q₂₂)(u₂-u)(v₂-v)。最后，再将每一条三维锚线上所有采样点的图像特征(例如，双线性插值运算后图像特征值)进行拼接，以得到每条三维锚线对应的锚线特征314。

3)三维车道线预测

请回到图2，在步骤210中，对每条锚线的锚线特征进行车道线建模运算，得到每条锚线的锚线信息，以及在步骤212中，基于锚线信息，产生三维车道线信息的具体动作，详细说明如下。

如图3所示，在通过上述2)三维锚线特征提取过程，得到锚线特征314后，将锚线特征314输入回归网络316得到3D空间中310锚线上沿y轴采样的N个点相对车道线(图像上可包含环境信息及车道线)上沿y轴采样的N个点的x、z轴的坐标回归量sx和sz，以及每个点是否可见。

在一些实施例中，坐标回归量sx和sz为长度为N的浮点数向量。

在一些实施例中，每个点是否可见是通过布尔值来指示，例如，0代表不可见，1代表可见。

在一些实施例中，回归网络为3层线性层构成的回归网络316，其输出通道数为3*采样点数，即每个采样点的x、z坐标回归量及该点是否可见的布尔值。

如图3所示，同步地，锚线特征314输入分类网络318得到锚线分类结果。在一些实施例中，锚线分类结果包含类别总数，以及分类置信度，其中每个数值代表锚线被分类为对应类别的置信度，最大的数值对应类别即为该锚线对应车道线的类别。

在一些实施例中，分类网络为3层线性层构成的分类网络，其输出通道数为三维车道线的类别数。

在一些实施例中，长度为N*C的锚线特征输入分类网络318，利用分类网络318对其进行编码，得到长度为K(一共K类)的向量，每个数值为该锚线被分类为对应类别的置信度，置信度最大的类别即该锚线的类别。

在一些实施例中，若锚线附近有车道线，则其对应类别的分类置信度很高，此时这条锚线是有效的，此锚线坐标加上坐标回归量就能得到一条车道线；换句话说，如果锚线附近没有车道线，它的分类置信度就很低，此时这条锚线可能被视为无效的，因而不会保留作为车道线的预测。

如图3所示，通过回归网络316及分类网络318得到三维车道线最终的预测结果(如用来描绘出三维车道线的三维车道线信息)。在一些实施例中，三维车道线的预测结果包含车道线的类别(例如单线、双线、实线、虚线、白线、黄线等)、车道线上N个点的坐标及是否可见，其中车道线上每个点的坐标由锚线采样点的坐标和锚线到车道线的坐标回归量相加得到：(x+sx,y,z+sz)。最后，通过车道线上每个点的坐标，描绘出三维车道线(如三维车道线预测320)。

综上所述，本发明实施例根据锚线上每个采样点的坐标回归量，得到锚线的偏移量(如用来描绘出锚线的锚线信息)，进而调整3D空间310中初始建立的锚线，并将调整后的锚线视为或作为三维车道线。

在一些实施例中，锚线信息包括锚线分类结果、分类置信度及坐标回归量。

在一些实施例中，三维车道线的最终表示为所有可见点的坐标构成的序列及车道线类别编码(如，1代表单线，2代表双线、3代表实线、4代表虚线、5代表白线、6代表黄线)。

在一些实施例中，三维车道线类别包括以下至少其中之一：单白虚线，单白实线，双白虚线，双白实线，左虚右实白线，左实右虚白线，单黄虚线，单黄实线，双黄虚线，双黄实线，左虚右实黄线，左实右虚黄线，左右路沿。

4)迭代回归

在得到三维车道线的预测结果后，将三维车道线预测结果作为新的锚线，重复上述动作2)三维锚线特征提取和动作3)三维车道线预测，将三维车道线上的采样点投影到图像特征上采样特征并进行预测，新的预测结果可以再次作为锚线。通过若干次迭代，可以达到逐步优化三维车道线的坐标预测结果的目的。

综上所述，本发明实施例通过建立参考物(通过在3D空间中定义三维锚线)以提升单目图像估计三维车道线在空间中的坐标的准确性。详细来说，本发明实施例在三维锚线上采样对应的二维图像特征，再将这些图像特征拼接并得到锚线类别及三维锚线的坐标回归量，以将三维锚线恢复为三维车道线。进一步的，将三维车道线作为新的锚线，重复采样、投影及拼接过程，以迭代方式得到更精确的三维车道线描述。

本发明实施例带来的有益效果包括：1)通过定义三维锚线来对三维车道线进行结构化建模，三维锚线的建模方式可以更方便的描述三维车道线的形状。2)通过三维锚线投影可以得到准确的二维图像特征，且不会损失环境上下文信息，获取更准确全面的特征进行三维车道线估计有利于提高估计的准确性。3)三维车道线的预测结果也可以作为三维锚线进行迭代回归，通过逐步调整车道线的形状可以不断优化预测的精度，使得估计车道线的3D坐标更精确。

在当前最大的公开三维车道线检测数据集OpenLane上，如表1所示，与之前基于鸟瞰视角的单目三维车道线检测方案(方案1)相比，车道线检测方法200在三维车道线的x、z方向估计误差上均有大幅提升。在此示例性的实验中，F1 Score的计算方式为：F1＝(2*precision*recall)/(precision+recall)，precision为预测准确的车道线占所有预测结果的比例，recall为预测准确的车道线占所有真实车道线的比例。此外，如果一条预测车道线与真实车道线之间超过75％的采样点的距离小于1.5米，则该预测为准确的，否则为预测不准确。

表1

图6是示出根据本公开一实施例的计算设备的示意图。

请参考图6，在一些实施例中，计算***150可以通过计算设备600的形式来实现。

在一些实施例中，在计算设备600内，指令集在被执行时和/或处理逻辑在被启动时可以使该机器执行本文中所描述和/或要求的方法中的任何一种或多种。在备选实施例中，机器作为独立设备操作，或可以被连接(例如联网)到其他机器。在联网部署中，机器可以在服务器-客户端网络环境下以服务器或客户端机器的身份操作，或在对等(或分布式)网络环境中作为对等机操作。机器可以是个人计算机(PC)、膝上型计算机、平板计算***、个人数字助理(PDA)、蜂窝电话、智能电话、网络应用、机顶盒(STB)、网络路由器、交换机或桥接器或能够执行指定将由该机器采取的动作的指令集(相继或以其他方式)或启动处理逻辑的任何机器。进一步地，虽然只图示了单个机器，但是术语“机器”也可以被理解为包括单独地或联合地执行用以执行本文中所描述和/或要求的方法中的任何一种或多种的指令集(或多个指令集)的机器的任何集合。

计算设备600可以包括可以经由总线606或其他数据传送***彼此通信的数据处理器602(例如***芯片(SoC)、通用处理核心、图形核心和可选其他处理逻辑)和存储器604(例如，内存)。计算设备600还可以包括各种输入/输出(I/O)设备和/或接口610，诸如触摸屏显示器、音频插孔、语音接口和可选网络接口612。在示例实施例中，网络接口612可以包括一个或多个无线电收发器，其被配置成与任何一个或多个标准无线和/或蜂窝协议或接入技术(例如蜂窝***的第二代(2G)、2.5代、第三代(3G)、***(4G)和下一代无线电接入、全球移动通信***(GSM)、通用分组无线电服务(GPRS)、增强型数据GSM环境(EDGE)、宽带码分多址(WCDMA)、LTE、CDMA2000、WLAN、无线路由器(WR)网格等)。网络接口612还可以被配置成与各种其他有线和/或无线通信协议(包括TCP/IP、UDP、SIP、SMS、RTP、WAP、CDMA、TDMA、UMTS、UWB、WiFi、WiMax、IEEE802.11x等)一起使用。本质上，网络接口612可以实际上包括或支持任何有线和/或无线通信和数据处理机构，通过该机构，信息/数据可以经由网络614在计算设备600与另一计算或通信***之间传播。

存储器604可以表示机器可读介质(或计算机可读存储介质)，在机器可读介质(或计算机可读存储介质)上存储实施本文中所描述和/或要求的方法或功能中的任何一个或多个的一个或多个指令集、软件、固件或其他处理逻辑(例如逻辑608)。在由计算设备600执行期间，逻辑608或其一部分也可以完全或至少部分地驻留在处理器602内。如此，存储器604和处理器602也可以构成机器可读介质(或计算机可读存储介质)。逻辑608或其一部分也可以被配置为处理逻辑或逻辑，该处理逻辑或逻辑的至少一部分被部分地实现于硬件中。逻辑608或其一部分还可以经由网络接口612来通过网络614被传输或接收。虽然示例实施例的机器可读介质(或计算机可读存储介质)可以是单种介质，但是术语“机器可读介质”(或计算机可读存储介质)应被理解为包括存储一个或多个指令集的单种非暂时性介质或多种非暂时性介质(例如集中式或分布式数据库和/或相关联的高速缓存和计算***)。术语“机器可读介质”(或计算机可读存储介质)也可以被理解为包括能够存储、编码或携带指令集以供机器执行并且使机器执行各种实施例的方法中的任何一种或多种或能够存储、编码或携带被这种指令集利用或与之相关联的数据结构的任何非暂时性介质。术语“机器可读介质”(或计算机可读存储介质)可以因此被理解为包括但不限于固态存储器、光学介质和磁性介质。

所公开的和其他实施例、模块以及本文档中所描述的功能操作可以在数字电子电路***中、或在计算机软件、固件或硬件中(包括本文档中所公开的结构和其结构等效物)或它们中的一个或多个的组合中被实现。所公开的和其他实施例可以被实现为一个或多个计算机程序产品，也就是说，被编码在计算机可读介质上以由数据处理装置执行或以控制该数据处理装置的操作的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储衬底、存储器设备、影响机器可读传播信号的物质合成物或它们中的一个或多个的组合。术语“数据处理装置”涵盖了用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为探讨中的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理***、操作***或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如由机器生成的电信号、光信号或电磁信号，该信号被生成以对要传输给适合的接收器装置的信息进行编码。

计算机程序(也被称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译语言或解译语言)被写入，并且该计算机程序可以以任何形式被部署，包括被部署为独立的程序或部署为模块、部件、子例程或适合在计算环境中使用的另一单元。计算机程序并非必须与文件***中的文件对应。程序可以被存储在保持其他程序或数据(例如被存储在标记语言文档中的一个或多个脚本)的文件的一部分中，或被存储在专用于探讨中的程序的单个文件中，或被存储在多个协作文件(例如存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署成在一个计算机上执行或在被定位于一个站点处或被分布在多个站点中并且通过通信网络被互连的多个计算机上被执行。

本文档中所描述的过程和逻辑流可以被执行一个或多个计算机程序的一个或多个可编程处理器执行以通过对输入数据进行操作并且生成输出来执行功能。过程和逻辑流还可以被专用逻辑电路***(例如FPGA(现场可编程门阵列)或者ASIC(专用集成电路))执行，并且装置还可以被实现为专用逻辑电路(例如FPGA(现场可编程门阵列)或者ASIC(专用集成电路))。

适合执行计算机程序的处理器包括例如通用微处理器和专用微处理器两者以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将接收来自只读存储器或随机存取存储器或两者的指令和数据。计算机的必要元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还会包括用于存储数据的一个或多个海量存储设备(例如磁盘、磁光盘或光盘)，或计算机还会***作地联接以接收来自该一个或多个海量存储设备的数据或将数据传送给该一个或多个海量存储设备或进行两者。然而，计算机不需要具有这种设备。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪速存储器设备；磁盘，例如内部硬盘或可移除盘；磁光盘；以及CD-ROM盘和DVD-ROM盘。处理器和存储器可以被专用逻辑电路***补充或可以被并入该专用逻辑电路***中。

本文描述的一些实施例是在方法或过程的一般上下文中所描述的，其在一个实施例中可以由包括在计算机可读介质中的计算机程序产品来实施，该计算机程序产品可以包括计算机可执行指令(如程序代码)，计算机可执行指令例如可以由联网环境中的计算机执行。计算机可读介质可以包括可移动和不可移动存储设备，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)、数字多功能盘(DVD)等。因此，计算机可读介质可以包括非暂态存储介质。通常，程序模块可以包括例程、程序、对象、部件、数据结构等，其执行特定任务或实施特定抽象数据类型。计算机或处理器可执行指令、相关联的数据结构和程序模块表示用于执行本文所公开的方法的步骤的程序代码的示例。这样的可执行指令或相关联的数据结构的特定序列表示用于实现在这些步骤或过程中描述的功能的对应动作的示例。

所公开的实施例中的一些实施例可以使用硬件电路、软件或其组合来实现为设备或模块。举例来说，硬件电路实施可以包括离散模拟和/或数字部件，其例如可以集成为印刷电路板的部分。备选地或附加地，所公开的部件或模块可以被实施为专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)设备。附加地或备选地，一些实施可以包括数字信号处理器(DSP)，其是具有针对与本申请的所公开功能性相关联的数字信号处理的操作需要而优化的架构的专用微处理器。类似地，每个模块内的各种部件或子组件可以用软件、硬件或固件来实施。可以使用本领域已知的任何一种连接方法和介质来提供模块和/或模块内部件之间的连接，包括但不限于通过因特网、有线网络或使用适当协议的无线网络的通信。

虽然本文包括许多细节，但是这些细节不应被解释为对所要求保护的发明的范围的限制，而是被解释为对特定实施例特有的特征的描述。本文中在不同的实施例的上下文中描述的某些特征也可以组合在单个实施例中。相反，在单个实施例的上下文中描述的各种特征也可以分开或以任何合适的子组合在多个实施例中实施。此外，在上文中虽然特征可以被描述为以某些组合作用并且甚至最初被要求保护，但是来自要求保护的组合的一个或多个特征在一些情况下可以从组合中被去除，并且所要求保护的组合可以针对于子组合或子组合的变型。类似地，虽然在图式中以特定次序描绘操作，但此不应被理解为要求以所示的特定次序或以循序次序执行此类操作、或执行所有所说明的操作以实现期望的结果。

仅描述了几个实施方式和示例，并且可以基于在本公开中描述和示出的内容来进行其他实施、增强和变化。

Claims (17)

1.一种车道线检测方法，其特征在于，包括：

接收从影像传感器收集到的图像；

对所述图像进行编码，得到对应所述图像的二维图像特征；

基于所述影像传感器的位置，建立三维空间及在所述三维空间中的至少一锚线；

计算所述至少一锚线中的每条锚线投影至所述二维图像特征上的锚线特征；

对所述每条锚线的所述锚线特征进行车道线建模运算，得到所述每条锚线的锚线信息，其中所述锚线信息包括在所述三维空间中所述锚线与车道线之间的锚线偏移量；及

基于所述锚线信息，产生三维车道线信息。

2.如权利要求1所述的车道线检测方法，其特征在于，所述至少一锚线为基于起始点以及以下至少其中之一所决定的射线：俯仰角、偏航角及翻滚角。

3.如权利要求1所述的车道线检测方法，其特征在于，计算所述至少一锚线中的所述每条锚线投影至所述二维图像特征上的所述锚线特征包括：

基于所述三维空间中的第一轴方向，在所述每条锚线上撷取多个三维采样点；

通过所述影像传感器的内参数及外参数的至少其中之一，将所述多个三维采样点投影至所述二维图像特征，得到所述每条锚线的锚线图像特征，其中所述锚线图像特征包含所述多个三维采样点对应的多个二维采样点，以及所述多个二维采样点对应的图像特征；及

对所述多个二维采样点对应的所述图像特征进行拼接运算，得到所述每条锚线的所述锚线特征。

4.如权利要求3所述的车道线检测方法，其特征在于，更包括：

对所述多个二维采样点中的第一采样点进行双线性插值运算，得到所述第一采样点对应的第一图像特征，其中对所述多个二维采样点对应的所述图像特征进行拼接运算，得到所述每条锚线的所述锚线特征包括：

对所述第一采样点对应的第一图像特征进行拼接运算，得到所述每条锚线的所述锚线特征。

5.如权利要求3所述的车道线检测方法，其特征在于，其中车道线建模运算包含分类运算及回归运算，其中对所述每条锚线的所述锚线特征进行车道线建模运算，得到所述每条锚线的锚线信息包括：

将所述锚线特征输入所述分类运算，输出锚线分类结果；

将所述锚线特征输入所述回归运算，输出在所述三维空间中所述多个三维采样点中的每个采样点相对于所述车道线上的每个采样点的坐标回归量，其中所述坐标回归量为在所述三维空间中所述多个三维采样点中的所述每个采样点相对于所述车道线上的每个采样点在所述三维空间中的第二轴方向与第三轴方向的坐标差异，其中所述三维采样点中的所述每个采样点与所述车道线上的所述每个采样点在所述第一轴方向上具有相同的坐标；

基于所述每个采样点对应的所述坐标回归量，得到所述每条锚线对应的所述锚线偏移量；及

基于所述每条锚线对应的所述锚线偏移量，得到所述每条锚线的所述锚线信息。

6.如权利要求5所述的车道线检测方法，其特征在于，所述回归运算更输出所述多个三维采样点中的所述每个采样点对应的所述车道线上的所述每个采样点在所述图像中是否可见的指示值。

7.如权利要求6所述的车道线检测方法，其特征在于，所述指示值为通过布尔值来表示。

8.如权利要求6所述的车道线检测方法，其特征在于，所述锚线信息更包括所述锚线分类结果，以及所述每条锚线的所述指示值。

9.如权利要求8所述的车道线检测方法，其特征在于，基于所述锚线信息，产生所述三维车道线信息包括：

基于所述锚线信息中的所述锚线分类结果、所述每条锚线的所述指示值，以及关于所述锚线偏移量的所述坐标回归量，产生所述三维车道线信息，其中所述三维车道线信息包括所述车道线的车道线类别、在所述三维空间中所述车道线上的多个采样点的多个坐标，以及在所述三维空间中所述车道线上的所述多个采样点的所述多个坐标是否可见，其中在所述三维空间中所述车道线上的所述每个采样点的所述坐标是由所述车道线对应的锚线的所述多个三维采样点中的每个采样点的坐标和所述坐标回归量相加得到。

10.如权利要求9所述的车道线检测方法，其特征在于，所述车道线是通过多个可见点的坐标构成的序列及对应所述车道线类别的编码来表示。

11.如权利要求9所述的车道线检测方法，其特征在于，所述车道线类别包括以下至少其中之一：单线、双线、实线、虚线、白线、黄线。

12.如权利要求5所述的车道线检测方法，其特征在于，所述锚线分类结果包含锚线的类别总数，以及用来表示所述锚线被分类为对应类别的数值。

13.如权利要求5所述的车道线检测方法，其特征在于，所述坐标回归量的长度为所述多个二维采样点总数的浮点数向量。

14.如权利要求1所述的车道线检测方法，其特征在于，所述三维空间为通过相机坐标系或地面坐标系建构的空间。

15.如权利要求1所述的车道线检测方法，其特征在于，更包括：

将基于所述三维车道线信息产生的三维车道线作为在所述三维空间中的新的锚线；

计算所述新的锚线投影至所述二维图像特征上的第二锚线特征；

对所述第二锚线特征进行所述车道线建模运算，得到所述新的锚线的第二锚线信息，其中所述第二锚线信息包括在所述三维空间中所述新的锚线与所述车道线之间的第二锚线偏移量；及

基于所述第二锚线信息，产生新的三维车道线信息。

16.一种车道线检测装置，包括：

一个或者多个处理器，和

存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述车道线检测装置执行根据权利要求1至15中任一项所述的方法。

17.一种存储有程序的计算机可读存储介质，所述程序包括指令，所述指令在由计算装置的一个或者多个处理器执行时，致使所述计算装置执行根据权利要求1至15中任一项所述的方法。