CN112862881B - 基于众包多车摄像头数据的道路地图构建与融合的方法 - Google Patents

Abstract

本发明涉及一种基于众包多车摄像头数据的道路地图构建与融合的方法，包括内容为：S1、针对相同区域路段，从搭载相机的他车中获取原始图像序列或视频数据；S2、对每一车辆基于获取的图像信息进行道路标线提取，并在图像帧之间进行道路标线的关联，构建车辆3D本地地图；S3、对两车辆的3D本地地图进行对齐和融合；S4、对多车的3D本地地图数据融合，输出3D融合地图。本发明为众包数据更新要素提供较高的准确度，确保更新要素的准确性，避免变化要素判断不准，导致地图更新中将正确要素错误更新的情况，可以广泛应用于自动驾驶中。

Description

基于众包多车摄像头数据的道路地图构建与融合的方法

技术领域

本发明是关于一种基于众包多车摄像头数据的道路地图构建与融合的方法，涉及自动驾驶高精度地图技术领域。

背景技术

高精度地图在智能驾驶感知、定位、规划决策等功能应用中具有关键作用，是高级别自动驾驶中不可或缺的关键核心技术，从而对于自动驾驶地图技术的相关研究在高精度、高频率更新、低成本等方面提出了越来越高的要求。与自车周围环境信息密切关联的诸如车道标线等相关信息成为目前研究的重点，比如实线、虚线等道路标记已成为高精度地图上的重要标志。这些数据通常是从搭载昂贵传感器的专用地图采集车上获取，用于更新高精度地图数据库。然而，随着智能汽车上车载传感器的发展，量产车上搭载低成本传感器将有潜力应用于众包地图更新中。

虽然这种传感器的感知精度不如专业地图采集车的高成本传感器，但是这类智能车辆数量之多，可以满足高频高精度地图更新的需求。然而，由于单车低成本传感器获取的地图数据可靠性存在不确定性，众包多车信息的融合仍然是一个巨大的挑战。

发明内容

针对上述问题，本发明的目的是提供一种能够确保地图更新要素准确的基于众包多车摄像头数据的道路地图构建与融合的方法、***、处理设备及存储介质。

为实现上述目的，本发明采取以下技术方案：

第一方面，本发明提供一种基于众包多车摄像头数据的道路地图构建与融合的方法，包括内容为：

S1、针对相同区域路段，从搭载相机的他车中获取原始图像序列或视频数据；

S2、对每一车辆基于获取的图像信息进行道路标线提取，并在图像帧之间进行道路标线的关联，构建车辆3D本地地图；

S3、对两车辆的3D本地地图进行对齐和融合；

S4、对多车的3D本地地图数据融合，输出3D融合地图。

进一步地，上述步骤S2的具体过程包括：

S21、从该车的车载摄像头获取原始图像序列或视频的图像信息；

S22、对采集的图像进行道路标记检测识别，如果存在道路标记，则进行道路标记提取；

S23、基于车载摄像头和车辆姿态，在图像帧之间进行道路标线的关联，进行3D本地地图建立，输出3D本地地图。

进一步地，3D本地建图建立的具体过程为：

假设车载摄像头的固有值已知，车辆姿态通过离线方法或在线方法获得，3D本地地图由许多从道路标记检测过程中提取的3D点组成：

i_m(x_w,y_w,z_w)＝K·[R|t]·i(x,y)

其中，i_m为道路标记像素点映射到三维坐标的亮度值，K为车载摄像头的内参矩阵，[R|t]为6自由度车辆姿态。

进一步地，上述步骤S3的具体过程为：

S31、计算3D点的亮度比

其中，Br(x，y，z)是三维坐标(x_w,y_w,z_w)的亮度比；

S32、根据3D点的亮度比，进行3D点关联，具体包括：

S321、将两个车辆的本地地图进行地图对齐；

S322、进行点关联处理：

从亮度值和亮度比标准设置的关联点中选择更可能是道路标记的点，通过亮度值和亮度比的阈值比较，完成关联点和唯一点的选点过程：

式中，x_w,y_w,z_w表示道路标记在三维局部地图中的坐标，i_thresh表示点的亮度阈值，Br_thresh表示点的亮度比阈值，m_i为第i个地图，其中，关联点是指存在于两个地图上的三维点，唯一点是指仅存在于一个地图上的三维点；

S323、不同地图关联点的融合

对于关联点，即通过在阈值比较条件之后，通过首先找到最大亮度值和最小亮度比来比较这些点，选择的点基于以下条件：

不同地图中关联点用其中i_fm和Br_fm最优的，即最大亮度值和最小亮度比值的点来替代，实现不同地图点的融合。

进一步地，所述步骤S4的具体过程为：多个本地地图均由三维点集组成，对多个三维点进行关联，关联过程通过最近策略实现，即对于两个地图点集，第一个点集中的点通过寻找第二个地图点集中离其最近的点作为关联对象，当其最近的距离小于阈值时，可以作为关联点，当其距离超过阈值后，则认为该点为唯一点，依此类推，通过对关联点处理完成多车地图数据融合。

第二方面，本发明还提供一种基于众包多车摄像头数据的道路地图构建与融合的***，该***包括：

信源获取单元，被配置为针对相同区域路段，从搭载相机的他车中获取原始图像序列或视频数据；

本地地图构建单元，被配置为对每一车辆基于获取的图像信息进行道路标线提取，并在图像帧之间进行道路标线的关联，构建车辆3D本地地图；

两车地图融合单元，被配置为对两车辆的3D本地地图进行对齐和融合；

多车地图融合单元，被配置为对多车的3D本地地图数据融合，输出3D融合地图。

第三方面，本发明还提供一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器运行所述计算机程序时执行以实现根据本发明第一方面所述基于众包多车摄像头数据的道路地图构建与融合的方法。

第四方面，本发明还提供一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现本发明第一面所述的基于众包多车摄像头数据的道路地图构建与融合的。

本发明由于采取以上技术方案，其具有以下优点：本发明将车载摄像头采集到的连续图像或视频作为信息源，依靠检测到的道路标记的亮度值和亮度比作为融合过程中的参考置信度,以准确获取基于量产车相机数据的地图变化要素判断，为众包数据更新要素提供较高的准确度，确保更新要素的准确性，避免变化要素判断不准，导致地图更新中将正确要素错误更新的情况，可以广泛应用于自动驾驶地图更新中。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：

图1是本发明实施例1中高清晰度众包道路标记地图的建立流程图；

图2是本发明实施例1的局部映射流程图；

图3是本发明实施例1的地图融合流程图；

图4是本发明实施例1的地图融合中的点关联过程示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。

为了便于描述，可以在文中使用空间相对关系术语来描述如图中示出的一个元件或者特征相对于另一元件或者特征的关系，这些相对关系术语例如为“内部”、“外部”、“内侧”、“外侧”、“下面”、“上面”等。这种空间相对关系术语意于包括除图中描绘的方位之外的在使用或者操作中装置的不同方位。

本发明提供的基于众包多车摄像头数据的道路地图构建与融合的方法、***、处理设备及存储介质，包括内容为：针对相同区域路段，从搭载相机的他车中获取原始图像序列或视频数据；对每一车辆基于获取的图像信息进行道路标线提取，并在图像帧之间进行道路标线的关联，构建车辆3D本地地图；对两车辆的3D本地地图进行对齐和融合；对多车的3D本地地图数据融合，输出3D融合地图。因此，本发明为众包数据更新要素提供较高的准确度，确保更新要素的准确性。

实施例1

如图1所示，本发明实施例提供的基于众包多车摄像头数据的道路地图构建与融合的方法，包括内容为：

S1、针对相同区域路段，从搭载相机的他车(车辆1、车辆2…)中获取原始图像序列或视频数据作为信息源；

S2、如图2所示，基于获取的图像信息计算图像属性，并进行道路标线提取，具体包括：

S21、从车辆的车载摄像头获取原始图像序列或视频的图像信息；

S22、对采集的图像信息进行处理，进行道路标记检测或总结计算判断是否存在道路标记，如果存在道路标记，则进行道路标记提取，如果不存在则结束。

计算图像属性，图像属性包括像素的亮度(灰度)和亮度比。

道路标记提取可以从传统的二值化方法或最新的学习方法中检测出来，提取过程为现有技术，在此不做赘述。例如道路标记的检测可以利用图像二值化方法，通过筛选出亮度值较大的像素来进行道路标记的检测等。

一些实施例中，在对原始图像进行处理时，还需要对图像信息进行求和运算，从而得到一个称为图像积分的矩阵：

其中，i是亮度值，x′,y′为像素坐标，I是像素坐标(x′，y′)的积分矩阵。

此矩阵用于通过以下方式快速计算选定区域内的像素总和：

其中，(x₁,y₁),(x₂,y₁),(x₁,y₂)and(x₂,y₂)是按像素亮度和计算的面积，这对后面要计算亮度比的过程很有用。

S23、基于车载摄像头本身的输入和车辆的姿态，在图像帧之间进行道路标线的关联，进行3D本地建图，输出3D本地地图。

具体地，3D本地建图的具体过程为：

假设车载摄像头的固有值已知，车辆姿态可以通过离线方法或在线SLAM方法获得，其中图像序列用于估计车辆当前的姿态，姿态的准确性最终会直接影响到映射结果。如图2所示，本地地图由许多从道路标记检测过程中提取的3D点组成：

i_m(x_w,y_w,z_w)＝K·[R|t]·i(x,y)

其中，i_m为道路标记像素点映射到三维坐标的亮度值，K为相机的内参矩阵，[R|t]为6自由度车辆姿态，R为旋转矩阵，t为平移矩阵。

S3、对两车辆的3D本地地图进行关联，输出3D融合地图

如图3所示为从每个车载摄像头成功创建本地地图后的下一步操作。这个步骤可以称为多源映射，将不同本地映射的映射组合在一起，具体过程为：

S31、计算3D点的亮度比，从亮度值和图像积分值计算亮度比。

其中，Br(x，y，z)是三维坐标(x_w,y_w,z_w)的亮度比。

S32、计算出3D点的亮度比后，进行3D点关联

将本地地图对齐到一个坐标系中，实现地图对齐的具体方法可以采用现有技术，在此不做限定。在这个实现中，使用迭代最近点(ICP)。两张地图对齐后，进行点关联处理。

本实施例将有一个三维地图的道路标线与亮度值和亮度比的信息对每个三维点，当有一个以上的这些类型的地图，然后可以对齐地图和比较他们通过点对点的方法。在对齐过程之后，地图点可以分为两种类型，关联点是指存在于两个地图上的三维点，唯一点是指仅存在于一个地图上的三维点。从这些类型中，可以从由亮度值和亮度比标准设置的关联点中选择更可能是道路标记的点。对于唯一点，同样的标准也相应地施加了阈值。

通过亮度值和亮度比的阈值比较，可以完成关联点和唯一点的选点过程。

式中，x_w,y_w,z_w表示道路标记在三维局部地图中的坐标，i_thresh表示点的亮度阈值，Br_thresh表示点的亮度比阈值，m_i为第i个地图。

对于关联点，即通过在阈值比较条件之后，通过首先找到最大亮度值和最小亮度比来比较这些点，选择的点基于以下条件：

在此过程之后，不同地图中相关联点会用其中i_fm和Br_fm最优的，即最大亮度值和最小亮度比值的点来替代，从而实现不同地图点的融合。

S4、将多车多视角的图像进行匹配与关联，融合多车数据，得到可靠度较高的地图数据，其中，进行构图时可以基于GNSS感器提供定位。

多个三维点的关联方法，如图4所示，有多个局部地图由三维点集组成。关联过程通过最近策略来实现。假设对于两个地图点集，第一个点集中的点通过寻找第二个地图点集中离其最近的点作为关联对象。当其最近的距离小于阈值时，可以作为关联点，当其距离超过阈值后，则认为该点为唯一点，没有关联点，依此类推，通过对关联点处理完成多车地图数据融合。

实施例2

上述实施例1提供了基于众包多车摄像头数据的道路地图构建与融合的方法，与之相对应地，本实施例提供一种***。本实施例提供的***可以实施实施例1的基于众包多车摄像头数据的道路地图构建与融合的方法，该***可以通过软件、硬件或软硬结合的方式来实现。例如，该***可以包括集成的或分开的功能模块或功能单元来执行实施例1各方法中的对应步骤。由于本实施例的***基本相似于方法实施例，所以本实施例描述过程比较简单，相关之处可以参见实施例1的部分说明即可，本实施例的***仅仅是示意性的。

本实施例提供基于众包多车摄像头数据的道路地图构建与融合的***，包括：

信源获取单元，被配置为针对相同区域路段，从搭载相机的他车中获取原始图像序列或视频数据；

本地地图构建单元，被配置为对每一车辆基于获取的图像信息进行道路标线提取，并在图像帧之间进行道路标线的关联，构建车辆3D本地地图；

两车地图融合单元，被配置为对两车辆的3D本地地图进行对齐和融合；

多车地图融合单元，被配置为对多车的3D本地地图数据融合，输出3D融合地图。

实施例3

本实施例提供一种实现本实施例1所提供的基于众包多车摄像头数据的道路地图构建与融合方法的处理设备，处理设备可以是用于客户端的处理设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行实施例1的方法。

优选地，存储器可以是高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

优选地，处理器可以为中央处理器(CPU)、数字信号处理器(DSP)等各种类型通用处理器，在此不做限定。

实施例4

本实施例1的基于众包多车摄像头数据的道路地图构建与融合方法可被具体实现为一种计算机程序产品，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本实施例1所述的方法的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。

最后应说明的是，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于众包多车摄像头数据的道路地图构建与融合的方法，其特征在于包括内容为：

S1、针对相同区域路段，从搭载相机的他车中获取原始图像序列或视频数据；

S2、对每一车辆基于获取的图像信息进行道路标线提取，并在图像帧之间进行道路标线的关联，构建车辆3D本地地图；

S3、对两车辆的3D本地地图进行对齐和融合，具体过程为：

S31、计算3D点的亮度比

其中，i_m为道路标记像素点映射到三维坐标的亮度值；Br(x，y，z)是三维坐标(x_w,y_w,z_w)的亮度比；

S32、根据3D点的亮度比，进行3D点关联，具体包括：

S321、将两个车辆的本地地图进行对齐；

S322、进行点关联处理：

从亮度值和亮度比标准设置的关联点中选择道路标记的点，通过亮度值和亮度比的阈值比较，完成关联点和唯一点的选点过程：

式中，x_w,y_w,z_w表示道路标记在三维局部地图中的坐标，i_thresh表示点的亮度阈值，Br_thresh表示点的亮度比阈值，m_i为第i个地图，其中，关联点是指存在于两个地图上的三维点，唯一点是指仅存在于一个地图上的三维点；

S323、不同地图关联点的融合

对于关联点，选择的点基于以下条件：

不同地图中关联点用具有最大亮度值和最小亮度比值的点来替代，实现不同地图点的融合；

S4、对多车的3D本地地图数据融合，输出3D融合地图，包括：

多个本地地图均由三维点集组成，对多个三维点进行关联，关联过程通过最近策略实现，对于两个地图点集，第一个点集中的点通过寻找第二个地图点集中离其最近的点作为关联对象，当其最近的距离小于阈值时，作为关联点，当其距离超过阈值后，则认为该点为唯一点，没有关联点，通过对关联点处理完成多车地图数据融合。

2.根据权利要求1所述的基于众包多车摄像头数据的道路地图构建与融合的方法，其特征在于，上述步骤S2的具体过程包括：

S21、从该车的车载摄像头获取原始图像序列或视频的图像信息；

S22、对采集的图像进行道路标记检测识别，如果存在道路标记，则进行道路标记提取；

S23、基于车载摄像头和车辆的姿态，在图像帧之间进行道路标线的关联，进行3D本地地图建立，输出3D本地地图。

3.根据权利要求2所述的基于众包多车摄像头数据的道路地图构建与融合的方法，其特征在于，3D本地建图建立的具体过程为：

已知车载摄像头固有值，车辆姿态通过离线方法或在线方法获得，3D本地地图由许多从道路标记检测过程中提取的3D点组成：

i_m(x_w,y_w,z_w)＝K·[R|t]·i(x,y)

其中，i_m为道路标记像素点映射到三维坐标的亮度值，K为车载摄像头的内参矩阵，[R|t]为6自由度车辆姿态。

4.一种基于众包多车摄像头数据的道路地图构建与融合的***，其特征在于，该***包括：

信源获取单元，被配置为针对相同区域路段，从搭载相机的他车中获取原始图像序列或视频数据；

本地地图构建单元，被配置为对每一车辆基于获取的图像信息进行道路标线提取，并在图像帧之间进行道路标线的关联，构建车辆3D本地地图；

两车地图融合单元，被配置为对两车辆的3D本地地图进行对齐和融合，具体过程为：

计算3D点的亮度比：

其中，i_m为道路标记像素点映射到三维坐标的亮度值；Br(x，y，z)是三维坐标(x_w,y_w,z_w)的亮度比；

根据3D点的亮度比，进行3D点关联，具体包括：

将两个车辆的本地地图进行对齐；

进行点关联处理：从亮度值和亮度比标准设置的关联点中选择道路标记的点，通过亮度值和亮度比的阈值比较，完成关联点和唯一点的选点过程：

式中，x_w,y_w,z_w表示道路标记在三维局部地图中的坐标，i_thresh表示点的亮度阈值，Br_thresh表示点的亮度比阈值，m_i为第i个地图，其中，关联点是指存在于两个地图上的三维点，唯一点是指仅存在于一个地图上的三维点；

不同地图关联点的融合：对于关联点，选择的点基于以下条件：

不同地图中关联点用具有最大亮度值和最小亮度比值的点来替代，实现不同地图点的融合；

多车地图融合单元，被配置为对多车的3D本地地图数据融合，输出3D融合地图，包括：

多个本地地图均由三维点集组成，对多个三维点进行关联，关联过程通过最近策略实现，对于两个地图点集，第一个点集中的点通过寻找第二个地图点集中离其最近的点作为关联对象，当其最近的距离小于阈值时，作为关联点，当其距离超过阈值后，则认为该点为唯一点，没有关联点，通过对关联点处理完成多车地图数据融合。

5.一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现根据权利要求1到3任一项所述基于众包多车摄像头数据的道路地图构建与融合的方法。

6.一种计算机存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现权利要求1到3任一项所述的基于众包多车摄像头数据的道路地图构建与融合的方法。

Images