CN115984820A - 地图中红绿灯信息的构建方法、装置、设备及存储介质 - Google Patents

Abstract

本发明提供了一种地图中红绿灯信息的构建方法、装置、设备及存储介质，该方法包括：从包含有红绿灯信息的图像中获取每个红绿灯在每帧图像中的检测框位置信息，其中，每个检测框位置信息对应一个数据范围；在激光雷达坐标系中根据每个红绿灯在多帧图像中对应的多个数据范围筛选点云信息，获得每个红绿灯对应的点云信息集合；在世界坐标系下对每个红绿灯对应的点云信息集合进行分割，获得多个点云簇；对多个点云簇中的每个点云簇进行打分，根据每个点云簇的得分情况从多个点云簇中筛选获得红绿灯对应的三维位置信息。本发明能够在地图中准确的构建红绿灯的三维位置信息，降低了人工成本，提高了制图效率。

Description

地图中红绿灯信息的构建方法、装置、设备及存储介质

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种地图中红绿灯信息的构建方法、装置、设备及存储介质。

背景技术

在自动驾驶领域，地图是机器人导航定位的基础，是无人载具的核心依赖模块。

在车辆实际运行环境中，相机视野里可能会有多个红绿灯信息，如何让无人驾驶车辆自行从多个红绿灯信息中，分辨并找到正确的红绿灯信息，是一项挑战。当前主流的方法是基于高精度地图的红绿灯匹配，即把行驶过程中通过神经网络检测到的2D图像与高精度地图上的3D红绿灯进行匹配，获得视野内各红绿灯的属性，进而挑选出正确的红绿灯信息。因此，在地图中准确的构建红绿灯的三维位置信息对行驶在道路上的无人驾驶车辆至关重要。

众所周知，在制作高精度地图的过程中，相机通过小孔成像形成的图片只能提供场景的二维信息，缺少尺度信息。如果想要恢复红绿灯在高精度地图上的三维位置，需要借助额外的信息。当前的方法主要分为以下几种：

1、在已经制作完成的高精度地图中，人工添加红绿灯的三维位置信息。但该方法需要人工手动制作，人力耗时较大，效率较低。

2、基于监督的红绿灯3D检测方法，在建图的过程中，同时检测出红绿灯的三维位置信息。该方法需要大量的数据训练才能得到较好的效果，短时间内难以得到较好的精度。

因此，有必要提供改进的技术方案以克服现有技术中存在的以上技术问题。

发明内容

为了解决上述技术问题，本发明提供了一种地图中红绿灯信息的构建方法、装置、设备及存储介质，可以解决将检测到的红绿灯信息与雷达点云信息相匹配的困难。

根据本发明第一方面，提供了一种地图中红绿灯信息的构建方法，包括：

从包含有红绿灯信息的图像中获取每个红绿灯在每帧所述图像中的检测框位置信息，其中，每个检测框位置信息对应一个数据范围；

在激光雷达坐标系中根据每个红绿灯在多帧所述图像中对应的多个数据范围筛选点云信息，获得每个红绿灯对应的点云信息集合；

在世界坐标系下对每个红绿灯对应的点云信息集合进行分割，获得多个点云簇；

对所述多个点云簇中的每个点云簇进行打分，根据每个点云簇的得分情况从所述多个点云簇中筛选获得红绿灯对应的三维位置信息。

可选地，从包含有红绿灯信息的图像中获取每个红绿灯在每帧所述图像中的检测框位置信息包括：

从预先获得的离线数据包中获取图像数据；

对获取的所述图像数据进行图像检测，从包含有红绿灯信息的图像数据中确定每个红绿灯的边界信息；

对每个红绿灯进行编号，根据所述编号和所述边界信息获取每个红绿灯在每帧所述图像中的检测框，并计算每个检测框的所述检测框位置信息。

可选地，所述检测框位置信息包括：最小俯仰角、最大俯仰角、最小偏航角以及最大偏航角，所述数据范围由所述最小俯仰角、所述最大俯仰角、所述最小偏航角以及所述最大偏航角界定。

可选地，计算每个检测框的所述检测框位置信息之前，还包括：

按照预定比例放大每个所述检测框的边界。

可选地，在激光雷达坐标系中根据每个红绿灯在多帧所述图像中对应的多个数据范围筛选点云信息，获得每个红绿灯对应的点云信息集合包括：

利用相机到激光雷达的外参矩阵将每个红绿灯对应的多个数据范围转换到激光雷达坐标系中；

在激光雷达坐标系中保留每个红绿灯对应的多个数据范围内的点云信息，删除其余的点云信息，获得所述点云信息集合，

其中，在将每个红绿灯对应的多个数据范围转换到激光雷达坐标系中时，忽略相机与激光雷达之间的平移信息。

可选地，在世界坐标系下对每个红绿灯对应的点云信息集合进行分割，获得多个点云簇包括：

利用预先获取的激光雷达相对世界坐标系的变换矩阵将每个红绿灯对应的点云信息集合转换到世界坐标系中；

在世界坐标系下基于法线差异对点云信息集合进行分割，获得每个红绿灯对应的多个点云簇。

可选地，对所述多个点云簇中的每个点云簇进行打分包括：

计算世界坐标系下每个点云簇的中心位置；

将每个点云簇的中心位置分别投影至包含有对应红绿灯信息的多帧图像中的每帧图像中；

计算每个点云簇的中心位置的投影在每帧图像中与对应红绿灯的检测框中心之间的欧式距离；

在每帧图像中的每个红绿灯对应的所述多个点云簇中选择欧氏距离最小的点云簇得分加一。

可选地，根据每个点云簇的得分情况从所述多个点云簇中筛选获得红绿灯对应的三维位置信息包括：

当存在一组点云簇的得分与其他任一组点云簇的得分之间的差值均大于预设值时，选择得分最高的点云簇的三维位置作为对应红绿灯在地图中的三维位置信息；或者，

当任意两组点云簇的得分之间的差值均小于或等于预设值时，选择在车辆行驶方向上与车辆距离最小的点云簇的三维位置作为对应红绿灯在地图中的三维位置信息。

根据本发明第二方面，提供了一种地图中红绿灯信息的构建方装置，包括：

检测框位置信息获取单元，用于从包含有红绿灯信息的图像中获取每个红绿灯在每帧所述图像中的检测框位置信息，其中，每个检测框位置信息对应一个数据范围；

点云信息筛选单元，用于在激光雷达坐标系中根据每个红绿灯在多帧所述图像中对应的多个数据范围筛选点云信息，获得每个红绿灯对应的点云信息集合；

分割单元，用于在世界坐标系下对每个红绿灯对应的点云信息集合进行分割，获得多个点云簇；

三维位置信息确定单元，用于对所述多个点云簇中的每个点云簇进行打分，根据每个点云簇的得分情况从所述多个点云簇中筛选获得红绿灯对应的三维位置信息。

根据本发明第三方面，提供了一种设备，包括：存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时实现如上所述的地图中红绿灯信息的构建方法。

根据本发明第四方面，提供了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被执行时实现如上所述的地图中红绿灯信息的构建方法。

本发明的有益效果至少包括：

本发明实施例通过将相机检测到的红绿灯信息与激光雷达点云信息匹配获得多个点云簇，并通过对多个点云簇进行评分来筛选出属于红绿灯的点云簇信息，从而能够在地图中准确的构建红绿灯的三维位置信息，显著的降低了人工成本，提高了制图效率。

应当说明的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

图1示出根据本发明实施例提供的地图中红绿灯信息的构建方法的流程示意图；

图2示出根据本发明实施例提供的检测框位置信息的获取方法的流程示意图；

图3示出根据本发明实施例提供的点云信息集合的获取方法的流程示意图；

图4示出根据本发明实施例提供的多个点云簇的获取方法的流程示意图；

图5示出根据本发明实施例提供的评分方法的流程示意图；

图6示出根据本发明实施例提供的红绿灯信息的图像效果示意图；

图7示出根据本发明实施例提供的红绿灯信息的点云效果示意图；

图8示出根据本发明实施例提供的地图中红绿灯信息的构建装置的结构框图；

图9示出根据本发明实施例提供的一种设备的结构框图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以通过不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

应当注意，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

本实施例设置至少一台计算机设备用于道路数据采集、生成点云地图时的计算，同时计算机设备要存储感知信息、定位信息和地图信息。计算机可以是工控机也可以是笔记本电脑。

如图1所示，本实施例所提供的地图中红绿灯信息的构建方法包括执行如下步骤：

在步骤S1中，从包含有红绿灯信息的图像中获取每个红绿灯在每帧图像中的检测框位置信息。，其中，每个检测框位置信息对应一个数据范围。

本实施例中，如图2所示，步骤S1进一步包括执行：

步骤S11，从预先获得的离线数据包中获取图像数据。

本实施例基于预先构建好的无红绿灯位置的高精地图来进一步在地图中构建红绿灯的三维位置信息。无红绿灯位置的高精地图可以由数据采集车预先在需要构建地图的路段行驶来采集相关数据并存储在存储器或服务器中。

数据采集车上例如装备有图像获取设备和3D信息获取设备。当图像获取设备在环境例如道路中移动时，图像获取设备可以同时捕捉当前环境的图像。图像获取设备可以是任何类型的摄像头，该摄像头可以是相机，例如单目相机、两目相机、多目相机等。例如，该摄像头所采集到的图像可以是连续图像帧序列(即，视频流)或离散图像帧序列(即，在预定采样时间点采样到的图像数据组)等。当然，本领域中已知的以及将来可能出现的任何其他类型的相机都可以应用于本申请，本申请对其捕捉图像的方式没有特别限制，只要能够获得清晰的图像即可。当3D信息获取设备在环境例如道路中移动时，3D信息获取设备可以同时捕捉当前环境的三维点云数据。3D信息获取设备可以是任何类型的激光雷达，例如为16线或16线以上的激光雷达。

以装备有相机和激光雷达的数据采集车为例，数据采集车除采集并存储图像数据和点云数据外，还包括在使用前对相机标定获得相机内参矩阵，并在确定相机和激光雷达在车体上的安装位置后，再对相机和激光雷达进行联合标定，获得相机到激光雷达的旋转矩阵和平移矩阵。数据采集车将行驶过程中采集到的图像数据、点云数据和预先获得的各种转换矩阵以离线数据包的形式存储。在需要使用相应数据时，只需从存储器或服务器中调取数据即可。

步骤S12，对获取的图像数据进行图像检测，从包含有红绿灯信息的图像数据中确定每个红绿灯的边界信息。

从离线数据包中调取图像数据后，利用图像检测算法先从众多的图像数据中筛选出包含有红绿灯信息的图像数据。再利用图像识别算法从筛选出的包含有红绿灯信息的每帧图像数据中识别出每个红绿灯的边界信息。

步骤S13，对每个红绿灯进行编号，根据编号和边界信息获取每个红绿灯在每帧图像中的检测框，并计算每个检测框的检测框位置信息。

参考图6，当检测到一帧的图像中包含有多个不同的红绿灯时，先对多个红绿灯进行编号以便区分不同的红绿灯。其中，在不同帧的图像中，同一红绿灯的编号相同。

之后，根据每个红绿灯的编号及其边界信息生成该帧图像中每个红绿灯的检测框(bounding box)。每个红绿灯的检测框位置信息包括各自对应的检测框的边界相对相机所在位置的角度信息，即包括最小俯仰角、最大俯仰角、最小偏航角以及最大偏航角。

计算每个检测框的检测框位置信息时，针对每帧图像中检测到的每个红绿灯的检测框，以相机所在位置为初始点，计算相机所在位置到每个检测框的上、下边界相对水平面的俯仰角(即最大俯仰角和最小俯仰角)，以及计算相机所在位置到每个检测框的左、右边界相对道路延伸方向或数据采集车的行驶方向的偏航角(即最大偏航角和最小偏航角)。根据最大俯仰角和最小俯仰角可计算获得对应红绿灯的位置信息在地图中所处的俯仰角范围，根据最大偏航角和最小偏航角可计算获得对应红绿灯的位置信息在地图中所处的偏航角范围，进而根据获得俯仰角范围和偏航角范围即可确定红绿灯在对应帧的图像中的位置范围。也即，前述的每个数据范围由对应的检测框位置信息中的最小俯仰角、最大俯仰角、最小偏航角以及最大偏航角界定。

在步骤S2中，在激光雷达坐标系中根据每个红绿灯在多帧图像中对应的多个数据范围筛选点云信息，获得每个红绿灯对应的点云信息集合。

本实施例中，如图3所示，步骤S2进一步包括执行：

步骤S21，利用相机到激光雷达的外参矩阵将每个红绿灯对应的多个数据范围转换到激光雷达坐标系中。

由前述可知，通过读取离线数据包可获得数据采集车上相机到激光雷达的外参矩阵(包括相机到激光雷达的旋转矩阵以及相机到激光雷达的平移矩阵)。

由于相机和激光雷达在数据采集车上的设置位置相近，因此本实施例在将每个红绿灯对应的多个数据范围转换到激光雷达坐标系中时，可以选择忽略相机与激光雷达之间的平移信息(包括平移距离信息)，只保留相机与激光雷达之间的旋转信息，即仅利用相机到激光雷达的旋转矩阵将每个红绿灯对应的多个数据范围转移到激光雷达坐标系中，从而在激光雷达采集到的点云数据中获得对应的点云范围。本实施例中，忽略相机与激光雷达之间的平移信息，能够减少在将多个数据范围转换到激光雷达坐标系中时所需处理的数据类型和计算量，更方便实现数据在图像坐标系与激光雷达坐标系之间的转换，降低了对运算资源的消耗，也有利于提高数据处理效率，降低数据处理的复杂度和出错率。

对于同一个红绿灯，包括将该红绿灯在每帧图像中对应的数据范围均转换到激光雷达坐标系中，从而在激光雷达坐标系中获得多个点云范围。

在一些优选地实施例中，步骤S13中在计算每个检测框的所述检测框位置信息之前，还包括：按照预定比例放大每个检测框的边界。

在忽略相机与激光雷达之间的平移信息的基础上将每个红绿灯对应的多个数据范围转换到激光雷达坐标系中时，虽然能够减少所需处理的数据类型和计算量，但容易导致红绿灯在由相机坐标系下转到激光雷达坐标系下时出现误差，该些实施例中，通过按照适当的预定比例放大每个检测框的边界(包括上、下、左、右边界)，即对每帧图像中检测到的每一个红绿灯的检测框进行膨胀处理，能够在转换时留出冗余空间，从而能够减小甚至避免转换时的误差，提高了在激光雷达坐标系下确定红绿灯位置时的准确性，也方便后续处理。

步骤S22，在激光雷达坐标系中保留每个红绿灯对应的多个数据范围内的点云信息，删除其余的点云信息，获得点云信息集合。

将一个红绿灯在一帧图像中对应的数据范围转移到激光雷达坐标系中后，会在激光雷达坐标系中获得对应的点云范围，且该红绿灯的点云位置只可能出现在该点云范围内的点云中，因此可以删除该点云范围外的点云信息，只保留该点云范围内的点云信息来作为红绿灯的三维位置信息候选项，减小了后续的数据处理量。

当一个红绿灯同时存在于多帧图像中时，将该红绿灯所在的所有帧(例如一个红绿灯在数据采集车采集道路数据的过程中出现在相机采集的画面中的所有帧)的图像均执行如上操作，从而获得对应多个数据范围的多个点云信息，并将筛选出的对应同一个红绿灯编号的所有点云信息作为一个点云信息集合。

在步骤S3中，在世界坐标系下对每个红绿灯对应的点云信息集合进行分割，获得多个点云簇。

本实施例中，如图4所示，步骤S3进一步包括执行：

步骤S31，利用预先获取的激光雷达相对世界坐标系的变换矩阵将每个红绿灯对应的点云信息集合转换到世界坐标系中。

获得每个红绿灯对应的点云信息集合后，利用预先获取的(例如从离线数据包中读取到的)激光雷达相对世界坐标系的变换矩阵将每个红绿灯对应的点云信息集合转换到世界坐标系中，从而在世界坐标系中实现对每个红绿灯在初次被采集到从画面中消失这一时间段内激光雷达采集到的多个数据范围内的所有点云信息的整合叠加，一方面便于后续能够基于包含更多信息的点云信息实现对红绿灯的三维位置信息的筛选判断，另一方面能够统一将所有的信息在同一坐标系下进行处理，有利于降低数据处理难度，提高信息处理结果的准确性。

步骤S32，在世界坐标系下基于法线差异对点云信息集合进行分割，获得每个红绿灯对应的多个点云簇。

同一类物体(例如红绿灯、指示牌、树、车等)的形状在外观上通常具有相似性，不同类的物体的形状在外观上通常具有排他性，即同一类物体的法线方向通常是相近的，不同类的物体的法线方向之间通常是具有差异性的。基于此种特性，本实施例中采用基于法线差异的分割方法(如PCL算法)来从每个红绿灯对应的点云信息集合中将具有相同或相近的法线方向的点云信息分割为同一个点云簇，从而将每个红绿灯的三维点云位置的范围进一步缩小至数个点云簇中，为后续从同一个方向范围内的包含多个物体的点云信息集合中筛选出红绿灯对应的点云信息提供了基础。

在步骤S4中，对多个点云簇中的每个点云簇进行打分，根据每个点云簇的得分情况从多个点云簇中筛选获得红绿灯对应的三维位置信息。

在将点云信息集合分割为多个点云簇后，本发明实施例进一步利用点云簇评分算法来获得红绿灯在三维地图中的深度信息，即从多个点云簇中筛选出正确且唯一的红绿灯的三维点云坐标。具体地，如图5所示，步骤S4中对多个点云簇中的每个点云簇进行打分进一步包括执行：

步骤S41，计算世界坐标系下每个点云簇的中心位置。

步骤S42，将每个点云簇的中心位置分别投影至包含有对应红绿灯信息的多帧图像中的每帧图像中。

步骤S43，计算每个点云簇的中心位置的投影在每帧图像中与对应红绿灯的检测框中心之间的欧式距离。

步骤S44，在每帧图像中的每个红绿灯对应的多个点云簇中选择欧氏距离最小的点云簇得分加一。

相对激光雷达采集到的点云数据，相机采集到的图像数据中对红绿灯的信息表达的置信度更高，进而本实施例中以红绿灯在每帧图像中的信息表达作为从多个点云簇中筛选红绿灯对应的点云簇的判断标准。示例性地，可以分别计算世界坐标系下每个点云簇的中心位置，以及在每帧图像中计算相应的红绿灯检测框的中心，将世界坐标系下每个点云簇的中心位置分别投影至包含有对应红绿灯信息的一帧图像中后，选择中心位置与红绿灯检测框的中心差异最小(如欧式距离最小)的点云簇得分加一来作为对应红绿灯的候选点云簇；重复此流程，直至世界坐标系下每个点云簇的中心位置至包含有对应红绿灯信息的所有帧图像中的投影和评分结束，再通过分析每个点云簇的得分情况来筛选获得每个红绿灯对应的三维位置信息，如此可以实现更精细的点云簇筛选。

进一步地，根据每个点云簇的得分情况从多个点云簇中筛选获得红绿灯对应的三维位置信息包括：当存在一组点云簇的得分与其他任一组点云簇的得分之间的差值均大于预设值时，选择得分最高的点云簇的三维位置作为对应红绿灯在地图中的三维位置信息；或者，当任意两组点云簇的得分之间的差值均小于或等于预设值时，选择在车辆行驶方向上与车辆距离最小的点云簇的三维位置作为对应红绿灯在地图中的三维位置信息。

综上，本发明实施例先通过忽略相机到激光雷达之间的平移信息的方式根据相机检测到的红绿灯检测框确定红绿灯在激光雷达点云信息中的点云位置范围，再通过点云簇分割以及点云簇评分筛选的方式进一步确定红绿灯在激光雷达点云信息中的深度信息，从而能够在地图中准确的构建红绿灯的三维位置信息，显著的降低了在高精度地图中构建红绿灯的三维位置信息时所需的人工成本，极大地提高了制图效率。如图6和图7所示，基于本发明实施例提供的地图中红绿灯信息的构建方法，使得编号为3、8、10、12号的红绿灯的三维位置信息的构建效果良好；而复杂场景下的编号为5、7、6号的红绿灯的三维位置信息依旧有不错的构建效果。可见，本发明实施例能够在多数真实场景下，实现地图中红绿灯的三维位置信息的构建准确率在90％以上，且在多数复杂的场景下，亦可以很好的构建出红绿灯的三维位置信息，具有很高的可靠性。

进一步地，本发明该提供了一种地图中红绿灯信息的构建装置，该地图中红绿灯信息的构建装置可用于实现前述的地图中红绿灯信息的构建方法。如图8所示，该地图中红绿灯信息的构建装置包括：检测框位置信息获取单元100、点云信息筛选单元200、分割单元300以及三维位置信息确定单元400。

其中，检测框位置信息获取单元100用于从包含有红绿灯信息的图像中获取每个红绿灯在每帧图像中的检测框位置信息。其中，每个检测框位置信息对应一个数据范围。

点云信息筛选单元200用于在激光雷达坐标系中根据每个红绿灯在多帧图像中对应的多个数据范围筛选点云信息，获得每个红绿灯对应的点云信息集合。

分割单元300用于在世界坐标系下对每个红绿灯对应的点云信息集合进行分割，获得多个点云簇。

三维位置信息确定单元400用于对多个点云簇中的每个点云簇进行打分，并根据每个点云簇的得分情况从多个点云簇中筛选获得红绿灯对应的三维位置信息。

需要说明的是，本发明实施例提供的地图中红绿灯信息的构建装置可用于执行前述地图中红绿灯信息的构建方法，达到与上述各实施例中地图中红绿灯信息的构建方法相同的有益效果。进一步地，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分、硬件的一部分、或者软件和硬件结合的一部分。因此，图8中示出的地图中红绿灯信息的构建装置中的各个模块的数量仅仅是示意性的。本领域技术人员能够理解的是，可以对装置中的各个单元进行适应性地拆分或合并。对具体单元的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。

进一步地，本发明该提供了一种设备，如图9所示，示出了适于用来实现本发明实施方式的示例性设备12的框图。图9显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。

设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。***存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如***存储器28中，这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器34等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

处理单元16通过运行存储在***存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的地图中红绿灯信息的构建方法。

进一步地，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请任意实施例所述的地图中红绿灯信息的构建方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CDROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (11)

1.一种地图中红绿灯信息的构建方法，其中，包括：

从包含有红绿灯信息的图像中获取每个红绿灯在每帧所述图像中的检测框位置信息，其中，每个检测框位置信息对应一个数据范围；

在激光雷达坐标系中根据每个红绿灯在多帧所述图像中对应的多个数据范围筛选点云信息，获得每个红绿灯对应的点云信息集合；

在世界坐标系下对每个红绿灯对应的点云信息集合进行分割，获得多个点云簇；

对所述多个点云簇中的每个点云簇进行打分，根据每个点云簇的得分情况从所述多个点云簇中筛选获得红绿灯对应的三维位置信息。

2.根据权利要求1所述的构建方法，其中，从包含有红绿灯信息的图像中获取每个红绿灯在每帧所述图像中的检测框位置信息包括：

从预先获得的离线数据包中获取图像数据；

对获取的所述图像数据进行图像检测，从包含有红绿灯信息的图像数据中确定每个红绿灯的边界信息；

对每个红绿灯进行编号，根据所述编号和所述边界信息获取每个红绿灯在每帧所述图像中的检测框，并计算每个检测框的所述检测框位置信息。

3.根据权利要求2所述的构建方法，其中，所述检测框位置信息包括：最小俯仰角、最大俯仰角、最小偏航角以及最大偏航角，所述数据范围由所述最小俯仰角、所述最大俯仰角、所述最小偏航角以及所述最大偏航角界定。

4.根据权利要求2所述的构建方法，其中，在激光雷达坐标系中根据每个红绿灯在多帧所述图像中对应的多个数据范围筛选点云信息，获得每个红绿灯对应的点云信息集合包括：

利用相机到激光雷达的外参矩阵将每个红绿灯对应的多个数据范围转换到激光雷达坐标系中；

在激光雷达坐标系中保留每个红绿灯对应的多个数据范围内的点云信息，删除其余的点云信息，获得所述点云信息集合，

其中，在将每个红绿灯对应的多个数据范围转换到激光雷达坐标系中时，忽略相机与激光雷达之间的平移信息。

5.根据权利要求4所述的构建方法，其中，计算每个检测框的所述检测框位置信息之前，还包括：

按照预定比例放大每个所述检测框的边界。

6.根据权利要求1所述的构建方法，其中，在世界坐标系下对每个红绿灯对应的点云信息集合进行分割，获得多个点云簇包括：

利用预先获取的激光雷达相对世界坐标系的变换矩阵将每个红绿灯对应的点云信息集合转换到世界坐标系中；

在世界坐标系下基于法线差异对点云信息集合进行分割，获得每个红绿灯对应的多个点云簇。

7.根据权利要求1所述的构建方法，其中，对所述多个点云簇中的每个点云簇进行打分包括：

计算世界坐标系下每个点云簇的中心位置；

将每个点云簇的中心位置分别投影至包含有对应红绿灯信息的多帧图像中的每帧图像中；

计算每个点云簇的中心位置的投影在每帧图像中与对应红绿灯的检测框中心之间的欧式距离；

在每帧图像中的每个红绿灯对应的所述多个点云簇中选择欧氏距离最小的点云簇得分加一。

8.根据权利要求7所述的构建方法，其中，根据每个点云簇的得分情况从所述多个点云簇中筛选获得红绿灯对应的三维位置信息包括：

当存在一组点云簇的得分与其他任一组点云簇的得分之间的差值均大于预设值时，选择得分最高的点云簇的三维位置作为对应红绿灯在地图中的三维位置信息；或者，

当任意两组点云簇的得分之间的差值均小于或等于预设值时，选择在车辆行驶方向上与车辆距离最小的点云簇的三维位置作为对应红绿灯在地图中的三维位置信息。

9.一种地图中红绿灯信息的构建装置，其中，包括：

检测框位置信息获取单元，用于从包含有红绿灯信息的图像中获取每个红绿灯在每帧所述图像中的检测框位置信息，其中，每个检测框位置信息对应一个数据范围；

点云信息筛选单元，用于在激光雷达坐标系中根据每个红绿灯在多帧所述图像中对应的多个数据范围筛选点云信息，获得每个红绿灯对应的点云信息集合；

分割单元，用于在世界坐标系下对每个红绿灯对应的点云信息集合进行分割，获得多个点云簇；

三维位置信息确定单元，用于对所述多个点云簇中的每个点云簇进行打分，根据每个点云簇的得分情况从所述多个点云簇中筛选获得红绿灯对应的三维位置信息。

10.一种设备，其中，包括：存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任意一项所述的地图中红绿灯信息的构建方法。

11.一种存储介质，其中，所述存储介质中存储有计算机程序，所述计算机程序被执行时实现如权利要求1至8中任意一项所述的地图中红绿灯信息的构建方法。

Images