CN111928862A

CN111928862A - 利用激光雷达和视觉传感器融合在线构建语义地图的方法

Info

Publication number: CN111928862A
Application number: CN202010797516.9A
Authority: CN
Inventors: 安成刚; 张立国; 张旗; 李巍; 李会祥; 吴程飞; 张志强; 王增志; 史明亮
Original assignee: Langfang Heyi Life Network Technology Co ltd
Current assignee: Langfang Heyi Life Network Technology Co ltd
Priority date: 2020-08-10
Filing date: 2020-08-10
Publication date: 2020-11-13
Anticipated expiration: 2040-08-10
Also published as: CN111928862B

Abstract

本发明涉及一种利用激光雷达和视觉传感器融合在线构建语义地图的方法，包括：获取当前车辆的初始化栅格地图，获取激光雷达对应的测距数据、视觉传感器对应的图像数据；对激光雷达的测距数据进行目标检测处理，获取多个第一类检测目标的多属性信息；对视觉传感器的图像数据进行特征提取和匹配，获取多个第二类检测目标的多属性信息；融合第一类检测目标和第二类检测目标的多属性信息，并将融合后的检测目标的多属性信息均导入到Redis数据库中，生成作为语义地图的高维栅格地图，高维栅格地图中的各检测目标的多属性信息以动态数据库表的方式存储。本发明的方法可以实时在线表示车辆周围的动静态环境多维语义信息。

Description

利用激光雷达和视觉传感器融合在线构建语义地图的方法

技术领域

本发明涉及地图构建技术领域，尤其涉及一种利用激光雷达和视觉传感器融合在线构建语义地图的方法。

背景技术

目前对于无人驾驶道路环境的描述，大致可以分为高精地图、占用栅格地图、代价地图、拓扑地图、语义地图。高精地图可以对道路网进行精确三维表征，可视化效果好，可达了厘米级的定位精度，为无人驾驶提供大量的(如交叉路口布局和路标位置等)辅助信息。但是高精地图需要离线采用大量的人工标注工作才能实现，且只能包含道路的静态信息，数据采集和更新成本高、效率低。

代价地图是由多层不同含义的占用栅格地图组成，但是由于不同图层信息相互独立不能融合在一起，对于动态障碍物，无法被及时的清除，通常会留下影子一样的轨迹。

语义地图可以将激光雷达和视觉传感器检测和分割的语义信息投影到栅格地图中，包括信号灯颜色定义、道路限速信息、车辆转弯开始位置，障碍物的方位、速度等。通过在3D地图中引入少量语义标签等先验信息，无需大量的人工标注即可实现无人驾驶汽车局部路径规划、避障、安全预测等的基本技术。

然而，现有语义地图大多都是在部分人工干预下构建的带标记点云或物体的离线地图，且需要采集的数据量巨大(通常为TB级)，如何在线实时存储和维护地图中的海量语义信息、基于海量语义信息的实时检索和更新还存在技术瓶颈，成为语义地图广泛应用的一种障碍。

发明内容

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本发明提供一种利用激光雷达和视觉传感器融合在线构建语义地图的方法。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

第一方面，本发明实施例提供一种利用激光雷达和视觉传感器融合在线构建语义地图的方法，包括：

101、获取当前车辆的栅格地图，所述栅格地图包括多个用于存放检测目标的栅格/网格，且每一栅格/网格具有唯一的与方位关联的一维字符串标识；

102、依据预先标定方位关系的激光雷达和视觉传感器，获取激光雷达对应的测距数据，视觉传感器对应的图像数据；

103、对激光雷达的测距数据进行目标检测处理，获取转换至栅格地图对应的大地坐标系下的多个第一类检测目标的多属性信息；

104、对视觉传感器的图像数据进行特征提取、匹配及重建，获取转换至栅格地图对应的大地坐标系下的多个第二类检测目标的多属性信息；

105、融合第一类检测目标和第二类检测目标的多属性信息，并将融合后的检测目标的多属性信息均导入到Redis数据库中，在线生成作为语义地图的高维栅格地图，所述高维栅格地图中的各检测目标的多属性信息以动态数据库表的方式存储。

可选地，所述101包括：

借助于GPS-RTK获取当前车辆的位置信息；

根据当前车辆的位置信息，建立指定尺寸的包括多个栅格的网格地图作为初始栅格地图；

将所述初始栅格地图每一网格的二维坐标转换为大地坐标系下的经纬度坐标，得到转换坐标的栅格地图；

采用GEOHASH算法将转换坐标的栅格地图中每一网格的经纬度坐标编码为一维字符串，以代表栅格地图中每一网格的地理标识。

根据每一栅格所在的地理位置信息对该栅格进行标识，使得每一栅格具有唯一的与地理位置对应的标识。

可选地，所述102包括：

借助于棋盘格平面靶标的方式对激光雷达和视觉传感器外部的方位关系进行标定，将激光点云投影到二维图像，观察是否重合，从而获得激光雷达相对于相机的旋转和平移，如图5所示；所述激光雷达和视觉传感器均为借助于机器人设置在车辆上的目标探测设备；

利用激光雷达采集当前车辆周围的测距数据，以获取三维点云数据；

利用视觉传感器采集当前车辆周围的图像数据。

可选地，所述103包括：

利用点云数据高程信息对三维点云数据进行地面和非地面区域的分割；

根据激光雷达的特征参数，对分割的非地面区域障碍物目标进行聚类识别，获取障碍物在栅格地图中的以一维字符串表示的位置信息。

可选地，所述103还包括：

采用Fast Point R-CNN对三维点云数据中对应障碍物的点云数据进行聚类得到动态和静态的第一类检测目标的类别信息。

可选地，所述104包括：

视觉传感器包括多个不同焦距的镜头时，检测每一镜头的图像数据中各目标的类别及位置信息；

对多个镜头的图像数据进行坐标转换处理，并采用双目异焦距立体视觉重建方法对坐标转换后的点云数据进行三维重建定位，获得所有镜头中所有目标的三维定位信息及类别标签语义信息；

三维定位信息及类别标签语义信息组成第二类检测目标的多属性信息。

可选地，所述104还包括：

将第二类检测目标的多属性信息投影变换栅格地图对应的大地坐标系下，并采用一维字符串表示各第二类检测目标的位置信息。

可选地，所述105包括：

根据预先设定的激光雷达和视觉传感器的权重比值，融合第一类检测目标和第二类检测目标的多属性信息；

和/或，

第一类检测目标包括：包括路沿、车道线、树木以及建筑物的静态障碍物，包括行人、机动车及非机动车的动态障碍物；

第一类检测目标的多属性信息包括：类型、尺寸、位置、速度和姿态以及形状、材质信息；

第二类检测目标包括：行人、小动物、机动车、非机动车、红绿灯或车道线交通标志；

第二类检测目标的多属性信息包括：目标在各图像中的位置信息、尺寸信息、速度及类别信息。

可选地，所述方法还包括：

更新多属性栅格地图中动静态目标的语义信息；

和/或，基于GEOHASH编码算法和Redis数据库的动态读写信息、激光雷达采集点云数据的帧率，对多属性栅格地图中动静态目标的进行更新。

可选地，所述方法还包括：

基于GEOHASH编码算法，则在栅格地图中检索当前时刻的采用一维字符串表示的动态目标，并在Redis数据库中实时对该动态目标的位置和属性信息进行更新；

其中，栅格地图中任一目标的位置信息采用一维字符串表示。

第二方面，本发明实施例还提供一种智能车驾驶***，包括：控制装置和与控制装置连接的多目成像装置，所述多目成像装置包括：激光雷达和视觉传感器；

所述控制装置接收激光雷达和视觉传感器分别采集的测距数据和图像数据后，采用上述第一方面任一所述的在线构建语义地图的方法构建智能车的三维语义地图。

第三方面，本发明实施例还提供一种智能车，包括上述第二方面所述的智能车驾驶***。

(三)有益效果

本发明的有益效果是：本发明的方法构建的高精度语义地图无需人工标注即可以实时表示车辆周围的动静态环境多维语义信息。例如，激光雷达获取诸如行人，机动车，非机动车等动态目标类别、尺寸、位置、速度和运动方向等多元属性信息。视觉传感器辅助激光雷达获取小动物等动态目标类别、位置及速度信息，获取路沿、车道线、防撞桶以及红绿灯等交通标志静态目标具体类别、位置和尺度信息，方便车辆行驶。

进一步地，与现有地图构建技术相比(例如占据栅格地图Occupancy Grid Map,代价地图Costmap)，本发明中，基于GEOHASH一维地图编码方法和Redis坐标快速读取功能实现栅格地图中多维属性信息的快速维护更新，将多层级地图语义数据融合到一个多属性栅格地图图层进行处理，并将地图中动态障碍物实时更新清除，不存在影子遗留问题，最大可能性的提高地图复用效率，有效提高了语义地图的更新迭代效率，为智能车行驶过程中提供安全可靠、可预测的局部路况实时语义信息。

附图说明

图1和图2分别为本发明一实施例提供的利用激光雷达和视觉传感器融合在线构建语义地图的方法的流程示意图；

图3为本发明一实施例提供的多属性栅格地图示意图；

图4为本发明一实施例提供的语义高精地图的示意图；

图5为本发明一实施例提供的激光雷达和相机的联合标定示意图；

图6为本发明一实施例提供的A*算法路径规划示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

本发明实施例提出的利用激光雷达和视觉传感器融合在线构建语义地图的方法可以应用于智能驾驶***中，为智能驾驶车辆提供实时的语义地图信息。本发明实施例的方法通过激光雷达和视觉传感器融合生成多属性栅格地图，并使用GEOHASH一维编码方法实现栅格地图二维坐标位置的快速索引，使用Redis快速存储***实现栅格地图中动静态目标多属性信息的快速维护更新，满足在智能车辆行驶过程中地图复用的需求，从而实现在嵌入式处理器实时构建和更新高精语义地图工程化目的。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

Redis是当前互联网行业最为流行的NoSQL(Not Only SQL)数据库，非常适合缓存数据，具有读写速度快、支持数据类型丰富，原子操作等优势，借助Redis能够解决现有技术中语义地图数据的实时检索和更新过程中存在的技术问题。

鉴于此，本发明利用GEOHASH地图编码方法和Redis地理坐标快速读取功能，提供一种在线实时构建语义高精地图的方法。该方法通过融合激光雷达和视觉传感器同步数据生成多属性栅格地图，并实时对地图中动静态目标的语义信息进行检索和更新，最大限度保证语义地图的复用效率，从而为智能驾驶汽车提供安全可靠、可预测的局部道路实况信息。

实施例一

如图1所示，图1示出了本发明一实施例提供的利用激光雷达和视觉传感器融合在线构建语义地图的方法的流程示意图，本实施例的方法的执行主体为智能车辆的智能驾驶***，该智能驾驶***连接激光雷达和视觉传感器，本发明的方法可包括下述的步骤：

101、获取当前车辆的栅格地图，所述栅格地图包括多个用于存放检测目标的栅格/网格，且每一栅格/网格具有唯一的与方位关联的一维字符串标识。

举例来说，该步骤101可包括下述的子步骤：

101-1、借助于GPS-RTK获取当前车辆的位置信息。

可理解的是，通过GPS-RTK得到的车辆绝对位置信息(经纬度)，厘米级定位精度，然后在其周围建立初始化栅格(方格最小单位15cm),但是差分GPS容易收到电磁干扰、环境遮挡影响，因此还要结合高精度组合惯导定位技术来推算车辆下一个时刻所处位置、航向，实现辅助定位。

101-2、根据当前车辆的位置信息，建立指定尺寸的包括多个栅格的网格地图作为初始栅格地图。

举例来说，在车辆周围96米范围内建立一个192m×192m的正方形网格，每个网格尺寸为15cm×15cm，则共有1638400个栅格，每个栅格代表唯一的地理位置编码值即下述的一维字符串标识。

即在车辆周围建立192m×192m的动态网格，每一个网格可用来表示最后获取的车辆周围的动静态目标类别和位置信息。

101-3、将所述初始栅格地图每一网格的二维坐标转换为大地坐标系下的经纬度坐标，得到转换坐标的栅格地图；

101-4、采用GEOHASH算法将转换坐标的栅格地图中每一网格的经纬度坐标编码为一维字符串，以代表栅格地图中每一网格的地理标识。

举例来说，本实施例中的一维字符串标识可为二进制或十进制的编码值。

102、依据预先标定方位关系的激光雷达和视觉传感器，获取激光雷达对应的测距数据，视觉传感器对应的图像数据。

举例来说，借助于棋盘格平面靶标的方式对激光雷达和视觉传感器外部的方位关系进行标定，将激光点云投影到二维图像，观察点云和图像像素是否重合，从而获得激光雷达相对于相机的旋转和平移，如图5所示；所述激光雷达和视觉传感器均为借助于机器人设置在车辆上的目标探测设备；利用激光雷达采集当前车辆周围的测距数据；利用视觉传感器采集当前车辆周围的图像数据。

需要说明的是，在采用激光雷达和视觉传感器采集各自对应的数据之前，还需要先让视觉传感器的相机和激光雷达分别与智能驾驶***中主机的时钟同步，先找到整个***的时钟源，常见的同步技术有两种，一种是基于GPS的“PPS+NMEA”，另一种是基于以太网的IEEE 1588(或IEEE 802.1AS)时钟同步协议。

104、对视觉传感器的图像数据进行特征提取、匹配及重建，获取转换至栅格地图对应的大地坐标系下的多个第二类检测目标的多属性信息。

在本实施例中，激光雷达是根据测距信息和反射率的信息(车道线)检测物理类别、位置和形状，而且比人小的物体，激光雷达获得点云数据比较稀疏不能自动辨别小物体类型，例如小动物和防撞桶，激光雷达也不具备物体颜色和纹理信息，因此不能辨别红绿灯。另外落叶、雨雪、沙尘、雾霾也会对激光雷达数据产生噪声点。

视觉传感器中的图像传感器具有丰富的颜色和图像信息，可以通过深度学习模型识别车道线、道路上文字、停止线等固定的标识以及行人、汽车等运动目标。

第一类检测目标可包括：包括路沿、车道线、树木以及建筑物等静态障碍物，包括行人、机动车及非机动车的动态障碍物；

第一类检测目标的多属性信息可包括：类型、尺寸、位置、速度和姿态以及形状甚至材质；

第二类检测目标可包括：车道线、红绿灯、限速牌等交通标志、行人、小动物、机动车和非机动车；

第二类检测目标的多属性信息可包括：目标在各图像中的位置信息、尺寸信息、速度及类别信息。

在本实施例中，通常，栅格地图表示前方有无障碍物一维信息，有障碍物该方格值为1，无障碍物该方格值为0；多属性栅格地图不仅能表示前方有无障碍物，还能表示障碍物的具体类别、速度、方位多维信息，它是语义地图的一个组成部分；

语义地图是一个全局地图，它是由智能车在多个不同位置建立的多属性栅格地图拼接迭代生成的，地图中的每一个位置都会用包含目标类别、姿态、速度的多种标签集合来表示。

另外，上述的Redis是一个高性能的非关系型数据库，作为一个单线程的应用程序，速度非常快，并且不存在多线程情况下的共同资源访问锁的问题，非常适合高速缓存处理。本实施例中，采用Redis(远程字典服务)数据库来存储目标多属性信息。Redis坐标功能可以快速增加和删除GEOHASH编码地图的位置信息，并实时维护多属性栅格地图中动静态目标状态信息。Redis坐标功能还可以支持指定位置范围内多元属性信息的检索功能，获得指定搜索区域内所有栅格中满足筛选条件的Key列表经纬度编码值，进而判断待检测的目标是否在搜索范围内，并实时返回满足筛选条件的所有目标在栅格地图中的位置坐标信息。

在一种可选的实现方式中，上述方法还包括下述的图中未示出的步骤106：

106、更新多属性栅格地图中动静态目标的语义信息检索；

在本实施例中，可基于GEOHASH编码算法和Redis数据库的动态读写信息、激光雷达采集点云数据的帧率，对多属性栅格地图中动静态目标的进行更新。

可理解的是，激光雷达采集数据帧率为10Hz(100ms转一圈)，通常采集到的360°的数据被称为一帧，以16线激光雷达为例，对应每0.2°采集一次数据，一帧数据在理论上最多包含16×(360/0.2)＝28800个点，也就是说每100ms对激光雷达周围192m×192m范围内点云进行一次聚类。

对于检测出的静态目标，由于静态目标在空间是静止的，因此在栅格地图的经纬度坐标是不变的，如果不出现前后两帧点云数据检测目标类型不一致，则静态目标在栅格中的属性和位置信息不更新。

对于检测出的动态目标，其在栅格地图的经纬度坐标是实时变化的，为了避免动态目标在地图中出现拖影的情况，每100ms内，栅格地图中的动态目标位置和属性信息都进行更新，即仅保留当前状态激光雷达和视觉传感器检测得到的动态目标的位置和类别属性信息，之前地图中的静态目标信息都在内存中去除。

在一种可选的实现方式中，上述方法还包括下述的图中未示出的步骤107：

107、基于GEOHASH编码算法，则在栅格地图中检索当前时刻的采用一维字符串表示的动态目标，并在Redis数据库中实时对该动态目标的位置和属性信息进行更新；

在本实施例中，栅格地图中任一目标的位置信息采用一维字符串表示，为此，可在栅格地图中检索当前时刻的采用一维字符串表示的动态目标。

地图检索的目标主要是为了智能车辆根据当前的位置和车速进行路径规划使用的，进而可预测动态障碍物的轨迹。

本实施例的方法构建的高精度语义地图无需人工标注即可以实时表示车辆周围的动静态环境多维语义信息。例如，激光雷达获取诸如行人，机动车，非机动车等动态目标类别、尺寸、位置、速度和运动方向等多元属性信息。视觉传感器辅助激光雷达获取小动物等动态目标类别、位置及速度信息，获取路沿、车道线、防撞桶以及红绿灯等交通标志静态目标具体类别、位置和尺度信息，方便车辆行驶。

实施例二

结合图2至图6所示，建立当前车辆位置的二维栅格地图并初始化，采用GEOHASH算法将初始化二维栅格地图编码为一维字符串，接着融合激光雷达和视觉传感器获取同步数据，并将激光雷达和视觉传感器检测得到静态和动态目标具体类别、位置及尺度等多属性信息导入至Redis数据库中生成多属性栅格地图，如图2所示为构建语义高精地图方法流程，具体步骤如下：

步骤一、建立栅格地图，在车辆周围96米范围内建立一个192m×192m的正方形网格，每个网格尺寸为15cm×15cm，则共有1638400个栅格，每个栅格代表唯一的地理位置编码值，并将下述的各检测目标的多属性信息根据其地理位置信息存放至相应的栅格内。

该步骤中，地理位置编码值为对应编码规则的数值，例如二进制或十进制的编码值。

在具体实现过程，建立的栅格地图为二维坐标即经纬度坐标标识的地图，本实施例中通过GPS-RTK(实时动态载波相位差分技术)将栅格地图二维坐标转化为大地坐标系下的经纬度坐标，再采用GEOHASH算法将转换坐标的栅格地图中经纬度坐标信息用一维字符串编码表示。

下面以北海公园的位置(纬度39.928167，精度116.389550)编为例介绍一下GEOHASH的编码算法。

将纬度范围(-90,90)平分成两个区间(-90,0)、(0,90)，如果目标纬度位于前一个区间，则编码为0，反之编码为1。

由于39.92324属于(0,90)区间，所以取编码为1，然后再将(0,90)区间分成(0,45),(45,90)两个区间，而39.92324位于(0,45)区间，所以编码为0，以此类推，随着每次迭代区间(0,45)总在缩小，并越来越逼近39.928167，最终得到纬度二进制编码为1011100011 00011；

同理，地球经度区间是(-180,180)，可以对经度116.389550进行二进制编码为11010 01011 00010。根据偶数位放纬度，奇数位放经度的规则将经纬度2串编码组合生成一维字符串：11100 11101 00100 01111 00000 01101，最后使用0-9、b-z(去掉a,i,l,o)这32个字母进行Base32编码，首先将11100 11101 00100 01111 00000 01101转成十进制，对应着28、29、4、15、0、13，十进制对应的Base32编码就是wx4g0e。利用GEOHASH编码算法，在一列上即可搜索经纬度二维坐标信息，有效提高了车辆附近障碍物目标的索引效率，方便无人驾驶智能车迅速做出路径规划。

步骤二、利用激光雷达采集当前车辆周围的测距数据，以获取三维点云数据。

首先，利用点云数据高程信息实现三维点云数据中地面和非地面区域的分割。

例如，高程原指和海平面的基准点比较的海拔高度，就称为这个地点的高程，点云数据高程信息中的高程是以地面为基准点，用来区分地面和非地面的目标。

接着，通过借助雷达的特征参数(如激光测距信息、机器人朝向角等)得到非地面区域中障碍物(即为车辆不可行区域)和非障碍物(可理解为大部分为可行区域)在栅格地图中的位置；进而获得障碍物在栅格地图中的以一维字符串表示的位置信息。

在本实施例中，机器人是指承载激光雷达和视觉传感器的智能小车。

需要说明的是，在本实施例中，步骤二和步骤四是同时进行的，其在使用之前，可预先采用人工标定方式联合标定行驶车辆的激光雷达和视觉传感器相对方位关系，其同时进行数据采集，本实施例为描述方便，采用步骤二和步骤四进行说明，其并不对本发明的步骤进行限定。

步骤三、针对激光雷达的三维点云数据，采用Fast Point R-CNN对三维点云数据聚类得到动态和静态目标类别信息。

其中，静态目标即静态障碍物或交通标志，例如路沿、车道线、防撞桶、红绿灯等，即通过激光雷达聚类无法区分的目标类型，仅能得到他们的位置和形状；

动态目标即行人、小动物、机动车及非机动车等运动障碍物，但是仅通过激光雷达聚类无法确定比行人小的运动物体类型。只能标记行人、机动车及非机动车动态目标的类型、尺寸、位置、速度和运动方向信息。

可理解的是，Fast Point R-CNN对三维点云数据聚类得到动态和静态目标类别信息，理解为利用点云上每个区域的卷积特征快速检测三维目标。即，采用机器学习卷积神经网络进行训练，得到点云的类别信息。

步骤四、采集视觉传感器的点云数据即图像数据。

在本实施例中，使用YOLOv5目标检测算法在图像中分割出行人、小动物、机动车和非机动车动态目标以及路沿、车道线、防撞桶、红绿灯等交通标志静态目标，并标记分割图像目标具体类别、位置及尺寸信息，并在每一个类别目标分割区域进行图像特征提取和匹配。

步骤五、针对是视觉传感器的图像数据，利用双目立体视觉重建算法获取图像中每一个不同类型目标对应的三维空间坐标信息，并对每一个重建的三维目标标记其类别和三维位置信息，然后将视觉传感器得到的动静态目标标记信息投影变换到栅格地图坐标系下。

步骤六、融合激光雷达和视觉传感器检测得到目标多属性信息。

通常，视觉传感器辅助激光雷达进行目标检测，例如车道线、红绿灯、防撞桶等交通标志静态目标，激光雷达只能将目标点云数据聚类为静态障碍物，但是不能判别障碍物的具体类别(只能从海量点云中分割出来划出矩形立体框，只有部分形状信息)，需要视觉传感器得到目标的颜色和纹理特征进行二次分类，识别出静态目标的具体属于哪一个类别。对于行人、机动车和非机动车等激光雷达和视觉传感器都能检测出具体类别的目标，本实施例中设置两种传感器检测目标的权重比。例如栅格地图中某一位置，激光雷达检测出是汽车，如果视觉传感器检测出也是汽车，那么可以确定这个目标属性类别信息就是汽车，如果视觉传感器检测出是行人，说明激光雷达和视觉两类传感器有一个是检测错误的，需要设置一个权重值来最终确定检测目标究竟是汽车还是行人。

也就是说，在融合过程中，对于激光雷达不能检测出的目标类别(需要结合图像纹理和颜色进行分类的目标)，通过视觉传感器实现辅助检测；对于激光雷达和视觉两类传感器都能检测出的目标类型，通过设置权重值来确定目标的最终具体类型。

步骤七、将融合的激光雷达和视觉传感器检测得到目标多属性信息导入至Redis(远程字典服务)数据库中生成多属性栅格地图。

如图3所示，多属性的栅格地图是包含障碍物类型和状态多重属性的高维栅格地图，以数据库表的形式保存在高速缓冲存储器中。

表1为多属性栅格地图Redis数据库表

如表1所示，该数据库表的每行对应一个15cm×15cm栅格地图属性信息，Key为基于该栅格对应区域的GEOHASH经纬度编码字符串，每一行具有该行对应区域内的目标多属性信息列表(Value)，列表中的每一列保存一个目标的属性信息，包括目标具体类型(category)、运动状态(status)、速度和方向(speed and direction)等属性信息

步骤八、多属性栅格地图中动静态目标的语义信息检索和更新；利用Redis数据库快速读写特性(Redis读的速度是110000次/s，写的速度是81000次/s)，实时检索车辆附近指定区域障碍物目标的位置和状态信息(30ms)，并周期性更改多属性栅格地图中动静态目标的属性信息(100ms)，从而实现多属性栅格图中标记的静态目标具体类型、尺寸以及动态目标的类型、速度以及运动方向等多层语义信息的在线实时检索和更新，最终生成如图4所示语义高精地图。

在本实施例中，多属性栅格地图可为语义地图的一小部分，从智能车出发点到终点会建立若干个多属性栅格地图，192m栅格地图每100ms扩展向行驶方向扩展7m，到终点后多个相互重叠的多属性栅格地图迭代更新结束后就会形成一个完整的语义高精地图。

也就是说，192m大方格更新周期是100ms，车辆周围7m内小方格更新周期是30ms。

在本实施例中，实时检索车辆附近指定区域障碍物目标的位置和状态信息，主要是利用GEOHASH地图一维编码方法和Redis数据库快速读写功能实现栅格地图多属性信息的快速检索更新。

如图6所示，智能车根据当前192m×192m的多属性栅格地图采用A*算法实现路径规划，其中192m×192m的多属性栅格地图对应的Redis数据库中目标属性信息更新周期为100ms，在更新过程中静态目标的位置和属性信息保持不变，动态目标的位置和属性信息实时发生改变，即Redis数据库中仅保留当前时刻动态目标的位置和属性信息，并删除动态目标前一时刻的一切信息，不存在动态目标影子遗留问题，动态目标的位置和属性信息增加和删除周期为100ms，进而最大限度保证了多属性栅格地图的复用效率。此外在智能车运动过程中，每隔30ms检索一次车辆附近7m×7m范围内栅格中动静目标多属性信息，为智能车及时调整路径规划提供决策基础。语义高精地图是由192m×192m的多属性栅格地图不断运动拼接迭代生成的，具体表现为每100ms多属性栅格地图向运动方向扩展7m×192m。

前述步骤五中涉及到投影变换，为更好的理解，以下对投影变换说明如下：

如图4所示，使用棋盘格平面靶标对激光雷达和视觉传感器外部方位关系进行标定。例如，人工不断移动靶标的位置，计算机采集不同位置图像并解算相机和激光雷达相对位置姿态参数。

以激光雷达安装位置建立雷达世界坐标系(X_p,Y_p,Z_p)，以视觉传感器光心建立摄像机坐标系(X_c,Y_c,Z_c)，设摄像机坐标系对应的图像坐标系为ρ(u,v)，则可以得到激光雷达坐标系和摄像机坐标系之间的空间变换关系为：

其中，R为旋转矩阵，T为平移向量，根据摄像机成像模型，摄像机坐标系与图像坐标系之间的变换关系可以表示为：

其中，α_x和β_y为归一化焦距，γ_f为相机仿射畸变系数，u，v为像素点坐标，ρ为尺度因子，综合公式(1)和(2)，激光雷达的数据坐标系投影到摄像机图像坐标系的齐次变换关系可以表示为：

利用(3)式中的投影变换矩阵P_3×4建立激光雷达三维点云坐标系与视觉传感器二维图像坐标系的变换关系，再利用(2)建立激光雷达三维点云坐标系与视觉传感器摄像机坐标系的变换关系；

对于静态目标多元属性信息，例如路沿、车道线、防撞桶、红绿灯等静态障碍物或交通标志，通过激光雷达仅能得到目标的位置和形状，还需要通过视觉传感器反馈的目标识别信息来标记静态目标具体类型、尺寸和位置等多元属性信息；

对于动态目标多元属性信息，例如行人、小动物、机动车和非机动车等交通行为主体，通过激光雷达与视觉传感器融合数据标记目标类型、尺寸、位置、运动速度和方向等多元属性信息。

针对上述步骤五中的针对是视觉传感器的图像数据，利用双目立体视觉重建算法获取图像中每一个不同类型目标对应的三维空间坐标信息，可具体说明如下。

步骤S1、实时获取智能车的各不同焦距镜头的图像数据；

步骤S2、检测每一镜头的图像中各目标的类别及位置信息。

举例来说，采用YOLOv5目标实时检测算法检测每一镜头的图像中各目标的类别及位置信息；

所述目标包括：红绿灯、限速牌、行人、小动物、车辆或车道线；

所述类别及位置信息包括：目标在各图像中的位置信息、尺寸信息和类别信息。

步骤S3、以焦距最小的镜头的图像为基准图像，根据不同焦距镜头对应的物象空间齐次坐标系变换关系，将基准图像划分为共视区和非共视区。

例如，若步骤S2中检测到同一个目标在任一焦距的镜头的图像中存在对应的角点为a,b,c,d；焦距最小的镜头的图像中存在的对应的角点a′,b′,c′,d′；

在上述两个镜头的坐标系不重合和/或镜头焦距不相同时，基于物象空间齐次坐标系变换关系，则将焦距最小镜头的图像作为基准图像并划分为a,b,c,d和a′,b′,c′,d′八个角点组成的回字形区域；

其中，回字形区域的中心“口”字形为重叠的成像区域作为共视区；

中心“口”字形a,b,c,d至回字形的边界区域a′,b′,c′,d′为非重叠的成像区域作为非共视区。

步骤S4、针对每一图像的共视区，采用双目异焦距立体视觉重建方法对共视区中的目标进行三维重建定位，获得基准图像中共视区所有目标的三维定位信息及类别标签语义信息；

针对基准图像的非共视区，根据该图像所属摄像装置的第一视角划分上下左右四个区域，以透视网格划分的方式获取每一非共视区中目标的角度定位信息；

所述三维定位信息及类别标签语义信息和非共视区对应的角度定位信息构建用于智能车的具有语义信息的矢量地图。

具体地，步骤S4可包括下述的子步骤：

S4-1、根据下述的两像面坐标关系式(A1)确定建立多目标图像的每一目标在各图像中坐标的一一映射关系；

S4-2、借助于多个分辨率和焦距不同的相机，并依据双目平行视觉模型，检测空间点M这个目标在三维空间的深度信息Z值；

具体地，空间点M的坐标(X,Y,Z)为：

其中，两相机镜头的焦距f₁、f₂以及基线距离b属于预先标定的参数，通过公式(A1)获取像素坐标的对应关系x₁、y₁和x₂、y₂；

S4-3、根据上述空间点M的三维坐标关系式(A2)在基准图像的共视区对检测目标进行重建，并标记检测目标区域的平均深度值。

将多目成像装置检测与定位得到的诸如车辆，行人等静态目标以及红绿灯、车道线等动态目标三维数据融合到激光雷达点云数据，构建实时三维语义地图，从而实现基于仿生视觉的无人驾驶技术在嵌入式处理平台工程化应用。

需要说明的是，本实施例的方法可以实时性构建语义地图，本实施例的方法构建的地图为在线构建的语义地图，其相对于现有技术中的基于点云+人工标注离线地图构建方法，操作简便，不需要后续人工标注，可以满足嵌入式处理器的工程化应用，具有很强的实用性。

将多目成像装置检测与定位得到的诸如车辆，行人等静态目标以及红绿灯、车道线等动态目标三维数据融合到激光雷达点云数据，构建实时三维语义地图，从而实现基于仿生视觉的无人驾驶技术在嵌入式处理平台工程化应用，且操作简便。

实施例三

根据本发明实施例的另一方面，本发明实施例还提供一种智能车驾驶***，该智能车驾驶***可包括：控制装置和与控制装置连接的多目成像装置，所述多目成像装置包括：激光雷达和视觉传感器；

所述控制装置接收激光雷达和视觉传感器分别采集的测距数据和图像数据后，采用上述实施例一或实施例二所述的在线构建语义地图的方法构建智能车的三维语义地图。

在实际应用中，本发明实施例还提供一种智能车，该智能车可包括上述的智能车驾驶***。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。

应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。

此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims

1.一种利用激光雷达和视觉传感器融合在线构建语义地图的方法，其特征在于，包括：

102、依据预先标定方位关系的激光雷达和视觉传感器，获取激光雷达对应的测距数据、视觉传感器对应的图像数据；

2.根据权利要求1所述的方法，其特征在于，所述101包括：

借助于GPS-RTK获取当前车辆的位置信息；

3.根据权利要求1所述的方法，其特征在于，所述102包括：

借助于棋盘格平面靶标的方式对激光雷达和视觉传感器外部的方位关系进行标定；所述激光雷达和视觉传感器均为借助于机器人设置在车辆上的目标探测设备；

利用视觉传感器采集当前车辆周围的图像数据。

4.根据权利要求3所述的方法，其特征在于，所述103包括：

5.根据权利要求4所述的方法，其特征在于，所述103还包括：

6.根据权利要求1所述的方法，其特征在于，所述104包括：

对多个镜头的图像数据进行坐标转换处理，并采用双目异焦距立体视觉重建方法对坐标转换后的图像数据进行三维重建定位，获得所有镜头中所有目标的三维定位信息及类别标签语义信息；

7.根据权利要求6所述的方法，其特征在于，所述104还包括：

8.根据权利要求7所述的方法，其特征在于，所述105包括：

和/或，

第二类检测目标包括：行人、小动物、机动车、非机动车、红绿灯、车道线或交通标志；

9.根据权利要求1至8任一所述的方法，其特征在于，所述方法还包括：

更新多属性栅格地图中动静态目标的语义信息；

10.根据权利要求1至8任一所述的方法，其特征在于，所述方法还包括：

11.一种智能车驾驶***，其特征在于，包括：控制装置和与控制装置连接的多目成像装置，所述多目成像装置包括：激光雷达和视觉传感器；

所述控制装置接收激光雷达和视觉传感器分别采集的测距数据和图像数据后，采用上述权利要求1至10任一所述的在线构建语义地图的方法构建智能车的三维语义地图。

12.一种智能车，其特征在于，包括上述权利要求11所述的智能车驾驶***。